WO2019073615A1 - 工事現場画像判定装置及び工事現場画像判定プログラム - Google Patents

工事現場画像判定装置及び工事現場画像判定プログラム Download PDF

Info

Publication number
WO2019073615A1
WO2019073615A1 PCT/JP2018/002010 JP2018002010W WO2019073615A1 WO 2019073615 A1 WO2019073615 A1 WO 2019073615A1 JP 2018002010 W JP2018002010 W JP 2018002010W WO 2019073615 A1 WO2019073615 A1 WO 2019073615A1
Authority
WO
WIPO (PCT)
Prior art keywords
construction site
learning
determination
site image
image
Prior art date
Application number
PCT/JP2018/002010
Other languages
English (en)
French (fr)
Inventor
宏憲 八木
恵子 斉藤
成資 西池
Original Assignee
ギアヌーヴ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ギアヌーヴ株式会社 filed Critical ギアヌーヴ株式会社
Publication of WO2019073615A1 publication Critical patent/WO2019073615A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a construction site image determination apparatus and a construction site image determination program.
  • a construction site image showing a result of construction is photographed for the purpose of recording the progress of construction or managing the progress of construction.
  • the construction site image is, for example, attached to a daily report or the like, and is submitted to a site supervisor of the construction site or a construction orderer (hereinafter simply referred to as "manager").
  • the manager determines the quality of the construction result based on the submitted construction site image.
  • Patent Document 1 discloses a construction site management system capable of easily managing a large number of construction site images.
  • Patent Document 2 a learning device is made to learn using a learning image obtained by capturing an architectural element as learning data, and an architectural element included in a newly captured image is captured using a learned learner. Techniques to identify are disclosed.
  • An object of the present invention is to make it possible to easily grasp the ability of a site worker who carries out construction at a construction site.
  • the present invention relates to a good for the construction site image by learning using a plurality of learning construction site images showing construction results and learning data including good / defective judgment on the construction results shown by the respective learning construction site images.
  • a learning device capable of defect judgment and the construction site image to be judged are input to the learning device, and on the basis of the output data of the learning device, the quality judgment on the construction site image to be judged is carried out Based on the worker identification information indicating the site worker who is in charge of the work corresponding to the determination target construction site image, the quality determination regarding the relevant determination target construction site image is distinguished for each site worker and output , And a determination unit for outputting a determination result including a good / defective determination on a plurality of determination target construction site images for each site worker; It is the location.
  • the learning device further learns using the learning data including the type of defect specified regarding the construction site image for learning determined to be defective, thereby performing the good / bad determination regarding the construction site image and the type of defect
  • the judgment unit judges that the construction site image to be judged is defective
  • the judgment unit further judges the type of the defect on the construction site image to be judged based on the output data of the learning device, It is characterized in that the determination result including the type of the good / defect judgment and the defect regarding the plurality of judgment target construction site images is output for each site worker.
  • a plurality of the learning devices are provided corresponding to a plurality of steps of construction, and each learning device performs learning using a plurality of the learning data including the learning construction site image of a step corresponding to itself.
  • the determination unit inputs the determination target construction site image to a learning device selected based on process identification information indicating a process of construction indicated by the determination target construction site image, which is associated with the determination target construction site image.
  • the determination result regarding the determination target construction site image is output separately for each site worker and for each process, and the determination regarding a plurality of determination target construction site images for each pair of the site worker and the process It is characterized by outputting a result.
  • the present invention learns a computer by using a plurality of learning construction site images showing construction results and learning data including good / defective judgment on the construction results shown by each learning construction site image.
  • a learning device capable of judging whether the construction site image is good or bad and a construction site image to be judged are input to the learning device, and based on the output data of the learning device, the judgment of the construction site image is performed.
  • the good or bad determination regarding the determination target construction site image is made to the site worker It is made to function as a judgment unit that outputs judgment results for each site worker with regard to a plurality of judgment target construction site images, including judgment of good or bad, for each site worker.
  • FIG. 1 is a schematic diagram of a construction site image determination system 10 according to the present embodiment.
  • the construction site image determination system 10 includes a digital camera 12, a manager terminal 14, and a server 16 as a construction site image determination device.
  • the digital camera 12, the administrator terminal 14, and the server 16 are communicably connected to each other via a communication line 20 configured of a LAN (Local Area Network), the Internet, or the like so as to be able to communicate with each other.
  • LAN Local Area Network
  • the Internet or the like
  • the digital camera 12 may be a literal digital camera, or may be a tablet terminal (mobile terminal) equipped with a camera function.
  • the digital camera 12 is used by a person who works at a construction site.
  • the construction site in the present embodiment is, for example, a construction site or a renovation site. In this embodiment, it is assumed that a site worker who performs construction at a construction site uses the digital camera 12.
  • the digital camera 12 is for photographing a construction site image showing the result (construction quality) of the construction at the construction site.
  • the site worker captures a construction site image showing the construction result of the process each time one process of the construction is completed.
  • Metadata which is incidental information, is associated with the construction site image.
  • the metadata includes worker identification information indicating a site worker who is in charge of the construction corresponding to the construction site image. Further, the metadata may include process identification information indicating the process of the construction indicated by the construction site image. Furthermore, the metadata may include construction site identification information for identifying a construction site, shooting time information, and the like.
  • the digital camera 12 has a communication function, and the photographed construction site image and metadata are transmitted to the server 16.
  • the administrator terminal 14 is a terminal used by the administrator.
  • the manager terminal 14 is installed at a location remote from the construction site.
  • the administrator terminal 14 may be a general computer, and includes a control unit including a central processing unit (CPU), a hard disk, a storage unit including a read only memory (ROM) or a random access memory (RAM), and a network adapter. And the like, a display unit such as a liquid crystal panel, and an input unit such as a keyboard or a mouse.
  • FIG. 2 is a schematic diagram of the server 16.
  • the server 16 is configured by a computer having a performance that can function as a server.
  • the construction site image included in the learning data for learning of the learning device 36 (described later) included in the server 16 is referred to as “a construction site image for learning”;
  • the construction site image to be judged is described separately from the "construction site image to be judged". In particular, when the two are not distinguished, they are simply described as "construction site image”.
  • the communication unit 30 includes, for example, a network adapter.
  • the communication unit 30 exerts a function of communicating with another device via the communication line 18.
  • the communication unit 30 receives the metadata attached construction site image from the digital camera 12.
  • the communication unit 30 transmits, to the administrator terminal 14, a determination result indicating the quality determination or the like regarding the determination target construction site image.
  • the storage unit 32 includes, for example, a hard disk, a ROM, or a RAM.
  • a construction site image determination program for operating each unit of the server 16 is stored.
  • a construction site image DB 34 is defined.
  • the conceptual diagram which shows the content of construction site image DB34 is shown by FIG.
  • the construction site image DB 34 includes, for example, a plurality of construction site images for learning, which are construction site images captured with the digital camera 12 by each site worker at each construction site in the past, and meta regarding the respective construction site images for learning Data and are stored and stored.
  • a construction site image for learning, worker identification information indicating a site worker in charge of construction corresponding to the construction site image for learning, and the construction site corresponding to the construction site A plurality of pieces of process identification information indicating a process are associated with one another.
  • the construction site image for learning acquired by the digital camera 12 is judged good or bad by the manager.
  • the learning construction site image is transmitted to the administrator terminal 14 via the server 16 after being acquired by the digital camera 12.
  • the administrator checks the construction site image for learning displayed on the display unit of the administrator terminal 14 to perform the quality determination regarding the image for the construction site for learning. That is, if the construction result indicated by the learning construction site image is appropriate, it is judged as good, otherwise it is judged as defective.
  • the administrator uses the input unit of the administrator terminal 14 to input the pass / fail judgment on the learning construction site image, and the inputted pass / fail judgment is transmitted from the administrator terminal 14 to the server 16.
  • the construction site image DB 34 the quality determination received from the administrator terminal 14 is stored in association with the learning construction site image.
  • the learning unit 36 is stored in the storage unit 32.
  • the reality of the learning device 36 is each parameter such as weight and bias regarding each unit (neuron), and a processing execution program for processing input data. Therefore, that the learning device 36 is stored in the storage unit 32 means that various parameters related to the learning device 36 and the processing execution program are stored in the storage unit 32.
  • the learning device 36 in the present embodiment performs learning using a plurality of learning construction site images stored in the construction site image DB 34 and learning data including quality determination regarding the respective learning construction site images.
  • a judgment target construction site image which is, for example, a newly acquired construction site image
  • the learning device 36 performs quality determination regarding the judgment target construction site image. That is, when the construction result indicated by the judgment target construction site image is appropriate, it is judged as good, and when the construction result indicated by the judgment target construction site image is not appropriate, it is judged as defect judgment.
  • the learning device 36 may be any learning device as long as it can learn as described above and can make a good / bad judgment on the image of the construction site to be judged. Details of the structure of the learning device 36 will be described later.
  • the control unit 38 is configured to include, for example, a CPU.
  • the control unit 38 controls the respective units of the server 16 in accordance with the construction site image determination program stored in the storage unit 32.
  • the control unit 38 also functions as a learning processing unit 40 and a determination unit 42.
  • the learning processing unit 40 executes the learning process of the learning device 36. Specifically, the construction site image for learning is input to the learning device 36, and the learning device 36 is learned so that the output data of the learning device 36 conforms to the quality determination regarding the construction site image for learning.
  • the determination unit 42 inputs the determination target construction site image to the learning device 36 that has been learned, and performs the quality determination on the determination target construction site image based on the output data of the learning device 36.
  • the determination unit 42 in the present embodiment determines the quality of the determination target construction site image for each site worker based on the worker identification information. Distinguish and output.
  • the determination unit 42 repeats this process, and outputs the determination result including the quality determination regarding the plurality of determination target construction site images for each site worker.
  • the determination result output from the determination unit 42 is transmitted to the administrator terminal 14 in response to a request from the administrator terminal 14, for example. Thereby, the determination result is provided to the administrator.
  • FIG. 4 is a diagram showing the structure of the learning device 36 in the present embodiment.
  • the input data of the learning device 36 includes a plurality of input variables x 1 , x 2 , x 3 .
  • the input variable of each input data is the pixel value of each pixel of the construction site image.
  • the learning device 36 is configured to include a plurality of layers each including a plurality of units 50. Usually, it comprises an input layer located closest to the input side, an output layer located closest to the output side, and an intermediate layer (also called a hidden layer) provided between the input layer and the output layer.
  • the intermediate layer is a single layer, but a plurality of layers may be provided as the intermediate layer.
  • Each input variable is input to each unit 50 of the input layer.
  • weights w 1 , w 2 , w 3 ... And bias b are defined for each input variable.
  • a value obtained by adding a bias to a sum of values obtained by multiplying each input variable by the corresponding weight is an input of the unit 50. That is, the input u for one unit 50 of the input layer is Is represented by Here, I is the number of input variables.
  • the weights w 1 , w 2 , w 3, ... And the bias b may be different for each unit 50.
  • the output from each unit 50 of the input layer is input to each unit 50 of the intermediate layer. That is, each unit 50 of the input layer and each unit 50 of the middle layer are completely coupled.
  • Each unit 50 in the middle layer performs the same processing as described above with the output of each unit 50 in the input layer as an input. That is, in each unit 50 of the intermediate layer, the weight and bias for each unit 50 of the input layer are set.
  • the output from each unit 50 of the middle layer is input to each unit 50 of the output layer. That is, each unit 50 of the intermediate layer and each unit 50 of the output layer are also completely coupled.
  • Each unit 50 of the output layer also performs the same processing as described above with the output of each unit 50 of the intermediate layer as an input. That is, in each unit 50 of the output layer, a weight and a bias for each unit 50 of the intermediate layer are set.
  • the output of each unit 50 of the output layer is input to the soft max function.
  • the soft max function is a function that calculates a plurality of output variables based on the output of each unit 50 of the output layer.
  • the plurality of output variables become output data of the learning device 36.
  • Each output variable corresponds to each classification label (category) which the learning device 36 classifies, and as described later, the value of each output variable indicates the probability that the input data belongs to each classification label. Become.
  • the output of the softmax function has a plurality of output variables y 1 , y 2 , y 3 ... As shown in FIG. 4, the output variables y 1 , y 2 , y 3 . It represents each probability belonging to each classification label of the input data.
  • the soft max function is given by the following equation.
  • y k is the k-th output variable
  • M is the number of units of the output layer
  • z j (k) is the output value of the unit 50 of the j (k) -th output layer.
  • the softmax function the output of the k th unit 50 of the output layer is converted into y k. That is, the output of each unit 50 of the output layer is converted to each output variable y by the soft max function.
  • the feature of the soft max function is that the sum of each output is 1. Therefore, if it is assumed that the output variable y k corresponds to the classification label k, the value of the output variable y k is be interpreted as the input data represents the probability that belong to a class label k.
  • output variables (classification label) is two, the determination first output variable y 1 is good, the second The output variable y 2 of corresponds to the defect determination.
  • the learning processing unit 40 inputs the learning construction site image whose quality determination is known as learning data to the learning device 36, and the output data for the learning construction site image relates to the learning construction site image.
  • Each weight and bias of each unit 50 of each layer are adjusted (that is, the learning device 36 is learned) so that the value of the output variable corresponding to the good / defective determination becomes large and the value of the other output variable becomes small.
  • the learning processing unit 40 the output data for the learning construction site image, the value of the output variable y 1 is increased, the value of the output variable y 2
  • the weights and biases of each unit 50 in each layer are adjusted to be smaller.
  • the determination unit 42 inputs the determination target construction site image as input data to the learning device 36 that has been sufficiently learned. And based on the value of each output variable contained in the output data of the learning device 36, the quality determination regarding the said construction object for a construction site is performed. For example, the determination unit 42, if than the output variable y 2 in which the output variables y 1 corresponding to the good judgment corresponds to the defective judgment indicates a large value, and good judging the determination target worksite image. On the other hand, the output variable y 2 is if a larger value than the output variables y 1, to the determination target construction site image and defective judgment.
  • the determination unit 42 distinguishes the determination result on the determination target construction site image for each site worker and outputs it.
  • FIG. 5 shows a state in which the determination result on the determination target construction site image is output separately for each site worker.
  • the determination unit 42 inputs the determination target construction site image to the learning device 36 as illustrated in FIG. 5, and the determination result of the learning unit 36 based on the worker identification information associated with the determination target construction site image. Are output separately for each site worker. As the determination unit 42 repeats this process, the determination result on a plurality of determination target construction site images is output for each site worker.
  • the determination result of the determination unit 42 is transmitted to the administrator terminal 14. Based on the received determination result, the administrator terminal 14 distinguishes good / defective determination regarding a plurality of determination target construction site images for each site worker and displays the result on the display unit. It can also be said that the good or bad judgment about a plurality of judgment target construction site images is statistical data as to whether the construction result is appropriate or not. Therefore, it can be said that statistical data as to whether the construction result is appropriate is displayed on the display unit of the manager terminal 14 separately for each site worker.
  • the manager can grasp the ability of each site worker based on statistical data as to whether or not the construction result distinguished for each site worker is appropriate. For example, if the number of defects judged by the site worker B is significantly greater than that of the site worker A, it can be said that the capability of the site worker A is higher than that of the site worker B.
  • the good / defective determination may be arranged and displayed in the order of the shooting time of the determination target construction site images.
  • statistical data is provided to the manager in chronological order as to whether or not the construction result is appropriate.
  • the manager can grasp the temporal change of whether or not the construction result is appropriate for each site worker.
  • the site worker A can easily grasp changes such as that there were many defects in the past but few defects recently. In this case, it can be seen that the ability of the on-site worker A has improved as a result of making some effort or effort.
  • the pass / fail judgment on a plurality of determination target construction site images is output for each site worker. It is possible to grasp the worker's ability. Further, in the construction site image judgment system 10, since the quality judgment of the construction site image to be judged is performed using the learning device 36, the administrator does not have to judge the quality of the construction site image to be judged and the accuracy is high. Judgment is realized. Thereby, the manager can easily grasp the ability of each site worker.
  • the learning device 36 may output output data having three or more output variables (y 1 , y 2 , y 3 ).
  • the first output variable y 1 corresponds to the good determination
  • the second and subsequent output variables y 2 , y 3 ... Correspond to the defect determination.
  • the plurality of output variables y 2 , y 3, ... Corresponding to the defect determination correspond to different types of defects.
  • the types of defects are classified, for example, according to defects or defects.
  • the learning device 36 can determine not only the good or the bad judgment regarding the judgment target construction site image but also the kind of the defect. It becomes.
  • the learning processing unit 40 determines a plurality of construction site images for learning stored in the construction site image DB 34, a good / defective determination on each construction site image for learning, and a defect specified for the construction site for learning determined to be defective.
  • the learning device 36 is learned using learning data including the type. That is, in the output data for the learning construction site image, when the learning construction site image is judged to be good, the learning processing unit 40 sets each unit 50 of each layer so that the output variable y 1 has the largest value. If each learning construction site image is a defect determination, adjust each weight and bias of each of the layers so that the value of the output variable corresponding to the type of the failure of the learning construction site image is maximized. Adjust each weight and bias of unit 50.
  • the determination unit 42 inputs the determination target construction site image as input data. Then, the determination unit 42 performs good / defect judgment on the judgment target construction site image based on the output data of the learning device 36, and further judges the type of the defect for the judgment target construction site image that has become a failure judgment.
  • the determination unit 42 the output data of the learning device 36, if the output variables y 1 corresponding to the good judgment indicates the largest value, and good judging the determination target worksite image. Further, if the determination unit 42 is a defect determination and the output variable y 2 corresponding to the first type of defect indicates the largest value, the determination target construction site image is determined as a defect determination, and the type of the defect is It is determined that it is the first type. The determination unit 42, if they exhibit the greatest value output variable y 3 corresponding to the second type a defective defective judgment, the judgment object construction site image and defective judgment, the kind of the defect It is determined to be the second type. As the determination unit 42 repeats this process, the determination result including the types of the quality determination and the defect related to the plurality of determination target construction site images is output for each site worker.
  • the judgment result of the learning device 36 is transmitted from the server 16 to the manager terminal 14, and the display unit of the manager terminal 14 not only judges the quality of a plurality of judgment target construction site images for each site worker, but also defects.
  • the type of defect for the image is displayed. Thereby, the manager can grasp the tendency of defects such as many or few defects of a specific type for each site worker.
  • a plurality of learning devices 36 may be provided corresponding to each process of construction.
  • a learning device 36a for process 1 a learning device 36b for process 2, and a learning device 36c for process 3 may be provided.
  • the learning processing unit 40 learns each learning device 36 using learning data including a learning construction site image of a process corresponding to each learning device 36.
  • learning is performed using learning data including the learning construction site image associated with the process 1 I do.
  • the determination unit 42 selects, from among the plurality of learning units 36, the learning unit 36 that inputs the determination target construction site image. For example, the determination unit 42 selects the process 1 learning device 36 a for the determination target construction site image associated with the process identification information indicating the process 1. Then, the determination unit 42 inputs the determination target construction site image to the selected learning device 36.
  • each learning device 36 corresponding to each process distinguishes and outputs the determination result for each site worker based on the worker identification information associated with the determination target construction site image. Thereby, the determination result regarding the determination target construction site image is distinguished and output for each site worker and each process.
  • the determination unit 42 repeats this process, the quality determination regarding the plurality of determination target construction site images is output for each set of the site worker and the process.
  • FIG. 6 shows a state in which the determination result on the determination target construction site image is output separately for each site worker and for each process.
  • Each learning device 36 corresponding to each process may not only determine the quality of the target construction site image to be determined, but may also determine the type of defect for a defective image.
  • the determination result of the learning device 36 is transmitted from the server 16 to the administrator terminal 14, and the display unit of the administrator terminal 14 determines the quality of the plurality of determination target construction site images for each set of the site worker and the process. (And the type of defect) are displayed. That is, on the display unit of the administrator terminal 14, statistical data as to whether or not the construction result is appropriate is displayed by being distinguished for each site worker and each set of processes. Thereby, the manager can grasp the tendency of many defects or few defects in a specific process for each site worker. For example, the site worker A is good at the process 1 while being poor at the process 2 and the site worker B is good at the process 2 while grasping the feature of the ability such as not being good at the process 1 Can.
  • this invention is not limited to the said embodiment, A various change is possible unless it deviates from the meaning of this invention.
  • the imaging function camera function
  • the new construction site image group is continuously transmitted to the server 16 by holding the digital camera 12 over the subject (construction result), and if any of the new construction site image groups are judged to be good, the new construction It may be determined that the construction result corresponding to the site image group is a good judgment.
  • SYMBOLS 10 construction site image determination system 12 digital camera, 14 administrator terminal, 16 server, 18 communication line, 30 communication part, 32 memory part, 34 construction site image DB, 36 learning device, 36a learning device for process 1, process 36b 2 for learning device, 36 c for process 3 learning device, 38 control unit, 40 learning processing unit, 42 determination unit, 50 units.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

工事現場で工事を行う現場作業者の能力を容易に把握できるようにする。工事現場画像ＤＢ３４には、複数の学習用工事現場画像と、各学習用工事現場画像に関する良不良判定とが関連付けられて記憶される。学習処理部４０は、複数の学習用工事現場画像と、各学習用工事現場画像に関する良不良判定を含む学習データを用いて学習器３６を学習する。判定部４２は、学習済みの学習器３６に、判定対象工事現場画像を入力する。判定部４２は、学習器３６の出力データに基づいて判定対象工事現場画像に関する良不良判定を行い、当該判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報に基づいて、判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して出力する。これにより、現場作業者毎に、複数の判定対象工事現場画像に関する良不良判定が出力される。

Description

工事現場画像判定装置及び工事現場画像判定プログラム
　本発明は、工事現場画像判定装置及び工事現場画像判定プログラムに関する。
　従来、工事現場において、工事の進捗状況を記録するあるいは工事の進捗状況を管理することを目的として、工事結果を示す工事現場画像が撮影されている。工事現場画像は、例えば日報に添付されるなどして、工事現場の現場監督あるいは工事発注者（以下単に「管理者」と記載する）へ提出される。管理者は、提出された工事現場画像に基づいて工事結果の良不良を判定する。
　管理者の元へ提出される工事現場画像が多数となる場合があるために、工事現場画像のを管理するための技術が提案されている。例えば、特許文献１には、多数の工事現場画像を容易に管理することができる工事現場管理システムが開示されている。
　一方、従来から深層学習（ディープラーニング）などの機械学習手法が提案されている。例えば、特許文献２には、建築要素を撮影した学習用画像を学習データとして用いて学習器を学習させ、学習済みの学習器を用いて、新たに撮影された撮影画像に含まれる建築要素を特定する技術が開示されている。
特開２０１１－１７５５８４号公報 特開２０１７－１０７４４３号公報
　ところで、管理者には、工事現場で工事を行う現場作業者の能力を把握したいという要望がある。ここでいう現場作業者の能力とは、特に、工事を適切に完了できる能力を意味する。
　しかしながら、管理者が現場作業者の能力を把握することが困難であるという実情がある。これには様々な理由があるが、１つの理由として、管理者は、複数の工事現場を掛け持ちして担当するのが一般的であるというのが実情であるために、管理者が各現場作業者の工事の様子を十分に確認できないということが挙げられる。
　一般的に、工事の各工程が完了する毎に、工事結果を示す工事現場画像が撮影され、当該工事現場画像が管理者に提出される。したがって、管理者が、複数の工事現場画像の良不良判定を解析することによって、現場作業者の能力を把握することが考えられる。しかしながら、多数の現場作業者の工事結果を示す膨大な数の工事現場画像が管理者に提出され、管理者がそれらの工事現場画像を１つ１つ目視確認しているのが実情である。したがって、管理者は、時間的制約などから、膨大な数の工事現場画像を個別に良不良判定するに留まり、複数の工事現場画像を解析して現場作業者の能力を把握することは事実上困難となっている。
　本発明の目的は、工事現場で工事を行う現場作業者の能力を容易に把握できるようにすることにある。
　本発明は、工事結果を示す複数の学習用工事現場画像、及び、各学習用工事現場画像が示す前記工事結果に対する良不良判定を含む学習データを用いて学習することで、工事現場画像に関する良不良判定が可能な学習器と、前記学習器に判定対象工事現場画像を入力し、前記学習器の出力データに基づいて当該判定対象工事現場画像に関する良不良判定を行い、当該判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報に基づいて、当該判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して出力し、現場作業者毎に複数の判定対象工事現場画像に関する、良不良判定を含む判定結果を出力する判定部と、を備えることを特徴とする工事現場画像判定装置である。
　望ましくは、前記学習器は、さらに、不良判定された学習用工事現場画像に関して特定された不良の種類を含む前記学習データを用いて学習することで、工事現場画像に関する良不良判定及び不良の種類の分類が可能であり、前記判定部は、前記判定対象工事現場画像について不良判定した場合に、さらに、前記学習器の出力データに基づいて当該判定対象工事現場画像に関する不良の種類を判定し、現場作業者毎に複数の判定対象工事現場画像に関する、良不良判定及び不良の種類を含む判定結果を出力する、ことを特徴とする。
　望ましくは、前記学習器は、工事の複数の工程に対応して複数設けられ、各学習器は、自己に対応する工程の前記学習用工事現場画像を含む複数の前記学習データを用いて学習し、前記判定部は、前記判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像が示す工事の工程を示す工程識別情報に基づいて選択された学習器に当該判定対象工事現場画像を入力することで、当該判定対象工事現場画像に関する前記判定結果を現場作業者毎、且つ、工程毎に区別して出力し、現場作業者と工程との組毎に複数の判定対象工事現場画像に関する前記判定結果を出力する、ことを特徴とする。
　また、本発明は、コンピュータを、工事結果を示す複数の学習用工事現場画像、及び、各学習用工事現場画像が示す前記工事結果に対する良不良判定を含む学習データを用いて学習することで、工事現場画像に関する良不良判定が可能な学習器と、前記学習器に判定対象工事現場画像を入力し、前記学習器の出力データに基づいて当該判定対象工事現場画像に関する良不良判定を行い、当該判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報に基づいて、当該判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して出力し、現場作業者毎に複数の判定対象工事現場画像に関する、良不良判定を含む判定結果を出力する判定部と、として機能させることを特徴とする工事現場画像判定プログラムである。
　本発明によれば、工事結果に関する現場作業者毎の良不良の傾向を容易に把握することができる。
本実施形態に係る工事現場画像判定システムの構成概略図である。 本実施形態に係るサーバの構成概略図である。 工事現場画像ＤＢの内容を示す概念図である。 ニューラルネットワークを用いた学習器の構成概略を示す図である。 学習器の判定結果が現場作業者毎に区別されて出力される様子を示す概念図である。 学習器の判定結果が現場作業者毎且つ工程毎に区別されて出力される様子を示す概念図である。
　以下、本発明の実施形態について説明する。
　図１は、本実施形態に係る工事現場画像判定システム１０の構成概略図である。工事現場画像判定システム１０は、デジタルカメラ１２、管理者端末１４、及び、工事現場画像判定装置としてのサーバ１６を含んで構成される。デジタルカメラ１２、管理者端末１４、及びサーバ１６は、相互に通信可能なように、ＬＡＮ（Local Area Network）あるいはインターネットなどから構成される通信回線２０を介して互いに通信可能に接続されている。なお、図１には、デジタルカメラ１２、及び管理者端末１４は、それぞれ１つずつ示されているが、これらは複数設けられてよい。
　デジタルカメラ１２は、文字通りのデジタルカメラであってもよいし、カメラ機能を搭載したタブレット端末（携帯端末）であってもよい。デジタルカメラ１２は、工事現場で作業を行う者によって用いられる。本実施形態における工事現場は、例えば建築現場あるいはリフォーム現場である。本実施形態では、工事現場で工事を行う現場作業者がデジタルカメラ１２を使用するものとする。デジタルカメラ１２は、工事現場における工事結果（出来栄え）を示す工事現場画像を撮影するためのものである。本実施形態では、現場作業者は、工事の１つの工程が完了する度に、当該工程の工事結果を示す工事現場画像を撮影する。
　工事現場画像には、付帯情報であるメタデータが関連付けられる。メタデータには、当該工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報が含まれる。また、メタデータには、当該工事現場画像が示す工事の工程を示す工程識別情報が含まれていてもよい。さらに、メタデータには、工事現場を識別する工事現場識別情報あるいは撮影時刻情報などが含まれていてもよい。
　デジタルカメラ１２は通信機能を有しており、撮影された工事現場画像及びメタデータはサーバ１６へ送信される。
　管理者端末１４は、管理者が利用する端末である。管理者端末１４は、工事現場から遠隔の地に設置される。管理者端末１４は、一般的なコンピュータであってよく、ＣＰＵ（Central Processing Unit）などからなる制御部、ハードディスク、ＲＯＭ（Read Only Memory）あるいはＲＡＭ（Random Access Memory）などからなる記憶部、ネットワークアダプタなどからなる通信部、液晶パネルなどからなる表示部、及びキーボードあるいはマウスなどからなる入力部を含んで構成される。
　図２は、サーバ１６の構成概略図である。サーバ１６は、サーバとして機能し得る程度の性能を有するコンピュータにより構成される。なお、本明細書においては、サーバ１６が有する学習器３６（後述）の学習のための学習データに含まれる工事現場画像を「学習用工事現場画像」と、学習済みの学習器３６による良不良判定の対象となる工事現場画像を「判定対象工事現場画像」と区別して記載する。特に両者の区別をしない場合は、単に「工事現場画像」と記載する。
　通信部３０は、例えばネットワークアダプタなどを含んで構成される。通信部３０は、通信回線１８を介して他の装置と通信する機能を発揮する。例えば、通信部３０は、メタデータ付き工事現場画像をデジタルカメラ１２から受信する。また、通信部３０は、判定対象工事現場画像に関する良不良判定などを示す判定結果を管理者端末１４に送信する。
　記憶部３２は、例えばハードディスク、ＲＯＭ、あるいはＲＡＭなどを含んで構成される。記憶部３２には、サーバ１６の各部を動作させるための工事現場画像判定プログラムが記憶される。また、記憶部３２には、工事現場画像ＤＢ３４が定義される。
　図３に工事現場画像ＤＢ３４の内容を示す概念図が示されている。工事現場画像ＤＢ３４には、例えば、過去に各工事現場において各現場作業者によりデジタルカメラ１２で撮影された工事現場画像である、複数の学習用工事現場画像と、各学習用工事現場画像に関するメタデータとが蓄積記憶されている。図３に示すように、本実施形態においては、学習用工事現場画像と、当該学習用工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報と、当該工事現場に対応する工程を示す工程識別情報が関連付けられて複数記憶される。
　デジタルカメラ１２により取得された学習用工事現場画像は、管理者よって良不良判定される。学習用工事現場画像は、デジタルカメラ１２で取得された後、サーバ１６を介して管理者端末１４に送信される。管理者は、管理者端末１４の表示部に表示された学習用工事現場画像を確認することで、当該学習用工事現場画像に関する良不良判定を行う。すなわち、当該学習用工事現場画像が示す工事結果が適切なものであれば良判定とし、そうでなければ不良判定とする。管理者は管理者端末１４の入力部を用いて当該学習用工事現場画像に関する良不良判定を入力し、入力された良不良判定が管理者端末１４からサーバ１６に送信される。工事現場画像ＤＢ３４には、管理者端末１４から受信した良不良判定が、当該学習用工事現場画像に関連付けられて記憶される。
　図２に戻り、記憶部３２には、学習器３６が記憶される。学習器３６の実態は、各ユニット（ニューロン）に関する重み及びバイアスなどの各パラメータ、並びに、入力データに対して処理を行うための処理実行プログラムである。したがって、記憶部３２に学習器３６が記憶されるとは、学習器３６に関する各種パラメータと処理実行プログラムが記憶部３２に記憶されることを意味する。
　本実施形態における学習器３６は、工事現場画像ＤＢ３４に記憶された複数の学習用工事現場画像と、各学習用工事現場画像に関する良不良判定を含む学習データを用いて学習する。その上で、学習器３６には、例えば新たに取得された工事現場画像である判定対象工事現場画像が入力データとして入力され、学習器３６は判定対象工事現場画像に関する良不良判定を行う。すなわち、判定対象工事現場画像が示す工事結果が適切である場合は良判定とし、判定対象工事現場画像が示す工事結果が適切でない場合には不良判定とする。
　学習器３６は、上述のように学習可能であり、且つ、判定対象工事現場画像に関する良不良判定が可能な限りにおいてどのような学習器であってもよい。学習器３６の構造の詳細については後述する。
　制御部３８は、例えばＣＰＵなどを含んで構成される。制御部３８は、記憶部３２に記憶された工事現場画像判定プログラムに従って、サーバ１６の各部を制御するものである。また、制御部３８は、学習処理部４０及び判定部４２としても機能する。
　学習処理部４０は、学習器３６の学習処理を実行する。具体的には、学習用工事現場画像を学習器３６に入力し、学習器３６の出力データが当該学習用工事現場画像に関する良不良判定に適合するように、学習器３６を学習する。
　判定部４２は、学習済みの学習器３６に判定対象工事現場画像を入力し、学習器３６の出力データに基づいて、当該判定対象工事現場画像に関する良不良判定を行う。特に、本実施形態における判定部４２は、学習器３６に入力された判定対象工事現場画像に関連付けられた作業者識別情報に基づいて、判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して出力する。判定部４２は、この処理を繰り返し、現場作業者毎に、複数の判定対象工事現場画像に関する良不良判定を含む判定結果を出力する。
　判定部４２が出力した判定結果は、例えば管理者端末１４からの要求に応じて管理者端末１４に送信される。これにより、管理者に判定結果が提供される。
　以下、学習器３６の詳細と共に、学習処理部４０及び判定部４２の処理の具体例について説明する。本実施形態では、学習器３６は、ニューラルネットワークを用いたものとなっている。図４は、本実施形態における学習器３６の構造を示す図である。学習器３６の入力データは、複数の入力変数ｘ１、ｘ２、ｘ３・・・を含んでいる。各入力データの入力変数は、工事現場画像の各画素の画素値である。
　学習器３６は、それぞれが複数のユニット５０を含む複数の層を含んで構成される。通常、最も入力側に位置する入力層、最も出力側に位置する出力層、及び、入力層と出力層の間に設けられる中間層（あるいは隠れ層とも呼ばれる）を含んで構成される。図４の例では、中間層は１層となっているが、中間層として複数の層を有していてもよい。
　各入力変数は、入力層の各ユニット５０に入力される。各ユニット５０においては、各入力変数に対する重みｗ１、ｗ２、ｗ３・・・、及びバイアスｂが定義されている。各入力変数と対応する重みが掛け合わされた値の合計にバイアスを加算した値が当該ユニット５０の入力となる。つまり、入力層の１つのユニット５０に対する入力ｕは、
Figure JPOXMLDOC01-appb-M000001
 　で表される。ここで、Ｉは入力変数の数である。なお、ユニット５０毎に、重みｗ１、ｗ２、ｗ３・・・と、バイアスｂはそれぞれ異なるものであってよい。
　各ユニット５０は、入力ｕに対する、活性化関数と呼ばれる関数ｆの出力を出力する。すなわち、各ユニット５０の出力ｚは、
　ｚ＝ｆ（ｕ）　　・・・（式２）
で表される。なお、活性化関数としては、例えばシグモイド関数、ランプ関数、あるいはステップ関数などを利用することができる。入力層の各ユニット５０からの出力は、中間層の各ユニット５０に入力される。すなわち、入力層の各ユニット５０と中間層の各ユニット５０は全結合される。
　中間層の各ユニット５０は、入力層の各ユニット５０の出力を入力として、上記と同様の処理を行う。すなわち、中間層の各ユニット５０には、入力層の各ユニット５０に対する重みとバイアスが設定されている。中間層の各ユニット５０からの出力は、出力層の各ユニット５０に入力される。すなわち、中間層の各ユニット５０と出力層の各ユニット５０も全結合される。出力層の各ユニット５０も、中間層の各ユニット５０の出力を入力として、上記と同様の処理を行う。すなわち、出力層の各ユニット５０には、中間層の各ユニット５０に対する重みとバイアスが設定されている。
　出力層の各ユニット５０の出力は、ソフトマックス関数に入力される。ソフトマックス関数とは、出力層の各ユニット５０の出力に基づいて、複数の出力変数を算出する関数である。当該複数の出力変数が学習器３６の出力データとなる。各出力変数は、学習器３６が分類を行う各分類ラベル（カテゴリ）に対応するものであり、後述するように、各出力変数の値は、入力データが各分類ラベルに属する確率を示すものとなる。
　図４に示す通り、ソフトマックス関数の出力が複数の出力変数ｙ１、ｙ２、ｙ３・・・を有しているとすると、出力変数ｙ１、ｙ２、ｙ３・・・が、入力データの各分類ラベルに属する各確率を表すものとなる。具体的には、ソフトマックス関数は、以下の式で与えられる。
Figure JPOXMLDOC01-appb-M000002
 　ここで、ｙｋはｋ番目の出力変数であり、Ｍは出力層のユニット数であり、ｚｊ（ｋ）はｊ（ｋ）番目の出力層のユニット５０の出力値である。式（３）が示す通り、ソフトマックス関数により、出力層のｋ番目のユニット５０の出力がｙｋに変換される。すなわち、ソフトマックス関数により、出力層の各ユニット５０の出力が各出力変数ｙに変換されている。
　ソフトマックス関数の特徴としては、各出力の合計が１となることである。したがって、出力変数ｙｋが分類ラベルｋに対応するものとするならば、出力変数ｙｋの値が、当該入力データが分類ラベルｋに属する確率を表すものと解釈できる。
　判定対象工事現場画像に関する良不良判定を行う学習器３６において考えられる最も単純な構成では、出力変数（分類ラベル）は２つであり、１つ目の出力変数ｙ１が良判定、２つ目の出力変数ｙ２が不良判定に対応するものとなる。この場合は、学習処理部４０は、良不良判定が既知の学習用工事現場画像を学習データとして学習器３６に入力し、当該学習用工事現場画像に対する出力データにおいて、当該学習用工事現場画像に関する良不良判定に対応する出力変数の値が大きくなり、他の出力変数の値が小さくなるように、各層の各ユニット５０の各重み及びバイアスを調整する（すなわち学習器３６を学習する）。例えば、学習用工事現場画像が良判定である場合には、学習処理部４０は、当該学習用工事現場画像に対する出力データにおいて、出力変数ｙ１の値が大きくなり、出力変数ｙ２の値が小さくなるように、各層の各ユニット５０の各重み及びバイアスを調整する。
　判定部４２は、十分に学習された学習器３６に対して、判定対象工事現場画像を入力データとして入力する。そして、学習器３６の出力データに含まれる各出力変数の値に基づいて、当該判定対象工事現場画像に関する良不良判定を行う。例えば、判定部４２は、良判定に対応する出力変数ｙ１が不良判定に対応する出力変数ｙ２よりも大きな値を示すならば、当該判定対象工事現場画像を良判定とする。一方、出力変数ｙ２が出力変数ｙ１よりも大きな値を示すならば、当該判定対象工事現場画像を不良判定とする。
　上述のように、判定部４２は、判定対象工事現場画像に関する判定結果を現場作業者毎に区別して出力する。図５には、判定対象工事現場画像に関する判定結果が現場作業者毎に区別して出力される様子が示されている。判定部４２は、図５に示されるように、判定対象工事現場画像を学習器３６に入力し、当該判定対象工事現場画像に関連付けられた作業者識別情報に基づいて、学習器３６の判定結果を現場作業者毎に区別して出力する。判定部４２がこの処理を繰り返すことによって、現場作業者毎に複数の判定対象工事現場画像に関する判定結果が出力される。
　判定部４２の判定結果は、管理者端末１４に送信される。管理者端末１４は、受信した判定結果に基づいて、複数の判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して表示部に表示する。複数の判定対象工事現場画像に関する良不良判定は、工事結果が適切であるか否かの統計的データであるともいえる。したがって、管理者端末１４の表示部には、工事結果が適切であるか否かの統計的データが現場作業者毎に区別されて表示されるといえる。
　管理者は、現場作業者毎に区別された工事結果が適切であるか否かの統計的データに基づいて、各現場作業者の能力を把握することができる。例えば、現場作業者Ａに対して現場作業者Ｂの不良判定が有意に多いのであれば、現場作業者Ｂに比して現場作業者Ａの能力が高いと言える。
　また、複数の判定対象工事現場画像の撮影時刻情報に基づいて、良不良判定を判定対象工事現場画像の撮影時刻順に並べて表示するようにしてもよい。これにより、工事結果が適切であるか否かが時系列的に並んだ統計的データが管理者に提供される。このような統計的データによれば、管理者は、工事結果が適切であるか否かの時間的変化を現場作業者毎に把握することができる。例えば、現場作業者Ａは以前は不良が多かったが、最近は不良が少ないなどといった変化を容易に把握することができる。この場合、現場作業者Ａが何らかの工夫あるいは努力をしたことで、その能力が向上したと見ることもできる。
　このように、本実施形態に係る工事現場画像判定システム１０によれば、現場作業者毎に複数の判定対象工事現場画像に関する良不良判定が出力されるから、管理者は、それに基づいて各現場作業者の能力を把握することができる。また、工事現場画像判定システム１０においては、学習器３６を用いて判定対象工事現場画像に関する良不良判定を行うから、判定対象工事現場画像の良不良判定を管理者が行う必要なく、しかも高精度な判定が実現される。これにより、管理者は、容易に、各現場作業者の能力を把握することが可能となる。
　図４に戻り、学習器３６は、３つ以上の出力変数（ｙ１、ｙ２、ｙ３・・・）を有する出力データを出力するようにしてもよい。この場合、１つ目の出力変数ｙ１が良判定に対応するものであり、２つ目以降の出力変数ｙ２、ｙ３・・・が不良判定に対応するものとなる。不良判定に対応する複数の出力変数ｙ２、ｙ３・・・は、それぞれ異なる不良の種類に対応するものとなる。不良の種類は、例えば、不良箇所あるいは不良態様などによって分類されるものである。このように、３つ以上の出力変数を有する出力データを出力することで、学習器３６は、判定対象工事現場画像に関して、単に良不良判定するのみならず、不良の種類を判定することが可能となる。
　学習器３６の出力データが３以上の出力変数を有する場合は、工事現場画像ＤＢ３４において、不良判定の学習用工事現場画像に対しては、管理者により特定された不良の種類を示す情報が関連付けられる。学習処理部４０は、工事現場画像ＤＢ３４に記憶された、複数の学習用工事現場画像、各学習用工事現場画像に関する良不良判定、及び、不良判定された学習用工事現場に関して特定された不良の種類を含む学習データを用いて学習器３６を学習する。すなわち、学習処理部４０は、当該学習用工事現場画像に対する出力データにおいて、当該学習用工事現場画像が良判定である場合は、出力変数ｙ１が最も大きな値となるように各層の各ユニット５０の各重み及びバイアスを調整し、当該学習用工事現場画像が不良判定である場合は、当該学習用工事現場画像の不良の種類に対応する出力変数の値が最も大きくなるように、各層の各ユニット５０の各重み及びバイアスを調整する。
　このように学習された学習器３６に対して、判定部４２は、判定対象工事現場画像を入力データとして入力する。そして、判定部４２は、学習器３６の出力データに基づいて当該判定対象工事現場画像の良不良判定を行い、不良判定となった判定対象工事現場画像については、さらに不良の種類を判定する。
　具体的には、判定部４２は、学習器３６の出力データにおいて、良判定に対応する出力変数ｙ１が最も大きな値を示すならば、当該判定対象工事現場画像を良判定とする。また、判定部４２は、不良判定であって第１の種類の不良に対応する出力変数ｙ２が最も大きな値を示すならば、当該判定対象工事現場画像は不良判定とし、その不良の種類は第１の種類であると判定する。また、判定部４２は、不良判定であって第２の種類の不良に対応する出力変数ｙ３が最も大きな値を示すならば、当該判定対象工事現場画像を不良判定とし、その不良の種類は第２の種類であると判定する。判定部４２がこの処理を繰り返すことによって、現場作業者毎に複数の判定対象工事現場画像に関する良不良判定及び不良の種類を含む判定結果が出力される。
　学習器３６の判定結果がサーバ１６から管理者端末１４に送信され、管理者端末１４の表示部には、現場作業者毎に、複数の判定対象工事現場画像の良不良判定のみならず、不良画像についての不良の種類が表示される。これにより、管理者は、各現場作業者について、特定の種類の不良が多いあるいは少ないなどの不良の傾向を把握することができる。
　また、学習器３６は、工事の各工程に対応して複数設けられてもよい。例えば、工程１用学習器３６ａ、工程２用学習器３６ｂ、工程３用学習器３６ｃ・・・が設けられてもよい。この場合、学習処理部４０は、各学習器３６に対応する工程の学習用工事現場画像を含む学習データを用いて各学習器３６を学習する。例えば、工程１用学習器３６ａに対しては、工事現場画像ＤＢ３４に記憶された複数の学習用工事現場画像のうち、工程１に関連付けられた学習用工事現場画像を含む学習データを用いて学習を行う。
　判定部４２は、判定対象工事現場画像に関連付けられた工程識別情報に基づいて、複数の学習器３６の中から、当該判定対象工事現場画像を入力する学習器３６を選択する。例えば、判定部４２は、工程１を示す工程識別情報が関連付けられた判定対象工事現場画像に対して工程１用学習器３６ａを選択する。そして、判定部４２は、選択した学習器３６に当該を判定対象工事現場画像を入力する。
　上述の通り、各工程に対応する各学習器３６は、それぞれ、当該判定対象工事現場画像に関連付けられた作業者識別情報に基づいて、判定結果を現場作業者毎に区別して出力する。これにより、判定対象工事現場画像に関する判定結果が、現場作業者毎、且つ、工程毎に区別されて出力される。判定部４２がこの処理を繰り返すことによって、現場作業者と工程の組毎に、複数の判定対象工事現場画像に関する良不良判定が出力される。図６に、判定対象工事現場画像に関する判定結果が現場作業者毎、且つ、工程毎に区別して出力される様子が示されている。なお、各工程に対応した各学習器３６は、判定対象工事現場画像の良不良判定を行うのみならず、不良画像については不良の種類を判定するようにしてもよい。
　学習器３６の判定結果がサーバ１６から管理者端末１４に送信され、管理者端末１４の表示部には、現場作業者と工程との組毎に、複数の判定対象工事現場画像に関する良不良判定（及び不良の種類）が表示される。すなわち、管理者端末１４の表示部には、工事結果が適切であるか否かの統計的データが、現場作業者と工程の組毎に区別されて表示される。これにより、管理者は、各現場作業者について、特定の工程について不良が多いあるいは少ないなどの傾向を把握することができる。例えば、現場作業者Ａは工程１を得意としている一方工程２を不得意としており、現場作業者Ｂは工程２を得意としている一方工程１を不得意としているなどの能力の特徴を把握することができる。
　以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。例えば、本実施形態においては、現場作業者が撮影行為を行って取得された静止画としての新工事現場画像に関する良不良判定を行っているが、撮影機能（カメラ機能）を動作させた上で被写体（工事結果）にデジタルカメラ１２をかざすことで、新工事現場画像群を連続的にサーバ１６に送信して、新工事現場画像群の中から良判定されるものがあれば、当該新工事現場画像群に対応する工事結果が良判定であると判定するようにしてもよい。
　１０　工事現場画像判定システム、１２　デジタルカメラ、１４　管理者端末、１６　サーバ、１８　通信回線、３０　通信部、３２　記憶部、３４　工事現場画像ＤＢ、３６　学習器、３６ａ　工程１用学習器、３６ｂ　工程２用学習器、３６ｃ工程３用学習器、３８　制御部、４０　学習処理部、４２　判定部、５０　ユニット。
 

Claims (4)

  1. 　工事結果を示す複数の学習用工事現場画像、及び、各学習用工事現場画像が示す前記工事結果に対する良不良判定を含む学習データを用いて学習することで、工事現場画像に関する良不良判定が可能な学習器と、
    　前記学習器に判定対象工事現場画像を入力し、前記学習器の出力データに基づいて当該判定対象工事現場画像に関する良不良判定を行い、当該判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報に基づいて、当該判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して出力し、現場作業者毎に複数の判定対象工事現場画像に関する、良不良判定を含む判定結果を出力する判定部と、
    　を備えることを特徴とする工事現場画像判定装置。
  2. 　前記学習器は、さらに、不良判定された学習用工事現場画像に関して特定された不良の種類を含む前記学習データを用いて学習することで、工事現場画像に関する良不良判定及び不良の種類の分類が可能であり、
    　前記判定部は、前記判定対象工事現場画像について不良判定した場合に、さらに、前記学習器の出力データに基づいて当該判定対象工事現場画像に関する不良の種類を判定し、現場作業者毎に複数の判定対象工事現場画像に関する、良不良判定及び不良の種類を含む判定結果を出力する、
    　ことを特徴とする請求項１に記載の工事現場画像判定装置。
  3. 　前記学習器は、工事の複数の工程に対応して複数設けられ、
    　各学習器は、自己に対応する工程の前記学習用工事現場画像を含む複数の前記学習データを用いて学習し、
    　前記判定部は、前記判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像が示す工事の工程を示す工程識別情報に基づいて選択された学習器に当該判定対象工事現場画像を入力することで、当該判定対象工事現場画像に関する前記判定結果を現場作業者毎、且つ、工程毎に区別して出力し、現場作業者と工程との組毎に複数の判定対象工事現場画像に関する前記判定結果を出力する、
    　ことを特徴とする請求項１又は２に記載の工事現場画像判定装置。
  4. 　コンピュータを、
    　工事結果を示す複数の学習用工事現場画像、及び、各学習用工事現場画像が示す前記工事結果に対する良不良判定を含む学習データを用いて学習することで、工事現場画像に関する良不良判定が可能な学習器と、
    　前記学習器に判定対象工事現場画像を入力し、前記学習器の出力データに基づいて当該判定対象工事現場画像に関する良不良判定を行い、当該判定対象工事現場画像に関連付けられた、当該判定対象工事現場画像に対応する工事を担当した現場作業者を示す作業者識別情報に基づいて、当該判定対象工事現場画像に関する良不良判定を現場作業者毎に区別して出力し、現場作業者毎に複数の判定対象工事現場画像に関する、良不良判定を含む判定結果を出力する判定部と、
    　として機能させることを特徴とする工事現場画像判定プログラム。
PCT/JP2018/002010 2017-10-12 2018-01-23 工事現場画像判定装置及び工事現場画像判定プログラム WO2019073615A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017198211A JP6341550B1 (ja) 2017-10-12 2017-10-12 工事現場画像判定装置及び工事現場画像判定プログラム
JP2017-198211 2017-10-12

Publications (1)

Publication Number Publication Date
WO2019073615A1 true WO2019073615A1 (ja) 2019-04-18

Family

ID=62555232

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/002010 WO2019073615A1 (ja) 2017-10-12 2018-01-23 工事現場画像判定装置及び工事現場画像判定プログラム

Country Status (2)

Country Link
JP (1) JP6341550B1 (ja)
WO (1) WO2019073615A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020107341A (ja) * 2018-12-27 2020-07-09 株式会社クボタ 水道工事管理システム、報知装置、水道工事管理方法、およびプログラム
JP7186455B2 (ja) * 2020-04-27 2022-12-09 ギアヌーヴ株式会社 工事現場画像取得システム、工事現場画像取得装置、及び工事現場画像取得プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191112A (ja) * 2002-12-10 2004-07-08 Ricoh Co Ltd 欠陥検査方法
JP2017033047A (ja) * 2015-07-28 2017-02-09 株式会社コンピュータシステム研究所 安全管理支援装置、安全管理支援プログラムおよび記憶媒体
JP2017107443A (ja) * 2015-12-10 2017-06-15 株式会社大林組 状況判定システム、状況判定方法及び状況判定プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191112A (ja) * 2002-12-10 2004-07-08 Ricoh Co Ltd 欠陥検査方法
JP2017033047A (ja) * 2015-07-28 2017-02-09 株式会社コンピュータシステム研究所 安全管理支援装置、安全管理支援プログラムおよび記憶媒体
JP2017107443A (ja) * 2015-12-10 2017-06-15 株式会社大林組 状況判定システム、状況判定方法及び状況判定プログラム

Also Published As

Publication number Publication date
JP2019074774A (ja) 2019-05-16
JP6341550B1 (ja) 2018-06-13

Similar Documents

Publication Publication Date Title
KR20200004825A (ko) 디스플레이 장치 품질 검사 방법, 장치, 전자 장치 및 저장 매체
JP2019035626A (ja) タイヤ画像の認識方法及びタイヤ画像の認識装置
JP2019519021A (ja) パフォーマンスモデル悪影響補正
CN109060817B (zh) 人工智能复检系统及其方法
KR20190075707A (ko) 딥러닝을 이용한 양품 선별 방법
CN108830837A (zh) 一种用于检测钢包溶蚀缺陷的方法和装置
JP2019075078A (ja) 工事現場画像判定装置及び工事現場画像判定プログラム
US20230048386A1 (en) Method for detecting defect and method for training model
CN111160432A (zh) 一种面板生产制造缺陷的自动分类方法及系统
JP6795562B2 (ja) 検査装置及び機械学習方法
CN114862832A (zh) 缺陷检测模型的优化方法、装置、设备及存储介质
WO2019073615A1 (ja) 工事現場画像判定装置及び工事現場画像判定プログラム
CN116862914A (zh) 基于深度学习的金属轴表面缺陷识别方法及系统
WO2019176988A1 (ja) 検査システム、識別システム、及び識別器評価装置
KR20220105689A (ko) 머신러닝 모델에 기반한 디스플레이 패널의 결함 판정 시스템
CN115546218B (zh) 置信度阈值确定方法和装置、电子设备和存储介质
KR20230056006A (ko) 3차원 모델을 통한 인공지능 기반 안전진단 장치 및 그 방법
Chmiel et al. Workflow management system with smart procedures
Trofimov Multi-structural instrument for identifying surface defects on rails
KR20220161601A (ko) 딥러닝 모델을 이용한 영상검사 대상체의 결함 판정시스템
RU2701993C1 (ru) Способ формирования модели компетенций
JP2021032042A (ja) 構造物の劣化状態診断方法
CN114333180B (zh) 一种基于区块链技术的金融自助设备检修方法
Rengarajan et al. Measuring the Impact of Machine Learning on Real-Time Data Analysis
CN118038105A (zh) 确定图像类别以及确定置信度阈值的方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18866415

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18866415

Country of ref document: EP

Kind code of ref document: A1