JP7186455B2 - 工事現場画像取得システム、工事現場画像取得装置、及び工事現場画像取得プログラム - Google Patents

Description

本発明は、工事現場画像取得システム、工事現場画像取得装置、及び工事現場画像取得プログラムに関する。

従来、建築現場や建設現場などを含む種々の工事現場において、工事対象物をカメラで撮影して工事現場画像を取得することが行われている。従来、工事現場画像は、現場作業者が、現場監督や施工主などの管理者に対して作業報告を行うための日報などに添付される他、画像解析の対象として用いられていた。工事現場画像を解析することにより、工事現場における工事現場の状況や様子（以下「工事状況」と記載する）に関する様々な情報を取得することができる。

例えば、特許文献１には、工事現場を撮影した工事現場画像を解析することで、工事現場画像に含まれている建築要素を特定し、特定された建築要素に基づいて工事の工程を特定する状況判定システムが開示されている。

特開２０１７－１０７４４３号公報

ところで、近年、学習器を用いて工事現場画像を解析することが行われている。特に、工事現場画像に示された工事状況の良否は、従来、管理者などの人間による目視によって判定されていたところ、学習器を十分に学習させることによって、これを当該学習器に判定させることができるようになる。

学習器の学習方法には様々な方法が提案されているが、一般的に、学習器を学習させるためには膨大な数の学習データが必要となる。具体的には、工事現場画像に示された工事状況の良否を判定する学習器を学習させるためには、膨大な数の工事現場画像が必要となる。上述のように、工事現場画像は、工事現場において現場作業者によって取得されているので、日々現場で取得される工事現場画像を学習データとして用いるのが好適である。

ここで、学習データとしての工事現場画像の内容によって、学習器の学習効率が変動し得る。学習器の学習効率とは、学習データの数（サンプル数）に対する学習器の習熟度（工事現場画像に基づく工事状況の良否判定の正確度）を表す指標である。工事現場画像に示された工事状況の良否を判定する学習器の学習効率を高くするには、学習データには、優良な工事状況を示す工事対象物が適正に撮影された工事現場画像（ポジティブサンプル）、及び、不良な工事状況を示す工事対象物が適正に撮影された工事現場画像（ネガティブサンプル）が多数必要となる。

しかしながら、学習データとしての工事現場画像を取得する際に、例えば、撮影すべき工事対象物が適切に写っていない、あるいは、ピントが合っていないなど、（工事状況の良否に関わらず）学習データとして不適正な工事現場画像が取得されてしまう場合がある。本明細書では、工事状況の良否に関わらず、一般に学習データとして不適正な工事現場画像を不適正画像と呼ぶ。他方、工事状況の良否に関わらず、一般に学習データとして適正な工事現場画像を適正画像と呼ぶ。

工事現場画像は、不特定多数の現場作業者によって取得されるものである。特に、工事現場においては現場作業者の入れ替わりが多いという事情があり、撮影に不慣れな現場作業者によって工事現場画像が撮影されることも少なくない。また、工事現場画像の撮影にあっては、例えば工事の工程に応じて様々な工事対象物を撮影する必要がある。このような理由により、従来、現場作業者にとっては適正画像を撮影することが困難であった。

工事現場画像に示された工事状況の良否を判定する学習器を学習させる際に、学習データとして不適正画像を用いても、学習器の学習があまり進まない。したがって、学習データに不適正画像が多く含まれる程、学習器の学習効率が低下すると言える。換言すれば、当該学習器を効率よく学習させるためには、学習データにより多くの適正画像が含まれているのが好ましい。

本発明の目的は、工事現場画像に示された工事状況の良否を判定する学習器の高効率な学習を実現させる学習データを取得することにある。

請求項１に係る発明は、工事現場における工事状況を撮影して工事現場画像を取得するカメラの表示部に、現場作業者が工事現場画像を撮影するに先立って、工事現場画像に示された工事状況の良否を判定する学習器を学習させる際の学習データとして適正な工事現場画像である適正画像を示すガイド情報を表示させる表示制御部と、前記カメラが取得した工事現場画像を前記学習器の学習データとして記憶する学習データ記憶部と、を備えることを特徴とする工事現場画像取得システムである。

望ましくは、前記カメラは、工事の工程毎に工事現場画像を取得し、前記表示制御部は、選択された工程である選択工程の工事状況の良否を判定する前記学習器を学習させる際の前記適正画像を示す前記ガイド情報を表示させ、前記学習データ記憶部は、前記選択工程と前記カメラが取得した工事現場画像とを関連付けて前記学習器の学習データとして記憶する、ことを特徴とする。

望ましくは、前記ガイド情報において、前記適正画像となるための要点が強調表示される、ことを特徴とする。

望ましくは、前記ガイド情報は、前記適正画像の構図である適正構図を示す、ことを特徴とする。

望ましくは、前記表示制御部は、前記学習器を学習させる際の学習データとして不適正な工事現場画像である不適正画像を示すＮＧ情報を前記カメラの表示部に表示させる、ことを特徴とする。

望ましくは、前記学習データを用いて、入力された工事現場画像が示す工事状況の良否を出力するように前記学習器を学習させる学習処理部であって、前記適正構図に適合する構図を有する前記適正画像を前記学習データとして用いて前記学習器を学習させる学習処理部をさらに備える、ことを特徴とする。

望ましくは、前記カメラが取得した工事現場画像が前記適正画像であるか否かを判定する判定処理部であって、前記適正構図に適合する構図を有する前記工事現場画像を前記適正画像であると判定する判定処理部と、をさらに備え、前記学習処理部は、前記判定処理部が前記適正画像であると判定した工事現場画像を含む前記学習データを用いて前記学習器を学習させる、ことを特徴とする。

望ましくは、前記判定処理部による判定結果を前記現場作業者に通知する通知処理部であって、前記カメラが取得した工事現場画像が、前記学習器を学習させる際の学習データとして不適正な不適正画像であると前記判定処理部が判定した場合、過去に前記判定処理部が判定した前記不適正画像を示すＮＧ情報を前記カメラの表示部に表示させる、ことを特徴とする。

また、本発明は、工事現場における工事状況を撮影して工事現場画像を取得するカメラの表示部に、現場作業者が工事現場画像を撮影するに先立って、工事現場画像に示された工事状況の良否を判定する学習器を学習させる際の学習データとして適正な工事現場画像である適正画像を示すガイド情報を表示させる表示制御部と、前記カメラが取得した工事現場画像を前記学習器の学習データとして記憶する学習データ記憶部と、を備えることを特徴とする工事現場画像取得装置である。

また、本発明は、コンピュータを、工事現場における工事状況を撮影して工事現場画像を取得するカメラの表示部に、現場作業者が工事現場画像を撮影するに先立って、工事現場画像に示された工事状況の良否を判定する学習器を学習させる際の学習データとして適正な工事現場画像である適正画像を示すガイド情報を表示させる表示制御部と、前記カメラが取得した工事現場画像を前記学習器の学習データとして記憶する学習データ記憶部と、として機能させることを特徴とする工事現場画像取得プログラムである。

本発明によれば、工事現場画像に示された工事状況の良否を判定する学習器の高効率な学習を実現させる学習データを取得することができる。

本実施形態に係る工事現場撮影システムの構成概略図である。 本実施形態に係る現場端末の構成概略図である。 本実施形態に係るサーバの構成概略図である。 工程選択画面の例を示す図である。 撮影画面の例を示す図である。 ガイド画像の表示例を示す図である。 要点が強調表示されたガイド画像の表示例を示す図である。 不適正画像の表示例を示す図である。 適正画像の例を示す図である。 不適正画像の例を示す図である。 本実施形態に係る工事現場撮影システムにおける学習データ取得処理の流れを示すフローチャートである。

図１は、本実施形態に係る工事現場画像取得システム１０の構成概略図である。工事現場画像取得システム１０は、工事現場で作業を行う現場作業者を管理する、あるいは工事現場自体を管理する管理者（現場監督や施工主など）に利用される管理端末１２、工事現場において１又は複数の現場作業者に利用される現場端末１４、及びサーバ１６を含んで構成されている。管理端末１２、現場端末１４、及びサーバ１６は、インターネットあるいは携帯電話回線などの通信回線１８により互いに通信可能に接続されている。図１においては、管理端末１２が１つのみ示されているが、工事現場画像取得システム１０は、複数の管理者に利用される複数の管理端末１２を含んでいてもよい。また、図１においては、現場端末１４が１つのみ示されているが、工事現場画像取得システム１０は、複数の工事現場で利用される複数の現場端末１４を含んでいてもよい。

現場端末１４はカメラ機能を有しており、現場端末１４は、現場作業者の操作によって工事現場における工事状況を撮影して工事現場画像を取得し、当該工事現場画像をサーバ１６に送信する。工事状況とは、工事現場の状況や様子を表すものである。一例として、工事状況は工事結果であり、工事現場画像として工事結果を示す工事対象物が撮影される。しかしながら、工事状況は工事結果に限られず工事現場における様々な状況が含まれ得る。サーバ１６において当該工事現場画像が管理され、また、その解析が行われる。管理者は管理端末１２からサーバ１６にアクセスすることで、工事現場画像あるいはその解析結果を閲覧することができる。工事現場画像は種々の目的で利用され得るが、特に、後述する学習器の学習のための学習データとして利用される。したがって、工事現場画像取得システム１０は、学習データ用工事現場画像取得システムの機能を発揮する。

管理端末１２は、例えばパーソナルコンピュータあるいはタブレット端末などの携帯端末である。管理端末１２は、サーバ１６などと通信するための通信インターフェース、ハードディスクやＲＡＭなどから構成されるメモリ、液晶表示器などから構成されるディスプレイ、マウスやキーボードあるいはタッチパネルなどから構成される入力インターフェース、及び、ＣＰＵやマイクロコンピュータなどから構成されるプロセッサを含む。

図２は、現場端末１４の構成概略図である。現場端末１４は、例えばタブレット端末などの携帯端末である。本実施形態では、現場端末１４は各工事現場に常設されている。

現場端末１４を利用することで、工事現場に入退場する各現場作業者の入退場管理を行うこともできる。具体的には、まず、現場作業者は、ユーザＩＤや生体情報などの識別情報を入力することで現場端末１４に対してログイン（認証）を行う。各現場作業者に関する現場作業者情報（例えば、現場作業者の名前及び現場作業者が所属する施工業者の名前など）と各現場作業者の識別情報とが関連付けられた現場作業者ＤＢ（データベース）が現場端末１４又はサーバ１６に記憶されており、現場端末１４は、現場作業者ＤＢを参照しつつ、入力された識別情報に基づいて現場作業者を特定して認証する。その上で、現場作業者は、現場端末１４に対して工事現場への入場時刻や退場時刻を入力する。入場時刻や退場時刻はサーバ１６に送信されサーバ１６に記憶される。

また、現場端末１４は、現場端末１４が常設されている工事現場において行うべき工事内容を示す工事内容情報をサーバ１６から受信して後述のメモリ２６に記憶するようにしてもよい。工事内容情報は、毎朝、その日に行う工事内容を示す工事内容情報を受信してもよいし、毎週月曜日の朝に、その週に行う工事内容を示す工事内容情報を受信してもよい。工事内容情報としては、例えば、工事現場における工事の工程（例えば基礎工事、基礎養生、外部足場など）を示すものであってよい。これにより、現場作業者は、現場端末１４を閲覧することにより、その日に行うべき工事内容を把握することができる。

通信インターフェース２０は、例えばネットワークアダプタなどを含んで構成される。通信インターフェース２０は、通信回線１８を介してサーバ１６などの装置と通信する機能を発揮する。

入力インターフェース２２は、例えばタッチパネルやボタンなどを含んで構成される。入力インターフェース２２は、現場作業者からの各種情報の入力を受け付ける機能を発揮する。

ディスプレイ２４は、例えば液晶パネルなどから構成される表示部である。ディスプレイ２４には、種々の画面が表示される。

メモリ２６は、例えばｅＭＭＣ（embedded Multi Media Card）、ＲＯＭ（Read Only Memory）、あるいはＲＡＭ（Random Access Memory）などを含んで構成されている。メモリ２６には、現場端末１４の各部を動作させるプログラムが記憶される。また、メモリ２６には、サーバ１６から受信した上述の工事内容情報が記憶され、また、現在認証している（現在現場端末１４を利用している）現場作業者の現場作業者情報が一時記憶される。

カメラ２８は、レンズ、ＣＣＤ（Charge-Coupled Device）イメージセンサなどの撮像素子、及び各種画像処理を行うＤＳＰ（Digital Signal Processor）などを含んで構成される。カメラ２８は、工事現場における工事状況を撮影して工事現場画像を取得する。特に、本実施形態では、現場作業者は、工事の１つの工程の作業が完了する度に、当該工程の工事状況を示す工事対象物を撮影する。つまり、本実施形態では、カメラ２８は、工程毎に工事現場画像を取得する。さらに、カメラ２８に含まれるＤＳＰの処理により、メモリ２６に記憶されている工事内容情報及び現場作業者情報に基づいて、工事現場名、工事の工程、撮影日時、工事を行った（工事現場画像を撮影した）施工担当者名、及び、当該施工担当者名が所属する施工業者名などを示す電子工事看板が工事現場画像に重畳される。これらの情報は、当該工事現場画像のメタデータ（属性データ）として付与されてもよい。繰り返しになるが、カメラ２８が取得した工事現場画像は、後述する学習器を学習させるための学習データとして用いられる。

プロセッサ３０は、例えばマイクロコントローラなどから構成される。プロセッサ３０は、メモリ２６に記憶されたプログラムに従って、現場端末１４の各部の制御を行う。

図３は、工事現場画像取得装置としてのサーバ１６の構成概略図である。サーバ１６は、サーバコンピュータなどの装置から構成される。以下に説明するサーバ１６の各機能は１つのサーバコンピュータによって実現されてもよいし、複数のサーバコンピュータの協働により実現されてもよい。

通信インターフェース４０は、例えばネットワークアダプタなどを含んで構成される。通信インターフェース４０は、通信回線１８を介して管理端末１２や現場端末１４と通信する機能を発揮する。

学習データ記憶部としてのメモリ４２は、例えばＨＤＤ(Hard Disc Drive)、ＳＳＤ（Solid State Drive）、ｅＭＭＣ、ＲＯＭ、あるいはＲＡＭなどを含んで構成されている。メモリ４２には、サーバ１６の各部を動作させる、工事現場画像取得プログラムが記憶される。また、メモリ４２には、サーバ１６が管理する複数の工事現場に関する工事内容情報が記憶される。当該工事内容情報は、各工事現場の管理者によって作成され、管理端末１２からサーバ１６へアップロードされてよい。さらに、図３に示すように、メモリ４２には、学習器４４、学習データ４６、ガイド情報４８、及びＮＧ情報５０が記憶される。

学習器４４は、例えばＣＮＮ（Convolutional Neural Network；畳み込みニューラルネットワーク）などのモデルによって構成される。学習器４４は、入力された工事現場画像に基づいて、当該工事現場画像に示された工事状況の良否を判定するものである。例えば、工事現場画像が正しい工事状況を示している場合、（学習済みの）学習器４４は工事状況を優良と判定し、工事現場画像が不良な工事状況（例えば正しい部品を使っていない、あるいは間違った施工をしている）を示している場合には、学習器４４は工事状況を不良と判定する。特に、上述のように本実施形態では工事の工程毎に工事現場画像が取得されるから、学習器４４は、入力された工事現場画像に基づいて、選択された工程の工事状況の良否を判定する。

学習データ４６は、学習器４４を学習させるためのデータである。学習データ４６は、現場端末１４によって取得された工事現場画像と、当該工事現場画像が示す工事状況の良否を示す情報とが関連付けられて構成される。本実施形態では、現場端末１４からは、工事現場画像と工程を示す情報とが関連付けられて送信されてくるから、学習データ４６は、工程毎に区別されてメモリ４２に記憶される。本実施形態では、学習データ４６は、現場端末１４から送信されてくる工事現場画像のうち、学習器４４の学習データとして適正な適正画像を含んで構成される。なお、学習データ４６は適正画像のみから構成されるのが望ましいが、必ずしもそうである必要はなく、学習データ４６に、適正画像のみならず不適正画像が含まれていてもよい。学習データ４６の詳細については後述する。

ガイド情報４８は、学習器４４の学習データとして適正な工事現場画像である適正画像を示す情報である。工事の工程毎に適正画像となり得る条件が異なるため、工事の工程毎にガイド情報４８が用意される。ガイド情報４８には、例えば、対象工程の工事状況を示すために撮影すべき工事対象物や、工事現場画像内における当該工事対象物の大きさ、あるいは、工事対象物のうち特に撮影すべき箇所（例えば部材の型番など）を示す情報などが含まれる。

本実施形態では、ガイド情報４８は画像の形式で用意される。以下、ガイド情報４８としての画像をガイド画像と呼ぶ。ガイド画像は静止画であってもよく動画像であってもよい。また、本実施形態では、ガイド画像は写真であるが、ガイド画像を見た現場作業者が適正画像を好適に把握できる限りにおいて、コンピュータグラフィックなどの絵であってもよい。なお、ガイド画像は、あくまで学習データとして適正な適正画像を示すものであるから、必ずしも優良な工事状況を示すものでなくてもよい。また、ガイド情報４８は、工事現場画像が適正画像となるための条件が文字で表現された文字情報であってもよい。

ガイド情報４８において、工事現場画像が適正画像となるための要点が示されているのが好適である。特に、ガイド情報４８がガイド画像である場合、不慣れな現場作業者にとっては、ガイド画像の中のどこが適正画像となるための要点（ポイント）であるかを把握できない場合がある。したがって、ガイド画像に、適正画像となるための要点を示す情報が付加されているのが好ましい。そのような情報としては、例えば、要点に対応する画素に付された、その他の画素とは異なる画素値（輝度あるいは色）、あるいは、要点に対して付されたアノテーションなどである。また、ガイド情報４８が文字情報である場合も、例えば文字数が多い場合には、不慣れな現場作業者にとっては、どこが要点（ポイント）であるかを把握できない場合がある。したがって、文字情報においても、適正画像となるための要点を示す情報が付加されているのが好ましい。そのような情報としては、例えば、要点に対応する文字の太字設定、あるいは、その他の文字とは異なるフォント（色など）などである。

また、ガイド情報４８は、適正画像の構図（換言すればカメラアングル）である適正構図を示すものであるのが好適である。構図とは、工事現場画像内における各撮影対象物（工事対象物を含む）の配置や、各撮影対象物までの距離、あるいは、工事現場画像内における光源（例えば太陽）の位置などを意味するものである。ガイド情報４８がガイド画像である場合、当該ガイド画像において適正画像の構図がそのまま示される。ガイド情報４８が文字情報である場合は、適正構図を示す文字情報が含められる。

ＮＧ情報５０は、学習器４４の学習データとして不適正な工事現場画像である不適正画像を示す情報である。本実施形態におけるＮＧ情報５０は、不適正画像そのものであるが、ＮＧ情報５０は文字情報であってもよい。ＮＧ情報５０は管理者などによって予め用意されてもよいが、本実施形態では、ＮＧ情報５０は、過去に不適正画像であると判定した、現場端末１４から送信された工事現場画像（すなわち不適正画像）である。ＮＧ情報５０となる不適正画像の例としては、例えば、その工程で撮影すべき工事対象物を適切に含まない画像、ピントが合っていない画像、あるいは、全体的に暗すぎる（明るすぎる）画像などであるが、これには限られない。ガイド情報４８同様に、工事の工程毎に１又は複数のＮＧ情報５０が用意される。ある工程のＮＧ情報５０とは、当該工程の工事現場画像を撮影した結果それが不適正となった不適正画像を意味する。また、ガイド情報４８同様に、ＮＧ情報５０に、不適正画像となった要点を示す情報が付加されているのが好ましい。詳しくは後述するが、特に、本実施形態では、一般に適正画像と判断され得る工事現場画像であっても、上述のガイド情報４８が示す適正構図に適合しない工事現場画像（代表的には、撮影すべき工事対象物を適切に含むが、適正構図とは異なる構図を有する工事現場画像）も、ＮＧ情報５０に含まれる。

プロセッサ５２は、例えばＣＰＵ（Central Processing Unit）、及び、専用の処理装置（例えばＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）など）の少なくとも１つを含んで構成される。プロセッサ５２としては、１つの処理装置によるものではなく、物理的に離れた位置に存在する複数の処理装置の協働により構成されるものであってもよい。図３に示す通り、プロセッサ５２は、メモリ４２に記憶された工事現場画像取得プログラムにより、表示制御部５４、判定処理部５６、通知処理部５８、及び学習処理部６０としての機能を発揮する。

表示制御部５４は、種々の情報を現場端末１４に送信することで、現場端末１４のディスプレイ２４に種々の画面を表示させる制御を行う。特に、表示制御部５４は、現場作業者が工事現場画像を撮影するに先立って、現場端末１４のディスプレイ２４にガイド情報４８を表示させる。以下、図４～８を参照しながら、表示制御部５４の処理の詳細について説明する。

まず、工事現場においてある工程の作業が完了すると、現場作業者は、現場端末１４にログインして工程選択画面の表示指示を入力する。現場端末１４のプロセッサ３０は、当該表示指示に基づいて、ディスプレイ２４に図４に示すような工程選択画面を表示させる。図４に示される通り、工程選択画面には複数の工程に対応する複数の工程選択ボタン８０が表示されている。工程選択画面に表示される工程の種類は、予め定められているか、あるいは、サーバ１６から送信されてくる上述の工事内容情報に基づいて決定される。工事現場において作業が完了した工程に対応する工程選択ボタン８０を現場作業者がタッチすると、タッチされた工程選択ボタン８０に対応する工程が選択される。なお、工程の選択は、現場作業者によるものではなく、上述の工事内容情報に基づいてプロセッサ３０が選択される（現場作業者から見れば自動的に選択される）ようにしてもよい。本明細書では、このように選択された工程を選択工程と記載する。ここでは、選択工程が「基礎工事」であるとする。

選択工程が選択されると、プロセッサ３０は、図５に示すような撮影画面をディスプレイ２４に表示させる。撮影画面には、撮影ボタン８２、ガイドボタン８４、及びＮＧボタン８６が表示される。現場作業者が撮影ボタン８２をタッチすると、カメラ２８が撮影を行い工事現場画像が取得される。プロセッサ３０は、カメラ２８が取得した工事現場画像と、選択工程を示す選択工程情報とを関連付けて、サーバ１６に送信する。

現場作業者は、撮影ボタン８２をタッチするに先立って、すなわちカメラ２８が工事現場画像を取得するに先立って、ガイドボタン８４をタッチすることができる。現場作業者によりガイドボタン８４がタッチされると、ガイドボタン８４が操作されたことを示すガイドボタン操作信号、及び、選択工程を示す選択工程情報が現場端末１４からサーバ１６に送信される。

サーバ１６の表示制御部５４は、現場端末１４からガイドボタン操作信号及び選択工程情報を受信すると、メモリ４２に記憶された、工程毎に用意された複数のガイド情報４８の中から、受信した選択工程情報が示す選択工程のガイド情報４８（本実施形態ではガイド画像）を特定する。ここでは、工程「基礎工事」に対応するガイド画像が特定される。そして、特定したガイド画像を現場端末１４に送信して、当該ガイド画像を現場端末１４のディスプレイ２４に表示させる。

図６に、現場端末１４のディスプレイ２４に表示されたガイド画像８８が示されている。ディスプレイ２４にガイド画像８８が表示されることで、現場作業者は、学習データとしての工事現場画像として、ガイド画像８８と同じような工事現場画像を取得すればよいことが分かる。ガイド画像８８は、学習器４４の学習データ４６として適正な工事現場画像である適正画像を示すものであるから、ディスプレイ２４にガイド画像８８を表示させることで、現場作業者に適正画像を取得させることができる。取得された適正画像が優良な工事状況を示すものであればポジティブサンプルとなるし、取得された適正画像が不良な工事状況を示すものであればネガティブサンプルとなる。

ガイド画像８８が表示された画面には戻るボタン９０が設けられており、戻るボタン９０をタッチすると、撮影画面（図５参照）に戻ることができる。なお、ガイド画像８８が表示された画面において撮影が可能であってもよい。換言すれば、撮影画面においてガイド画像８８が表示されてもよい。

また、上述のように、ガイド情報４８は文字情報であってもよく、その場合は、現場作業者にガイドボタン８４がタッチされると、ガイド情報４８としての文字情報がディスプレイ２４に表示される。

なお、本実施形態では、現場作業者にガイドボタン８４が操作されることで、ディスプレイ２４にガイド情報４８が表示されるが、現場作業者あるいはプロセッサ３０により選択工程が選択された場合に、撮影画面に先立ってディスプレイ２４にガイド情報４８が表示されてもよい。その場合、選択工程が選択された場合に、現場端末１４からサーバ１６に選択工程情報が送信され、当該選択工程情報に基づいて、表示制御部５４が選択工程に対応するガイド情報４８を現場端末１４に送信し、現場端末１４のプロセッサ３０は受信したガイド情報４８を直ちにディスプレイ２４に表示させる。

また、ガイド情報４８に適正画像となるための要点を示す情報が付加されている場合は、表示制御部５４は、当該情報に基づいて、ディスプレイ２４に表示されたガイド情報４８において、適正画像となるための要点を強調表示させるのが好適である。図７に、要点が強調表示されたガイド画像８８ａが示されている。例えば、工程「基礎工事」の工事現場画像が適正画像となる要点が、工事状況（ここでは基礎工事の工事結果）である基礎が好適に撮影されることである場合、図７に示すように、ガイド画像８８ａにおいて、基礎に対応する画素が強調表示される。強調表示の態様としては、例えば、当該画素の画素値（輝度値や色）がその他の画素の画素値とは異なるなどの態様が考えられるが、その他の態様であってもよい。

また、ガイド情報４８において、適正画像の適正構図が示されている場合には、表示制御部５４は、当該情報に基づいて、ディスプレイ２４に適正構図を表示するのが好適である。ガイド情報４８がガイド画像８８である場合には、もとよりガイド画像８８において適正構図が示されているから、ガイド画像８８を表示させるだけで適正構図が示されると言える。また、ガイド画像８８に加え、適正構図の要点（ポイント）が文字情報などによって追加的に表示されるようにしてもよい。ガイド情報４８が文字情報である場合にも、表示制御部５４は、適正構図を示す文字情報をさらにディスプレイ２４に表示させてもよい。

現場作業者は、撮影ボタン８２をタッチするに先立って、すなわちカメラ２８が工事現場画像を取得するに先立って、ＮＧボタン８６（図５参照）をタッチすることができる。現場作業者によりＮＧボタン８６がタッチされると、ＮＧボタン８６が操作されたことを示すＮＧボタン操作信号、及び、選択工程を示す選択工程情報が現場端末１４からサーバ１６に送信される。

表示制御部５４は、現場端末１４からＮＧボタン操作信号及び選択工程情報を受信すると、メモリ４２に記憶された、工程毎に用意された複数のＮＧ情報５０の中から、受信した選択工程情報が示す選択工程のＮＧ情報５０を特定する。ここでは、工程「基礎工事」に対応するＮＧ情報５０が特定される。そして、特定したＮＧ情報５０を現場端末１４に送信して、当該ＮＧ情報５０を現場端末１４のディスプレイ２４に表示させる。

図８に、現場端末１４のディスプレイ２４に表示されたＮＧ情報５０としての不適正画像９２が示されている。ＮＧ情報５０が文字情報の場合は、ＮＧ情報５０として文字が表示される。ディスプレイ２４にＮＧ情報５０が表示されることで、現場作業者は、学習データとしての工事現場画像としてＮＧ情報５０が示すような画像を取得してはいけないことが分かる。また、ＮＧ情報５０に不適正画像となるための要点を示す情報が付加されている場合は、表示制御部５４は、当該情報に基づいて、ディスプレイ２４に表示されたＮＧ情報５０において、不適正画像となるための要点を強調表示させるようにしてもよい。

図３に戻り、判定処理部５６は、現場端末１４が取得し現場端末１４からサーバ１６に送信された工事現場画像が適正画像であるか不適正画像であるかを判定する。判定処理部５６による判定処理には既知の画像処理方法を用いることができるが、本実施形態では、判定処理部５６は、メモリ４２に予め用意された適正画像のテンプレートであるテンプレート画像と、現場端末１４から受信した工事現場画像とのマッチング処理（テンプレートマッチング）を行うことで、当該工事現場画像が適正画像であるか否かを判定する。上述のように、適正画像の特徴は工事の工程毎に異なるため、メモリ４２には、テンプレート画像が工程毎に用意されるのが好適である。判定処理部５６は、現場端末１４から工事現場画像と共に受信した選択工程情報が示す工程のテンプレート画像を特定し、特定したテンプレート画像と工事現場画像のテンプレートマッチングを行う。なお、ガイド情報４８がガイド画像である場合、上記テンプレート画像としてガイド画像を用いることができる。

判定処理部５６は、ガイド情報４８に示される適正構図に適合する工事現場画像を適正画像であると判定するようにしてもよい。換言すれば、判定処理部５６は、ガイド情報４８に示される適正構図に適合しない工事現場画像を不適正画像であると判定するようにしてもよい。ここで、適正構図に適合するとは、工事現場画像の構図が適正構図に完全一致している場合のみならず、ある程度（所定の類似度閾値以上）、工事現場画像の構図と適正構図とが類似している場合も含まれる。例えば、上記のテンプレート画像がガイド情報４８に示される適正構図を有していれば、上述のテンプレートマッチングにより適正構図に適合する工事現場画像が適正画像であると判定される。

適正画像が図６のガイド画像８８にて示される場合における、判定処理部５６が適正画像と判定した工事現場画像９４が図９に示されている。図６のガイド画像８８と図９の工事現場画像９４を比較すると分かるように、工事現場画像９４では、基礎が適正に撮影されており、且つ、ガイド画像８８に示される適正構図に適合する構図を有している。一方、適正画像が図６のガイド画像８８にて示される場合における、判定処理部５６が不適正画像と判定した工事現場画像９６が図１０に示されている。図６のガイド画像８８と図１０の工事現場画像９６を比較すると分かるように、工事現場画像９６では、基礎が適正に撮影されているが、ガイド画像８８に示される適正構図には適合しない構図を有している。

なお、本実施形態では、現場端末１４が取得した工事現場画像が適正画像であるか不適正画像であるかの判定は判定処理部５６により行われていたが、当該判定は、例えば管理者などの人間による目視によって行われてもよい。

適正画像であると判定された工事現場画像が学習データ４６としてメモリ４２に記憶される。不適正画像であると判定された工事現場画像は、学習データ４６としてメモリ４２に記憶されず、ＮＧ情報５０としてメモリ４２に記憶される。上述のように、学習データ４６においては、工事現場画像（適正画像）と、当該工事現場画像が示す工事状況の良否を示す情報が関連付けられるところ、当該工事現場画像が示す工事状況の良否を示す情報は管理者などによって付される。また、工事現場画像（適正画像）と、当該工事現場画像が示す工事状況の良否を示す情報に加え、さらに、現場端末１４から送信された選択工程情報が関連付けられる。なお、上述のように、学習データ４６には、適正画像のみならず、不適正画像（すなわちＮＧ情報５０）が含められてもよい。

通知処理部５８は、判定処理部５６による判定結果を現場作業者に通知する。本実施形態では、通知処理部５８は、工事現場画像が適正画像であるか不適正画像であるかの判定結果を示す情報を当該工事現場画像の送信元である現場端末１４に送信する。工事現場画像が適正画像であると判定処理部５６が判定した場合、通知処理部５８による通知処理により、現場端末１４のディスプレイ２４には、例えば、「撮影した工事現場画像は学習データとして適正な画像です」などの文字が表示される。

一方、工事現場画像が不適正画像であると判定処理部５６が判定した場合、通知処理部５８は、当該判定処理の前から既にメモリ４２に記憶されていたＮＧ情報５０を現場端末１４に送信し、当該ＮＧ情報５０を現場端末１４のディスプレイ２４に表示させる。すなわち、通知処理部５８は、今回現場端末１４が取得した工事現場画像（これ自体不適正画像である）とは異なるＮＧ情報５０をディスプレイ２４に表示させる。具体的には、上述のようにＮＧ情報５０は工程毎に用意されているから、通知処理部５８は、現場端末１４から受信した選択工程情報が示す工程のＮＧ情報５０を特定し、特定したＮＧ情報５０を現場端末１４に送信し、当該ＮＧ情報５０をディスプレイ２４に表示させる。ＮＧ情報５０の表示画面は、図８に示す画面と同様であってよい。また、複数のＮＧ情報５０がディスプレイ２４に表示されてもよい。

現場端末１４のディスプレイ２４に上述のようなＮＧ情報５０が表示されることにより、現場作業者は、今自分が撮影した工事現場画像の他に、どのような画像が不適正画像であるのかを把握することができる。これにより、現場作業者は適正画像を取得するまで当該工程の工事現場画像の取得を試みるところ、繰り返し不適正画像を取得してしまうことが抑制される。

学習処理部６０は、学習データ４６を用いて学習器４４を学習させる。具体的には、学習データ４６に含まれる工事現場画像を学習器４４に入力し、学習器４４の出力である、当該工事現場画像に示された工事状況の良否の予測と、学習データ４６に含まれる教師データである、当該工事現場画像に示された工事状況の良否（実績）との差分に基づいて学習器４４を学習させる。当該上述のように、学習データ４６には、現場端末１４から送信されてくる工事現場画像のうち、学習器４４の学習データとして適正であると判定された適正画像が含められる。したがって、学習データ４６を用いて学習器４４を学習させることで、学習器４４を高効率に学習させることができる。

特に、本実施形態では、学習処理部６０は、ガイド情報４８に示された適正構図に適合する構図を有する適正画像を含む学習データ４６を用いて学習器４４を学習させる。これにより、構図が概ね統一された複数の工事現場画像が学習データ４６として用いられることになる。これにより、さらに、学習器４４を高効率に学習させることができる。

学習済みの学習器４４は、入力された工事現場画像に示された工事状況の良否を高精度に出力することができるようになる。本実施形態においては、上述のように、工事現場画像には、電子工事看板あるいはメタデータの形で、工事現場名、工事の工程、撮影日時、施工担当者名、及び、施工担当者名が所属する施工業者名が付与されている。したがって、学習器４４は、これらの属性毎に区別して工事状況の良否を判定することも可能である。例えば、管理者などは、学習器４４が施工担当者毎に区別して工事状況の良否を判定した結果に基づいて、各施工担当者の工事の精度（丁寧さ）を把握することができる。また、学習器４４が施工業者毎に区別して工事状況の良否を判定した結果に基づいて、各施工業者の工事の精度（丁寧さ）を把握することもできる。

さらに、学習器４４が工事現場画像に示された工事状況が優良であると判定したことをもって、工事の当該工程が完了したということができる。したがって、学習器４４の出力に基づいて、各工程の完了日時が示された実績工程表を作成することもできる。

以下、図１１に示すフローチャートに従って、工事現場画像取得システム１０における学習データ取得処理の流れを説明する。

ステップＳ１０において、現場作業者は現場端末１４にログインし、現場端末１４のプロセッサ３０は、ディスプレイ２４に工程選択画面（図４参照）を表示させる。現場作業者は工程選択画面において選択工程を選択する。

ステップＳ１２において、プロセッサ３０は、ディスプレイ２４に撮影画面（図５参照）を表示させる。現場作業者が撮影画面に含まれるガイドボタン８４を操作すると、通信インターフェース２０は、ガイドボタン操作信号、及び、ステップＳ１０で現場作業者が選択した選択工程を示す選択工程情報をサーバ１６に送信する。

ステップＳ１４において、サーバ１６の表示制御部５４は、ステップＳ１２で受信した選択工程情報に基づいて、メモリ４２から、当該選択工程情報が示す工程に対応するガイド情報４８を特定し、当該ガイド情報４８を現場端末１４に送信する。

ステップＳ１６において、現場端末１４のプロセッサ３０は、ステップＳ１４で受信したガイド情報４８（例えばガイド画像８８）をディスプレイ２４に表示させる（図６参照）。ここで、ガイド情報４８において要点が強調表示されてもよく（図７参照）、また、ガイド情報４８は適正画像の適正構図を示すものである。

ステップＳ１８において、現場作業者は戻るボタン９０を操作して撮影画面に戻り、ステップＳ１６で表示されたガイド情報４８を参考にしながら、工事現場における工事状況を示す工事対象物を撮影し、これによりカメラ２８が工事現場画像を取得する。通信インターフェース２０は、カメラ２８が取得した工事現場画像をサーバ１６に送信する。

ステップＳ２０において、サーバ１６の判定処理部５６は、ステップＳ１８で受信した工事現場画像が適正画像であるか不適正画像であるかの判定を行う。当該工事現場画像が不適正画像であると判定処理部５６が判定した場合、ステップＳ２２からステップＳ２４に進む。

ステップＳ２４において、通知処理部５８は、ステップＳ１８で受信した工事現場画像が不適正画像であることを現場端末１４に通知すると共に、メモリ４２に記憶された、当該工程に対応するＮＧ情報５０を現場端末１４に送信する。

一方、ステップＳ１８で受信した工事現場画像が適正画像であると判定処理部５６が判定した場合、ステップＳ２２からステップＳ２６に進む。

ステップＳ２６において、通知処理部５８は、ステップＳ１８で受信した工事現場画像が適正画像であることを現場端末１４に通知する。その後、ステップＳ２８において、プロセッサ５２は、当該工事現場画像を学習データ４６としてメモリ４２に記憶させる。この際、ステップＳ１２で受信した選択工程情報と、当該工事現場画像に示された工事状況の良否とが当該工事現場画像に関連付けられて学習データ４６として記憶される。

ステップＳ３０において、現場端末１４のプロセッサ３０は、サーバ１６から受信した通知内容を判定する。通知内容が、ステップＳ１８で送信した工事現場画像が不適正画像であることを示す場合、ステップＳ３２において、プロセッサ３０は、サーバ１６から受信したＮＧ情報５０をディスプレイ２４に表示させる。その後、現場作業者の操作に基づいて、ステップＳ１８に戻り、プロセッサ３０は再度撮影画面をディスプレイ２４に表示させ、現場作業者に再度工事現場画像を撮影させる。

一方、通知内容が、ステップＳ１８で送信した工事現場画像が適正画像であることを示す場合、プロセッサ３０は当該通知内容をディスプレイ３４に表示させる。

以上の処理により、１つの学習データの取得処理が終了する。上記処理を繰り返すことによって、学習データ群が取得される。

以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。

例えば、本実施形態では、表示制御部５４、判定処理部５６、及び通知処理部５８の機能はサーバ１６のプロセッサ５２が発揮していたが、これらの機能が現場端末１４のプロセッサ３０が発揮するようにしてもよい。その場合、ガイド情報４８及びＮＧ情報５０が現場端末１４のメモリ２６に記憶されていてもよい。

また、本実施形態では、複数の工程を有する工事を行う工事現場において、工程毎に取得される工事現場画像に示された工事状況の良否を判定する学習器４４を学習させるための学習データ４６の取得方法について説明したが、本発明は、単一の工程しか有さない工事を行う工事現場において取得される工事現場画像に示された工事状況の良否を判定する学習器４４を学習させるための学習データ４６を取得する際にも好適に適用し得る。

１０ 工事現場画像取得システム、１２ 管理端末、１４ 現場端末、１６ サーバ、１８ 通信回線、２０，４０ 通信インターフェース、２２ 入力インターフェース、２４ ディスプレイ、２６，４２ メモリ、２８ カメラ、４４ 学習器、４６ 学習データ、４８ ガイド情報、５０ ＮＧ情報、５２ プロセッサ、５４ 表示制御部、５６ 判定処理部、５８ 通知処理部、６０ 学習処理部。

Claims (10)

1. 工事現場における工事状況を撮影して工事現場画像を取得するカメラの表示部に、現場作業者が工事現場画像を撮影するに先立って、工事現場画像に示された工事状況の良否を判定する学習器を学習させる際の学習データとして適正な工事現場画像である適正画像を示すガイド情報を表示させる表示制御部と、
   前記カメラが取得した工事現場画像を前記学習器の学習データとして記憶する学習データ記憶部と、
   を備えることを特徴とする工事現場画像取得システム。
2. 前記カメラは、工事の工程毎に工事現場画像を取得し、
   前記表示制御部は、選択された工程である選択工程の工事状況の良否を判定する前記学習器を学習させる際の前記適正画像を示す前記ガイド情報を表示させ、
   前記学習データ記憶部は、前記選択工程と前記カメラが取得した工事現場画像とを関連付けて前記学習器の学習データとして記憶する、
   ことを特徴とする請求項１に記載の工事現場画像取得システム。
3. 前記ガイド情報において、前記適正画像となるための要点が強調表示される、
   ことを特徴とする請求項１又は２に記載の工事現場画像取得システム。
4. 前記ガイド情報は、前記適正画像の構図である適正構図を示す、
   ことを特徴とする請求項１から３のいずれか１項に記載の工事現場画像取得システム。
5. 前記表示制御部は、前記学習器を学習させる際の学習データとして不適正な工事現場画像を示すＮＧ情報を前記カメラの表示部に表示させる、
   ことを特徴とする請求項１から４のいずれか１項に記載の工事現場画像取得システム。
6. 前記学習データを用いて、入力された工事現場画像が示す工事状況の良否を出力するように前記学習器を学習させる学習処理部であって、前記適正構図に適合する構図を有する前記適正画像を前記学習データとして用いて前記学習器を学習させる学習処理部をさらに備える、
   ことを特徴とする請求項４に記載の工事現場画像取得システム。
7. 前記カメラが取得した工事現場画像が前記適正画像であるか否かを判定する判定処理部であって、前記適正構図に適合する構図を有する前記工事現場画像を前記適正画像であると判定する判定処理部と、
   をさらに備え、
   前記学習処理部は、前記判定処理部が前記適正画像であると判定した工事現場画像を含む前記学習データを用いて前記学習器を学習させる、
   ことを特徴とする請求項６に記載の工事現場画像取得システム。
8. 前記判定処理部による判定結果を前記現場作業者に通知する通知処理部であって、前記カメラが取得した工事現場画像が、前記学習器を学習させる際の学習データとして不適正な不適正画像であると前記判定処理部が判定した場合、過去に前記判定処理部が判定した前記不適正画像を示すＮＧ情報を前記カメラの表示部に表示させる、
   ことを特徴とする請求項７に記載の工事現場画像取得システム。
9. 工事現場における工事状況を撮影して工事現場画像を取得するカメラの表示部に、現場作業者が工事現場画像を撮影するに先立って、工事現場画像に示された工事状況の良否を判定する学習器を学習させる際の学習データとして適正な工事現場画像である適正画像を示すガイド情報を表示させる表示制御部と、
   前記カメラが取得した工事現場画像を前記学習器の学習データとして記憶する学習データ記憶部と、
   を備えることを特徴とする工事現場画像取得装置。
10. コンピュータを、
    工事現場における工事状況を撮影して工事現場画像を取得するカメラの表示部に、現場作業者が工事現場画像を撮影するに先立って、工事現場画像に示された工事状況の良否を判定する学習器を学習させる際の学習データとして適正な工事現場画像である適正画像を示すガイド情報を表示させる表示制御部と、
    前記カメラが取得した工事現場画像を前記学習器の学習データとして記憶する学習データ記憶部と、
    として機能させることを特徴とする工事現場画像取得プログラム。
    

Images