JP7856957B2 - 進捗管理システム、及び、進捗管理方法 - Google Patents

Description

本発明は、建設物の建設作業の進捗を管理する進捗管理システム、及び、進捗管理方法に関する。本発明は、より詳しくは、建設物の施工現場において、汎用的な監視カメラ等によって撮影される監視画像から、施工の進捗度をリアルタイムで正確に把握することができる、進捗管理システム、及び、進捗管理方法に関する。

従来の建設物の設計における３次元モデルは、まず２次元の設計図面を作成してから、当該２次元の設計図面に基づいて３次元モデルを立ち上げるやり方で作成されていた。これに対して、「ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）」は、最初から３次元で設計図を作成し、３次元の形状及び位置情報（色や形大きさ、及び３次元空間内での位置等）と、いかなる建築部材であるのかという属性情報（壁なのか、柱なのか、等）を（以下、これらをまとめて「ＢＩＭ情報」とも言う）当該３次元モデルに持たせる手法である。又、「ＢＩＭ」においては、上記の３次元モデルに、更に、時間軸情報を追加した４次元モデルとすることによって、建設段階毎における「ＢＩＭ情報」を出力することもできる。このような「ＢＩＭ」によれば、これを設計のプレゼンテーションにおいて３Ｄ－ＣＧ画像として使用することもできるし、施工の段階において壁の内部の見えない配管や、次工程で設置すべき部材の画像を出力することもできる（公益財団法人日本建設情報センターＨＰ（https://www.jcitc.or.jp/bimcim/bim/）参照）。

ここで、建設物の施工現場では、予め計画されている作業日程に対する工事の進捗を管理するために、作業監督者等が日々の工事状況を、作業原簿に記載し、或いは、コンピュータ等の情報処理装置に入力する等して、工事の進捗状況を把握している。このような作業の進捗状況を管理するための設計データ管理装置として、例えば、スキャナを用いてレーザスキャンを行い作業箇所の三次元データを取得し、レーザスキャンが行われた時点における施工現場の三次元モデルと前日に更新された設計データに基づく三次元モデルとの差分を特定することによって、作業の進捗を視覚的に判別できる管理装置が提案されている（特許文献１参照）。

しかしながら、特許文献１に開示されている設計データ管理装置は、施工管理データを用いてその日に作業が予定されていた部分を判別することによってスキャン範囲を設定する作業を行うことが必須の手順とされている。又、レーザースキャナは走査対象の立体形状を把握することはできるが、走査対象のその他の物性や属性を認識できるものではないので、スキャン範囲の設定作業とレーザースキャナの設置作業は、スキャン処理の都度、作業員が行う必要がある。従って、進捗管理作業者の作業負担の低減の度合は限定的なものとなることが明らかである。

これに対して、「ＢＩＭ」を用いて建設物の施工現場における進捗管理を行う技術として、当日の進捗データと設計データの差分及び当日と前日の進捗データの差分を含む差分データを算出する差分データ算出手段と、算出した差分データに基づき、３Ｄモデル化されたデータを作成する３Ｄモデルデータ作成手段と、作成したデータを可視化して表示する映像表示手段とを備える施工管理システムも提案されている（特許文献２参照）。特許文献２に開示されている施工管理システムによれば、特許文献１に開示されている設計データ管理装置とは異なり、レーザースキャナの設置作業及びスキャン範囲の設定作業は不要であり、一般的な監視用のカメラ等で撮影可能な画像から「作業内容を判別することができる」とされている。

特許文献２には「作業内容を判別することにより、作業内容、作業状況、作業員の人数等の“進捗データ”を算出することができる。」とあり、又、「ディープラーニング技術を用いて、“作業内容”を判別」することができるという記載がある。しかしながら、予め計画されている作業日程に対する工事の進捗度（例えば、基礎工事の完了予定日の段階において必要な鉄筋の設置量に対してどれくらいの割合の鉄筋の設置が現時点で正しく完了しているのかという施工完了割合を示す客観的な数値。以下このような数値のことを「定量的施工進捗度」と称する）を、一般的な監視カメラ等によって撮影可能な画像から、リアルタイムで高い精度で自動的に把握することができる具体的な手段については何ら開示されてはいない。

建設現場における進捗管理作業において、一般的な監視用のカメラ等で撮影可能な画像を進捗管理に利用しようという試みについては、特許文献２に開示されている方法を含めて、様々な方法が試行されてはいる。しかしながら、現時点では、何れの試みについても、上述の「定量的施工進捗度」を、リアルタイムで高い精度で自動的に把握するまでには至っていない。汎用的な監視カメラによって構成することができて、尚且つ、自動的な進捗管理が高い精度で行えることによって、管理作業者の作業負担を従来よりも著しく軽減することができる新たな進捗管理手段の開発が求められていた。

特開２０１７－２０４２２２号公報 特開２０１９－１４８９４６号公報

本発明は、建設物の施工現場において、汎用的な監視カメラで撮影した画像からであっても「定量的施工進捗度」を、リアルタイムで、且つ、高い精度で自動的に、把握することができる技術的手段を提供することを目的とする。

本発明者は、監視画像内に３次元座標を設定して３次元監視画像とする座標設定部と、進捗管理の対象として予め設定する有限種類数の建築部材についての画像データを教師データとして入力してディープラーニングによって学習させた、学習済多層式ニューラルネットワークを備える建築部材認識部とを備えるシステム或いはそのようなシステムを用いて行う方法とした上で、近年、徐々に普及が進みつつあるＢＩＭデータを活用することによって、上記課題を解決し得ることに想到し、本発明を完成するに至った。本発明は、具体的に、以下の解決手段により、上述の課題を解決する。

（１） 建設現場用の進捗管理システムであって、撮影部と前記撮影部が生成した監視画像内に３次元座標を設定して３次元監視画像とする座標設定部と前記３次元監視画像内の個々の建築部材の３次元施工位置と施工量とを認識して３Ｄリアルタイム施工状態情報を生成する建築部材認識部と、進捗管理用のＢＩＭデータを記憶するＢＩＭデータ記憶部と、建築作業の進捗度を算出する進捗度算出部と、を備え、前記建築部材認識部は、多層式ニューラルネットワークを有する機械学習型の画像認識装置を備え、前記多層式ニューラルネットワークは、進捗管理の対象として予め設定する有限種類数の前記建築部材についての画像データを教師データとして入力してディープラーニングによって学習させた、学習済多層式ニューラルネットワークであって、前記ＢＩＭデータは、建設物の完成段階における前記建設物を構成する個々の前記建築部材の３次元施工位置と施工量とを示す情報である完成時施工状態情報を含んでなり、前記進捗度算出部は、前記建築部材認識部が生成した前記３Ｄリアルタイム施工状態情報と前記ＢＩＭデータに含まれる前記完成時施工状態情報とを比較して建築作業の進捗度を算出する、進捗管理システム。

（１）の進捗管理システムにおいては、汎用的な監視カメラで撮影した監視画像を座標設定部で３次元データ化して得ることができる３Ｄデータを、進捗管理の対象として予め設定する有限種類数の建築部材についての画像認識能力を極めて高い水準に向上させた学習済多層式ニューラルネットワークを搭載した画像認識手段で解析し、その結果をＢＩＭデータと突き合わせることとしている。これにより、従来、汎用的な監視カメラで撮影した監視画像からでは自動的な算出が困難であった、建設物の施工現場における「定量的施工進捗度」を、リアルタイムで、且つ、高い精度で、自動的に把握することができる。

（２） 前記３次元監視画像には撮影日時情報が含まれていて、前記建築部材認識部は、前記撮影日時情報を更に含んでなる３Ｄリアルタイム施工状態情報を生成し、前記ＢＩＭデータが、建設作業開始時から建設作業終了時までの作業時間の流れの中での任意の時点における前記建設物を構成する個々の前記建築部材の３次元施工位置と施工量の管理基準値を示す情報である４Ｄ施工状態情報を含んでなり、前記進捗度算出部は、前記３Ｄリアルタイム施工状態情報を、該３Ｄリアルタイム施工状態情報の有する前記撮影日時情報に係る日時に対応する前記４Ｄ施工状態情報と比較して進捗度を算出する、（１）に記載の進捗管理システム。

（２）の進捗管理システムによれば、施工作業が行われる全期間において、各時点毎に、その時点での当初施工計画に対する進捗割合（各時点における施工の遅れ、或いは、想定よりも早い進行）としての「定量的施工進捗度」を、リアルタイムで、且つ、高い精度で、自動的に把握することができる。

（３） 前記３Ｄリアルタイム施工状態情報における前記建築部材の３次元施工位置と前記完成時施工状態情報における当該前記建築部材の３次元施工位置とが一致しない場合には、施工の異常を通知する異常通知手段を備える、（１）又は（２）に記載の進捗管理システム。

（３）の進捗管理システムによれば、建築部材の設置位置の誤りによる施工異常をいち早く発見することができ、又、このように設置位置が正しくない建築部材を進捗度の算出処理から自動的に除外することによって、「定量的施工進捗度」の把握の精度をより確実に維持することができる。

（４） 進捗管理の対象として予め設定する前記建築部材の種類数が２０以下である、（１）又は（２）に記載の進捗管理システム。

（４）の進捗管理システムにおいては、建築現場等で認識する必要がある部材の種類が限定的であることに着目して、画像解析の対象を２０以下の必要最小限種類の建築部材に限定している。これにより、多層式ニューラルネットワークの学習を容易化して、画像認識能力の極めて高い水準への向上が従来よりも容易に行えるようになる。これにより、（１）又は（２）に記載の進捗管理システムにおいて、建築部材認識部よって「監視画像データ内の個々の建築部材の３次元施工位置と施工量とを認識して３Ｄリアルタイム施工状態情報を生成する」際の建築部材の誤検知を低減させて、より高い精度で、「定量的施工進捗度」を自動的に把握することができる。又、多層式ニューラルネットワークの学習コストを圧縮できるので、高性能のシステムをより廉価で提供することができる。

（５） 前記撮影部が、ドローン又は自動走行機能を備える巡回ロボットに、カメラを搭載した構成からなる、（１）又は（２）に記載の進捗管理システム。

（５）の進捗管理システムによれば、固定カメラ等では撮影が困難な高層建築物や、固定カメラでは必要な部分を効率よく撮影することが難しい内部構造が複雑な建築物おいても、本発明の進捗管理システムを実施して、上記各発明の効果を享受することができる。

（６） 建設現場用の進捗管理装置であって、建設現場の監視画像内に３次元座標を設定して３次元監視画像とする座標設定部と前記３次元監視画像内の個々の建築部材の３次元施工位置と施工量とを認識して３Ｄリアルタイム施工状態情報を生成する建築部材認識部と、進捗管理用のＢＩＭデータを記憶するＢＩＭデータ記憶部と、建築作業の進捗度を算出する進捗度算出部と、を備え、前記建築部材認識部は、多層式ニューラルネットワークを有する機械学習型の画像認識装置を備え、前記多層式ニューラルネットワークは、進捗管理の対象として予め設定する有限種類数の前記建築部材についての画像データを教師データとして入力してディープラーニングによって学習させた、学習済多層式ニューラルネットワークであって、前記ＢＩＭデータは、建設物の完成段階における前記建設物を構成する個々の前記建築部材の３次元施工位置と施工量とを示す情報である完成時施工状態情報を含んでなり、前記進捗度算出部は、前記建築部材認識部が生成した前記３Ｄリアルタイム施工状態情報と前記ＢＩＭデータに含まれる前記完成時施工状態情報とを比較して建築作業の進捗度を算出する、進捗管理装置。

（６）の進捗管理装置によれば、建設現場に既設されている監視カメラと通信可能に接続することによって、本発明の進捗管理システムと同等の機能を発揮させて、汎用的な監視カメラで撮影した画像から、「定量的施工進捗度」を、リアルタイムで、且つ、高い精度で自動的に、把握することができる。

（７） ＢＩＭデータを用いて行う、建設現場用の進捗管理方法であって、前記ＢＩＭデータは、建設物の完成段階における前記建設物を構成する個々の前記建築部材の３次元施工位置と施工量とを示す情報である完成時施工状態情報を含んでなり、撮影部が、進捗管理対象である前記建設物を撮影して監視画像を得る監視撮影ステップと、座標設定部が、前記監視画像から前記建設物に係る３次元監視画像を生成する座標設定ステップと、建築部材認識部が、前記３次元監視画像内の個々の建築部材の３次元施工位置と施工量とを認識して３Ｄリアルタイム施工状態情報を生成する、施工確認ステップと、進捗度算出部が、前記３Ｄリアルタイム施工状態情報と前記完成時施工状態情報とを比較して建築作業の進捗度を算出する、進捗確認ステップと、を含んでなり、前記建築部材認識部は、多層式ニューラルネットワークを有する機械学習型の画像認識装置を備え、前記多層式ニューラルネットワークは、進捗管理の対象として予め設定する有限種類数の前記建築部材についての画像データを教師データとして入力してディープラーニングによって学習させた、学習済多層式ニューラルネットワークである、進捗管理方法。

（７）の進捗管理方法においては、汎用的な監視カメラで撮影した監視画像を座標設定部で３次元データ化して得ることができる３Ｄデータを、進捗管理の対象として予め設定する有限種類数の建築部材についての画像認識能力を極めて高い水準に向上させた学習済多層式ニューラルネットワークを搭載した画像認識手段で解析し、その結果をＢＩＭデータと突き合わせることとしている。これにより、従来、汎用的な監視カメラで撮影した監視画像からでは自動的な算出が困難であった、建設物の施工現場における「定量的施工進捗度」を、リアルタイムで、且つ、高い精度で、自動的に把握することができる。

（８） 前記ＢＩＭデータが、建設作業開始時から建設作業終了時までの作業時間の流れの中での任意の時点における前記建設物を構成する個々の前記建築部材の３次元施工位置と施工量の管理基準値を示す情報である４Ｄ施工状態情報を含んでなり、前記監視撮影ステップにおいては、撮影日時情報が含まれている前記３次元監視画像を生成し、前記施工確認ステップにおいては、前記撮影日時情報を更に含んでなる前記３Ｄリアルタイム施工状態情報を生成し、前記進捗確認ステップにおいては、前記３Ｄリアルタイム施工状態情報を、当該前記３Ｄリアルタイム施工状態情報の有する前記撮影日時情報に係る日時に対応する前記４Ｄ施工状態情報と比較して進捗度を算出する、（７）に記載の進捗管理方法。

（８）の進捗管理方法によれば、施工作業が行われる全期間において、各時点毎に、その時点での当初施工計画に対する進捗割合（各時点における施工の遅れ、或いは、想定よりも早い進行）としての「定量的施工進捗度」を、リアルタイムで、且つ、高い精度で、自動的に把握することができる。

（９） 前記施工確認ステップにおいて生成された前記３Ｄリアルタイム施工状態情報における前記建築部材の３次元施工位置と前記完成時施工状態情報における当該前記建築部材の３次元施工位置とが一致しない場合には、前記進捗確認ステップを実行せずに、施工の異常を通知する異常通知ステップが行われる、（７）又は（８）に記載の進捗管理方法。

（９）の進捗管理方法によれば、建築部材の設置位置の誤りによる施工異常をいち早く発見することができ、又、このように設置位置が正しくない建築部材を進捗度の算出処理から自動的に除外することによって、「定量的施工進捗度」の把握の精度をより確実に維持することができる。

（１０） 進捗管理の対象として予め設定する前記建築部材の種類数が２０以下である、（７）又は（８）に記載の進捗管理方法。

（１０）の進捗管理方法においては、建築現場等で認識する必要がある部材の種類が限定的であることに着目して、画像解析の対象を２０以下の必要最小限種類の建築部材に限定している。これにより、多層式ニューラルネットワークの学習を容易化して、画像認識能力の極めて高い水準への向上が従来よりも容易に行えるようになる。これにより、（７）又は（８）に記載の進捗管理システムにおいて、建築部材認識部よって「監視画像データ内の個々の建築部材の３次元施工位置と施工量とを認識して３Ｄリアルタイム施工状態情報を生成する」際の建築部材の誤検知を低減させて、リアルタイムで定量的に、画像解析の誤認識を低減させて、より高い精度で、自動的に把握することができる。又、多層式ニューラルネットワークの学習コストを圧縮できるので、高性能のシステムをより廉価で提供することができる。

（１１） （７）又は（８）に記載の進捗管理方法において、前記監視撮影ステップ、前記座標設定ステップ、前記施工確認ステップ、及び、前記進捗確認ステップ、を実行させる、進捗管理システム用のプログラム。

（１１）のプログラムによれば、従来、汎用的な監視カメラで撮影した監視画像からでは自動的な算出が困難であった、建設物の施工現場における「定量的施工進捗度」を、リアルタイムで、且つ、高い精度で、自動的に把握することができる。

本発明によれば、建設物の施工現場において、汎用的な監視カメラで撮影した画像からであっても「定量的施工進捗度」を、リアルタイムで、且つ、高い精度で自動的に、把握することができる技術的手段を提供することができる。

本発明の進捗管理システムの構成を示すブロック図である。 本発明の進捗管理システムの実施形態の一例を模式的に示す図である。 本発明の進捗管理システムにおいて、建築部材認識部が認識する建築部材の具体例の説明に供する図面である。 本発明の進捗管理システムを用いて行うことができる本発明の進捗管理方法の流れを示すフロー図である。

＜進捗管理システム＞
以下、本発明を実施するための最良の形態について説明する。図１は、本発明の進捗管理システムの実施形態の一例である進捗管理システム１の構成を示すブロック図である。進捗管理システム１は、図１に示す各構成を備えることによって、建設物の施工現場において、汎用的な監視カメラで撮影した画像から、「定量的施工進捗度」を、リアルタイムで、且つ、高い精度で自動的に、把握することができるようにしたものである。

［全体構成］
進捗管理システム１は、撮影部１０と演算処理部２０とによって構成されている。そして、演算処理部２０は、少なくとも、座標設定部２１、建築部材認識部２２、ＢＩＭデータ記憶部２３、及び、進捗度算出部２４を含んで構成されている。以上の構成からなる進捗管理システム１は、一つの進捗管理システム（或いは、進捗管理装置）として一体化した構成とすることもできる。或いは、進捗管理システム１は、演算処理部２０の機能の一部のみを撮影部１０に搭載した他の構成とすることもできる。そのような他の構成の一例として、座標設定部２１を撮影部１０を構成するカメラに搭載した構成を挙げることができる。

ここで、進捗管理システム１は、上記の各部分、即ち、撮影部１０と演算処理部２０とを、相互に情報通信可能に接続した情報処理システムでもある（図２参照）。各部分間の接続は、専用の通信ケーブルを利用した有線接続、或いは、有線ＬＡＮによる接続とすることができる。又、有線接続に限らず、無線ＬＡＮや近距離無線通信、携帯電話回線等の各種無線通信を用いた接続によって進捗管理システム１を構成することもできる。

上記のように、各部分を相互に情報通信可能に接続して構成される進捗管理システム１において、少なくとも、撮影部１０は、進捗管理対象となる建設物の施工現場内に設置されるが、演算処理部２０については、必ずしも、当該現場内に設置することは必須ではない。演算処理部２０については、当該現場から物理的に離れた任意の場所にある他の施設内や、或いは、インターネット上（所謂クラウド上）に配置することもできる。そのような分散型の情報システムとしての実施形態も当然に本発明の進捗管理システムの技術的範囲に含まれる。

［撮影部］
撮影部１０は、建設物の施工現場において、進捗管理対象となる領域を構成する３次元空間を２次元画像として撮影する手順（監視撮影ステップＳ１０）を行う監視カメラによって構成される。監視カメラとしては、撮影した監視画像１１を、演算処理部２０で演算処理することができるようにデジタル形式の画像データに加工して、当該画像データを演算処理部２０に向けて出力する機能を有するものであれば、既存の各種のデジタルカメラを特に制限なく用いることができる。ただし、ＢＩＭデータの時間軸情報と突き合わせるための撮影日時情報を画像データに記録可能なものであることが好ましい。その他の撮影機能については、特段の限定なく、監視対象領域３次元空間を２次元の可視光画像として撮影する汎用的な単眼のカメラを用いることができるので、高価な３Ｄカメラや或いは赤外線カメラ等のレーザースキャナを導入することなく、本発明の効果を享受することができる。

図２は、撮影部１０を構成する監視カメラの取り付け態様の一例を模式的に示す図である。監視カメラは、監視対象領域として設定する建設現場内の所定の３次元空間を撮影可能な固定位置に設置した固定カメラでもよく、必要に応じて設置位置及び撮影領域を変動させることができるパン・チルド・ズーム機能付きの移動カメラであることがより好ましい。図２では、監視対象領域３次元空間の情報に２台のカメラが設置されている例を示したが、取り付け場所は、監視対象領域３次元空間の状況に応じて適宜変更すればよい。尚、この図２を含め、以下に示す各図面（図５のフロー図を除く）は、何れも模式図であり、各部の大きさ、形状等については、本発明の構成や動作の理解を容易にするために、必要に応じて適宜変更して示している。

又、撮影部１０は、上記の進捗管理対象である建設物を連続的に撮影することができる位置に設置されているカメラであれば、当該施設に設置されている既設の監視カメラを、進捗管理システム１の撮影部１０を構成する監視カメラとして用いることもできる。この場合、下記に詳細を説明する演算処理部２０からなる「進捗管理装置」を建設現場に設置して、建設現場に既設されている監視カメラと通信可能に接続することによっても、進捗管理システム１と同等の機能を発揮させて、汎用的な監視カメラで撮影した画像から、「定量的施工進捗度」を、リアルタイムで、且つ、高い精度で自動的に、把握することができる。

又、撮影部１０は、上記のような一般的な監視カメラに代えて、ドローンや自動走行機能を備える巡回ロボット等に搭載したカメラや、作業員が所持する通信及び撮影機能付きの携帯情報処理端末（スマートフォンやタブレット端末等）によって構成することも可能である。

［演算処理部］
演算処理部２０は、撮影部１０から送信された画像データを入力値として、監視対象領域内における進捗管理を自動的に実行するために必要な演算処理を行う。演算処理部２０は、少なくとも、座標設定部２１、建築部材認識部２２、ＢＩＭデータ記憶部２３、及び、進捗度算出部２４を含んで構成される。又、演算処理部２０は、進捗管理システム１の各部の動作を制御する用途に特化した専用の情報処理装置として構成することもできるが、例えば、汎用的な情報処理装置（パーソナルコンピュータを含む）を利用して構成することもできる。

上記何れの構成においても、演算処理部２０は、ＣＰＵ、メモリ、通信部等のハードウェアを備えている。そして、このような構成からなる演算処理部２０は、本発明に係るコンピュータプログラムである進捗管理システム用のプログラムを実行することにより、以下に説明する各種動作、及び、進捗管理方法を具体的に実行することができる。

（座標設定部）
座標設定部２１は、撮影部１０が撮影した監視対象領域の監視画像１１に、３次元座標を設定して「３次元監視画像」とする座標を設定する手順（座標設定ステップＳ２０）を行う。ここで設定される３次元座標は２次元画像である監視画像１１の背景画像の平面内における各点の位置を実際の監視対象領域を構成する３次元空間内での位置に対応させる３次元位置ベクトルの集合である。このような３次元位置情報が情報処理装置によって機械的に読み取り可能な状態で２次元画像である監視画像１１中に埋め込まれている画像或いは画像データを、本明細書においては、「３次元監視画像」と称する。

又、座標設定部２１が、監視画像１１に設定する３次元座標は、ＢＩＭデータ記憶部２３に記憶されているＢＩＭデータの有する各建築部材の設置位置を特定するための３次元座標と同一の座標、或いは、当該座標との間における個々の３次元位置ベクトルの対応が１対１で特定可能な座標とされている。座標を設定する手順（座標設定ステップＳ２０）の動作の詳細については後述する。

（建築部材認識部）
建築部材認識部２２は、座標設定部２１によって３次元座標が設定された「３次元監視画像」内の個々の建築部材の３次元施工位置と施工量とを画像認識処理によって認識し、当該認識に基づく「３Ｄリアルタイム施工状態情報」を生成する手順（施工確認ステップＳ３０）を行う。この手順を実行するために、建築部材認識部２２は、画像認識装置として、多層式ニューラルネットワークを有する機械学習型の画像認識装置を備える。

建築部材認識部２２における「３Ｄリアルタイム施工状態情報」を生成するための個々の建築部材の「３次元監視画像」からの抽出と種類の特定、即ち、画像認識処理は、従来公知の様々な手法の何れか、又は、それらを組合せて行うことができる。処理対象物の種類、即ち建築部材の種類の特定については、上述のニューラルネットワークを有する機械学習型の画像解析装置（所謂「ディープラーニング技術を用いた画像認識装置」）によって行う。

上記のような画像認識処理によって種類が特定された建築部材に係る画像データ（例えば、図３の監視画像１１）は、座標設定部２１によって設定された３次元位置ベクトル情報を有するものであるため、種類が特定された建築部材（例えば、図２の建築物３を構成する、型枠３１及び鉄筋３２）が、それぞれ実際の監視対象領域を構成する３次元空間内でのどの位置に在るのかということを各建築部材の属性と併せて検出することができる。建築部材認識部２２においては、このようにして、何処に何れの種類の建築部材がどの程度（何本、何枚等）設置されているのかを、自動的に定量的に検出して、建築部材の３次元施工位置と施工量に係るデータである「３Ｄリアルタイム施工状態情報」を生成することができる。

尚、それぞれの建築部材（例えば、型枠３１及び鉄筋３２）が、どの位置にどれだけの量で「在るべきか」ということについては、ＢＩＭデータに設計情報として記憶されているので、「在る位置」と「在るべき位置」の位置情報を突き合わせることにより、例えば、施工前の鉄筋であって、施工場所とは離れたところにある鉄筋を、施工済みの鉄筋の施工量に含めてカウントすることによる誤認識も防ぐことができる。

建築部材認識部２２が備える画像認識装置は、上述の通り、多層式ニューラルネットワークを有する機械学習型の画像認識装置である。そして、本願発明に係る画像認識装置が有する多層式ニューラルネットワークは、進捗管理の対象として予め設定する有限種類数の建築部材についての画像データを教師データとして入力してディープラーニングによって学習させた、学習済多層式ニューラルネットワークである。

「定量的施工進捗度」を算出するために予め設定する有限種類数の建築部材は、一例として、下記表１の通りである。例えば、表１に示す７種の建築部材を、進捗管理の対象として予め設定することによって、「３Ｄリアルタイム施工状態情報」を生成することが可能であり、それに基づいて「定量的施工進捗度」を算出することができる。管理対象とする建設物の種類や規模にもよるが、工事の進捗に一定以上の影響を及ぼす基本的な建設部材は何れも定形的である場合が多く、進捗管理の必要上、予め認識すべき対象として設定する必要がある建築部材の種類数は下記の７種くらいであるか、或いは、最大２０種類以下程度である場合が多く、進捗管理の対象として予め設定する建築部材の種類数を２０以下と想定してシステムを構成することによって、大部分の建設現場で用いることができる汎用的な進捗管理システムを構成することができる。

ここで、画像認識を行う上記の多層式ニューラルネットワークを有する機械学習型の画像認識装置の認識精度を十分に高めるためには、多層式ニューラルネットワークに、認識させたい対象物の大量の画像を、教師データとして入力してディープラーニングによって学習させる必要がある。単一種の物を認識する場合であっても種を構成する実際の物に形状やサイズのバリエーションが多数存在する場合は、それらの全てをカバーするような極めて多くの学習データを学習させなければ、認識精度は十分に向上しない。しかしながら、建設現場で用いられる建築部材は比較的定形的な部材が多く、又、その種類も上述の通り、せいぜい２０種以内程度に認識態様を絞り込むことが可能である。従って、進捗管理システム１においては、画像解析の対象を２０以下の必要最小限種類の建築部材に限定した構成を好ましい実施形態としている。これにより、多層式ニューラルネットワークの学習を容易化して、画像認識能力の極めて高い水準への向上が従来よりも容易に行えるようになる。又、これにより、多層式ニューラルネットワークの学習コストを圧縮できるので、高性能のシステムをより廉価で提供することができるからである。

（ＢＩＭデータ記憶部）
ＢＩＭデータ記憶部２３は、進捗管理用のＢＩＭデータを記憶して必要に応じて記憶されているデータ中から必要な情報を抽出することができる各種の情報処理装置によって構成される。

従来、建築物の設計は先ず２次元の設計図上で設計を行い、そこから３次元モデルを立ち上げる手法で行われていた。これに対して、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）とは、建設物について、３次元の「形状情報」と、その形状の物が「壁」なのか「建具」なのか、更にその壁はどのような構造であるのかという「属性情報」を持たせた３次元モデルを２次元の設計図を介さずに直接的に設計する手法である。又、「ＢＩＭ」は、上記の３次元モデルに更に時間軸情報を追加した４次元モデルとすることもできる。本発明において用いる「ＢＩＭデータ」は、少なくとも、建設物の完成段階における建設物を構成する個々の建築部材の実際の３次元空間内での正しい施工位置と正しい施工量とを示す情報である完成時施工状態情報を含んでなる設計データである。そして、本発明において用いる「ＢＩＭデータ」は、時間軸情報を追加した４次元モデル、詳しくは、建設作業開始時から建設作業終了時までの作業時間の流れの中での任意の時点における建設物を構成する個々の建築部材の３次元施工位置と施工量の管理基準値を示す情報である４Ｄ施工状態情報を含んでなるデータであることが好ましい。

「ＢＩＭデータ」が、上述したような時間軸情報を追加した４次元モデルであれば建築部材認識部２２によって、撮影日時情報を更に含んでなる３Ｄリアルタイム施工状態情報を生成することにより、完成段階を基準にした進捗度の把握のみならず、建設作業期間の各時点における施工の遅れや、或いは、想定以上の進捗を、例えば、「Ａ月Ａ日Ａ時における当初計画に対する工程Ａの作業進捗度は７０％にしか達していない」等といった、作業日毎における「定量的施工進捗度」を、リアルタイムで、且つ、高い精度で、自動的に把握することもできる。進捗度の算出方法の詳細については後述する。

（進捗度算出部）
進捗度算出部２４は、建築部材認識部２２が生成した３Ｄリアルタイム施工状態情報と、ＢＩＭデータ記憶部２３に記憶されている完成時施工状態情報とを比較して建築作業の進捗度を算出する手順（進捗確認ステップＳ４０）を行う。ここで算出される進捗度は、「定量的施工進捗度」である。「定量的施工進捗度」とは、予め計画されている作業日程に対する工事の進捗度（例えば、基礎工事の完了予定日の段階において必要な鉄筋の設置量に対してどれくらいの割合の鉄筋の設置が現時点で正しく完了しているのかという施工完了割合を示す客観的な数値。）を意味する。建築作業の進捗度を算出する手順（進捗確認ステップＳ４０）の動作の詳細については後述する。

（異常通知手段）
尚、演算処理部２０は、建築部材認識部２２が生成した３Ｄリアルタイム施工状態情報における建築部材の３次元施工位置と完成時施工状態情報における当該建築部材の３次元施工位置とが一致しない場合には、施工の異常を通知する異常通知手段（図示せず）を備えることがより好ましい。これにより、建築部材の設置位置の誤りによる施工異常をいち早く発見することができ、又、このように設置位置が正しくない建築部材を進捗度の算出処理から自動的に除外することによって、「定量的施工進捗度」の把握の精度をより確実に維持することができる。

［進捗管理方法（進捗管理システムの動作）］
本発明の建設現場用の進捗管理方法は、ＢＩＭデータを有効に活用して行われる進捗管理方法である。本発明の進捗管理方法に用いるＢＩＭデータは、建設物の完成段階における建設物を構成する個々の建築部材の３次元施工位置と施工量とを示す情報である完成時施工状態情報を含んでなるデータである。又、このＢＩＭデータは、より好ましくは、上述の通り、時間軸情報を追加した４次元モデル（４Ｄ施工状態情報）であることが好ましい。

図５は、進捗管理システム１を好適に用いて実行することができる本発明の進捗管理方法の流れを示すフロー図である。本発明の進捗管理方法は、建設物の施工現場において、汎用的な監視カメラで撮影した画像からであっても「定量的施工進捗度」を、リアルタイムで、且つ、高い精度で自動的に、把握することができる管理方法である。この進捗管理方法は、監視撮影ステップＳ１０、座標設定ステップＳ２０、施工確認ステップＳ３０、進捗確認ステップＳ４０が、順次行われるプロセスである。又、このプロセスは、図５に示すように、施工確認ステップＳ３０において生成された３Ｄリアルタイム施工状態情報における建築部材の３次元施工位置と完成時施工状態情報における当記建築部材の３次元施工位置とが一致しない場合には、進捗確認ステップＳ４０を実行せずに、施工の異常を通知する異常通知ステップＳ５０が行われるプロセスとすることがより好ましい。

（監視撮影ステップ）
監視撮影ステップＳ１０では、撮影部１０が、進捗管理対象である建設物を撮影して監視画像１１を得る監視撮影を行う。ここで、監視撮影は、静止画の撮影を所定間隔で連続して行い、撮影される画像の連続として後述する監視動作を行うが、撮影間隔を非常に短くすることにより、実質的には、動画撮影として、監視動作を行っているものと捉えることもできる。

監視撮影ステップＳ１０における監視撮影は、図２に例示するように必要数の各種の監視カメラを配置することによって行うことができるが、上述したように、作業員が所持する通信及び撮影機能付きの携帯情報処理端末（スマートフォンやタブレット端末等）によって行うこと、或いは、ドローンや自動走行機能を備える巡回ロボット等に搭載したカメラによって行うこともできる。

（座標設定ステップ）
座標設定ステップＳ２０では、座標設定部２１が、撮影部１０が、撮影した監視画像１１から建設物に係る３次元監視画像を生成する座標設定処理を行う。この「座標設定処理」とは、監視対象領域を構成する３次元空間内の２次元の監視画像の背景画像内に、当該背景画像の平面内における各点の位置を、実際の監視対象領域空間内での位置に対応させる３次元位置ベクトルの集合である３次元座標を設定する処理である。上記の「背景画像」とは、監視カメラ等によって進捗管理対象である建設物が含まれる監視対象領域を撮影した２次元画像であって、当該監視対象領域を構成する３次元空間の底面と常設物とから構成される画像である。

２次元の監視画像１１内に３次元位置ベクトルの集合である３次元座標を設定する「座標設定処理」は、具体的には、一例として、何れも本願発明の発明者による発明である「特許第６５８１２８０号」に開示されている方法、或いは、「特許第５８９９５０６号」に開示されている方法等によることができる。これらの方法によれば、設定された座標が、監視対象領域３次元空間内における実際の位置（実寸法、実距離）と関連付けられている状態となる。これは、当該座標上の各点が撮影部１０からの距離情報を含んでいるということでもある。そうすると、所定領域内の監視対象がどの点に位置しているかを把握することで、当該監視対象の大きさや立体形状に係る３次元情報を取得することが可能となる。

又、撮影部をドローン等の移動体にカメラを搭載する構成とする場合の座標設定については、例えば、特開２０１８－１５１６９６号広報に開示されている「ＣＶ値を付加した複数のＣＶ映像をその三次元座標に合わせて仮想空間に配置する」技術を用いることによって行うことができる。

（施工確認ステップ）
施工確認ステップＳ３０では、建築部材認識部２２が、座標設定ステップＳ２０で誠意性された３次元監視画像内の個々の建築部材の３次元施工位置と施工量とを認識して３Ｄリアルタイム施工状態情報を生成する施工確認処理を行う。

「個々の建築部材の３次元施工位置と施工量」の認識は、具体的には、従来公知の様々な手法の何れか、又は、それらを組合せて行うことができる。個々の建築部材の種類の特定については、多層式ニューラルネットワークを有する機械学習型の画像認識装置によってよって行う。建築部材認識部２２の備える画像認識装置の有する多層式ニューラルネットワークは、進捗管理の対象として予め設定する有限種類数の建築部材（例えば表１に示す７種の建築部材）の画像データを教師データとして入力してディープラーニングによって学習させた、学習済多層式ニューラルネットワークである。尚、ディープランニングを用いた画像認識技術については、例えば、下記に公開されている。
「ディープラーニングと画像認識、オペレーションズ・リサーチ」
（http://www.orsj.o.jp/archive2/or60-4/or60_4_198.pdf）

尚、施工確認ステップＳ３０において生成された３Ｄリアルタイム施工状態情報における建築部材の３次元施工位置と４Ｄ施工状態情報における当該建築部材の３次元施工位置とが一致しない場合には、次の手順である進捗確認ステップＳ４０を実行せずに、施工の異常を通知する異常通知ステップＳ５０が行われるようにプロセスのフローを構成することが好ましい。

（進捗確認ステップ）
進捗確認ステップＳ４０では、進捗度算出部２４が、個々の建築部材について、施工確認ステップＳ３０で生成された３Ｄリアルタイム施工状態情報と、ＢＩＭデータ記憶部２３に記憶されているＢＩＭデータ中の完成時施工状態情報とを比較して建築作業の進捗度を算出する。

３Ｄリアルタイム施工状態情報と、完成時施工状態情報の比較は、例えば、表２に示すような態様で行われる。この例では、先ず、基礎部分の工程について、施工確認ステップＳ３０で認識され、尚且つ、ＢＩＭデータに対して正しい位置に施工されていることが確認された鉄筋の施工量が７５本であることが「３Ｄリアルタイム施工状態情報」として生成されている。そして、この情報と、当該建築部材（鉄骨）に関する「完成時施工状態情報」の示す完成時の鉄鋼の施工量である１００本とを比較することによって、当該基礎部分の工程における鉄骨の設置作業の「定量的施工進捗度」が７５％であることが算出されている。

ＢＩＭデータを、建設作業開始時から建設作業終了時までの作業時間の流れの中での任意の時点における前記建設物を構成する個々の前記建築部材の３次元施工位置と施工量の管理基準値を示す情報である４Ｄ施工状態情報を含んでなるデータとしておけば、同様にして、３Ｄリアルタイム施工状態情報を、当該３Ｄリアルタイム施工状態情報の有する撮影日時情報に係る日時に対応する前記４Ｄ施工状態情報と比較して進捗度を算出することにより、施工作業が行われる全期間において、各時点毎に、その時点での当初施工計画に対する進捗割合（各時点における施工の遅れ、或いは、想定よりも早い進行）としての「定量的施工進捗度」を、リアルタイムで、且つ、高い精度で、自動的に把握することができる。

上記においては、施工状態を認識する対象の建築部材として「鉄骨」を例に挙げたが、表１に示す部材を含め他の様々な建築部材についても、同様にして、「定量的施工進捗度」を、リアルタイムで、且つ、高い精度で、自動的に把握することができる。そして、これらの各建築部材に係る「定量的施工進捗度」を必要に応じて統合したデータとすることにより、各施工日毎における総合的な施工進捗についての「定量的施工進捗度」を自在に算出することができる。

（異常通知ステップ）
異常通知ステップＳ５０では、認識された建築部材の設置位置が正しくない時に、施工の異常を通知する。この通知が出力された場合は、施工状態の修正を行い、修正後の施工か所について、監視撮影ステップＳ１０、座標設定ステップＳ２０、施工確認ステップＳ３０、進捗確認ステップＳ４０が、再度行われる。

１ 進捗管理システム
１０ 撮影部（カメラ）
１１ 監視画像
２０ 演算処理部
２１ 座標設定部
２２ 建築部材認識部
２３ ＢＩＭデータ記憶部
２４ 進捗度算出部
３ 建築物
３１ 型枠
３２ 鉄筋
Ｓ１０ 監視撮影ステップ
Ｓ２０ 座標設定ステップ
Ｓ３０ 施工確認ステップ
Ｓ４０ 進捗確認ステップ
Ｓ５０ 異常通知ステップ

Claims (11)

1. 建設現場用の進捗管理システムであって、
   撮影部と、
   前記撮影部が生成した監視画像内に３次元座標を設定して３次元監視画像とする座標設定部と、
   前記３次元監視画像内の個々の建築部材の３次元施工位置と施工量とを認識して３Ｄリアルタイム施工状態情報を生成する建築部材認識部と、
   進捗管理用のＢＩＭデータを記憶するＢＩＭデータ記憶部と、
   建築作業の進捗度を算出する進捗度算出部と、を備え、
   前記建築部材認識部は、多層式ニューラルネットワークを有する機械学習型の画像認識装置を備え、前記多層式ニューラルネットワークは、進捗管理の対象として予め設定する有限種類数の前記建築部材についての画像データを教師データとして入力してディープラーニングによって学習させた、学習済多層式ニューラルネットワークであって、
   前記ＢＩＭデータは、建設物の完成段階における前記建設物を構成する個々の前記建築部材の３次元施工位置と施工量とを示す情報である完成時施工状態情報を含んでなり、
   前記進捗度算出部は、前記建築部材認識部が生成した前記３Ｄリアルタイム施工状態情報と前記ＢＩＭデータに含まれる前記完成時施工状態情報とを比較して建築作業の進捗度を算出する、
   進捗管理システム。
2. 前記３次元監視画像には撮影日時情報が含まれていて、
   前記建築部材認識部は、前記撮影日時情報を更に含んでなる３Ｄリアルタイム施工状態情報を生成し、
   前記ＢＩＭデータが、建設作業開始時から建設作業終了時までの作業時間の流れの中での任意の時点における前記建設物を構成する個々の前記建築部材の３次元施工位置と施工量の管理基準値を示す情報である４Ｄ施工状態情報を含んでなり、
   前記進捗度算出部は、前記３Ｄリアルタイム施工状態情報を、該３Ｄリアルタイム施工状態情報の有する前記撮影日時情報に係る日時に対応する前記４Ｄ施工状態情報と比較して進捗度を算出する、
   請求項１に記載の進捗管理システム。
3. 前記３Ｄリアルタイム施工状態情報における前記建築部材の３次元施工位置と前記完成時施工状態情報における当該前記建築部材の３次元施工位置とが一致しない場合には、施工の異常を通知する異常通知手段を備える、
   請求項１又は２に記載の進捗管理システム。
4. 進捗管理の対象として予め設定する前記建築部材の種類数が２０以下である、
   請求項１又は２に記載の進捗管理システム。
5. 前記撮影部が、ドローン又は自動走行機能を備える巡回ロボットに、カメラを搭載した構成からなる、
   請求項１又は２に記載の進捗管理システム。
6. 建設現場用の進捗管理装置であって、
   建設現場の監視画像内に３次元座標を設定して３次元監視画像とする座標設定部と、
   前記３次元監視画像内の個々の建築部材の３次元施工位置と施工量とを認識して３Ｄリアルタイム施工状態情報を生成する建築部材認識部と、
   進捗管理用のＢＩＭデータを記憶するＢＩＭデータ記憶部と、
   建築作業の進捗度を算出する進捗度算出部と、を備え、
   前記建築部材認識部は、多層式ニューラルネットワークを有する機械学習型の画像認識装置を備え、前記多層式ニューラルネットワークは、進捗管理の対象として予め設定する有限種類数の前記建築部材についての画像データを教師データとして入力してディープラーニングによって学習させた、学習済多層式ニューラルネットワークであって、
   前記ＢＩＭデータは、建設物の完成段階における前記建設物を構成する個々の前記建築部材の３次元施工位置と施工量とを示す情報である完成時施工状態情報を含んでなり、
   前記進捗度算出部は、前記建築部材認識部が生成した前記３Ｄリアルタイム施工状態情報と前記ＢＩＭデータに含まれる前記完成時施工状態情報とを比較して建築作業の進捗度を算出する、
   進捗管理装置。
7. ＢＩＭデータを用いて行う、建設現場用の進捗管理方法であって、
   前記ＢＩＭデータは、建設物の完成段階における前記建設物を構成する個々の建築部材の３次元施工位置と施工量とを示す情報である完成時施工状態情報を含んでなり、
   撮影部が、進捗管理対象である前記建設物を撮影して監視画像を得る監視撮影ステップと、
   座標設定部が、前記監視画像から前記建設物に係る３次元監視画像を生成する座標設定ステップと、
   建築部材認識部が、前記３次元監視画像内の個々の建築部材の３次元施工位置と施工量とを認識して３Ｄリアルタイム施工状態情報を生成する、施工確認ステップと、
   進捗度算出部が、前記３Ｄリアルタイム施工状態情報と前記完成時施工状態情報とを比較して建築作業の進捗度を算出する、進捗確認ステップと、を含んでなり、
   前記建築部材認識部は、多層式ニューラルネットワークを有する機械学習型の画像認識装置を備え、前記多層式ニューラルネットワークは、進捗管理の対象として予め設定する有限種類数の前記建築部材についての画像データを教師データとして入力してディープラーニングによって学習させた、学習済多層式ニューラルネットワークである、
   進捗管理方法。
8. 前記ＢＩＭデータが、建設作業開始時から建設作業終了時までの作業時間の流れの中での任意の時点における前記建設物を構成する個々の前記建築部材の３次元施工位置と施工量の管理基準値を示す情報である４Ｄ施工状態情報を含んでなり、
   前記監視撮影ステップにおいては、撮影日時情報が含まれている前記３次元監視画像を生成し、
   前記施工確認ステップにおいては、前記撮影日時情報を更に含んでなる前記３Ｄリアルタイム施工状態情報を生成し、
   前記進捗確認ステップにおいては、前記３Ｄリアルタイム施工状態情報を、当該前記３Ｄリアルタイム施工状態情報の有する前記撮影日時情報に係る日時に対応する前記４Ｄ施工状態情報と比較して進捗度を算出する、
   請求項７に記載の進捗管理方法。
9. 前記施工確認ステップにおいて生成された前記３Ｄリアルタイム施工状態情報における前記建築部材の３次元施工位置と前記完成時施工状態情報における当該前記建築部材の３次元施工位置とが一致しない場合には、前記進捗確認ステップを実行せずに、施工の異常を通知する異常通知ステップが行われる、
   請求項７又は８に記載の進捗管理方法。
10. 進捗管理の対象として予め設定する前記建築部材の種類数が２０以下である、
    請求項７又は８に記載の進捗管理方法。
11. 請求項７又は８に記載の進捗管理方法において、前記監視撮影ステップ、前記座標設定ステップ、前記施工確認ステップ、及び、前記進捗確認ステップ、を実行させる、
    進捗管理システム用のプログラム。