JP7403108B2 - 建屋内構造物認識システム及び建屋内構造物認識方法 - Google Patents

Description

本発明は、建屋内構造物認識システム及び建屋内構造物認識方法に関し、特に、ニューラルネットワークによる深層学習を用いてビル等の建築物の建屋内に配置された構造物を認識する建屋内構造物認識システム、建屋内の構造物を認識するための機械学習モデルを生成する機械学習モデル生成装置、建屋内の構造物を認識するための機械学習済モデルを用いて、建屋内の構造物を認識する建屋内構造物認識装置、建屋内の構造物を認識するための機械学習済モデルを用いて認識された建屋内の構造物を管理する建屋内構造物管理システム、建屋内構造物認識方法及びプログラムに関するものである。

従来、建築途中のビル等の建築物について施工状況を確認する方法としては、２次元の施工図等を用いて、施工現場にて人間が計器等を用いて直接計測して確認するか、例えばＬｉＤＥＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）等の反射光を用いて距離を計測することが可能なリモートセンシング技術を用いて、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）のモデルと比較することが行われている。

しかしながら、ＬｉＤＥＲ等により計測を行う場合、経験をもとに現場の状況に応じて施工現場の複数個所を計測することが必要となり、計測者の熟練度により得られるデータの精度がことなるという問題があった。また、得られた点群データのレジストレーション（登録）を行う手間や、パイプ等の建屋内の構造物を手作業で特定し、位置やサイズを計測する手間がかかるという問題があった。また、取り込まれた点群データやそれを加工したデータの正確性の問題や、データの再利用がしにくいという問題があった。

データの正確性を重視して施工現場の全地点について計測を行うことは、情報量が膨大となるため現実的には採用し難い。計測者の熟練度が高い場合には、自身の経験をもとに必要な個所のみを計測することも可能であるが、熟練度によるばらつきや計測の効率化のため、計測の自動化が求められる。

建築途中の施工現場の施工状況と完成形との比較を行うために、施工現場に配設された構造物の領域の特定とその構造物が何であるかの認識を自動化することを考えた場合に、ニューラルネットワークによる深層学習による学習済モデルを用いることが期待される。

画像内の構造物の認識を自動化するための学習済モデルを作成するためには、学習用の入力データとして、必要十分な数の施工現場の画像が必要である。また、学習用の正解データとして、その画像に含まれる構造物に対するアノテーション、即ち、画像中のどの部分が何であるかという、画像内の構造物の認識を行った結果が必要である。しかしながら、入力データとして学習に用いることが可能な実際の施工現場の写真の画像を多数収集し、正解データとして用いるために膨大な数の構造物のアノテーションを行うことは困難である。

また、実際の施工現場の写真ではなく、施工現場の完成後の３次元モデルを実際の見た目に近くなるようにレンダリングしたレンダリング画像を用いて機械学習を行い、学習済モデルを作成することも考えられる。しかしながら、レンダリング画像は主に建築物の営業目的で作成されるものであり、制作コストが高く、学習用に必要十分な数の学習用画像としてレンダリング画像を用意することは困難である。また、レンダリング画像に含まれる構造物に対するアノテーションの作業も膨大となり、人手で行うには手間を要する。

そのため、学習用に必要十分な数の施工現場に関する学習用画像を用意することが可能であり、かつ、その学習用画像に含まれる構造物のアノテーションを自動化することが求められる。また、それにより作成された学習済モデルにより、精度の高い構造物の認識ができることが求められる。

非特許文献１では、既存の大型設備の３次元計測に基づいて３Ｄモデルを作成するアズビルトモデリングにおいて、点群データの量が膨大化する問題に関して、「大型設備のアズビルトモデリングに用いられる計測装置は，小型部品用の点群計測装置とは計測原理が異なることに注意を要する．小型部品の点群計測では，レーザ出力装置とCCDカメラを用いて三角測量を行うのが一般的であるが，この方法では対象物のサイズが大きくなるに従って装置も巨大化する．また，小型部品の計測では，計測される点群はせいぜい数百万点程度であることが多いが，大型設備の場合には，モデル化に大量の点群を必要とする．」ことが指摘されている。

例えば、特許文献１では、「既存図面から取得した建築物の既存部分の電子化データを３次元ＣＡＤデータに変換して、３次元レーザースキャナにより取得された点群データや該点群データから作成された３次元ポリゴンモデルを含む各種現場調査データと共に格納する既存部分調査手段と、前記３次元ポリゴンモデルに対して、予め部材ライブラリに格納された部材オブジェクトの中から選択された新たに施工される部材オブジェクトを配置する施工部材設計手段と、該施工部材設計手段により配置された前記部材オブジェクトに従って部材工場でプレカットされた部材に取り付けられた電子タグをＩＤリーダで読み取ることにより得られた前記部材オブジェクト固有のＩＤに対応する部材オブジェクトをその施工位置情報と共に前記施工部材設計手段により設計された３次元ＣＡＤモデルから検索して出力する部材施工位置出力手段と、して機能するＣＰＵと、該ＣＰＵの前記部材施工位置出力手段により出力された前記部材オブジェクトの施工位置情報に基づき、前記既存部分における前記部材の施工位置を指し示す自動位置指示装置と」を備えた建築生産システムが開示されている。

また、特許文献２では、「撮像装置を用いて実空間を撮像することにより生成される入力画像を取得する画像取得部と、前記入力画像に映る１つ以上の特徴点の位置に基づいて、前記実空間と前記撮像装置との間の相対的な位置及び姿勢を認識する認識部と、認識される前記相対的な位置及び姿勢を用いた拡張現実アプリケーションを提供するアプリケーション部と、前記認識部により実行される認識処理が安定化するように、前記特徴点の分布に従って、前記撮像装置を操作するユーザを誘導する誘導オブジェクトを前記入力画像に重畳する表示制御部と、を備える画像処理装置」が開示されている。

しかしながら、特許文献１及び２はいずれも、３次元空間あるいは３次元空間内の物体を把握するための技術を開示しているが、特にビルや工場等の大規模な設備における３次元の点群データ等のデータ量が膨大になるという問題について解決するものではなく、建築途中の施工現場の状況を迅速に把握するために画像内の構造物の認識を自動化することに適したものではなかった。

特開２０１３－１４９１１９号公報 特開２０１３－２２５２４５号公報 増田宏，「大規模環境のデジタル化技術とその問題点」，精密工学会大会学術講演会講演論文集（精密工学会大会シンポジウム資料集），２００７，秋季，ｐ．８１－８４，２００７年９月３日

そこで、本発明は、上記課題を解決し、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データからの画像等を教師データとして用いた学習済モデルにより、建屋内の構造物の認識を行う建屋内構造物認識システム及び建屋内構造物認識方法を提供するものである。

また、本発明は、建屋内の構造物を認識するための機械学習モデルを生成する機械学習モデル生成装置を提供する。

また、本発明は、建屋内の構造物を認識するための機械学習済モデルを用いて、建屋内の構造物を認識する建屋内構造物認識装置を提供する。

また、本発明は、建屋内の構造物を認識するための機械学習済モデルを用いて認識された建屋内の構造物を管理する建屋内構造物管理システムを提供する。

また、本発明は、建屋内構造物認識方法の各ステップをコンピュータに実行させるためのプログラムを提供する。

上記課題を解決するため、本発明では建屋内の構造物を認識するための機械学習モデルを生成する機械学習モデル生成装置であって、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから正解画像を生成する正解画像生成部と、ＢＩＭデータをレンダリングし、仮想観測画像を生成する仮想観測画像生成部と、正解画像生成部で生成された正解画像を正解データとし、仮想観測画像を観測データとして機械学習を行い、機械学習モデルを生成する機械学習モデル生成部とを備えることを特徴とする、機械学習モデル生成装置を提供する。

本発明のある態様による機械学習モデル生成装置は、機械学習モデルを生成する際に、入力データの一部として用いられる強化画像を生成する強化用画像生成部を更に備えることを特徴とする。

本発明のある態様による機械学習モデル生成装置において、正解画像は、構造物を示すマスク領域を有するマスク画像であり、強化画像は、正解画像の前記マスク領域の特徴線を抽出したスケルトン画像であることを特徴とする。特徴線とは、例えば、中心線やエッジ等である。

本発明のある態様による機械学習モデル生成装置において、仮想観測画像生成部で生成された仮想観測画像に対して現実の画像に近づけるための画像処理を行い、強調仮想観測画像を生成する仮想観測画像処理部を更に備えることを特徴とする。

本発明のある態様による機械学習モデル生成装置において、仮想観測画像処理部による画像処理は、光源の追加、照明光の追加、又は影の追加のうちの少なくとも１つ以上を含むことを特徴とする。

本発明のある態様による機械学習モデル生成装置において、仮想観測画像処理部は、強調仮想観測画像に対して構造物のテクスチャを追加し、テクスチャ追加画像を生成することを特徴とする。

本発明のある態様による機械学習モデル生成装置において、機械学習モデル生成部は、ニューラルネットワークによる深層学習により、機械学習モデルを生成することを特徴とする。

また、本発明では、建屋内の構造物を認識するための機械学習済モデルを用いて、建屋内の構造物を認識する建屋内構造物認識装置であって、機械学習済モデルに対し、入力データとして現実の建屋内の画像が入力されると、画像内の構造物の認識を行い、出力データとして画像内の構造物の領域を示す認識結果画像を出力する認識部を備え、機械学習済モデルは、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより生成されたものであることを特徴とする、建屋内構造物認識装置を提供する。

本発明のある態様による建屋内構造物認識装置において、認識部は、現実の建屋内の画像に加えて、更に構造物の領域を示す構造物選択画像を入力データとして画像内の構造物の認識を行うことを特徴とする。

本発明のある態様による建屋内構造物認識装置において、認識部は、現実の建屋内の画像内に含まれるテキストを除去し、テキスト除去後の画像を入力データとして画像内の構造物の認識を行うことを特徴とする。

本発明のある態様による建屋内構造物認識装置において、機械学習済モデルは、ニューラルネットワークによる深層学習により生成されたものである。

また、本発明では、機械学習モデルを用いて建屋内の構造物を認識するための建屋内構造物認識システムであって、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより、機械学習モデルを生成する機械学習モデル生成装置と、機械学習モデル生成装置で生成した機械学習モデルを用いて、建屋内の構造物を認識する建屋内構造物認識装置とを備えることを特徴とする、建屋内構造物認識システムを提供する。

また、本発明では、建屋内の構造物を認識するための機械学習済モデルを用いて認識された建屋内の構造物を管理する建屋内構造物管理システムであって、上記建屋内構造物認識装置において認識された構造物のデータ又は構造物の部材のデータを記憶するデータベースを備えることを特徴とする、建屋内構造物管理システムを提供する。

また、本発明では、機械学習モデルを用いて建屋内の構造物を認識するための建屋内構造物認識システムであって、本発明の上記のいずれかの態様による機械学習モデル生成装置と、本発明の上記のいずれかの態様による建屋内構造物認識装置とを備えることを特徴とする、建屋内構造物認識システムを提供する。

また、本発明では、建屋内構造物認識方法であって、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行い、機械学習モデルを生成するステップと、機械学習モデルを用いて、建屋内の構造物を認識するステップとを備えることを特徴とする、建屋内構造物認識方法を提供する。

また、本発明では、コンピュータに、上記建屋内構造物認識方法の各ステップを実行させることを特徴とするプログラムを提供する。

本発明において、「ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データ」とは、コンピュータ上に再現された建物の３次元モデルのデータをいう。

本発明において、「現実の画像」とは、現実の世界をカメラで撮影した写真等の画像をいう。

本発明によれば、建築現場で注目すべき部材に注目して形状や位置の計測が出来るようになり、精度、スピードを向上させることができるという効果を奏する。
また、建築現場で管理するべき部材の量を減らすことが出来、これに伴い、建築現場の部材管理システムがハンドルするデータ量を大幅に減らすことが出来る。
本発明の他の目的、特徴および利点は添付図面に関する以下の本発明の実施例の記載から明らかになるであろう。

図１は、本発明による建屋内構造物認識システムの全体を示す概略図である。 図２は、本発明の機械学習モデル生成装置の概要を示す図である。 図３は、本発明の第１の態様による機械学習モデル生成装置を示す図である。 図４は、本発明の第２の態様による機械学習モデル生成装置を示す図である。 図５は、本発明の第３の態様による機械学習モデル生成装置を示す図である。 図６Ａは、本発明による建屋内構造物認識装置の概要を示す概略図である。 図６Ｂは、本発明のある態様による建屋内構造物認識装置を示す概略図である。 図６Ｃは、本発明の他の態様による建屋内構造物認識装置を示す概略図である。 図７Ａは、本発明のある態様による検証部の処理を示す図である。 図７Ｂは、本発明の他の態様による検証部の処理を示す図である。 図８は、本発明の機械学習モデル生成装置の処理の流れの概要を示す図である。 図９は、本発明の第１の態様による機械学習モデル生成装置の処理の流れを示す図である。 図１０は、本発明の第２の態様による機械学習モデル生成装置の処理の流れを示す図である。 図１１は、本発明の第３の態様による機械学習モデル生成装置の処理の流れを示す図である。 図１２は、本発明のある態様による建屋内構造物認識装置の処理の流れを示す図である。 図１３は、本発明の他の態様による建屋内構造物認識装置の処理の流れを示す概略図である。 図１４は、本発明の建屋内構造物管理システムの概要を示す図である。

図１は、本発明による建屋内構造物認識システム１の全体を示す概略図である。
本発明による建屋内構造物認識システム１は、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより、機械学習モデルを生成する機械学習モデル生成装置１０と、機械学習モデル生成装置で生成した機械学習モデルを用いて、建屋内の構造物を認識する建屋内構造物認識装置２０とを備える。

建屋内構造物認識システム１は、機械学習モデルを用いて建屋内の構造物を認識するために用いられる。例えば、建築途中の施工現場において、作業の進捗を確認するために、施工現場をカメラで撮影し、撮影された画像内に含まれるパイプやダクト、柱、壁等の構造物を認識することができる。認識された構造物の位置や範囲等の状況を把握することにより、ユーザが建築作業が図面等に沿って予定通りに進んでいるかを確認できるようにすることができる。

建屋内構造物認識システム１は、撮像装置３０を含むようにしてもよいし、外部の撮像装置を用いるようにしてもよい。撮像装置３０は、任意のカメラであってよく、例えば、静止画用のカメラ、動画用のカメラ、携帯端末に搭載されたモバイル・カメラ、ＣＣＤカメラ等であってもよい。建屋内構造物認識装置２０で認識の対象となる入力画像は、認識の対象となる画像であり、例えば、建設途中の施工現場を撮影した現場写真等の現実の画像である。建屋内構造物認識システム１が撮像装置３０を含む場合には、撮像装置３０から取得した画像であってもよい。建屋内構造物認識システム１が撮像装置３０を含まない場合には、外部の撮像手段により撮像されて予めデータベース等に記憶されたものであってもよい。

建屋内構造物認識システム１は、ユーザ端末４０を含んだものであってもよいし、ユーザ端末を含まず、ユーザ端末４０と建屋内構造物認識システム１とが互いに独立しているようにしてもよい。建屋内構造物認識装置２０で認識された認識結果は、建屋内構造物認識装置２０からユーザ端末４０に送信されるようにしてもよい。また、建屋内構造物認識装置２０は、必要な場合には、ユーザ端末４０から認識処理又は検証処理に用いる追加の情報を受け付けるようにしてもよい。例えば、検証処理の際に用いるために、建屋内構造物認識装置２０は、ユーザ端末４０から認識対象の画像内の構造物の範囲を指定する情報を受け付けるようにしてもよい。

建屋内構造物認識装置２０は、機械学習モデル生成装置１０により生成された機械学習済モデルを用いて建屋内の構造物の認識を行うが、機械学習モデル生成装置１０により新たな機械学習済モデルが生成された場合には、建屋内構造物認識システム１は、建屋内構造物認識装置２０の機械学習済モデルを新たな機械学習済モデルに更新するようにしてもよい。

機械学習モデル生成装置１０が有する機能は、クラウド・サービス上に構築されるようにしてもよい。また、機械学習モデル生成装置１０と建屋内構造物認識装置２０は、物理的に離れた場所にある場合には、ネットワークを介して互いにデータ等のやり取りを行うようにしてもよい。

図２は、本発明の機械学習モデル生成装置１０の概要を示す図である。
機械学習モデル生成装置１０は、建屋内の構造物を認識するための機械学習モデルを生成する。機械学習モデル生成装置１０は、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから正解画像を生成する正解画像生成部１０１と、ＢＩＭデータをレンダリングし、仮想観測画像を生成する仮想観測画像生成部１０２と、正解画像生成部で生成された正解画像を正解データとし、仮想観測画像を観測データとして機械学習を行い、機械学習モデルを生成する機械学習モデル生成部１０３とを備える。

正解画像生成部１０１は、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから正解画像を生成する。正解画像は、機械学習モデル生成部１０３において機械学習モデルを生成する際に、正解データとして利用される。正解画像は、構造物を示すマスク領域を有するマスク画像であってよい。正解画像は、例えば、図２で示すように、ＢＩＭデータから生成された２値化画像であってよい。図２の例では、建屋内の構造物であるパイプの領域が白で表現され、その他の部分が黒で表現されている。正解画像は、図２の例に限られず、認識すべき構造物に応じて他の形式の画像としてもよい。

ここで、「ＢＩＭデータ」とは、コンピュータ上に再現された建物の３次元モデルのデータをいう。ＢＩＭデータは、一般に、建物の３次元の構造の情報を含む他、建材をパーツごとにオブジェクトとして捉え、パーツごとに、幅、奥行き、高さ、素材、組み立ての工程や組み立てにかかる時間等の図面以外の情報を含むことができる。ＢＩＭデータをレンダリングすることにより、その３次元空間の画像を得ることができる。レンダリングされた画像は、実際の現場の見た目を再現するように立体的に表現することもでき、一部を２次元の画像として切り出すこともできる。レンダリングされた画像に対しては、２値化、細線化、スケルトン化等の画像処理を施すことができる。図２の例では、ＢＩＭデータは、ＢＩＭデータを格納するためのデータベース１０６に格納されているが、ＢＩＭデータが格納されるデータベースは、機械学習モデル生成装置１０の外部に存在するようにしてもよい。

仮想観測画像生成部１０２は、ＢＩＭデータをレンダリングし、仮想観測画像を生成する。機械学習のために膨大な数の現場写真等の現実の画像を収集することは困難であるため、本発明では、このように既に存在するＢＩＭデータをレンダリングした仮想の観測画像を現実の画像に代えて機械学習のための観測データとして用いる。ＢＩＭデータをレンダリングすることにより生成された仮想観測画像は、例えば、図２に示すような現実の画像を再現したような見た目の画像となる。

機械学習モデル生成部１０３は、正解画像生成部で生成された正解画像を正解データとし、仮想観測画像を観測データとして機械学習を行い、機械学習モデルを生成する。このように、現場写真等の現実の画像に代えて、ＢＩＭデータから生成された正解画像及び仮想観測画像を用いることにより、機械学習のために膨大な数の現場写真等の現実の画像を収集する手間と困難性の問題が解消される。

機械学習モデル生成部１０３は、ニューラルネットワークによる深層学習により、機械学習モデルを生成する。ニューラルネットワークによる深層学習のためには、十分な数の教師データが必要となるが、本発明においては、膨大な数の現場写真等の現実の画像を収集して教師データとして用いる代わりに、ＢＩＭデータから生成された正解画像及び仮想観測画像を用いるため、教師データの収集の手間と困難性の問題を解決でき、ニューラルネットワークによる深層学習のために必要十分な数の教師データを得ることができる。

図３は、本発明の第１の態様による機械学習モデル生成装置１０を示す図である。
図３に示すように、本発明の第１の態様においては、機械学習モデル生成装置１０は、機械学習モデルを生成する際に、入力データの一部として用いられる強化画像を生成する強化用画像生成部１０４を更に備えるようにしてもよい。強化用画像生成部１０４以外の部分については、図２において説明したものと同一である。

強化用画像生成部１０４は、機械学習モデルを生成する際に、入力データの一部として用いられる強化画像を生成する。強化用画像生成部１０４は、正解画像生成部１０１で生成された正解画像から、例えば中心線等の特徴線を抽出し、強化画像を生成する。強化画像は、機械学習モデル生成部１０３において機械学習モデルを生成する際に、モデルの認識精度を高めるための強化用データとして利用される。

図３の例においても図２の例と同様に、正解画像は、構造物を示すマスク領域を有するマスク画像である。また、図３の例においても、認識対象の構造物であるパイプの領域が白で示され、その他の部分が黒で示されている。正解画像は、機械学習モデル生成部１０３において機械学習モデルを生成する際に、正解データとして利用される。

図３の例においては、強化画像は、正解画像のマスク領域の特徴線を抽出したスケルトン画像である。特徴線とは、例えば、中心線やエッジ等である。図３の例では、強化画像は、正解画像のマスク領域の中心線を抽出したスケルトン画像であるが、強化画像は、正解画像のマスク領域の中心線を抽出したものでなくてもよく、認識対象の構造物に応じて、中心線以外の他の特徴線（例えば、エッジ等）を抽出するようにしてもよい。例えば、構造物のエッジを特徴線として抽出した画像を強化画像としてもよい。

図４は、本発明の第２の態様による機械学習モデル生成装置を示す図である。
図４に示すように、本発明の第２の態様においては、機械学習モデル生成装置１０は、仮想観測画像生成部１０２で生成された仮想観測画像に対して現実の画像に近づけるための画像処理を行い、強調仮想観測画像を生成する仮想観測画像処理部１０５を更に備えるようにしてもよい。仮想観測画像処理部１０５以外の部分については、図３において説明したものと同一である。

仮想観測画像処理部１０５は、仮想観測画像生成部１０２で生成された仮想観測画像に対して見た目を現実の画像に近づけるための画像処理を行い、強調仮想観測画像を生成する。仮想観測画像処理部１０５は、データベース１０７に予め記憶されている現実の画像のデータを利用して、現実の画像に近づけるための画像処理を行うようにしてもよい。ここで、データベース１０７に記憶されている現実の画像は、仮想観測画像と同じ場所を撮影したものでなくてもよい。データベース１０７に記憶されている現実の画像はサンプルであり、例えば、仮想観測画像内のパイプの色味を現実のパイプの色味に近づけるために、データベース１０７に記憶されている別の場所を撮影した現実の画像のパイプの色味のデータを参考として利用することができる。即ち、仮想観測画像内の構造物と同じ構造物の色味等の情報が利用される。本発明においては、このようにして、仮想観測画像に対して画像処理が施された画像を「強調仮想観測画像」と呼ぶ。

仮想観測画像処理部１０５による前記画像処理は、スペクトル周波数のフィルタリング、光源の追加、照明光の追加、又は影の追加のうちの少なくとも１つ以上を含む。スペクトル周波数のフィルタリングを行うことにより、色合いを現実の画像に近づけることができる。また、光源の追加、照明光の追加、又は影の追加を行うことにより、光の当たり方を現実の画像に近づけることができる。前述の通り、仮想観測画像は、現実の画像に代えて機械学習のための観測データとして用いるものであるが、より現実の画像に近いものとなるように画像処理を施した強調仮想観測画像を観測データと用いることで、機械学習モデル生成部１０３において機械学習モデルを生成する際に、モデルの認識精度を更に高めることができる。

図５は、本発明の第３の態様による機械学習モデル生成装置を示す図である。
図５に示すように、本発明の第３の態様においては、仮想観測画像処理部１０５は、強調仮想観測画像に対して構造物のテクスチャを追加し、テクスチャ追加画像を生成するようにしてもよい。テクスチャの追加以外の部分については、図４において説明したものと同一である。

仮想観測画像処理部１０５は、データベース１０８に予め記憶されているテクスチャ画像のデータを利用して、強調仮想観測画像に対して、更に現実の画像に近づけるために、テクスチャの追加を行うようにしてもよい。本発明において「テクスチャ」とは、構造物の表面の模様や柄のことをいう。ここで、データベース１０８に記憶されているテクスチャ画像は、仮想観測画像や強調仮想観測画像と同じ場所を撮影したものでなくてもよい。データベース１０８に記憶されているテクスチャ画像はサンプルであり、例えば、仮想観測画像内のパイプのテクスチャを現実のパイプのテクスチャに近づけるために、データベース１０８に記憶されている別の場所を撮影した現実の画像のパイプのテクスチャのデータを参考として利用することができる。即ち、仮想観測画像内の構造物と同じ構造物のテクスチャの情報が利用される。

次に、図６Ａ～図６Ｃを用いて、本発明による建屋内構造物認識装置２０について説明する。図６Ａは、本発明による建屋内構造物認識装置２０の概要を示す概略図である。
建屋内構造物認識装置２０は、建屋内の構造物を認識するための機械学習済モデルを用いて、建屋内の構造物を認識する。建屋内構造物認識装置２０は、機械学習済モデルに対し、入力データとして現実の建屋内の画像が入力されると、画像内の構造物の認識を行い、出力データとして画像内の構造物の領域を示す認識結果画像を出力する認識部２０１を備える。

認識部２０１は、機械学習済モデルを有し、機械学習済モデルに対し、入力データとして現実の建屋内の画像が入力されると、画像内の構造物の認識を行い、出力データとして画像内の構造物の領域を示す認識結果画像を出力する。図６Ａの例では、入力データとして入力される現実の画像に、建屋内の構造物としてパイプが含まれている。図６Ａの例では、認識部２０１によりパイプが認識され、出力データとしての認識結果画像においては、パイプの部分に色又はマークが付けられている。即ち、認識結果画像において、色又はマークが付けられている部分は、パイプとして認識された部分であり、画像内のその部分について、パイプであるというアノテーションが付けられたことになる。図６Ａの例では、パイプについて説明したが、これに限られず、現実の画像に含まれるパイプ以外の構造物も同様に認識され得る。

機械学習済モデルは、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより生成されたものである。機械学習済モデルとして、先に図２～図５を用いて説明した本発明の任意の態様の機械学習モデル生成装置１０で生成された機械学習済モデルを用いることができる。

機械学習済モデルは、ニューラルネットワークによる深層学習により生成されたものである。

図６Ｂは、本発明のある態様による建屋内構造物認識装置を示す概略図である。
図６Ｂの態様においては、認識部２０１は、現実の建屋内の画像に加えて、更に構造物の領域を示す構造物選択画像を入力データとして画像内の構造物の認識を行う。それ以外の部分については、図６Ａで説明したものと同一である。

構造物選択画像は、構造物の領域を示した画像であり、図６Ｂの例では、構造物選択画像は、構造物であるパイプの領域が白で示され、その他の部分が黒で示されたマスク画像である。構造物選択画像は、図６Ｂのようなマスク画像でなくてもよく、認識すべき構造物に応じて、他の形式で構造物を示した画像であってもよい。また、構造物選択画像は、ユーザが構造物を選択したものであってもよく、構造物選択画像はユーザ端末４０から送信されたものであってもよい。現実の建屋内の画像に加えて、更に構造物の領域を示す構造物選択画像を入力データとして用いることにより、認識部２０１での認識の精度を高めることができる。特に、図３～図５を用いて説明した本発明の第１～第３の態様による機械学習モデル生成装置１０において生成された機械学習モデルにおいては、強化用データとして、強化画像を用いており、認識部２０１において、第１～第３の態様による機械学習モデルを用いて認識を行う際に、認識の精度を更に高めることができる。

図６Ｃは、本発明の他の態様による建屋内構造物認識装置を示す概略図である。
図６Ｃの例では、認識部２０１は、現実の建屋内の画像内に含まれるテキストを除去し、テキスト除去後の画像を入力データとして前記画像内の構造物の認識を行う。図６Ｃの例では、テキスト除去部２０２により、パイプに記載されたテキスト（文字）が除去され、テキスト除去後画像が入力データとして用いられている。また、テキスト除去後画像に加えて、図６Ｂで説明したものと同様の構造物選択画像も入力データとして用いてもよい。

図７Ａは、本発明のある態様による検証部２０３の処理を示す図である。
検証部２０３は、機械学習済モデルの検証を行う。検証部２０３は、認証結果画像とユーザ指定画像とを比較することにより、機械学習済モデルの検証を行う。図７Ａでは、例として、建設途中の建屋内に配置されたパイプの認識を行った結果としての認識結果画像と、建設途中の建屋内の同じ位置における現実の画像に対してユーザがパイプの領域を指定した画像であるユーザ指定画像とが比較されている。

図７Ｂは、本発明の他の態様による検証部２０３の処理を示す図である。
図７Ｂの例では、テキストを含むパイプに対して認識を行った結果としての認識結果画像と、建設途中の建屋内の同じ位置における現実の画像に対してユーザがパイプの領域を指定した画像であるユーザ指定画像とが比較されている。

次に、本発明による建屋内構造物認識方法について説明する。
本発明による建屋内構造物認識方法は、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行い、機械学習モデルを生成するステップ（具体的には図８～１１の機械学習モデルを生成するための各ステップ）と、機械学習モデルを用いて、建屋内の構造物を認識するステップ（具体的には図１２～１３の構造物を認識するための各ステップ）とを備える。

建屋内構造物認識方法の各ステップは、建屋内構造物認識システム１により実行することができる。また、建屋内構造物認識方法の機械学習モデルを生成するステップは、機械学習モデル生成装置１０により実行することができる。また、建屋内構造物認識方法の建屋内の構造物を認識するステップするステップは、建屋内構造物認識装置２０により実行することができる。以下で説明する各ステップについても、その処理内容に応じて、建屋内構造物認識システム１、機械学習モデル生成装置１０、建屋内構造物認識装置２０又は上記で説明した各部により実行することができる。

図８は、本発明の機械学習モデル生成装置１０の処理の流れの概要を示す図である。
まず、ステップＳ８０１にて、ＢＩＭデータから仮想観測画像及び正解画像が生成される。仮想観測画像は、ＢＩＭデータをレンダリングしたものであり、正解画像は、ＢＩＭデータを元に生成された構造物を示すマスク領域を有するマスク画像である。次に、ステップＳ８０１で生成された仮想観測画像を観測データとし、正解画像を正解データとして、機械学習モデルが生成される（ステップＳ８０２）。

図９は、本発明の第１の態様による機械学習モデル生成装置１０の処理の流れを示す図である。
本発明の第１の態様においては、図８のステップＳ８０１と同様に、まず、ステップＳ９０１にて、ＢＩＭデータから仮想観測画像及び正解画像が生成される。図８の場合と異なる点は、ＢＩＭデータから仮想観測画像及び正解画像を生成するステップＳ９０１において生成された正解画像に対して、特徴線の抽出を行うことにより、強化画像の生成を行うステップ（ステップＳ９０２）が追加される点である。第１の態様においては、ステップＳ９０１で生成された仮想観測画像を観測データとし、ステップＳ９０２で生成された強化画像を正解データとして、機械学習モデルが生成される（ステップＳ９０３）。

図１０は、本発明の第２の態様による機械学習モデル生成装置１０の処理の流れを示す図である。
本発明の第２の態様においては、図９のステップ９０１と同様に、まず、ステップＳ１００１にて、ＢＩＭデータから仮想観測画像及び正解画像が生成される。また、図９のステップＳ９０２と同様に、ＢＩＭデータから仮想観測画像及び正解画像を生成するステップＳ１００１において生成された正解画像に対して、特徴線の抽出を行うことにより、強化画像の生成を行う（ステップＳ１００２）。図９の場合と異なる点は、ステップＳ１００１にて生成された仮想観測画像に対して画像処理を行い、強調仮想観測画像を生成するステップ（ステップＳ１００３）が追加される点である。ステップＳ１００３では、仮想観測画像に対して、現実の画像の情報に基づいて、現実の画像に近づくような画像処理が行われる。例えば、画像処理として、スペクトル周波数のフィルタリング、光源の追加、照明光の追加、又は影の追加のうちの少なくとも１つ以上を行うようにしてもよい。第２の態様においては、ステップＳ１００３で生成された強調仮想観測画像を観測データとし、ステップＳ１００２で生成された強化画像を正解データとして、機械学習モデルが生成される（ステップＳ１００４）。

図１１は、本発明の第３の態様による機械学習モデル生成装置１０の処理の流れを示す図である。
本発明の第３の態様においては、図１０のステップＳ１００１と同様に、まず、ステップＳ１１０１にて、ＢＩＭデータから仮想観測画像及び正解画像が生成される。また、図１０のステップＳ１００２と同様に、ＢＩＭデータから仮想観測画像及び正解画像を生成するステップＳ１１０１において生成された正解画像に対して、特徴線の抽出を行うことにより、強化画像の生成を行う（ステップＳ１１０２）。また、図１０のステップＳ１００３と同様に、ステップＳ１１０１にて生成された仮想観測画像に対して画像処理を行い、強調仮想観測画像を生成する（ステップＳ１１０３）。図１０の場合と異なる点は、ステップＳ１１０３にて生成された強調仮想観測画像に対して、テクスチャ画像を追加するステップ（Ｓ１１０４）が追加される点である。第３の態様においては、ステップＳ１１０４で生成されたテクスチャ追加画像を観測データとし、ステップＳ１１０２で生成された強化画像を正解データとして、機械学習モデルが生成される（ステップＳ１１０５）。

図１２は、本発明のある態様による建屋内構造物認識装置２０の処理の流れを示す図である。
まず、ステップＳ１２０１にて、現場写真等の現実の画像から強化画像が生成される。次に、生成された強化画像に対して、ステップＳ１２０２にて、強化画像の調整を行う。強化画像の調整は、例えば、認識すべき構造物がパイプの場合、パイプの特徴線（例えば、中心線やエッジ等）の検出結果に対し、必要に応じて、長さや傾き等を再調整する処理である。次に、現実の画像、ステップＳ１２０１で生成された強化画像、及びステップＳ１２０２で調整された強化画像を入力データとして、機械学習済のモデルを用いて、建屋内の構造物を認識する構造物認識処理が行われる（ステップＳ１２０３）。ステップＳ１２０３で得られた構造物認識結果はそのまま出力データとしてもよいが、さらにステップＳ１２０４にて、構造物認識結果に対して、選択及び平均化を行うようにしてもよい。選択及び平均化は、例えば、認識すべき構造物がパイプの場合、パイプを画像化する際に、パイプを検出した位置を上下左右にシフトしてこれらの位置の平均を取って画像化する処理である。

図１３は、本発明の他の態様による建屋内構造物認識装置２０の処理の流れを示す概略図である。
図１３の例は、建屋内の構造物にテキストが記載されている場合の処理である。建屋内の構造物にテキストが記載されている場合には、構造物の認識処理に先立って、テキストの除去が行われる。まず、ステップＳ１３０１にて、現場写真等の現実の画像に対して、ＯＣＲによる文字認識が行われ、画像内のテキスト領域が検出される。次に、ステップＳ１３０１で検出されたテキスト領域に対応するピクセルの検出が行われる（ステップＳ１３０２）。次に、ステップＳ１３０２にて検出されたピクセルの除去及び画像復元が行われる（ステップＳ１３０３）。ここで、画像復元とは、例えば、除去されたピクセルをそのピクセルの周囲の色やテクスチャで埋めることによりテキストの裏に隠れた構造物の部分を再現することである。これにより、テキストが除去された画像が得られる。

また、図１２のステップＳ１２０１と同様に、現場写真等の現実の画像から強化画像が生成される（ステップＳ１３０４）。また、図１２のステップＳ１２０１と同様に、強化画像の調整を行う（ステップＳ１３０５）。次に、ステップＳ１３０３で得られたテキストが除去された画像、ステップＳ１３０４で生成された強化画像、及びステップＳ１３０５で調整された強化画像を入力データとして、機械学習済のモデルを用いて、建屋内の構造物を認識する構造物認識処理が行われる（ステップＳ１３０６）。ステップＳ１３０６で得られた構造物認識結果はそのまま出力データとしてもよいが、さらにステップＳ１３０７にて、構造物認識結果に対して、選択及び平均化を行うようにしてもよい。

また、本発明では、コンピュータに、本発明による建屋内構造物認識方法の各ステップを実行させるプログラムを提供する。プログラムはコンピュータ読み取り可能な記録媒体に記録されるようにしてもよい。また、プログラムはサーバー内に格納され、サーバー上で実行され、及び／又はネットワークを介してその機能を提供するようにしてもよい。

図１４は、本発明の建屋内構造物管理システム５０の概要を示す図である。
建屋内構造物管理システム５０は、建屋内の構造物を認識するための機械学習済モデルを用いて認識された建屋内の構造物を管理する。建屋内構造物管理システム５０は、建屋内構造物認識装置２０において認識された構造物のデータ又は構造物の部材のデータを記憶するデータベース５０１を備える。データベース５０１に記憶された構造物のデータ又は構造物の部材のデータは、ユーザ端末４０に送信されるようにしてもよい。建屋内構造物管理システム５０によれば、建屋内構造物認識装置２０で認識された建屋内の構造物のデータ又は構造物の部材のデータ等の注目すべき部材のデータや必要なデータのみを記憶し管理することにより、データ量の増加や管理のコストを低減し、これらの必要なデータのみを利用することにより、計測や処理の速度を向上させることができる。

以上の実施例で説明した本発明の機械学習モデル生成装置１０の各態様（第１～第３の態様等）と、本発明の建屋内構造物認識装置２０の各態様とは、任意に組み合わせて実施することができる。また、これらの任意に組み合わせた態様を含む建屋内構造物認識システム１を実施することができる。また、建屋内構造物管理システム５０は、これらの任意に組み合わせた態様と組み合わせて実施することができる。

以上により説明した本発明による建屋内構造物認識システム及び建屋内構造物認識方法によれば、建築現場で注目すべき部材に注目して形状や位置の計測が出来るようになり、精度、スピードを向上させることができる。また、建築現場で管理するべき部材の量を減らすことが出来、これに伴い、建築現場の部材管理システムがハンドルするデータ量を大幅に減らすことが出来る。
上記記載は実施例についてなされたが、本発明はそれに限らず、本発明の原理と添付の請求の範囲の範囲内で種々の変更および修正をすることができることは当業者に明らかである。

１ 建屋内構造物認識システム
１０ 機械学習モデル生成装置
２０ 建屋内構造物認識装置
３０ 撮像装置
４０ ユーザ端末
５０ 建屋内構造物管理システム
１０１ 正解画像生成部
１０２ 仮想観測画像生成部
１０３ 機械学習モデル生成部
１０４ 強化用画像生成部
１０５ 仮想観測画像処理部
２０１ 認識部
２０２ テキスト除去部
２０３ 検証部
５０１ データベース

Claims (14)

1. 建屋内の構造物を認識するための機械学習モデルを生成する機械学習モデル生成装置であって、
   ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから正解画像を生成する正解画像生成部と、
   前記ＢＩＭデータをレンダリングし、仮想観測画像を生成する仮想観測画像生成部と、
   前記正解画像生成部で生成された前記正解画像を正解データとし、前記仮想観測画像を観測データとして機械学習を行い、機械学習モデルを生成する機械学習モデル生成部と、
   前記機械学習モデルを生成する際に、入力データの一部として用いられる強化画像を生成する強化用画像生成部と、
   を備え、
   前記正解画像は、構造物を示すマスク領域を有するマスク画像であり、前記強化画像は、前記正解画像の前記マスク領域の特徴線を抽出したスケルトン画像であることを特徴とする、機械学習モデル生成装置。
2. 前記仮想観測画像生成部で生成された前記仮想観測画像に対して現実の画像に近づけるための画像処理を行い、強調仮想観測画像を生成する仮想観測画像処理部を更に備えることを特徴とする、請求項１に記載の機械学習モデル生成装置。
3. 前記仮想観測画像処理部による前記画像処理は、スペクトル周波数のフィルタリング、光源の追加、照明光の追加、又は影の追加のうちの少なくとも１つ以上を含むことを特徴とする、請求項２に記載の機械学習モデル生成装置。
4. 前記仮想観測画像処理部は、前記強調仮想観測画像に対して前記構造物のテクスチャを追加し、テクスチャ追加画像を生成することを特徴とする、請求項２又は３に記載の機械学習モデル生成装置。
5. 前記機械学習モデル生成部は、ニューラルネットワークによる深層学習により、前記機械学習モデルを生成することを特徴とする、請求項１～４のいずれか一項に記載の機械学習モデル生成装置。
6. 建屋内の構造物を認識するための機械学習済モデルを用いて、建屋内の構造物を認識する建屋内構造物認識装置であって、
   前記機械学習済モデルに対し、入力データとして現実の建屋内の画像が入力されると、画像内の構造物の認識を行い、出力データとして画像内の構造物の領域を示す認識結果画像を出力する認識部を備え、
   前記機械学習済モデルは、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、前記ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより生成されたものであり、
   前記機械学習済モデルを生成する際に、強化画像が入力データの一部として用いられ、前記正解画像は、構造物を示すマスク領域を有するマスク画像であり、前記強化画像は、前記正解画像の前記マスク領域の特徴線を抽出したスケルトン画像であることを特徴とする、建屋内構造物認識装置。
7. 前記認識部は、前記現実の建屋内の画像に加えて、更に構造物の領域を示す構造物選択画像を入力データとして前記画像内の構造物の認識を行うことを特徴とする、請求項６に記載の建屋内構造物認識装置。
8. 前記認識部は、前記現実の建屋内の画像内に含まれるテキストを除去し、テキスト除去後の画像を入力データとして前記画像内の構造物の認識を行うことを特徴とする、請求項６又は７に記載の建屋内構造物認識装置。
9. 前記機械学習済モデルは、ニューラルネットワークによる深層学習により生成されたものであることを特徴とする、請求項６～８のいずれか一項に記載の建屋内構造物認識装置。
10. 機械学習モデルを用いて建屋内の構造物を認識するための建屋内構造物認識システムであって、
    ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、前記ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより、機械学習モデルを生成する機械学習モデル生成装置と、
    前記機械学習モデル生成装置で生成した前記機械学習モデルを用いて、建屋内の構造物を認識する建屋内構造物認識装置と、
    を備え、
    前記機械学習モデルを生成する際に、強化画像が入力データの一部として用いられ、前記正解画像は、構造物を示すマスク領域を有するマスク画像であり、前記強化画像は、前記正解画像の前記マスク領域の特徴線を抽出したスケルトン画像であることを特徴とする、建屋内構造物認識システム。
11. 建屋内の構造物を認識するための機械学習済モデルを用いて認識された建屋内の構造物を管理する建屋内構造物管理システムであって、
    請求項６～９のいずれか一項に記載の前記建屋内構造物認識装置において認識された前記構造物のデータ又は前記構造物の部材のデータを記憶するデータベースを備えることを特徴とする、建屋内構造物管理システム。
12. 機械学習モデルを用いて建屋内の構造物を認識するための建屋内構造物認識システムであって、
    請求項１～５のいずれか一項に記載の機械学習モデル生成装置と、
    請求項６～９のいずれか一項に記載の建屋内構造物認識装置と、
    を備えることを特徴とする、建屋内構造物認識システム。
13. 建屋内構造物認識方法であって、
    ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、前記ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行い、機械学習モデルを生成するステップと、
    前記機械学習モデルを用いて、建屋内の構造物を認識するステップと、
    を備え、
    前記機械学習モデルを生成する際に、強化画像が入力データの一部として用いられ、前記正解画像は、構造物を示すマスク領域を有するマスク画像であり、前記強化画像は、前記正解画像の前記マスク領域の特徴線を抽出したスケルトン画像であることを特徴とする、建屋内構造物認識方法。
14. コンピュータに、請求項１３に記載の方法の各ステップを実行させることを特徴とするプログラム。