JP7344620B1 - 建屋内構造物認識システム及び建屋内構造物認識方法 - Google Patents

建屋内構造物認識システム及び建屋内構造物認識方法 Download PDF

Info

Publication number
JP7344620B1
JP7344620B1 JP2023533342A JP2023533342A JP7344620B1 JP 7344620 B1 JP7344620 B1 JP 7344620B1 JP 2023533342 A JP2023533342 A JP 2023533342A JP 2023533342 A JP2023533342 A JP 2023533342A JP 7344620 B1 JP7344620 B1 JP 7344620B1
Authority
JP
Japan
Prior art keywords
image
building
machine learning
machine
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023533342A
Other languages
English (en)
Other versions
JPWO2024018642A1 (ja
Inventor
徹 伊藤
康文 福間
ザイシン マオ
央 塚田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Application granted granted Critical
Publication of JP7344620B1 publication Critical patent/JP7344620B1/ja
Publication of JPWO2024018642A1 publication Critical patent/JPWO2024018642A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

機械学習モデルを用いて建屋内の構造物を認識するための建屋内構造物認識システムを提供する。本発明による建屋内構造物認識システムは、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、前記ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより、第１の機械学習済モデルを生成し、前記第１の機械学習済モデルに対して少なくとも再学習用画像を入力して再学習を行うことにより第２の機械学習済モデルを生成する機械学習モデル生成装置と、前記機械学習モデル生成装置で生成した前記第２の機械学習済モデルを用いて、建屋内の構造物を認識する建屋内構造物認識装置とを備える。

Description

本発明は、建屋内構造物認識システム及び建屋内構造物認識方法に関し、特に、ニューラルネットワークによる深層学習を用いてビル等の建築物の建屋内に配置された構造物を認識する建屋内構造物認識システム、建屋内の構造物を認識するための機械学習モデルを生成する機械学習モデル生成装置、建屋内の構造物を認識するための機械学習済モデルを用いて、建屋内の構造物を認識する建屋内構造物認識装置、建屋内の構造物を認識するための機械学習済モデルを用いて認識された建屋内の構造物を管理する建屋内構造物管理システム、建屋内構造物認識方法及びプログラムに関するものである。
従来、建築途中のビル等の建築物について施工状況を確認する方法としては、２次元の施工図等を用いて、施工現場にて人間が計器等を用いて直接計測して確認するか、例えばＬｉＤＥＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）等の反射光を用いて距離を計測することが可能なリモートセンシング技術を用いて、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）のモデルと比較することが行われている。
しかしながら、ＬｉＤＥＲ等により計測を行う場合、経験をもとに現場の状況に応じて施工現場の複数個所を計測することが必要となり、計測者の熟練度により得られるデータの精度がことなるという問題があった。また、得られた点群データのレジストレーション（登録）を行う手間や、パイプ等の建屋内の構造物を手作業で特定し、位置やサイズを計測する手間がかかるという問題があった。また、取り込まれた点群データやそれを加工したデータの正確性の問題や、データの再利用がしにくいという問題があった。
データの正確性を重視して施工現場の全地点について計測を行うことは、情報量が膨大となるため現実的には採用し難い。計測者の熟練度が高い場合には、自身の経験をもとに必要な個所のみを計測することも可能であるが、熟練度によるばらつきや計測の効率化のため、計測の自動化が求められる。
建築途中の施工現場の施工状況と完成形との比較を行うために、施工現場に配設された構造物の領域の特定とその構造物が何であるかの認識を自動化することを考えた場合に、ニューラルネットワークによる深層学習による学習済モデルを用いることが期待される。
画像内の構造物の認識を自動化するための学習済モデルを作成するためには、学習用の入力データとして、必要十分な数の施工現場の画像が必要である。また、学習用の正解データとして、その画像に含まれる構造物に対するアノテーション、即ち、画像中のどの部分が何であるかという、画像内の構造物の認識を行った結果が必要である。しかしながら、入力データとして学習に用いることが可能な実際の施工現場の写真の画像を多数収集し、正解データとして用いるために膨大な数の構造物のアノテーションを行うことは困難である。
また、実際の施工現場の写真ではなく、施工現場の完成後の３次元モデルを実際の見た目に近くなるようにレンダリングしたレンダリング画像を用いて機械学習を行い、学習済モデルを作成することも考えられる。しかしながら、レンダリング画像は主に建築物の営業目的で作成されるものであり、制作コストが高く、学習用に必要十分な数の学習用画像としてレンダリング画像を用意することは困難である。また、レンダリング画像に含まれる構造物に対するアノテーションの作業も膨大となり、人手で行うには手間を要する。
そのため、学習用に必要十分な数の施工現場に関する学習用画像を用意することが可能であり、かつ、その学習用画像に含まれる構造物のアノテーションを自動化することが求められる。また、それにより作成された学習済モデルにより、精度の高い構造物の認識ができることが求められる。
さらに、実際の施工現場においては、例えば金属製のパイプ等、構造物の表面における光の反射率が高いものも混在している。光の反射率が高い構造物をカメラで撮影すると光の当たり方により撮影した画像上で表面の白飛びが起き、構造物のエッジが不明瞭になる。白飛び等により画像上の構造物のエッジが不明瞭になると、構造物の認識精度に影響を与える。
そのため、例えば金属製のパイプ等の光の反射率が高い構造物についても高い精度で認識することが可能なシステムが求められる。また、実際の現場においては、その現場に特有の認識が難しい構造物が存在する等、様々な状況が考えられるため、その現場に合わせたモデルを使用することが望まれる。その際、現場に合わせたモデルを生成し直すための時間やコストを最小限にできることが望ましい。
非特許文献１では、既存の大型設備の３次元計測に基づいて３Ｄモデルを作成するアズビルトモデリングにおいて、点群データの量が膨大化する問題に関して、「大型設備のアズビルトモデリングに用いられる計測装置は，小型部品用の点群計測装置とは計測原理が異なることに注意を要する．小型部品の点群計測では，レーザ出力装置とCCDカメラを用いて三角測量を行うのが一般的であるが，この方法では対象物のサイズが大きくなるに従って装置も巨大化する．また，小型部品の計測では，計測される点群はせいぜい数百万点程度であることが多いが，大型設備の場合には，モデル化に大量の点群を必要とする．」ことが指摘されている。
例えば、特許文献１では、「既存図面から取得した建築物の既存部分の電子化データを３次元ＣＡＤデータに変換して、３次元レーザースキャナにより取得された点群データや該点群データから作成された３次元ポリゴンモデルを含む各種現場調査データと共に格納する既存部分調査手段と、前記３次元ポリゴンモデルに対して、予め部材ライブラリに格納された部材オブジェクトの中から選択された新たに施工される部材オブジェクトを配置する施工部材設計手段と、該施工部材設計手段により配置された前記部材オブジェクトに従って部材工場でプレカットされた部材に取り付けられた電子タグをＩＤリーダで読み取ることにより得られた前記部材オブジェクト固有のＩＤに対応する部材オブジェクトをその施工位置情報と共に前記施工部材設計手段により設計された３次元ＣＡＤモデルから検索して出力する部材施工位置出力手段と、して機能するＣＰＵと、該ＣＰＵの前記部材施工位置出力手段により出力された前記部材オブジェクトの施工位置情報に基づき、前記既存部分における前記部材の施工位置を指し示す自動位置指示装置と」を備えた建築生産システムが開示されている。
また、特許文献２では、「撮像装置を用いて実空間を撮像することにより生成される入力画像を取得する画像取得部と、前記入力画像に映る１つ以上の特徴点の位置に基づいて、前記実空間と前記撮像装置との間の相対的な位置及び姿勢を認識する認識部と、認識される前記相対的な位置及び姿勢を用いた拡張現実アプリケーションを提供するアプリケーション部と、前記認識部により実行される認識処理が安定化するように、前記特徴点の分布に従って、前記撮像装置を操作するユーザを誘導する誘導オブジェクトを前記入力画像に重畳する表示制御部と、を備える画像処理装置」が開示されている。
しかしながら、特許文献１及び２はいずれも、３次元空間あるいは３次元空間内の物体を把握するための技術を開示しているが、特にビルや工場等の大規模な設備における３次元の点群データ等のデータ量が膨大になるという問題について解決するものではなく、建築途中の施工現場の状況を迅速に把握するために画像内の構造物の認識を自動化することに適したものではなかった。
また、特許文献１及び２はいずれも、例えば金属製のパイプ等の光の反射率が高い構造物に対しても認識精度を高めるようにすることや、現場に合わせてモデルを生成し直すこと等を考慮するものではなかった。
特開２０１３－１４９１１９号公報 特開２０１３－２２５２４５号公報
増田宏，「大規模環境のデジタル化技術とその問題点」，精密工学会大会学術講演会講演論文集（精密工学会大会シンポジウム資料集），２００７，秋季，ｐ．８１－８４，２００７年９月３日
そこで、本発明は、上記課題を解決し、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データからの画像等を教師データとして用いた学習済モデルを再学習により強化することにより、建屋内の構造物の認識において、光の反射率が高い構造物に対しても高い精度で認識をすることが可能な建屋内構造物認識システム及び建屋内構造物認識方法を提供するものである。
また、本発明は、建屋内の構造物を認識するための機械学習モデルを生成する機械学習モデル生成装置を提供する。
また、本発明は、建屋内の構造物を認識するための機械学習済モデルを用いて、建屋内の構造物を認識する建屋内構造物認識装置を提供する。
また、本発明は、建屋内の構造物を認識するための機械学習済モデルを用いて認識された建屋内の構造物を管理する建屋内構造物管理システムを提供する。
また、本発明は、建屋内構造物認識方法の各ステップをコンピュータに実行させるためのプログラムを提供する。
上記課題を解決するため、本発明では建屋内の構造物を認識するための機械学習モデルを生成する機械学習モデル生成装置であって、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから正解画像を生成する正解画像生成部と、ＢＩＭデータをレンダリングし、仮想観測画像を生成する仮想観測画像生成部と、正解画像生成部で生成された正解画像を正解データとし、仮想観測画像を観測データとして機械学習を行い、第１の機械学習済モデルを生成する第１の機械学習モデル生成部と、再学習用画像を取得する再学習用画像取得部と、第１の機械学習モデル生成部で生成された第１の機械学習済モデルに対して、少なくとも再学習用画像取得部で取得した再学習用画像を入力し、第２の機械学習済モデルを生成する、第２の機械学習モデル生成部とを備えることを特徴とする、機械学習モデル生成装置を提供する。
本発明のある態様による機械学習モデル生成装置において、第２の機械学習モデル生成部は、第１の機械学習済モデルに対して、再学習用画像に加え、正解画像生成部で生成された正解画像及び仮想観測画像を入力し、第２の機械学習済モデルを生成することを特徴とする。
本発明のある態様による機械学習モデル生成装置において、再学習用画像は、カラー画像及び奥行き画像のうちの少なくとも１つ、並びに、カラー画像及び奥行き画像のうちの少なくとも１つに対応する正解画像であることを特徴とする。
本発明のある態様による機械学習モデル生成装置は、機械学習モデルを生成する際に、入力データの一部として用いられる強化画像を生成する強化用画像生成部を更に備えることを特徴とする。
本発明のある態様による機械学習モデル生成装置において、正解画像は、構造物を示すマスク領域を有するマスク画像であり、強化画像は、正解画像の前記マスク領域の特徴線を抽出したスケルトン画像であることを特徴とする。特徴線とは、例えば、中心線やエッジ等である。
本発明のある態様による機械学習モデル生成装置において、仮想観測画像生成部で生成された仮想観測画像に対して現実の画像に近づけるための画像処理を行い、強調仮想観測画像を生成する仮想観測画像処理部を更に備えることを特徴とする。
本発明のある態様による機械学習モデル生成装置において、仮想観測画像処理部による画像処理は、光源の追加、照明光の追加、又は影の追加のうちの少なくとも１つ以上を含むことを特徴とする。
本発明のある態様による機械学習モデル生成装置において、仮想観測画像処理部は、強調仮想観測画像に対して構造物のテクスチャを追加し、テクスチャ追加画像を生成することを特徴とする。
本発明のある態様による機械学習モデル生成装置において、第１の機械学習モデル生成部及び第２の機械学習モデル生成部は、ニューラルネットワークによる深層学習により、第１の機械学習済モデル及び第２の機械学習済モデルをそれぞれ生成することを特徴とする。
また、本発明では、建屋内の構造物を認識するための機械学習済モデルを用いて、建屋内の構造物を認識する建屋内構造物認識装置であって、第２機械学習済モデルに対し、入力データとしてカラー画像及び奥行き画像が入力されると、画像内の構造物の認識を行い、出力データとして画像内の構造物の領域を示す認識結果画像を出力する認識部と、認識結果画像に対して、信頼性画像を用いて補正処理を行う補正処理部とを備え、第２の機械学習済モデルは、第１の機械学習済モデルに対して、再学習用画像を入力して再学習をさせることにより生成したものであり、第１の機械学習済モデルは、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより生成されたものであることを特徴とする、建屋内構造物認識装置を提供する。
本発明のある態様による建屋内構造物認識装置において、再学習用画像は、カラー画像及び奥行き画像、並びに、前記カラー画像及び前記奥行き画像に対応する正解画像であることを特徴とする。
本発明のある態様による建屋内構造物認識装置において、認識部は、カラー画像及び奥行き画像に加えて、更に構造物の領域を示す構造物選択画像を入力データとして画像内の構造物の認識を行うことを特徴とする。
本発明のある態様による建屋内構造物認識装置において、認識部は、前記カラー画像内に含まれるテキストを除去し、テキスト除去後の画像を入力データとして画像内の構造物の認識を行うことを特徴とする。
本発明のある態様による建屋内構造物認識装置において、第１の機械学習済モデル及び第２の機械学習済モデルは、ニューラルネットワークによる深層学習により生成されたものである。
また、本発明では、機械学習モデルを用いて建屋内の構造物を認識するための建屋内構造物認識システムであって、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより、第１の機械学習済モデルを生成し、第１の機械学習済モデルに対して少なくとも再学習用画像を入力して再学習を行うことにより第２の機械学習済モデルを生成する機械学習モデル生成装置と、機械学習モデル生成装置で生成した第２の機械学習済モデルを用いて、建屋内の構造物を認識する建屋内構造物認識装置とを備えることを特徴とする、建屋内構造物認識システムを提供する。
本発明のある態様による建屋内構造物認識システムにおいて、再学習用画像は、カラー画像及び奥行き画像のうちの少なくとも１つ、並びに、カラー画像及び奥行き画像のうちの少なくとも１つに対応する正解画像であることを特徴とする。
また、本発明では、建屋内の構造物を認識するための機械学習済モデルを用いて認識された建屋内の構造物を管理する建屋内構造物管理システムであって、上記建屋内構造物認識装置において認識された構造物のデータ又は構造物の部材のデータを記憶するデータベースを備えることを特徴とする、建屋内構造物管理システムを提供する。
また、本発明では、機械学習モデルを用いて建屋内の構造物を認識するための建屋内構造物認識システムであって、本発明の上記のいずれかの態様による機械学習モデル生成装置と、本発明の上記のいずれかの態様による建屋内構造物認識装置とを備えることを特徴とする、建屋内構造物認識システムを提供する。
また、本発明では、建屋内構造物認識方法であって、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行い、第１の機械学習済モデルを生成するステップと、第１の機械学習済モデルに対して少なくとも再学習用画像を入力して再学習を行うことにより第２の機械学習済モデルを生成するステップと、第２の機械学習済モデルを用いて、建屋内の構造物を認識するステップとを備えることを特徴とする、建屋内構造物認識方法を提供する。
また、本発明では、コンピュータに、上記建屋内構造物認識方法の各ステップを実行させることを特徴とするプログラムを提供する。
本発明において、「ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データ」とは、コンピュータ上に再現された建物の３次元モデルのデータをいう。
本発明において、「現実の画像」とは、現実の世界をカメラで撮影した写真等の画像をいう。
本発明によれば、建築現場で注目すべき部材に注目して形状や位置の計測が出来るようになり、精度、スピードを向上させることができるという効果を奏する。
また、建築現場で管理するべき部材の量を減らすことが出来、これに伴い、建築現場の部材管理システムがハンドルするデータ量を大幅に減らすことが出来る。
本発明の他の目的、特徴および利点は添付図面に関する以下の本発明の実施例の記載から明らかになるであろう。
図１は、本発明による建屋内構造物認識システムの全体を示す概略図である。 図２は、本発明の機械学習モデル生成装置の概要を示す図である。 図３は、本発明の第１の態様による機械学習モデル生成装置の一部を示す図である。 図４は、本発明の第２の態様による機械学習モデル生成装置の一部を示す図である。 図５は、本発明の第３の態様による機械学習モデル生成装置の一部を示す図である。 図６Ａは、本発明による建屋内構造物認識装置の概要を示す概略図である。 図６Ｂは、本発明のある態様による建屋内構造物認識装置を示す概略図である。 図６Ｃは、本発明の他の態様による建屋内構造物認識装置を示す概略図である。 図７は、本発明のある態様による検証部の処理を示す図である。 図８は、本発明の機械学習モデル生成装置の処理の流れの概要を示す図である。 図９は、本発明の第１の態様による機械学習モデル生成装置の処理の流れを示す図である。 図１０は、本発明の第２の態様による機械学習モデル生成装置の処理の流れを示す図である。 図１１は、本発明の第３の態様による機械学習モデル生成装置の処理の流れを示す図である。 図１２は、本発明のある態様による建屋内構造物認識装置の処理の流れを示す図である。 図１３は、本発明の他の態様による建屋内構造物認識装置の処理の流れを示す概略図である。 図１４は、本発明の建屋内構造物管理システムの概要を示す図である。 図１５Ａは、本発明の他の実施例による建屋内構造物認識装置の概要を示す概略図である。 図１５Ｂは、本発明の他の実施例による建屋内構造物認識装置のある態様を示す概略図である。 図１５Ｃは、本発明の他の実施例による建屋内構造物認識装置の他の態様を示す概略図である。 図１６Ａは、本発明のさらに他の実施例による建屋内構造物認識装置の概要を示す概略図である。 図１６Ｂは、本発明のさらに他の実施例による建屋内構造物認識装置のある態様を示す概略図である。 図１６Ｃは、本発明のさらに他の実施例による建屋内構造物認識装置の他の態様を示す概略図である。
図１は、本発明による建屋内構造物認識システム１の全体を示す概略図である。
本発明による建屋内構造物認識システム１は、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより、第１の機械学習モデルを生成し、第１の機械学習済モデルに対して少なくとも再学習用画像を入力して再学習を行うことにより第２の機械学習済モデルを生成する機械学習モデル生成装置１０と、機械学習モデル生成装置で生成した第２の機械学習済モデルを用いて、建屋内の構造物を認識する建屋内構造物認識装置２０とを備える。
建屋内構造物認識システム１は、機械学習モデルを用いて建屋内の構造物を認識するために用いられる。例えば、建築途中の施工現場において、作業の進捗を確認するために、施工現場をカメラで撮影し、撮影された画像内に含まれるパイプやダクト、柱、壁等の構造物を認識することができる。認識された構造物の位置や範囲等の状況を把握することにより、ユーザが建築作業が図面等に沿って予定通りに進んでいるかを確認できるようにすることができる。
建屋内構造物認識システム１は、撮像装置３０を含むようにしてもよいし、外部の撮像装置を用いるようにしてもよい。撮像装置３０は、任意のカメラであってよく、例えば、静止画用のカメラ、動画用のカメラ、携帯端末に搭載されたモバイル・カメラ、ＣＣＤカメラ等であってもよい。建屋内構造物認識装置２０で認識の対象となる入力画像は、認識の対象となる画像であり、例えば、建設途中の施工現場を撮影した現場写真等の現実の画像である。建屋内構造物認識システム１が撮像装置３０を含む場合には、撮像装置３０から取得した画像であってもよい。建屋内構造物認識システム１が撮像装置３０を含まない場合には、外部の撮像手段により撮像されて予めデータベース等に記憶されたものであってもよい。
建屋内構造物認識システム１は、ユーザ端末４０を含んだものであってもよいし、ユーザ端末を含まず、ユーザ端末４０と建屋内構造物認識システム１とが互いに独立しているようにしてもよい。建屋内構造物認識装置２０で認識された認識結果は、建屋内構造物認識装置２０からユーザ端末４０に送信されるようにしてもよい。また、建屋内構造物認識装置２０は、必要な場合には、ユーザ端末４０から認識処理又は検証処理に用いる追加の情報を受け付けるようにしてもよい。例えば、検証処理の際に用いるために、建屋内構造物認識装置２０は、ユーザ端末４０から認識対象の画像内の構造物の範囲を指定する情報を受け付けるようにしてもよい。
建屋内構造物認識装置２０は、機械学習モデル生成装置１０により生成された機械学習済モデルを用いて建屋内の構造物の認識を行うが、機械学習モデル生成装置１０により新たな機械学習済モデルが生成された場合には、建屋内構造物認識システム１は、建屋内構造物認識装置２０の機械学習済モデルを新たな機械学習済モデルに更新するようにしてもよい。
機械学習モデル生成装置１０が有する機能は、クラウド・サービス上に構築されるようにしてもよい。また、機械学習モデル生成装置１０と建屋内構造物認識装置２０は、物理的に離れた場所にある場合には、ネットワークを介して互いにデータ等のやり取りを行うようにしてもよい。
図２は、本発明の機械学習モデル生成装置１０の概要を示す図である。
機械学習モデル生成装置１０は、建屋内の構造物を認識するための機械学習モデルを生成する。機械学習モデル生成装置１０は、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから正解画像を生成する正解画像生成部１０１と、ＢＩＭデータをレンダリングし、仮想観測画像を生成する仮想観測画像生成部１０２と、正解画像生成部で生成された正解画像を正解データとし、仮想観測画像を観測データとして機械学習を行い、第１の機械学習済モデルＭ１を生成する第１の機械学習モデル生成部１０３と、再学習用画像を取得する再学習用画像取得部１１０と、第１の機械学習モデル生成部１０３で生成された第１の機械学習済モデルＭ１に対して、少なくとも再学習用画像取得部１１０で取得した再学習用画像を入力し、第２の機械学習済モデルＭ２を生成する、第２の機械学習モデル生成部１１１とを備える。
正解画像生成部１０１は、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから正解画像を生成する。正解画像は、第１の機械学習モデル生成部１０３において第１の機械学習済モデルＭ１を生成する際に、正解データとして利用される。正解画像は、構造物を示すマスク領域を有するマスク画像であってよい。正解画像は、例えば、図２で示すように、ＢＩＭデータから生成された２値化画像であってよい。図２の例では、建屋内の構造物であるパイプの領域が白で表現され、その他の部分が黒で表現されている。正解画像は、図２の例に限られず、認識すべき構造物に応じて他の形式の画像としてもよい。
ここで、「ＢＩＭデータ」とは、コンピュータ上に再現された建物の３次元モデルのデータをいう。ＢＩＭデータは、一般に、建物の３次元の構造の情報を含む他、建材をパーツごとにオブジェクトとして捉え、パーツごとに、幅、奥行き、高さ、素材、組み立ての工程や組み立てにかかる時間等の図面以外の情報を含むことができる。ＢＩＭデータをレンダリングすることにより、その３次元空間の画像を得ることができる。レンダリングされた画像は、実際の現場の見た目を再現するように立体的に表現することもでき、一部を２次元の画像として切り出すこともできる。レンダリングされた画像に対しては、２値化、細線化、スケルトン化等の画像処理を施すことができる。図２の例では、ＢＩＭデータは、ＢＩＭデータを格納するためのデータベース１０６に格納されているが、ＢＩＭデータが格納されるデータベースは、機械学習モデル生成装置１０の外部に存在するようにしてもよい。
仮想観測画像生成部１０２は、ＢＩＭデータをレンダリングし、仮想観測画像を生成する。機械学習のために膨大な数の現場写真等の現実の画像を収集することは困難であるため、本発明では、このように既に存在するＢＩＭデータをレンダリングした仮想の観測画像を現実の画像に代えて機械学習のための観測データとして用いる。ＢＩＭデータをレンダリングすることにより生成された仮想観測画像は、例えば、図２に示すような現実の画像を再現したような見た目の画像となる。
第１の機械学習モデル生成部１０３は、正解画像生成部で生成された正解画像を正解データとし、仮想観測画像を観測データとして機械学習を行い、機械学習モデルを生成する。このように、現場写真等の現実の画像に代えて、ＢＩＭデータから生成された正解画像及び仮想観測画像を用いることにより、機械学習のために膨大な数の現場写真等の現実の画像を収集する手間と困難性の問題が解消される。
再学習用画像取得部１１０は、第１の機械学習済モデルＭ１に対して再学習を行うための再学習用画像を取得する。第１の機械学習済モデルＭ１に対して、再学習用画像を入力して再学習を行うことにより、第２の機械学習済モデルＭ２が生成される。
再学習用画像取得部１１０では、再学習用画像としてカラー画像及び奥行き画像のうちの少なくとも１つ、並びに、カラー画像及び奥行き画像のうちの少なくとも１つに対応する正解画像を取得する。カラー画像及び奥行き画像は、例えばＴｏＦカメラから取得したものである。カラー画像及び奥行き画像のうちの少なくとも１つに対応する正解画像は、カラー画像及び奥行き画像のうちの少なくとも１つから予め画像処理等により生成したものであってもよく、人手により予め構造物の部分にアノテーション又はマーク等を付けられたものであってもよい。図２の例では、これに限定されないが、例として、構造物であるパイプの部分に白色で印が付与され、黒色の背景部分を区別できるように処理された正解画像が用意されている。カラー画像と奥行き画像は一対一に対応しており、奥行き画像は対応するカラー画像の奥行情報を含む画像である。カラー画像に対応する奥行き画像は、例えばＴｏＦカメラ等でカラー画像が撮影されると同時に生成される。また、カラー画像とそのカラー画像に対応する正解画像、及び、奥行き画像とその奥行き画像に対応する正解画像の合計４つの画像が１つのセットとして紐づけられて予めデータベース（図示せず）等に格納されているようにしてもよい。この場合、再学習用画像取得部１１０は、データベースからカラー画像とそのカラー画像に対応する正解画像、及び、奥行き画像とその奥行き画像に対応する正解画像のセットを取得するようにしてもよい。また、再学習用画像取得部１１０は、ＴｏＦカメラから直接にカラー画像及び奥行き画像を取得するようにしてもよい。
第２の機械学習モデル生成部１１１は、第１の機械学習モデル生成部１０３で生成された第１の機械学習済モデルＭ１に対して、少なくとも再学習用画像取得部１１０で取得した再学習用画像を入力し、第２の機械学習済モデルＭ２を生成する。第１の機械学習モデル生成部１０３では、ＢＩＭデータから生成した正解画像及び仮想観測画像を用いているため、大量の正解画像及び仮想観測画像を用意することができ、大量のデータを用いた機械学習が可能である。第１の機械学習モデル生成部１０３でそのように生成された第１の機械学習済モデルＭ１を利用して、第２の機械学習済モデルＭ２を生成することにより、効率的に第１の機械学習済モデルＭ１の精度を高めた第２の機械学習済モデルＭ２を生成することができる。
第２の機械学習モデル生成部１１１において、第１の機械学習済モデルＭ１に対して再学習を行う方法として、第１の機械学習済モデルＭ１の各層のパラメータを更新する。この際、第１の機械学習済モデルＭ１の複数の層のうち一部の層のパラメータのみを更新するようにしてもよい。第２の機械学習モデル生成部１１１での再学習には、再学習用画像取得部１１０で取得した再学習用画像が用いられるが、第２の機械学習モデル生成部１１１での再学習に必要な再学習用画像のデータは、第１の機械学習モデル生成部１０３で第１の機械学習済モデルＭ１を生成する際に必要なデータよりも少なくて済む。そのため、大量の再学習用画像を用意できない場合にも有用である。また、再学習用画像取得部で使用する再学習用画像として再学習に適した質の高い画像を用意することも可能となる。また、再学習用画像として、実際の現場に即した画像を用いることにより、再学習により生成された第２の機械学習済モデルＭ２を実際の現場に合ったモデルに更新することができるという効果が得られる。例えば、現場に特有の構造物がある場合等にも対応することが可能となる。
第１の機械学習モデル生成部１０３は、ニューラルネットワークによる深層学習により、第１の機械学習済モデルを生成する。ニューラルネットワークによる深層学習のためには、十分な数の教師データが必要となるが、本発明においては、膨大な数の現場写真等の現実の画像を収集して教師データとして用いる代わりに、ＢＩＭデータから生成された正解画像及び仮想観測画像を用いるため、教師データの収集の手間と困難性の問題を解決でき、ニューラルネットワークによる深層学習のために必要十分な数の教師データを得ることができる。
第２の機械学習モデル生成部１１１も、ニューラルネットワークによる深層学習により、第２の機械学習済モデルを生成する。第１の機械学習モデル生成部１０３との違いは、第２の機械学習モデル生成部１１１は、第１の機械学習モデル生成部１０３で生成された第１の機械学習済モデルＭ１に対して再学習を行うことにより、第２の機械学習済モデルＭ２を生成することである。
図３は、本発明の第１の態様による機械学習モデル生成装置１０の一部を示す図である。
図３は、本発明の第１の態様による機械学習モデル生成装置１０のうち、第１の機械学習済モデルＭ１の生成に関する部分を示している。即ち、本発明の第１の態様による機械学習モデル生成装置１０は、図２のＢＩＭデータを格納するためのデータベース１０６、正解画像生成部１０１、仮想観測画像生成部１０２及び第１の機械学習モデル生成部１０３に関する部分を図３のような構成に置き換えたものである。本発明の第１の態様による機械学習モデル生成装置１０のうち、第２の機械学習済モデルＭ２の生成に関する部分は、図２のその他の部分、即ち、図２の再学習用画像取得部１１０及び第２の機械学習モデル生成部１１１に関する部分と同一である。図３に示すように、本発明の第１の態様においては、機械学習モデル生成装置１０は、第１の機械学習済モデルを生成する際に、入力データの一部として用いられる強化画像を生成する強化用画像生成部１０４を更に備えるようにしてもよい。強化用画像生成部１０４以外の部分については、図２において説明したものと同一である。
強化用画像生成部１０４は、機械学習モデルを生成する際に、入力データの一部として用いられる強化画像を生成する。強化用画像生成部１０４は、正解画像生成部１０１で生成された正解画像から、例えば中心線等の特徴線を抽出し、強化画像を生成する。強化画像は、第１の機械学習モデル生成部１０３において第１の機械学習済モデルＭ１を生成する際に、モデルの認識精度を高めるための強化用データとして利用される。
図３の例においても図２の例と同様に、正解画像は、構造物を示すマスク領域を有するマスク画像である。また、図３の例においても、認識対象の構造物であるパイプの領域が白で示され、その他の部分が黒で示されている。正解画像は、第１の機械学習モデル生成部１０３において第１の機械学習済モデルＭ１を生成する際に、正解データとして利用される。
図３の例においては、強化画像は、正解画像のマスク領域の特徴線を抽出したスケルトン画像である。特徴線とは、例えば、中心線やエッジ等である。図３の例では、強化画像は、正解画像のマスク領域の中心線を抽出したスケルトン画像であるが、強化画像は、正解画像のマスク領域の中心線を抽出したものでなくてもよく、認識対象の構造物に応じて、中心線以外の他の特徴線（例えば、エッジ等）を抽出するようにしてもよい。例えば、構造物のエッジを特徴線として抽出した画像を強化画像としてもよい。
図４は、本発明の第２の態様による機械学習モデル生成装置の一部を示す図である。
図４は、本発明の第２の態様による機械学習モデル生成装置１０のうち、第１の機械学習済モデルＭ１の生成に関する部分を示している。即ち、本発明の第２の態様による機械学習モデル生成装置１０は、図２のＢＩＭデータを格納するためのデータベース１０６、正解画像生成部１０１、仮想観測画像生成部１０２及び第１の機械学習モデル生成部１０３に関する部分を図４のような構成に置き換えたものである。本発明の第２の態様による機械学習モデル生成装置１０のうち、第２の機械学習済モデルＭ２の生成に関する部分は、図２のその他の部分、即ち、図２の再学習用画像取得部１１０及び第２の機械学習モデル生成部１１１に関する部分と同一である。図４に示すように、本発明の第２の態様においては、機械学習モデル生成装置１０は、仮想観測画像生成部１０２で生成された仮想観測画像に対して現実の画像に近づけるための画像処理を行い、強調仮想観測画像を生成する仮想観測画像処理部１０５を更に備えるようにしてもよい。仮想観測画像処理部１０５以外の部分については、図３において説明したものと同一である。
仮想観測画像処理部１０５は、仮想観測画像生成部１０２で生成された仮想観測画像に対して見た目を現実の画像に近づけるための画像処理を行い、強調仮想観測画像を生成する。仮想観測画像処理部１０５は、現実の画像を格納するためのデータベース１０７に予め記憶されている現実の画像のデータを利用して、現実の画像に近づけるための画像処理を行うようにしてもよい。ここで、データベース１０７に記憶されている現実の画像は、仮想観測画像と同じ場所を撮影したものでなくてもよい。データベース１０７に記憶されている現実の画像はサンプルであり、例えば、仮想観測画像内のパイプの色味を現実のパイプの色味に近づけるために、データベース１０７に記憶されている別の場所を撮影した現実の画像のパイプの色味のデータを参考として利用することができる。即ち、仮想観測画像内の構造物と同じ構造物の色味等の情報が利用される。本発明においては、このようにして、仮想観測画像に対して画像処理が施された画像を「強調仮想観測画像」と呼ぶ。
仮想観測画像処理部１０５による前記画像処理は、スペクトル周波数のフィルタリング、光源の追加、照明光の追加、又は影の追加のうちの少なくとも１つ以上を含む。スペクトル周波数のフィルタリングを行うことにより、色合いを現実の画像に近づけることができる。また、光源の追加、照明光の追加、又は影の追加を行うことにより、光の当たり方を現実の画像に近づけることができる。前述の通り、仮想観測画像は、現実の画像に代えて機械学習のための観測データとして用いるものであるが、より現実の画像に近いものとなるように画像処理を施した強調仮想観測画像を観測データと用いることで、第１の機械学習モデル生成部１０３において第１の機械学習済モデルＭ１を生成する際に、モデルの認識精度を更に高めることができる。
図５は、本発明の第３の態様による機械学習モデル生成装置の一部を示す図である。
図５は、本発明の第３の態様による機械学習モデル生成装置１０のうち、第１の機械学習済モデルＭ１の生成に関する部分を示している。即ち、本発明の第３の態様による機械学習モデル生成装置１０は、図２のＢＩＭデータを格納するためのデータベース１０６、正解画像生成部１０１、仮想観測画像生成部１０２及び第１の機械学習モデル生成部１０３に関する部分を図５のような構成に置き換えたものである。本発明の第３の態様による機械学習モデル生成装置１０のうち、第２の機械学習済モデルＭ２の生成に関する部分は、図２のその他の部分、即ち、図２の再学習用画像取得部１１０及び第２の機械学習モデル生成部１１１に関する部分と同一である。図５に示すように、本発明の第３の態様においては、仮想観測画像処理部１０５は、強調仮想観測画像に対して構造物のテクスチャを追加し、テクスチャ追加画像を生成するようにしてもよい。テクスチャの追加以外の部分については、図４において説明したものと同一である。
仮想観測画像処理部１０５は、テクスチャ画像を格納するためのデータベース１０８に予め記憶されているテクスチャ画像のデータを利用して、強調仮想観測画像に対して、更に現実の画像に近づけるために、テクスチャの追加を行うようにしてもよい。本発明において「テクスチャ」とは、構造物の表面の模様や柄のことをいう。ここで、データベース１０８に記憶されているテクスチャ画像は、仮想観測画像や強調仮想観測画像と同じ場所を撮影したものでなくてもよい。データベース１０８に記憶されているテクスチャ画像はサンプルであり、例えば、仮想観測画像内のパイプのテクスチャを現実のパイプのテクスチャに近づけるために、データベース１０８に記憶されている別の場所を撮影した現実の画像のパイプのテクスチャのデータを参考として利用することができる。即ち、仮想観測画像内の構造物と同じ構造物のテクスチャの情報が利用される。
次に、図６Ａ～図６Ｃを用いて、本発明による建屋内構造物認識装置２０について説明する。図６Ａは、本発明による建屋内構造物認識装置２０の概要を示す概略図である。
建屋内構造物認識装置２０は、建屋内の構造物を認識するための第２の機械学習済モデルＭ２を用いて、建屋内の構造物を認識する。建屋内構造物認識装置２０は、第２の機械学習済モデルＭ２に対し、入力データとして現実の建屋内の画像であるカラー画像及び奥行き画像が入力されると、画像内の構造物の認識を行い、出力データとして画像内の構造物の領域を示す認識結果画像を出力する認識部２０１と、認識結果画像に対して、信頼性画像を用いて補正処理を行う補正処理部２０５とを備える。
認識部２０１は、第２の機械学習済モデルＭ２を有し、第２の機械学習済モデルＭ２に対し、入力データとしてカラー画像及び奥行き画像が入力されると、画像内の構造物の認識を行い、出力データとして画像内の構造物の領域を示す認識結果画像を出力する。図６Ａの例では、入力データとして入力される現実の画像に、建屋内の構造物としてパイプが含まれている。図６Ａの例では、認識部２０１によりパイプが認識され、出力データとしての認識結果画像においては、パイプの部分に色又はマークが付けられている。即ち、認識結果画像において、色又はマークが付けられている部分は、パイプとして認識された部分であり、画像内のその部分について、パイプであるというアノテーションが付けられたことになる。図６Ａの例では、パイプについて説明したが、これに限られず、現実の画像に含まれるパイプ以外の構造物も同様に認識され得る。
第２の機械学習済モデルＭ２は、第１の機械学習済モデルに対して、再学習用画像を入力して再学習をさせることにより生成したものである。第１の機械学習済モデルＭ１は、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより生成されたものである。第１の機械学習済モデルＭ１及び第２の機械学習済モデルＭ２として、先に図２～図５を用いて説明した本発明の任意の態様の機械学習モデル生成装置１０で生成された第１の機械学習済モデルＭ１及び第２の機械学習済モデルＭ２を用いることができる。上述の通り、第２の機械学習済モデルＭ２を生成する際に用いられる再学習用画像は、カラー画像及び奥行き画像のうちの少なくとも１つ、並びに、カラー画像及び奥行き画像のうちの少なくとも１つに対応する正解画像である。ここで、第２の機械学習済モデルＭ２は、認識部２０１に入力される入力データと同じ組み合わせの再学習用画像を用いて生成されたものであることが好ましい。即ち、図６Ａの例では、入力データがカラー画像及び奥行き画像であるので、第２の機械学習済モデルＭ２を生成する際に用いられる再学習用画像は、カラー画像及び奥行き画像、並びに、カラー画像及び奥行き画像に対応する正解画像であることが好ましい。
第１の機械学習済モデルＭ１及び第２の機械学習済モデルＭ２は、ニューラルネットワークによる深層学習により生成されたものである。
補正処理部２０５は、認識部２０１から出力された認識結果画像に対して、信頼性画像を用いて補正処理を行う。信頼性画像は、ＴｏＦカメラ等にてカラー画像及び奥行き画像を取得する際に同時に取得することができる。カラー画像、奥行き画像及び信頼性画像は、同じ場面を同じアングル等の同じ条件で撮影したものである。信頼性画像は、奥行き画像が示す奥行き情報の信頼度を示すものである。補正処理部２０５は、認識部２０１から出力された認識結果画像の各ピクセルについてそのピクセルの信頼度に応じた重み付けを行って認識結果画像の補正を行い、補正結果画像を得る。
図６Ｂは、本発明のある態様による建屋内構造物認識装置を示す概略図である。
図６Ｂの態様においては、認識部２０１は、現実の建屋内の画像であるカラー画像及び奥行き画像に加えて、更に構造物の領域を示す構造物選択画像を入力データとして画像内の構造物の認識を行う。それ以外の部分については、図６Ａで説明したものと同一である。
構造物選択画像は、構造物の領域を示した画像であり、図６Ｂの例では、構造物選択画像は、構造物であるパイプの領域が白で示され、その他の部分が黒で示されたマスク画像である。構造物選択画像は、図６Ｂのようなマスク画像でなくてもよく、認識すべき構造物に応じて、他の形式で構造物を示した画像であってもよい。また、構造物選択画像は、ユーザが構造物を選択したものであってもよく、構造物選択画像はユーザ端末４０から送信されたものであってもよい。現実の建屋内の画像に加えて、更に構造物の領域を示す構造物選択画像を入力データとして用いることにより、認識部２０１での認識の精度を高めることができる。特に、図３～図５を用いて説明した本発明の第１～第３の態様による機械学習モデル生成装置１０において生成された機械学習モデルにおいては、強化用データとして、強化画像を用いており、認識部２０１において、第１～第３の態様による機械学習モデルを用いて認識を行う際に、認識の精度を更に高めることができる。
図６Ｃは、本発明の他の態様による建屋内構造物認識装置を示す概略図である。
図６Ｃの例では、認識部２０１は、現実の建屋内の画像内に含まれるテキストを除去し、テキスト除去後の画像を入力データとして前記画像内の構造物の認識を行う。図６Ｃの例では、テキスト除去部２０２により、パイプに記載されたテキスト（文字）が除去され、テキスト除去後画像が入力データとして用いられている。また、テキスト除去後画像に加えて、図６Ｂで説明したものと同様の構造物選択画像も入力データとして用いてもよい。
図７は、本発明のある態様による検証部２０３の処理を示す図である。
検証部２０３は、機械学習済モデルの検証を行う。検証部２０３は、認証結果画像とユーザ指定画像とを比較することにより、機械学習済モデルの検証を行う。図７では、例として、建設途中の建屋内に配置されたパイプの認識を行った結果としての認識結果画像と、建設途中の建屋内の同じ位置における現実の画像に対してユーザがパイプの領域を指定した画像であるユーザ指定画像とが比較されている。
次に、本発明による建屋内構造物認識方法について説明する。
本発明による建屋内構造物認識方法は、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行い、機械学習モデルを生成するステップ（具体的には図８～１１の機械学習モデルを生成するための各ステップ）と、機械学習モデルを用いて、建屋内の構造物を認識するステップ（具体的には図１２～１３の構造物を認識するための各ステップ）とを備える。
建屋内構造物認識方法の各ステップは、建屋内構造物認識システム１により実行することができる。また、建屋内構造物認識方法の機械学習モデルを生成するステップは、機械学習モデル生成装置１０により実行することができる。また、建屋内構造物認識方法の建屋内の構造物を認識するステップするステップは、建屋内構造物認識装置２０により実行することができる。以下で説明する各ステップについても、その処理内容に応じて、建屋内構造物認識システム１、機械学習モデル生成装置１０、建屋内構造物認識装置２０又は上記で説明した各部により実行することができる。
図８は、本発明の機械学習モデル生成装置１０の処理の流れの概要を示す図である。
まず、ステップＳ８０１にて、ＢＩＭデータから仮想観測画像及び正解画像が生成される。仮想観測画像は、ＢＩＭデータをレンダリングしたものであり、正解画像は、ＢＩＭデータを元に生成された構造物を示すマスク領域を有するマスク画像である。次に、ステップＳ８０１で生成された仮想観測画像を観測データとし、正解画像を正解データとして、第１の機械学習済モデルＭ１が生成される（ステップＳ８０２）。次に、生成された第２の機械学習済モデルＭ１に対して、カラー画像、奥行き画像及びこれらのカラー画像及び奥行き画像に対応する正解画像を入力し、再学習を行うことにより、第２の機械学習済モデルＭ２が生成される（ステップＳ８０３）。
図９は、本発明の第１の態様による機械学習モデル生成装置１０の処理の流れを示す図である。
本発明の第１の態様においては、図８のステップＳ８０１と同様に、まず、ステップＳ９０１にて、ＢＩＭデータから仮想観測画像及び正解画像が生成される。図８の場合と異なる点は、ＢＩＭデータから仮想観測画像及び正解画像を生成するステップＳ９０１において生成された正解画像に対して、特徴線の抽出を行うことにより、強化画像の生成を行うステップ（ステップＳ９０２）が追加される点である。第１の態様においては、ステップＳ９０１で生成された仮想観測画像を観測データとし、ステップＳ９０２で生成された強化画像を正解データとして、第１の機械学習済モデルが生成される（ステップＳ９０３）。次に、生成された第２の機械学習済モデルＭ１に対して、カラー画像、奥行き画像及びこれらのカラー画像及び奥行き画像に対応する正解画像を入力し、再学習を行うことにより、第２の機械学習済モデルＭ２が生成される（ステップＳ９０４）。
図１０は、本発明の第２の態様による機械学習モデル生成装置１０の処理の流れを示す図である。
本発明の第２の態様においては、図９のステップ９０１と同様に、まず、ステップＳ１００１にて、ＢＩＭデータから仮想観測画像及び正解画像が生成される。また、図９のステップＳ９０２と同様に、ＢＩＭデータから仮想観測画像及び正解画像を生成するステップＳ１００１において生成された正解画像に対して、特徴線の抽出を行うことにより、強化画像の生成を行う（ステップＳ１００２）。図９の場合と異なる点は、ステップＳ１００１にて生成された仮想観測画像に対して画像処理を行い、強調仮想観測画像を生成するステップ（ステップＳ１００３）が追加される点である。ステップＳ１００３では、仮想観測画像に対して、現実の画像の情報に基づいて、現実の画像に近づくような画像処理が行われる。例えば、画像処理として、スペクトル周波数のフィルタリング、光源の追加、照明光の追加、又は影の追加のうちの少なくとも１つ以上を行うようにしてもよい。第２の態様においては、ステップＳ１００３で生成された強調仮想観測画像を観測データとし、ステップＳ１００２で生成された強化画像を正解データとして、第１の機械学習済モデルが生成される（ステップＳ１００４）。次に、生成された第２の機械学習済モデルＭ１に対して、カラー画像、奥行き画像及びこれらのカラー画像及び奥行き画像に対応する正解画像を入力し、再学習を行うことにより、第２の機械学習済モデルＭ２が生成される（ステップＳ１００５）。
図１１は、本発明の第３の態様による機械学習モデル生成装置１０の処理の流れを示す図である。
本発明の第３の態様においては、図１０のステップＳ１００１と同様に、まず、ステップＳ１１０１にて、ＢＩＭデータから仮想観測画像及び正解画像が生成される。また、図１０のステップＳ１００２と同様に、ＢＩＭデータから仮想観測画像及び正解画像を生成するステップＳ１１０１において生成された正解画像に対して、特徴線の抽出を行うことにより、強化画像の生成を行う（ステップＳ１１０２）。また、図１０のステップＳ１００３と同様に、ステップＳ１１０１にて生成された仮想観測画像に対して画像処理を行い、強調仮想観測画像を生成する（ステップＳ１１０３）。図１０の場合と異なる点は、ステップＳ１１０３にて生成された強調仮想観測画像に対して、テクスチャ画像を追加するステップ（Ｓ１１０４）が追加される点である。第３の態様においては、ステップＳ１１０４で生成されたテクスチャ追加画像を観測データとし、ステップＳ１１０２で生成された強化画像を正解データとして、第１の機械学習済モデルＭ１が生成される（ステップＳ１１０５）。次に、生成された第２の機械学習済モデルＭ１に対して、カラー画像、奥行き画像及びこれらのカラー画像及び奥行き画像に対応する正解画像を入力し、再学習を行うことにより、第２の機械学習済モデルＭ２が生成される（ステップＳ１１０６）。
図１２は、本発明のある態様による建屋内構造物認識装置２０の処理の流れを示す図である。
まず、ステップＳ１２０１にて、現場写真等の現実の画像から強化画像が生成される。次に、生成された強化画像に対して、ステップＳ１２０２にて、強化画像の調整を行う。強化画像の調整は、例えば、認識すべき構造物がパイプの場合、パイプの特徴線（例えば、中心線やエッジ等）の検出結果に対し、必要に応じて、長さや傾き等を再調整する処理である。次に、現実の画像、ステップＳ１２０１で生成された強化画像、及びステップＳ１２０２で調整された強化画像を入力データとして、機械学習済のモデルを用いて、建屋内の構造物を認識する構造物認識処理が行われる（ステップＳ１２０３）。ステップＳ１２０３で得られた構造物認識結果はそのまま出力データとしてもよいが、さらにステップＳ１２０４にて、構造物認識結果に対して、選択及び平均化を行うようにしてもよい。選択及び平均化は、例えば、認識すべき構造物がパイプの場合、パイプを画像化する際に、パイプを検出した位置を上下左右にシフトしてこれらの位置の平均を取って画像化する処理である。
図１３は、本発明の他の態様による建屋内構造物認識装置２０の処理の流れを示す概略図である。
図１３の例は、建屋内の構造物にテキストが記載されている場合の処理である。建屋内の構造物にテキストが記載されている場合には、構造物の認識処理に先立って、テキストの除去が行われる。まず、ステップＳ１３０１にて、現場写真等の現実の画像に対して、ＯＣＲによる文字認識が行われ、画像内のテキスト領域が検出される。次に、ステップＳ１３０１で検出されたテキスト領域に対応するピクセルの検出が行われる（ステップＳ１３０２）。次に、ステップＳ１３０２にて検出されたピクセルの除去及び画像復元が行われる（ステップＳ１３０３）。ここで、画像復元とは、例えば、除去されたピクセルをそのピクセルの周囲の色やテクスチャで埋めることによりテキストの裏に隠れた構造物の部分を再現することである。これにより、テキストが除去された画像が得られる。
また、図１２のステップＳ１２０１と同様に、現場写真等の現実の画像から強化画像が生成される（ステップＳ１３０４）。また、図１２のステップＳ１２０１と同様に、強化画像の調整を行う（ステップＳ１３０５）。次に、ステップＳ１３０３で得られたテキストが除去された画像、ステップＳ１３０４で生成された強化画像、及びステップＳ１３０５で調整された強化画像を入力データとして、機械学習済のモデルを用いて、建屋内の構造物を認識する構造物認識処理が行われる（ステップＳ１３０６）。ステップＳ１３０６で得られた構造物認識結果はそのまま出力データとしてもよいが、さらにステップＳ１３０７にて、構造物認識結果に対して、選択及び平均化を行うようにしてもよい。
また、本発明では、コンピュータに、本発明による建屋内構造物認識方法の各ステップを実行させるプログラムを提供する。プログラムはコンピュータ読み取り可能な記録媒体に記録されるようにしてもよい。また、プログラムはサーバー内に格納され、サーバー上で実行され、及び／又はネットワークを介してその機能を提供するようにしてもよい。
図１４は、本発明の建屋内構造物管理システム５０の概要を示す図である。
建屋内構造物管理システム５０は、建屋内の構造物を認識するための機械学習済モデルを用いて認識された建屋内の構造物を管理する。建屋内構造物管理システム５０は、建屋内構造物認識装置２０において認識された構造物のデータ又は構造物の部材のデータを記憶するデータベース５０１を備える。データベース５０１に記憶された構造物のデータ又は構造物の部材のデータは、ユーザ端末４０に送信されるようにしてもよい。建屋内構造物管理システム５０によれば、建屋内構造物認識装置２０で認識された建屋内の構造物のデータ又は構造物の部材のデータ等の注目すべき部材のデータや必要なデータのみを記憶し管理することにより、データ量の増加や管理のコストを低減し、これらの必要なデータのみを利用することにより、計測や処理の速度を向上させることができる。
以上の実施例１で説明した本発明の機械学習モデル生成装置１０の各態様（第１～第３の態様等）と、本発明の建屋内構造物認識装置２０の各態様とは、任意に組み合わせて実施することができる。また、これらの任意に組み合わせた態様を含む建屋内構造物認識システム１を実施することができる。また、建屋内構造物管理システム５０は、これらの任意に組み合わせた態様と組み合わせて実施することができる。
以下、実施例２として、上記実施例１で説明した建屋内構造物認識装置２０に代えて、本発明の他の態様における建屋内構造物認識装置２０’を用いる場合について、図１５Ａ～図１５Ｃを用いて説明する。実施例２において、建屋内構造物認識装置２０’以外の構成については実施例１と同一である。また、建屋内構造物認識装置２０’に関し、以下で特に説明しない点については、実施例１の建屋内構造物認識装置２０と同様である。
図１５Ａは、本発明による建屋内構造物認識装置２０’の概要を示す概略図である。
実施例２の建屋内構造物認識装置２０’は、実施例１と同様に、建屋内の構造物を認識するための第２の機械学習済モデルＭ２を用いて、建屋内の構造物を認識する。また、建屋内構造物認識装置２０’は、実施例１と同様に、第２の機械学習済モデルＭ２に対し、入力データとして現実の建屋内の画像であるカラー画像及び奥行き画像が入力されると、画像内の構造物の認識を行い、出力データとして画像内の構造物の領域を示す認識結果画像を出力する認識部２０１と、認識結果画像に対して、信頼性画像を用いて補正処理を行う補正処理部２０５とを備える。実施例１と異なる点は、認識部２０１において、第２の機械学習済モデルＭ２に対し現実の建屋内の画像であるカラー画像を入力して得た第１の認識結果画像と、第２の機械学習済モデルＭ２に対し奥行き画像を入力して得た第２の認識結果画像とを出力データとして得る点である。建屋内構造物認識装置２０’では、認識部２０１で得た第１の認識結果画像と第２の認識結果画像に対し、補正処理部２０５にて、信頼性画像を用いた重み付けを行い、補正結果画像を得る。
実施例２において、第１の認識結果画像と第２の認識結果画像に対し、補正処理部２０５が信頼性画像を用いて重み付けをする方法は、限定されないが、例えば、以下の方法を採用することができる。補正結果画像の各ピクセルをＲｅｓｕｌｔとすると、Ｒｅｓｕｌｔは以下の式（１）により表される。

ここで、ＣＤｅｐｔｈは、信頼性画像から得られた各ピクセルの奥行き情報の信頼度を例えば０（信頼度：低）、０．５（信頼度：中）又は１（信頼度：高）の３段階で示した値である。ＲＲＧＢは、カラー画像を入力として得られた第１の認識結果画像の各ピクセルの値である。ＲＤｅｐｔｈは、奥行き画像を入力として得られた第２の認識結果画像の各ピクセルの値である。
式（１）を用いて補正結果画像の各ピクセルの値を算出する場合、例えば、あるピクセルの奥行き情報の信頼度が０（ＣＤｅｐｔｈ＝０）の場合、第１の認識結果画像の各ピクセルの情報のみが使用され、補正結果画像の各ピクセルは、以下の式（２）により得られる。

また、あるピクセルの奥行き情報の信頼度が１（ＣＤｅｐｔｈ＝１）の場合、第１の認識結果画像と第２の認識結果画像の各ピクセルの情報の平均値が用いられ、補正結果画像の各ピクセルは、以下の式（３）により得られる。


また、あるピクセルの奥行き情報の信頼度が０．５（ＣＤｅｐｔｈ＝０．５）の場合、補正結果画像の各ピクセルは、第１の認識結果画像と第２の認識結果画像から以下の式（４）により得られる。
図１５Ｂは、本発明の他の実施例による建屋内構造物認識装置２０’のある態様を示す概略図である。
図１５Ｂの態様においては、認識部２０１は、現実の建屋内の画像であるカラー画像及び奥行き画像のそれぞれに、更に構造物の領域を示す構造物選択画像を入力データとして加えて画像内の構造物の認識を行う。それ以外の部分については、図１５Ａで説明したものと同一である。補正処理部２０５による補正処理の方法についても図１５Ａで説明したものと同一の方法を採用することができる。
構造物選択画像は、実施例１の図６Ｂについて説明したものと同様に、構造物の領域を示した画像である。図６Ｂの例と同様に、構造物選択画像は、構造物であるパイプの領域が白で示され、その他の部分が黒で示されたマスク画像である。構造物選択画像は、マスク画像でなくてもよく、認識すべき構造物に応じて、他の形式で構造物を示した画像であってもよい。また、構造物選択画像は、ユーザが構造物を選択したものであってもよく、構造物選択画像はユーザ端末４０から送信されたものであってもよい。現実の建屋内の画像に加えて、更に構造物の領域を示す構造物選択画像を入力データとして用いることにより、認識部２０１での認識の精度を高めることができる。特に、図３～図５を用いて説明した本発明の第１～第３の態様による機械学習モデル生成装置１０において生成された機械学習モデルにおいては、強化用データとして、強化画像を用いており、認識部２０１において、第１～第３の態様による機械学習モデルを用いて認識を行う際に、認識の精度を更に高めることができる。
図１５Ｃは、本発明の他の実施例による建屋内構造物認識装置２０’の他の態様を示す概略図である。
図１５Ｃの例では、認識部２０１は、現実の建屋内の画像内に含まれるテキストを除去し、テキスト除去後の画像を入力データとして前記画像内の構造物の認識を行う。それ以外の部分については、図１５Ｂの態様と同一である。補正処理部２０５による補正処理の方法についても図１５Ａで説明したものと同一の方法を採用することができる。図１５Ｃの例では、テキスト除去部２０２により、パイプに記載されたテキスト（文字）が除去され、テキスト除去後画像が入力データとして用いられている。また、テキスト除去後画像に加えて、図１５Ｂで説明したものと同様の構造物選択画像も入力データとして用いてもよい。
実施例１において説明した通り、第２の機械学習済モデルＭ２を生成する際に用いられる再学習用画像は、カラー画像及び奥行き画像のうちの少なくとも１つ、並びに、カラー画像及び奥行き画像のうちの少なくとも１つに対応する正解画像である。上述の通り、第２の機械学習済モデルＭ２は、認識部２０１に入力される入力データと同じ組み合わせの再学習用画像を用いて生成されたものであることが好ましい。即ち、図１５Ａ～１５Ｃの例では、カラー画像を入力データとし、出力データとして第１の認識結果画像を得るための第２の機械学習済モデルＭ２は、カラー画像とそのカラー画像に対応する正解画像を再学習用画像として用いることにより生成されたものであることが好ましい。また、奥行き画像を入力データとし、出力データとして第２の認識結果画像を得るための第２の機械学習済モデルＭ２は、奥行き画像とその奥行き画像に対応する正解画像を再学習用画像として用いることにより生成されたものであることが好ましい。
以上の実施例２で説明した図１５Ａ～図１５Ｃの建屋内構造物認識装置２０’の各態様は、実施例１で説明した本発明の機械学習モデル生成装置１０の各態様（第１～第３の態様等）と任意に組み合わせて実施することができる。また、実施例２で説明した図１５Ａ～図１５Ｃの建屋内構造物認識装置２０’の各態様と、実施例１で説明した本発明の機械学習モデル生成装置１０の各態様（第１～第３の態様等）とを任意に組み合わせた態様を含む建屋内構造物認識システム１を実施することができる。また、建屋内構造物管理システム５０は、実施例２で説明した図１５Ａ～図１５Ｃの建屋内構造物認識装置２０’の各態様と、実施例１で説明した本発明の機械学習モデル生成装置１０の各態様（第１～第３の態様等）とを任意に組み合わせた態様を含む建屋内構造物認識システム１と組み合わせて実施することができる。
以下、実施例３として、上記実施例１で説明した建屋内構造物認識装置２０に代えて、本発明の他の態様における建屋内構造物認識装置２０’’を用いる場合について、図１６Ａ～図１６Ｃを用いて説明する。実施例３において、建屋内構造物認識装置２０’’以外の構成については実施例１と同一である。また、建屋内構造物認識装置２０’’に関し、以下で特に説明しない点については、実施例１の建屋内構造物認識装置２０と同様である。
図１６Ａは、本発明のさらに他の実施例による建屋内構造物認識装置２０’’の概要を示す概略図である。
実施例３の建屋内構造物認識装置２０’’は、実施例１と同様に、建屋内の構造物を認識するための第２の機械学習済モデルＭ２を用いて、建屋内の構造物を認識する。また、建屋内構造物認識装置２０’’は、実施例１と同様に、第２の機械学習済モデルＭ２に対し、入力データとして現実の建屋内の画像であるカラー画像及び奥行き画像が入力されると、画像内の構造物の認識を行い、出力データとして画像内の構造物の領域を示す認識結果画像を出力する認識部２０１と、認識結果画像に対して、信頼性画像を用いて補正処理を行う補正処理部２０５とを備える。実施例１と異なる点は、認識部２０１において、第２の機械学習済モデルＭ２に対し現実の建屋内の画像であるカラー画像のみを入力し認識結果画像を得る点である。建屋内構造物認識装置２０’’では、認識部２０１で得た認識結果画像に対し、補正処理部２０５にて、信頼性画像に加えて奥行き画像を用いて補正結果画像を得る。
実施例３において、認識結果画像に対し、補正処理部２０５が信頼性画像及び奥行き画像を用いて重み付けをする方法は、限定されないが、例えば、以下の方法を採用することができる。補正結果画像の各ピクセルをＲｅｓｕｌｔとすると、Ｒｅｓｕｌｔは以下の式（５）により表される。

ここで、ＣＤｅｐｔｈは、信頼性画像から得られた各ピクセルの奥行き情報の信頼度を例えば０（信頼度：低）、０．５（信頼度：中）又は１（信頼度：高）の３段階で示した値である。ＲＲＧＢは、カラー画像を入力として得られた第１の認識結果画像の各ピクセルの値である。ＲＤｅｐｔｈは、ＴｏＦカメラ等でカラー画像が撮影されると同時に生成された奥行き画像の各ピクセルの値である。
式（１）を用いて補正結果画像の各ピクセルの値を算出する場合、例えば、あるピクセルの奥行き情報の信頼度が０（ＣＤｅｐｔｈ＝０）の場合、第１の認識結果画像の各ピクセルの情報のみが使用され、補正結果画像の各ピクセルは、以下の式（６）により得られる。

また、あるピクセルの奥行き情報の信頼度が１（ＣＤｅｐｔｈ＝１）の場合、第１の認識結果画像と奥行き画像の各ピクセルの情報の平均値が用いられ、補正結果画像の各ピクセルは、以下の式（７）により得られる。

また、あるピクセルの奥行き情報の信頼度が０．５（ＣＤｅｐｔｈ＝０．５）の場合、補正結果画像の各ピクセルは、第１の認識結果画像と奥行き画像から以下の式（８）により得られる。
図１６Ｂは、本発明のさらに他の実施例による建屋内構造物認識装置２０’’のある態様を示す概略図である。
図１６Ｂの態様においては、認識部２０１は、現実の建屋内の画像であるカラー画像に、更に構造物の領域を示す構造物選択画像を入力データとして加えて画像内の構造物の認識を行う。それ以外の部分については、図１６Ａで説明したものと同一である。補正処理部２０５による補正処理の方法についても図１６Ａで説明したものと同一の方法を採用することができる。
構造物選択画像は、実施例１の図６Ｂについて説明したものと同様に、構造物の領域を示した画像である。図６Ｂの例と同様に、構造物選択画像は、構造物であるパイプの領域が白で示され、その他の部分が黒で示されたマスク画像である。構造物選択画像は、マスク画像でなくてもよく、認識すべき構造物に応じて、他の形式で構造物を示した画像であってもよい。また、構造物選択画像は、ユーザが構造物を選択したものであってもよく、構造物選択画像はユーザ端末４０から送信されたものであってもよい。現実の建屋内の画像に加えて、更に構造物の領域を示す構造物選択画像を入力データとして用いることにより、認識部２０１での認識の精度を高めることができる。特に、図３～図５を用いて説明した本発明の第１～第３の態様による機械学習モデル生成装置１０において生成された機械学習モデルにおいては、強化用データとして、強化画像を用いており、認識部２０１において、第１～第３の態様による機械学習モデルを用いて認識を行う際に、認識の精度を更に高めることができる。
図１６Ｃは、本発明のさらに他の実施例による建屋内構造物認識装置２０’’の他の態様を示す概略図である。
図１６Ｃの例では、認識部２０１は、現実の建屋内の画像内に含まれるテキストを除去し、テキスト除去後の画像を入力データとして前記画像内の構造物の認識を行う。それ以外の部分については、図１６Ｂの態様と同一である。補正処理部２０５による補正処理の方法についても図１６Ａで説明したものと同一の方法を採用することができる。図１６Ｃの例では、テキスト除去部２０２により、パイプに記載されたテキスト（文字）が除去され、テキスト除去後画像が入力データとして用いられている。また、テキスト除去後画像に加えて、図１６Ｂで説明したものと同様の構造物選択画像も入力データとして用いてもよい。
実施例１において説明した通り、第２の機械学習済モデルＭ２を生成する際に用いられる再学習用画像は、カラー画像及び奥行き画像のうちの少なくとも１つ、並びに、カラー画像及び奥行き画像のうちの少なくとも１つに対応する正解画像である。上述の通り、第２の機械学習済モデルＭ２は、認識部２０１に入力される入力データと同じ組み合わせの再学習用画像を用いて生成されたものであることが好ましい。即ち、図１６Ａ～１６Ｃの例では、カラー画像を入力データとし、出力データとして認識結果画像を得るための第２の機械学習済モデルＭ２は、カラー画像とそのカラー画像に対応する正解画像を再学習用画像として用いることにより生成されたものであることが好ましい。
以上の実施例２で説明した図１６Ａ～図１６Ｃの建屋内構造物認識装置２０’’の各態様は、実施例１で説明した本発明の機械学習モデル生成装置１０の各態様（第１～第３の態様等）と任意に組み合わせて実施することができる。また、実施例２で説明した図１６Ａ～図１６Ｃの建屋内構造物認識装置２０’’の各態様と、実施例１で説明した本発明の機械学習モデル生成装置１０の各態様（第１～第３の態様等）とを任意に組み合わせた態様を含む建屋内構造物認識システム１を実施することができる。また、建屋内構造物管理システム５０は、実施例２で説明した図１６Ａ～図１６Ｃの建屋内構造物認識装置２０’’の各態様と、実施例１で説明した本発明の機械学習モデル生成装置１０の各態様（第１～第３の態様等）とを任意に組み合わせた態様を含む建屋内構造物認識システム１と組み合わせて実施することができる。
以上により説明した本発明による建屋内構造物認識システム及び建屋内構造物認識方法によれば、建築現場で注目すべき部材に注目して形状や位置の計測が出来るようになり、精度、スピードを向上させることができる。また、建築現場で管理するべき部材の量を減らすことが出来、これに伴い、建築現場の部材管理システムがハンドルするデータ量を大幅に減らすことが出来る。また、本発明による建屋内構造物認識システム及び建屋内構造物認識方法によれば、実際の現場において、その現場に特有の認識が難しい構造物が存在する等の様々な状況に対応し、その現場に合わせたモデルを生成し直すための時間やコストを最小限にすることが出来る。
上記記載は実施例についてなされたが、本発明はそれに限らず、本発明の原理と添付の請求の範囲の範囲内で種々の変更および修正をすることができることは当業者に明らかである。
１ 建屋内構造物認識システム
１０ 機械学習モデル生成装置
２０ 建屋内構造物認識装置
３０ 撮像装置
４０ ユーザ端末
１０１ 正解画像生成部
１０２ 仮想観測画像生成部
１０３ 第１の機械学習モデル生成部
１０４ 強化用画像生成部
１０５ 仮想観測画像処理部
１１０ 再学習用画像取得部
１１１ 第２の機械学習モデル生成部
２０１ 認識部
２０２ テキスト除去部
２０３ 検証部
２０５ 補正処理部
５０１ データベース

Claims (19)

  1. 建屋内の構造物を認識するための機械学習モデルを生成する機械学習モデル生成装置であって、
    ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから正解画像を生成する正解画像生成部と、
    前記ＢＩＭデータをレンダリングし、仮想観測画像を生成する仮想観測画像生成部と、
    前記正解画像生成部で生成された前記正解画像を正解データとし、前記仮想観測画像を観測データとして機械学習を行い、第１の機械学習済モデルを生成する、第１の機械学習モデル生成部と、
    再学習用画像を取得する再学習用画像取得部と、
    前記第１の機械学習モデル生成部で生成された前記第１の機械学習済モデルに対して、少なくとも前記再学習用画像取得部で取得した前記再学習用画像を入力し、第２の機械学習済モデルを生成する、第２の機械学習モデル生成部と
    を備え、
    前記第２の機械学習モデル生成部は、前記第１の機械学習済モデルに対して、前記再学習用画像に加え、前記正解画像生成部で生成された前記正解画像及び前記仮想観測画像を入力し、前記第２の機械学習済モデルを生成することを特徴とする、機械学習モデル生成装置。
  2. 前記再学習用画像は、カラー画像及び奥行き画像のうちの少なくとも１つ、並びに、前記カラー画像及び前記奥行き画像のうちの少なくとも１つに対応する正解画像であることを特徴とする、請求項１に記載の機械学習モデル生成装置。
  3. 前記第１の機械学習済モデルを生成する際に、入力データの一部として用いられる強化画像を生成する強化用画像生成部を更に備えることを特徴とする、請求項１に記載の機械学習モデル生成装置。
  4. 前記正解画像は、構造物を示すマスク領域を有するマスク画像であり、前記強化画像は、前記正解画像の前記マスク領域の特徴線を抽出したスケルトン画像であることを特徴とする、請求項３に記載の機械学習モデル生成装置。
  5. 前記仮想観測画像生成部で生成された前記仮想観測画像に対して現実の画像に近づけるための画像処理を行い、強調仮想観測画像を生成する仮想観測画像処理部を更に備えることを特徴とする、請求項１に記載の機械学習モデル生成装置。
  6. 前記仮想観測画像処理部による前記画像処理は、スペクトル周波数のフィルタリング、光源の追加、照明光の追加、又は影の追加のうちの少なくとも１つ以上を含むことを特徴とする、請求項５に記載の機械学習モデル生成装置。
  7. 前記仮想観測画像処理部は、前記強調仮想観測画像に対して前記構造物のテクスチャを追加し、テクスチャ追加画像を生成することを特徴とする、請求項５に記載の機械学習モデル生成装置。
  8. 前記第１の機械学習モデル生成部及び前記第２の機械学習モデル生成部は、ニューラルネットワークによる深層学習により、前記第１の機械学習済モデル及び前記第２の機械学習済モデルをそれぞれ生成することを特徴とする、請求項１に記載の機械学習モデル生成装置。
  9. 建屋内の構造物を認識するための機械学習済モデルを用いて、建屋内の構造物を認識する建屋内構造物認識装置であって、
    第２の機械学習済モデルに対し、入力データとして少なくともカラー画像及び奥行き画像が入力されると、画像内の構造物の認識を行い、出力データとして画像内の構造物の領域を示す認識結果画像を出力する認識部と、
    前記認識結果画像に対して、信頼性画像を用いて補正処理を行う補正処理部と
    を備え、
    前記第２の機械学習済モデルは、第１の機械学習済モデルに対して、少なくとも再学習用画像を入力して再学習をさせることにより生成したものであり、
    前記第１の機械学習済モデルは、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、前記ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより生成されたものであり、
    前記第２の機械学習済モデルは、前記第１の機械学習済モデルに対して、前記再学習用画像に加え、前記正解画像及び前記仮想観測画像を入力することにより生成したものであることを特徴とする、建屋内構造物認識装置。
  10. 前記再学習用画像は、カラー画像及び奥行き画像のうちの少なくとも１つ、並びに、前記カラー画像及び前記奥行き画像のうちの少なくとも１つに対応する正解画像であることを特徴とする、請求項９に記載の建屋内構造物認識装置。
  11. 前記認識部は、前記カラー画像及び前記奥行き画像に加えて、更に構造物の領域を示す構造物選択画像を入力データとして画像内の構造物の認識を行うことを特徴とする、請求項９に記載の建屋内構造物認識装置。
  12. 前記認識部は、前記カラー画像内に含まれるテキストを除去し、テキスト除去後の画像を入力データとして前記画像内の構造物の認識を行うことを特徴とする、請求項９に記載の建屋内構造物認識装置。
  13. 前記第１の機械学習済モデル及び前記第２の機械学習済モデルは、ニューラルネットワークによる深層学習により生成されたものであることを特徴とする、請求項９に記載の建屋内構造物認識装置。
  14. 機械学習モデルを用いて建屋内の構造物を認識するための建屋内構造物認識システムであって、
    ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、前記ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行うことにより、第１の機械学習済モデルを生成し、前記第１の機械学習済モデルに対して少なくとも再学習用画像を入力して再学習を行うことにより第２の機械学習済モデルを生成する機械学習モデル生成装置と、
    前記機械学習モデル生成装置で生成した前記第２の機械学習済モデルを用いて、建屋内の構造物を認識する建屋内構造物認識装置と、
    を備え、
    前記機械学習モデル生成装置は、前記第１の機械学習済モデルに対して、前記再学習用画像に加え、前記正解画像及び前記仮想観測画像を入力し、前記第２の機械学習済モデルを生成することを特徴とする、建屋内構造物認識システム。
  15. 前記再学習用画像は、カラー画像及び奥行き画像のうちの少なくとも１つ、並びに、前記カラー画像及び前記奥行き画像のうちの少なくとも１つに対応する正解画像であることを特徴とする、請求項１４に記載の建屋内構造物認識システム。
  16. 建屋内の構造物を認識するための機械学習済モデルを用いて認識された建屋内の構造物を管理する建屋内構造物管理システムであって、
    請求項９～１２のいずれか一項に記載の前記建屋内構造物認識装置において認識された前記構造物のデータ又は前記構造物の部材のデータを記憶するデータベースを備えることを特徴とする、建屋内構造物管理システム。
  17. 機械学習モデルを用いて建屋内の構造物を認識するための建屋内構造物認識システムであって、
    請求項１～８のいずれか一項に記載の機械学習モデル生成装置と、
    請求項９～１２のいずれか一項に記載の建屋内構造物認識装置と、
    を備えることを特徴とする、建屋内構造物認識システム。
  18. 建屋内構造物認識方法であって、
    ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データから生成された正解画像を正解データとし、前記ＢＩＭデータをレンダリングすることにより生成された仮想観測画像を観測データとして機械学習を行い、第１の機械学習済モデルを生成するステップと、
    前記第１の機械学習済モデルに対して少なくとも再学習用画像を入力して再学習を行うことにより第２の機械学習済モデルを生成するステップと、
    前記第２の機械学習済モデルを用いて、建屋内の構造物を認識するステップと、
    を備え、
    前記第２の機械学習済モデルを生成するステップは、前記第１の機械学習済モデルに対して、前記再学習用画像に加え、前記正解画像及び前記仮想観測画像を入力することにより前記第２の機械学習済モデルを生成することを特徴とする、建屋内構造物認識方法。
  19. コンピュータに、請求項１８に記載の方法の各ステップを実行させることを特徴とするプログラム。
JP2023533342A 2022-07-22 2022-07-22 建屋内構造物認識システム及び建屋内構造物認識方法 Active JP7344620B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/028540 WO2024018642A1 (ja) 2022-07-22 2022-07-22 建屋内構造物認識システム及び建屋内構造物認識方法

Publications (2)

Publication Number Publication Date
JP7344620B1 true JP7344620B1 (ja) 2023-09-14
JPWO2024018642A1 JPWO2024018642A1 (ja) 2024-01-25

Family

ID=87934890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023533342A Active JP7344620B1 (ja) 2022-07-22 2022-07-22 建屋内構造物認識システム及び建屋内構造物認識方法

Country Status (2)

Country Link
JP (1) JP7344620B1 (ja)
WO (1) WO2024018642A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018072957A (ja) * 2016-10-25 2018-05-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像加工方法、画像加工システム及びプログラム
JP2019133433A (ja) * 2018-01-31 2019-08-08 富士フイルム株式会社 画像処理装置、画像処理方法、およびプログラム
JP2021039426A (ja) * 2019-08-30 2021-03-11 株式会社東芝 推定装置、推定方法及びプログラム
WO2021176621A1 (ja) * 2020-03-04 2021-09-10 三菱電機株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP2021140445A (ja) * 2020-03-05 2021-09-16 株式会社トプコン 情報処理装置、推論モデル構築方法、情報処理方法、推論モデル、プログラム、及び記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018072957A (ja) * 2016-10-25 2018-05-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像加工方法、画像加工システム及びプログラム
JP2019133433A (ja) * 2018-01-31 2019-08-08 富士フイルム株式会社 画像処理装置、画像処理方法、およびプログラム
JP2021039426A (ja) * 2019-08-30 2021-03-11 株式会社東芝 推定装置、推定方法及びプログラム
WO2021176621A1 (ja) * 2020-03-04 2021-09-10 三菱電機株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP2021140445A (ja) * 2020-03-05 2021-09-16 株式会社トプコン 情報処理装置、推論モデル構築方法、情報処理方法、推論モデル、プログラム、及び記録媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
堀内 隆志 ほか，教示例の人工的拡張を用いた，深層学習による距離画像からの物体認識，情報処理学会 研究報告 コンピュータビジョンとイメージメディア（ＣＶＩＭ） ２０１７－ＣＶＩＭ－２０７ ［ｏｎｌｉｎｅ］，日本，情報処理学会，2017年05月09日，第1-7頁
堀内 隆志 ほか: "教示例の人工的拡張を用いた，深層学習による距離画像からの物体認識", 情報処理学会 研究報告 コンピュータビジョンとイメージメディア（ＣＶＩＭ） ２０１７−ＣＶＩＭ−２０, JPN6023026664, 9 May 2017 (2017-05-09), JP, pages 1 - 7, ISSN: 0005095517 *

Also Published As

Publication number Publication date
WO2024018642A1 (ja) 2024-01-25
JPWO2024018642A1 (ja) 2024-01-25

Similar Documents

Publication Publication Date Title
US10896540B2 (en) Systems and methods for rapid three-dimensional modeling with real façade texture
US10297074B2 (en) Three-dimensional modeling from optical capture
Verhoeven Taking computer vision aloft–archaeological three‐dimensional reconstructions from aerial photographs with photoscan
US20190026400A1 (en) Three-dimensional modeling from point cloud data migration
US7272264B2 (en) System and method for hole filling in 3D models
CN105264566A (zh) 建模装置、三维模型生成装置、建模方法、程序和布局模拟器
EP3693931A1 (en) Method for the automatic material classification and texture simulation for 3d models
KR101717896B1 (ko) 데이터 경량화를 고려한 건물 외곽 모델링 방법 및 장치
JP4153761B2 (ja) ３次元モデル空間生成装置、３次元モデル空間生成方法、及び３次元モデル空間生成プログラム
CN114842139A (zh) 一种基于空间分析的建筑三维数字化模型构建方法
KR102702260B1 (ko) 고해상도 영상과 LiDAR 점군 데이터를 활용한 하천 지형의 3차원 시각화 시스템 및 그 방법
JP2010079505A (ja) 画像生成装置及びプログラム
KR101875047B1 (ko) 사진측량을 이용한 3d 모델링 시스템 및 방법
Rüther et al. Challenges in heritage documentation with terrestrial laser scanning
JP7344620B1 (ja) 建屋内構造物認識システム及び建屋内構造物認識方法
Nguyen et al. High-definition texture reconstruction for 3D image-based modeling
JP7403108B2 (ja) 建屋内構造物認識システム及び建屋内構造物認識方法
Assa et al. Diorama construction from a single image
Batakanwa et al. The use of video camera to create metric 3D model of engineering objects
WO2024038551A1 (ja) 建屋内構造物認識システム及び建屋内構造物認識方法
JP2021039563A (ja) 教師データとしてのデプス画像にラベルを付与するプログラム、装置及び方法
JP7390743B2 (ja) 物体測定装置及び物体測定方法
RU2826369C1 (ru) Способ и система автоматизированного построения виртуальной 3d-сцены на основании двумерных сферических фотопанорам
Gomes et al. A quasi-real virtual reality experience: point cloud navigation
KR102538012B1 (ko) 가상공간 내 객체의 3차원 모델을 갱신하는 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230531

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230828

R150 Certificate of patent or registration of utility model

Ref document number: 7344620

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350