JP7097207B2

JP7097207B2 - 建造物管理システム、学習装置、位置判定装置、及び位置判定方法

Info

Publication number: JP7097207B2
Application number: JP2018062682A
Authority: JP
Inventors: 渉藤井; 玄井川
Original assignee: Chiyoda Corp
Current assignee: Chiyoda Corp
Priority date: 2018-03-28
Filing date: 2018-03-28
Publication date: 2022-07-07
Anticipated expiration: 2038-03-28
Also published as: WO2019187772A1; JP2019175144A

Description

本発明は、建造物を管理するための建造物管理システム、及びその建造物管理システムに利用可能な学習装置、位置判定装置、及び位置判定方法に関する。

プラントなどの大規模な建造物を建設するときには、広範囲にわたる建設現場において、工事の進捗状況などを的確に把握する必要がある。また、建造物の建設中又は建設後に、広範囲にわたる建造物において、設計通りに施工されているかを細部まで確認する必要がある。進捗管理や施工確認は、建造物が大規模になるほど大がかりな作業となり、多大な労力を要するので、このような作業をできる限り効率化し、工数を低減させるための工夫がなされている（例えば、特許文献１参照）。

特許第２７２１２３１号公報

大規模な建造物において進捗管理や施工確認を行うためには、まず、作業者が自身の位置を精確に把握する必要があるが、建造物の内部では、ＧＰＳ衛星からの信号の受信状況が不安定となり、ＧＰＳ衛星からの信号を利用した測位により高精度の位置情報を得ることが困難な場合がある。

このような状況においても、作業者が自身の位置を精確に把握しながら、進捗管理や施工確認など、建造物を管理するための作業を行うことを可能とする技術が求められる。

本発明は、こうした状況を鑑みてなされたものであり、その目的は、建造物を適切に管理することを可能とする技術を提供することにある。

上記課題を解決するために、本発明のある態様の建造物管理システムは、建造物を撮像した写真から、写真が撮像された位置を判定する位置判定装置と、位置判定装置が位置を判定するために使用する判定基準を機械学習により生成する学習装置と、を備える。学習装置は、建造物をモデリングした三次元形状データを記憶する三次元形状データ記憶部と、視点位置及び視線方向を設定して三次元形状データをレンダリングすることにより、建造物の二次元画像を生成する二次元画像生成部と、二次元画像生成部により生成された二次元画像から抽出される抽出情報と、その二次元画像を生成する際に設定された視点位置との関係を学習することにより、判定基準を生成する学習部と、を備える。位置判定装置は、建造物を撮像した写真を受け付ける写真受付部と、学習装置により生成された判定基準に基づいて、写真が撮像された位置を判定する判定部と、を備える。

この態様によると、建造物を撮像した写真から、その写真が撮像された位置を高い精度で判定することができる。これにより、ＧＰＳなどを利用した位置の検出が困難である場合であっても、位置を精確に把握することができる。

学習装置は、建造物を撮像した写真と、その写真が撮像された位置を示す位置情報とを取得する写真取得部を更に備えてもよい。学習部は、写真取得部により取得された建造物の写真及び位置情報とを更に使用して、判定基準を学習してもよい。この態様によると、現実の建造物の写真を更に使用することにより、より精度の高い位置の判定基準を学習することができる。

二次元画像生成部は、建造物の内部に視点位置を設定して建造物の内部の二次元画像を生成し、学習部は、建造物の内部で撮像された写真から、その写真が撮像された位置を判定するために使用される判定基準を学習し、写真受付部は、建造物の内部で撮像された写真を受け付け、判定部は、写真が撮像された建造物の内部の位置を判定してもよい。この態様によると、建造物の内部において、ＧＰＳ衛星からの信号を受信することが困難である場合であっても、位置を高い精度で判定することができる。

位置判定装置は、建造物を構成する構造物に関する情報と、建造物における構造物の位置を示す情報とを記憶する構造物情報記憶部と、判定部により判定された位置に基づいて、写真に撮像されている構造物を判定し、判定された構造物に関する情報を提示する構造物情報提示部と、を備えてもよい。この態様によると、建造物の運用、管理、保守、保全、保安などを担当する担当者が、現在位置の周囲にある構造物の情報を容易に取得することができるので、作業の効率を向上させることができる。

位置判定装置は、建造物の三次元形状データを記憶する三次元形状データ記憶部と、写真と三次元形状データとを比較することにより、建造物の建造の進捗段階を判定する進捗段階判定部と、を更に備えてもよい。この態様によると、建造物の建設現場において工事の進捗を管理する担当者が、容易かつ的確に進捗段階を把握することができる。

位置判定装置は、建造物の三次元形状データを記憶する三次元形状データ記憶部と、写真と三次元形状データとを比較することにより、建造物の施工の良否を確認する確認部と、を更に備えてもよい。この態様によると、建造物の建設現場において施工の良否を確認する担当者の作業効率を向上させることができる。

本発明の別の態様は、学習装置である。この装置は、建造物をモデリングした三次元形状データを記憶する三次元形状データ記憶部と、視点位置及び視線方向を設定して三次元形状データをレンダリングすることにより、建造物の二次元画像を生成する二次元画像生成部と、二次元画像生成部により生成された二次元画像から抽出される抽出情報と、その二次元画像を生成する際に設定された視点位置との関係を学習することにより、建造物を撮像した写真から写真が撮像された位置を判定するために使用される判定基準を生成する学習部と、を備える。

この態様によると、建造物を撮像した写真から、その写真が撮像された位置を高い精度で判定することが可能な判定基準を生成することができる。

本発明のさらに別の態様は、位置判定装置である。この装置は、建造物を撮像した写真を受け付ける写真受付部と、視点位置及び視線方向を設定して建造物をモデリングした三次元形状データをレンダリングすることにより生成された二次元画像から抽出される抽出情報と、その二次元画像を生成する際に設定された視点位置との関係を学習することにより生成された判定基準に基づいて、写真が撮像された位置を判定する判定部と、を備える。

本発明のさらに別の態様もまた、位置判定装置である。この装置は、撮像画像により撮像された撮像対象の写真を受け付ける写真受付部と、視点位置及び視線方向を設定して撮像対象をモデリングした三次元形状データをレンダリングすることにより生成された二次元画像から抽出される抽出情報と、その二次元画像を生成する際に設定された視点位置との関係を学習することにより生成された判定基準に基づいて、写真が撮像された位置を判定する判定部と、を備える。

この態様によると、撮像対象の写真から、その写真が撮像された位置を高い精度で判定することができる。これにより、ＧＰＳなどを利用した位置の検出が困難である場合であっても、位置を精確に把握することができる。

本発明のさらに別の態様は、位置判定方法である。この方法は、撮像画像により撮像された撮像対象の写真を受け付けるステップと、視点位置及び視線方向を設定して撮像対象をモデリングした三次元形状データをレンダリングすることにより生成された二次元画像から抽出される抽出情報と、その二次元画像を生成する際に設定された視点位置との関係を学習することにより生成された判定基準に基づいて、写真が撮像された位置を判定するステップと、をコンピュータに実行させる。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、建造物を適切に管理することを可能とする技術を提供することができる。

実施の形態に係る建造物管理システムの全体構成を示す図である。実施の形態に係る学習装置の構成を示す図である。実施の形態に係る位置判定装置の構成を示す図である。実施の形態に係る建設現場端末の構成を示す図である。実施の形態に係る建造物管理システムにより管理される建造物の例を示す図である。図５に示したプラントをモデリングした三次元形状データの例を示す図である。図６に示した三次元形状データをレンダリングすることにより生成された二次元画像の例を示す図である。建設現場端末の表示装置に表示された画面の例を示す図である。実施の形態に係る位置判定方法の手順を示すフローチャートである。実施の形態に係る位置判定方法の手順を示すフローチャートである。

図１は、実施の形態に係る建造物管理システムの全体構成を示す。本実施の形態では、建造物として、化学製品や工業製品などを生産するためのプラントを管理する例について説明する。建造物管理システム１は、建造物を撮像した写真から、写真が撮像された位置を判定する位置判定装置４０と、位置判定装置４０が位置を判定するために使用する判定基準を機械学習により生成する学習装置１０と、建造物の建設現場３に設置される各種の装置と、プラント６に設置される各種の装置とを備える。これらの装置は、インターネット２によりそれぞれ接続されている。建設現場３には、建造物を自動的に撮像して、学習装置１０が学習に使用する写真を収集するための自動撮像装置４、建造物の建設工事、運用、保守などに使用されるロボット５、建設現場３の工事担当者などにより使用される建設現場端末８０などの装置が備えられる。ロボット５は、例えば、建設現場３において機器を据え付けるための機器据付ロボットや、建設現場３において溶接を行う溶接ロボットなどである。プラント６には、プラント６の運転のために使用されるロボット７、プラント６の運転員により使用される運転員端末８、プラント６の保守、保安、保全を行う担当者により使用される担当者端末９などの装置が備えられる。ロボット７は、例えば、プラント６の運転状態を把握してバルブなどを操作する運転ロボットである。ロボット５、建設現場端末８０、ロボット７、運転員端末８、及び担当者端末９は、建設中の建造物や完成後の建造物の内部において、周囲の写真を撮像して位置判定装置４０に送信し、位置判定装置４０から位置情報を取得することにより、自身の位置を把握する。

位置判定装置４０は、建造物の内部で撮像された写真と、建造物をモデリングした三次元形状データから生成された二次元画像とをマッチングさせることにより、写真に撮像された建造物の一部が三次元形状モデルのどの位置に該当するのかを検出し、その写真が撮像された位置及び視線方向を高精度で判定する。前述したように、建造物の内部では、ＧＰＳ衛星からの信号の受信状況が不安定となり、位置を高精度で把握することが困難となることがあるが、本実施の形態の位置判定装置４０によれば、建造物の内部においても高精度で位置を把握することができるので、ロボット５、建設現場端末８０を使用する担当者、ロボット７、運転員端末８を使用する運転員、担当者端末９を使用する担当者などが、建造物の内部において自身の位置を精確に把握しながら作業を行うことができる。

プラントなどの大規模な建造物を建設する場合、設計段階で建造物をモデリングして三次元形状データを作成するときには、バルブなどの部品の詳細がまだ決定していない場合があるので、建造物が実際に建設される際に、三次元形状データとは異なる形状の部品が使用されて、実際の建造物と三次元形状データとが厳密には合致しない場合がある。また、建造物の建設中には、未施工又は未完成な部分が残っているので、三次元形状データのうちの一部しか写真に写らず、他方、足場や資材など建造物の一部ではない物が写真に写ることになる。その上、建造物の施工状況や、足場や資材置場の状況などは、工事の進捗にしたがって日々変化しうる。このような場合であっても、人間が建造物の写真と建造物をモデリングした三次元形状データとの異同を判別する場合には、厳密に合致していることが要求される部分と、違いが許容される部分とを識別しつつ、的確に異同を判別することができるが、このような作業を自動化するのは困難であると考えられていた。したがって、従来は、このような作業は少数の専門家に依存せざるを得なかった。

このような課題を解決するために、本実施の形態の建造物管理システム１においては、視点位置及び視線方向を設定して三次元形状データをレンダリングすることにより、建造物のモデルの二次元画像を大量に生成し、それらの二次元画像から抽出される抽出情報と、それらの二次元画像を生成する際に設定された視点位置との関係を学習することにより、写真から位置を自動的に判定するための判定基準を生成する。また、実際に建設された建造物の写真を大量に収集し、それらの写真を更に使用して判定基準を学習させる。これにより、建造物の写真と建造物の三次元形状データとの異同の判別を自動化することができるので、労力を大幅に低減させることができる。

三次元形状データから生成された二次元画像は、視点位置及び視線方向を精確に設定することができるが、前述したように、実際に建設された建造物とは異なる部品などがモデリングされている場合があるので、一部の部品などの形状が精確ではない可能性がある。他方、建造物を撮像した写真は、実際に施工された部品などの形状を精確に反映しているが、撮像された位置を精確に把握することができない。したがって、三次元形状データから生成された二次元画像と、実際に建設された建造物の写真の双方を使用して判定基準を学習させることにより、画像と位置の関係をより精確に学習させることができ、写真から位置をより精確に判定することができる。建設現場３の担当者や、プラント６の運転員や、プラント６の保守、保安、保全を行う担当者などが、容易かつ精確に位置を把握することができるので、作業を効率化し、作業負担を軽減させることができる。また、精確な位置に実施することを要する作業をロボット５に実施させることができるので、工事や運転に要する工数を大幅に低減させることができる。

本図においては、説明の簡略化のため、学習装置１０を単独の装置として示しているが、学習装置１０は、クラウドコンピューティング技術や分散処理技術などを利用して、複数のサーバにより実現されてもよい。これにより、自動撮像装置４から収集した大量の写真と、三次元形状データから生成された大量の二次元画像とを高速に処理して判定基準を学習させることができるので、判定基準の精度を向上させるために要する時間を大幅に短縮することができる。

以降、実際の建造物を撮像した写真と、建造物をモデリングした三次元形状データから生成された二次元画像とを総称して、建造物の「画像」ともいう。

図２は、実施の形態に係る学習装置の構成を示す。学習装置１０は、通信装置１１、制御装置２０、及び記憶装置３０を備える。

通信装置１１は、無線又は有線による通信を制御する。通信装置１１は、インターネット２を介して、位置判定装置４０、自動撮像装置４、ロボット５、建設現場端末８０、ロボット７、運転員端末８などとの間でデータを送受信する。

記憶装置３０は、制御装置２０が使用するデータ及びコンピュータプログラムを格納する。記憶装置３０には、判定基準データ３１及び三次元形状データ３２が格納される。判定基準データ３１は、位置判定装置４０が位置を判定するために使用する判定基準のデータである。三次元形状データ３２は、建造物をモデリングした三次元形状データである。

制御装置２０は、写真取得部２１、二次元画像生成部２２、解析部２３、学習部２４、及び提供部２５を備える。これらの構成は、ハードウエアコンポーネントでいえば、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

写真取得部２１は、自動撮像装置４により撮像された建造物の写真と、写真が撮像された位置を示す情報を取得する。自動撮像装置４は、建造物の周囲及び内部を移動して建造物の周囲及び内部の画像を自動的に撮像するとともに、ＧＰＳ受信機、加速度センサ、ジャイロセンサ、ＬＩＤＡＲなど、任意の位置検出技術を利用して、写真を撮像した位置を示す情報を取得する。この位置情報は、高い精度で取得できない可能性もあるが、写真が撮像された位置を大まかに判定するための判定基準を学習するために使用される。自動撮像装置４は、撮像装置と、撮像装置により撮像された画像のデータを送信するための通信装置、又は、撮像装置により撮像された画像のデータを記憶する記憶装置とを搭載した無人航空機であってもよい。無人航空機は、操作者により操作されて建造物の周囲及び内部を移動してもよいし、撮像装置により撮像された画像やレーダーなどの空間認識技術を利用した自動操縦機能により自動的に建造物の周囲及び内部を移動してもよい。後述するように、位置判定装置４０により工事の進捗段階を判定するために、自動撮像装置４は、例えば、一日の工事が終了した後に、建設現場３の全範囲を自動的に移動し、建設中の建造物の全範囲の写真を撮像してもよい。

二次元画像生成部２２は、視点位置及び視線方向を設定して三次元形状データ３２をレンダリングすることにより、建造物の二次元画像を生成する。二次元画像生成部２２は、ロボット５や建設現場端末８０などの装置が移動可能な範囲の位置を視点位置に設定し、その視点位置から写真を撮像することが想定される範囲の視線方向を設定して、三次元形状データ３２をレンダリングする。位置判定装置４０による位置判定機能を、建造物の完成後に利用する場合には、ロボット５や建設現場端末８０などが移動可能な通路などの位置のみを視点位置に設定してもよいが、建造物の建設中にも利用する場合には、建設現場３の全ての範囲にわたって視点位置を設定することが好ましい。また、建造物の高さまでの範囲だけでなく、建造物を建設するために使用されるクレーンや足場などにより到達可能な高さまでの範囲にわたって視点位置を設定することが好ましい。

二次元画像生成部２２は、実際の建造物の写真をより精確に再現するために、建造物の周囲の照明や太陽などの光を再現する照明を設定して、三次元形状データをレンダリングしてもよい。例えば、時間帯ごとに太陽の位置に照明を設定して三次元形状データをレンダリングすることにより、時間帯ごとの太陽光や陰を再現した二次元画像を生成してもよい。

後述するように、位置判定装置４０により工事の進捗段階を判定することを可能とするために、二次元画像生成部２２は、工事の進捗段階ごとに、その進捗段階においては未完成又は未施工である予定の構造物を三次元形状データから削除し、その進捗段階において完成しているであろう姿の建造物の二次元画像を生成する。進捗段階ごとに判定基準を生成しておくことで、建造物の建設中に、自動撮像装置４により撮像された建造物の写真から、建造物の建設工事の進捗段階を判定することができる。

解析部２３は、写真取得部２１により取得された建造物の写真、及び、二次元画像生成部２２により生成された建造物の二次元画像を解析し、それらの特徴を示す情報を抽出する。解析部２３は、既知の任意の画像解析技術を利用して、建造物の写真及び二次元画像を解析してもよい。

解析部２３は、画像中に存在する部品や機器などの構造物を、輪郭検出技術やパターン認識技術などを利用して検出し、検出された構造物を識別してもよい。学習装置１０は、建造物を構成する部品の三次元形状データ又は二次元画像を記憶装置３０に記憶しておき、画像から検出された構造物と比較することにより、画像に含まれる構造物を識別してもよい。三次元形状データから生成された二次元画像を解析する場合には、三次元形状データのメタデータとして構造物の情報を格納しておき、三次元形状データに含まれる構造物の情報と、二次元画像にレンダリングされた構造物の領域とを対応付けてもよい。

解析部２３は、画像を構成する画素のデータを解析し、画像の特徴を示す情報を抽出してもよい。例えば、画素の明度、彩度、色度、などを統計学的に解析することにより、画像の特徴を抽出してもよい。これらの情報は、特有の明度、彩度、色度などを有する部品や機器などが画像に存在しているか否か、存在している場合には、その種類、数、向きなどを表す指標となりうる。

学習部２４は、解析部２３により抽出された抽出情報と、二次元画像を生成する際に設定された視点位置、又は、建造物の写真が撮像された位置との関係を学習することにより、判定基準データ３１を生成する。学習部２４は、写真を解析することにより抽出された抽出情報と、写真が撮像された大まかな位置を示す位置情報との関係を学習することにより、大まかな位置を判定するための領域判定基準を生成するとともに、二次元画像を解析することにより抽出された抽出情報と、二次元画像を生成するための視点位置との関係を学習することにより、精密な位置を判定するための位置判定基準を生成してもよい。これらの判定基準は、別々に生成されてもよいし、統合されてもよい。学習部２４は、抽出情報と、視点位置及び視線方向との関係を学習し、建造物の画像から位置及び視線方向を判定するための判定基準を生成してもよい。

学習部２４は、解析部２３により画像内に検出された構造物が、位置を判定する対象の写真と画像をマッチングさせる際に、厳密な合致が要求される物であるか、厳密な合致は要求されないが同種の機能を有する構造物と合致することが要求される物であるかなど、マッチングに要求される精度に応じて重み付けをしてもよい。例えば、バルブを設置することは確定しているが、バルブの種類まで合致することは要求されていない場合に、別の種類のバルブが写っている写真でも合致すると判定されるように、判定基準を学習させてもよい。また、配管の径は確定しているが、色まで合致することは要求されていない場合に、同じ径の別の色の配管が写っている写真では合致すると判定され、径の異なる配管が写っている写真では合致しないと判定されるように、判定基準を学習させてもよい。

学習部２４は、建造物の写真に写っている足場や資材など、建造物の一部ではない物を削除してから学習に使用してもよいし、足場や資材などが写ったまま学習に使用してもよい。足場や資材などを削除する場合には、足場や資材などを輪郭検出技術などを利用して検出して削除してもよいし、測距カメラなどを使用して距離情報を持つ写真を撮像する場合には、所定の距離の範囲にある画素を削除することにより、足場や資材などを削除してもよい。

学習部２４は、画像のデータを入力層に入力し、出力層から位置情報を出力するニューラルネットワークを構築し、画像と位置の組合せに応じてニューラルネットワークの中間層の重みを調整することにより、写真が撮像された位置を判定するための判定基準を学習してもよい。学習部２４は、画像のデータを入力層に入力し、出力層から進捗段階を出力するニューラルネットワークを構築し、進捗段階ごとに生成された二次元画像と進捗段階の組合せに応じてニューラルネットワークの中間層の重みを調整することにより、進捗段階を判定するための判定基準を生成してもよい。

学習部２４は、建設現場を複数の領域に分割し、領域ごとに判定基準を生成してもよい。また、時間帯ごとに照明が設定されて生成された二次元画像を使用して、時間帯ごとに判定基準を生成してもよい。

提供部２５は、学習部２４により学習された判定基準データ３１を位置判定装置４０に提供する。

図３は、実施の形態に係る位置判定装置の構成を示す。位置判定装置４０は、制御装置５０及び記憶装置７０を備える。

記憶装置７０は、制御装置５０が使用するデータ及びコンピュータプログラムなどを格納する。記憶装置７０には、判定基準データ７１、三次元形状データ７２、構造物情報データベース７３が格納される。判定基準データ７１は、位置判定装置４０が位置を判定するために使用する判定基準のデータである。三次元形状データ７２は、建造物をモデリングした三次元形状データである。構造物情報データベース７３は、建造物を構成する構造物に関する情報を格納する。

制御装置５０は、写真受付部５１、判定部５２、位置情報送信部５５、進捗段階判定部５６、進捗段階送信部５７、構造物情報検索部５８、構造物情報送信部５９、ラインチェック部６０、及び確認結果送信部６１を備える。判定部５２は、領域判定部５３及びマッチング部５４を備える。これらの機能ブロックも、ハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できる。

写真受付部５１は、ロボット５又は建設現場端末８０などから送信された建造物の内部の写真を受け付ける。判定部５２は、写真受付部５１により受け付けられた写真が撮像された位置を判定する。前述したように、判定基準データ７１が、領域判定基準と位置判定基準の２段階の判定基準として生成されている場合、領域判定部５３は、領域判定基準にしたがって、写真が撮像された領域を判定し、マッチング部５４は、領域判定部５３により判定された領域における位置判定基準にしたがって、写真が撮像された位置を判定する。

位置情報送信部５５は、写真を受け付けた装置に、写真を撮像した位置を示す位置情報を送信する。前述したように、建造物の二次元画像から抽出された抽出情報と、二次元画像を生成した際の視点位置及び視線方向との関係を学習することにより判定基準データ７１が生成される場合には、判定部５２は、写真が撮像された位置及び視線方向を判定し、位置情報送信部５５は、位置情報及び視線方向を示す情報を送信する。

進捗段階判定部５６は、進捗段階を判定するための判定基準にしたがって、写真受付部５１により受け付けられた写真から進捗段階を判定する。進捗段階を判定するために使用する写真は、前述したように、自動撮像装置４から受け付けられてもよいし、ロボット５や建設現場端末８０などから受け付けられてもよい。進捗段階判定部５６は、写真受付部５１により受け付けられた写真に写っている建造物と、三次元形状データ７２とを比較することにより、建造物の建造の進捗段階を判定してもよい。例えば、三次元形状データ７２として表現された建造物と、写真に写っている建造物の体積又は表面積の比を算出することにより、進捗段階を判定してもよい。前述したように、進捗段階ごとに生成された二次元画像により学習された、進捗段階を判定するための判定基準が生成されている場合は、進捗段階判定部５６は、その判定基準にしたがって進捗段階を判定してもよい。

構造物情報検索部５８は、判定部５２により判定された位置、又は、位置及び視線方向に基づいて、写真受付部５１により受け付けられた写真に写っている構造物を判定し、判定された構造物に関する情報を、構造物情報データベース７３から検索する。構造物情報送信部５９は、構造物情報検索部５８により検索された情報を、写真を受け付けた装置に送信する。

ラインチェック部６０は、写真受付部５１により受け付けられた写真と、三次元形状データ７２とを比較することにより、配管などが設計通りに施工されているか否かを確認する。確認結果送信部６１は、ラインチェック部６０による確認結果を、写真を受け付けた装置に送信する。

図４は、実施の形態に係る建設現場端末の構成を示す。建設現場端末８０は、通信装置８１、表示装置８２、入力装置８３、撮像装置８４、記憶装置８５、及び制御装置９０を備える。

通信装置８１は、有線又は無線による通信を制御する。表示装置８２は、制御装置９０により生成された表示画像を表示する。入力装置８３は、ユーザから入力された情報を制御装置９０に入力する。撮像装置８４は、建設現場端末８０の周囲の建造物を撮像する。記憶装置８５は、制御装置９０が使用するデータやコンピュータプログラムなどを格納する。

制御装置９０は、写真送信部９１、位置情報提示部９２、進捗段階提示部９３、構造物情報提示部９４、及び確認結果提示部９５を備える。これらの機能ブロックも、ハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できる。

写真送信部９１は、撮像装置８４により撮像された建造物の写真を位置判定装置４０に送信する。位置情報提示部９２は、位置判定装置４０から送信された位置情報を表示装置８２に表示する。進捗段階提示部９３は、位置判定装置４０から送信された進捗段階を表示装置８２に表示する。構造物情報提示部９４は、位置判定装置４０から送信された構造物に関する情報を表示装置８２に表示する。確認結果提示部９５は、位置判定装置４０から送信されたラインチェックの結果を表示装置８２に表示する。

運転員端末８及び担当者端末９の構成は、建設現場端末８０の構成と同様である。ただし、運転員端末８及び担当者端末９には、進捗段階提示部９３及び確認結果提示部９５は設けられなくてもよい。

図５は、実施の形態に係る建造物管理システムにより管理される建造物の例を示す。図５は、建造物の一例であるプラントの完成後の写真である。

図６は、図５に示したプラントをモデリングした三次元形状データの例を示す。三次元形状データは、ＣＡＤなどにより作成される。

図７は、図６に示した三次元形状データをレンダリングすることにより生成された二次元画像の例を示す。このような二次元画像が大量に生成され、学習装置１０に提供される。

図８は、建設現場端末の表示装置に表示された画面の例を示す。表示装置８２には、撮像装置８４により撮像されたプラントの写真が表示されるとともに、構造物情報提示部９４により構造物に関する情報が表示され、さらに、確認結果提示部９５によりラインチェックの結果が表示されている。このように、撮像装置８４により撮像された写真に重畳させて構造物に関する情報やラインチェックの結果などを表示することにより、拡張現実（ＡＲ）を利用して、視覚的に理解しやすく情報を提示することができる。建設現場端末８０を進捗管理システムなどから情報を取得して、進捗管理に関する情報などを更に表示してもよい。

図９は、実施の形態に係る位置判定方法の手順を示すフローチャートである。図９は、学習装置１０が実行する手順を示す。二次元画像生成部２２は、視点位置及び視線方向を設定して、建造物をモデリングした三次元形状データをレンダリングすることにより、建造物の二次元画像を生成する（Ｓ１０）。解析部２３は、二次元画像生成部２２により生成された建造物の二次元画像を解析し、二次元画像の特徴を示す情報を抽出する（Ｓ１２）。写真取得部２１は、自動撮像装置４などにより撮像された建造物の写真と、写真が撮像された位置を示す情報を取得する（Ｓ１４）。解析部２３は、写真取得部２１により取得された建造物の写真を解析し、写真の特徴を示す情報を抽出する（Ｓ１６）。学習部２４は、解析部２３により抽出された抽出情報と、二次元画像を生成する際に設定された視点位置、又は、建造物の写真が撮像された位置との関係を学習することにより、建造物の写真から位置を判定するために使用される判定基準データを生成する（Ｓ１８）。

図１０は、実施の形態に係る位置判定方法の手順を示すフローチャートである。図１０は、位置判定装置４０が実行する手順を示す。写真受付部５１は、ロボット５又は建設現場端末８０などから送信された建造物の内部の写真を受け付ける（Ｓ２０）。判定部５２は、写真受付部５１により受け付けられた写真が撮像された位置を判定する（Ｓ２２）。位置情報送信部５５は、写真を受け付けた装置に、写真を撮像した位置を示す位置情報を送信する（Ｓ２４）。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

本発明の技術は、プラントだけでなく、ビルなどの建築物の建設や運用を管理するためにも利用可能である。また、建造物の内部や周辺だけでなく、撮像装置により撮像可能であって、三次元形状データが存在する、任意の対象において位置を判定するために利用可能である。

１建造物管理システム、１０学習装置、２１写真取得部、２２二次元画像生成部、２３解析部、２４学習部、２５提供部、４０位置判定装置、５１写真受付部、５２判定部、５３領域判定部、５４マッチング部、５５位置情報送信部、５６進捗段階判定部、５７進捗段階送信部、５８構造物情報検索部、５９構造物情報送信部、６０ラインチェック部、６１確認結果送信部、８０建設現場端末。

Claims

建造物を撮像した写真から、前記写真が撮像された位置を判定する位置判定装置と、
前記位置判定装置が位置を判定するために使用する判定基準を機械学習により生成する学習装置と、
を備え、
前記学習装置は、
前記建造物をモデリングした三次元形状データを記憶する三次元形状データ記憶部と、
視点位置及び視線方向を設定して前記三次元形状データをレンダリングすることにより、前記建造物の二次元画像を生成する二次元画像生成部と、
前記建造物を撮像した写真と、その写真が撮像された位置を示す位置情報とを取得する写真取得部と、
前記二次元画像生成部により生成された二次元画像から抽出される抽出情報と、その二次元画像を生成する際に設定された視点位置との関係、及び、前記写真取得部により取得された前記建造物の写真と、その写真が撮像された位置を示す位置情報との関係を学習することにより、前記判定基準を生成する学習部と、
を備え、
前記位置判定装置は、
前記建造物を撮像した写真を受け付ける写真受付部と、
前記学習装置により生成された前記判定基準に基づいて、前記写真受付部により受け付けられた写真が撮像された位置を判定する判定部と、
を備えることを特徴とする建造物管理システム。
前記二次元画像生成部は、前記建造物の内部に視点位置を設定して前記建造物の内部の二次元画像を生成し、
前記学習部は、前記建造物の内部で撮像された写真から、その写真が撮像された位置を判定するために使用される判定基準を学習し、
前記写真受付部は、前記建造物の内部で撮像された写真を受け付け、
前記判定部は、前記写真受付部により受け付けられた写真が撮像された前記建造物の内部の位置を判定することを特徴とする請求項１に記載の建造物管理システム。
前記位置判定装置は、
前記建造物を構成する構造物に関する情報と、前記建造物における前記構造物の位置を示す情報とを記憶する構造物情報記憶部と、
前記判定部により判定された位置に基づいて、前記写真に撮像されている構造物を判定し、判定された構造物に関する情報を提示する構造物情報提示部と、
を備えることを特徴とする請求項１から２のいずれかに記載の建造物管理システム。
前記位置判定装置は、
前記建造物の三次元形状データを記憶する三次元形状データ記憶部と、
前記写真受付部により受け付けられた写真と前記三次元形状データとを比較することにより、前記建造物の建造の進捗段階を判定する進捗段階判定部と、
を更に備えることを特徴とする請求項１から３のいずれかに記載の建造物管理システム。
前記位置判定装置は、
前記建造物の三次元形状データを記憶する三次元形状データ記憶部と、
前記写真受付部により受け付けられた写真と前記三次元形状データとを比較することにより、前記建造物の施工の良否を確認する確認部と、
を更に備えることを特徴とする請求項１から４のいずれかに記載の建造物管理システム。
建造物をモデリングした三次元形状データを記憶する三次元形状データ記憶部と、
視点位置及び視線方向を設定して前記三次元形状データをレンダリングすることにより、前記建造物の二次元画像を生成する二次元画像生成部と、
前記建造物を撮像した写真と、その写真が撮像された位置を示す位置情報とを取得する写真取得部と、
前記二次元画像生成部により生成された二次元画像から抽出される抽出情報と、その二次元画像を生成する際に設定された視点位置との関係、及び、前記写真取得部により取得された前記建造物の写真と、その写真が撮像された位置を示す位置情報との関係を学習することにより、前記建造物を撮像した写真から前記写真が撮像された位置を判定するために使用される判定基準を生成する学習部と、
を備えることを特徴とする学習装置。
建造物を撮像した写真を受け付ける写真受付部と、
視点位置及び視線方向を設定して前記建造物をモデリングした三次元形状データをレンダリングすることにより生成された二次元画像から抽出される抽出情報と、その二次元画像を生成する際に設定された視点位置との関係、及び、前記建造物を撮像した写真と、その写真が撮像された位置を示す位置情報との関係を学習することにより生成された判定基準に基づいて、前記写真受付部により受け付けられた写真が撮像された位置を判定する判定部と、
を備えることを特徴とする位置判定装置。
撮像画像により撮像された撮像対象の写真を受け付ける写真受付部と、
視点位置及び視線方向を設定して前記撮像対象をモデリングした三次元形状データをレンダリングすることにより生成された二次元画像から抽出される抽出情報と、その二次元画像を生成する際に設定された視点位置との関係、及び、前記撮像対象を撮像した写真と、その写真が撮像された位置を示す位置情報との関係を学習することにより生成された判定基準に基づいて、前記写真受付部により受け付けられた写真が撮像された位置を判定する判定部と、
を備えることを特徴とする位置判定装置。
撮像画像により撮像された撮像対象の写真を受け付けるステップと、
視点位置及び視線方向を設定して前記撮像対象をモデリングした三次元形状データをレンダリングすることにより生成された二次元画像から抽出される抽出情報と、その二次元画像を生成する際に設定された視点位置との関係、及び、前記撮像対象を撮像した写真と、その写真が撮像された位置を示す位置情報との関係を学習することにより生成された判定基準に基づいて、前記写真を受け付けるステップにおいて受け付けられた写真が撮像された位置を判定するステップと、
をコンピュータに実行させることを特徴とする位置判定方法。