WO2021176891A1

WO2021176891A1 - ３次元表示装置、方法及びプログラム

Info

Publication number: WO2021176891A1
Application number: PCT/JP2021/002685
Authority: WO
Inventors: 浩明菊池
Original assignee: 富士フイルム株式会社
Priority date: 2020-03-03
Filing date: 2021-01-26
Publication date: 2021-09-10
Also published as: JPWO2021176891A1; EP4116933A1; EP4116933A4; US20220406018A1; CN115176281A

Abstract

構造物の３次元モデルをディスプレイに表示させつつ、構造物を構成する各部材の損傷情報等を容易に確認することができる３次元表示装置、方法及びプログラムを提供する。３次元表示装置１０のプロセッサとして機能するＣＰＵ２０は、記憶部１６に記憶された、構造物の部材に関連付けられた損傷情報を、記憶部１８に記憶された３次元モデルの損傷情報に対応する部材にマッピングする。そして、操作部１８から構造物の点検対象の部材の表示の指示を受け付けると、表示の指示を受け付けた損傷情報がマッピングされた部材のみの３次元モデルを作成し、表示部３０に表示させる。

Description

３次元表示装置、方法及びプログラム

　本発明は３次元表示装置、方法及びプログラムに係り、特に構造物の３次元モデルをディスプレイに表示する技術に関する。

　橋梁などの社会インフラ構造物は、維持管理及び補修を行うために定期点検する必要がある。

　近年、カメラを搭載したドローンやロボット等によりアクセス困難な高所橋梁等を、各画像の一部が重複するように多数枚の画像を撮影し、ＳｆＭ（Structure from Motion）を使用して３次元点群を生成し、３次元点群に基づく構造物の３次元モデルを生成する技術が普及しつつある。

　特許文献１には、ＳｆＭを使用して生成した構造物の３次元モデルの表面に、その構造物の撮影画像を解析して検出した損傷（損傷図）をマッピングし、損傷図がマッピングされた３次元モデルを表示部に表示する技術が開示されている。

国際公開第２０１９／１９８５６２号

　特許文献１には、損傷図がマッピングされた３次元モデルの表示部での表示方法については具体的に記載されていない。

　構造物の点検は、構造物を構成する部位及び部材の点検単位の区分である、管理区分の単位で行われ、国や自治体などで定めた点検評価基準にしたがって管理区分毎に損傷程度の評価、外観性状の記録などが行われる。

　３次元モデルをディスプレイに表示させ、ユーザが構造物を構成する特定の部材及びその部材における損傷を確認したい場合、３次元モデルの表示では、ユーザが確認したい情報以外の不必要な情報が表示されたり、また、特定の部材の一部が他の部材の死角となって見にくくなるという問題がある。

　本発明はこのような事情に鑑みてなされたもので、構造物の３次元モデルをディスプレイに表示させつつ、構造物を構成する各部材の損傷情報等を容易に確認することができる３次元表示装置、方法及びプログラムを提供することを目的とする。

　上記目的を達成するために第１態様に係る発明は、プロセッサと、構造物の３次元モデル及び構造物の部材に関連付けられた損傷情報を記憶するメモリと、を備えた３次元表示装置であって、プロセッサは、メモリに記憶された損傷情報を、メモリに記憶された３次元モデルの損傷情報に対応する部材にマッピングし、ユーザインターフェースから構造物の部材の表示又は非表示の指示を受け付け、ユーザインターフェースから構造物の点検対象の部材の表示の指示を受け付けると、表示の指示を受け付けた損傷情報がマッピングされた部材のみの３次元モデルをディスプレイに表示させ、又は構造物の所望の部材の非表示の指示を受け付けると、非表示の指示を受け付けた部材を除く構造物の部材であって、損傷情報がマッピングされた部材の３次元モデルをディスプレイに表示させる。

　本発明の第１態様によれば、プロセッサは、構造物の部材に関連付けられた損傷情報を、構造物の３次元モデルの損傷情報に対応する部材にマッピングする損傷情報マッピング処理を行う。そして、ユーザインターフェースから構造物の点検対象の部材の表示の指示を受け付けると、表示の指示を受け付けた損傷情報がマッピングされた部材のみの３次元モデルをディスプレイに表示させ、またはユーザインターフェースから構造物の所望の部材の非表示の指示を受け付けると、非表示の指示を受け付けた部材を除く構造物の部材であって、損傷情報がマッピングされた部材の３次元モデルをディスプレイに表示させる。

　これにより、損傷情報がマッピングされた部材の３次元モデルを表示するディスプレイには、ユーザが確認したい情報以外の不必要な情報が表示されなくなり、又は非表示の指示を受け付けた部材が削除され、ユーザは、構造物を構成する所望の部材の損傷情報等を容易に確認することができる。

　本発明の第２態様に係る３次元表示装置において、３次元モデルは、３次元点群モデル、３次元点群モデルに基づいて作成される３次元ポリゴンモデル、又は３次元ポリゴンモデルの各ポリゴンに構造物を撮影した画像がテクスチャーマッピングされたものであることが好ましい。

　本発明の第３態様に係る３次元表示装置において、プロセッサは、３次元モデルに基づいて構造物を構成する各部材を認識することが好ましい。

　本発明の第４態様に係る３次元表示装置において、メモリは、構造物の各部材と各部材に発生し得る損傷との関係を示すテーブルを記憶し、プロセッサは、ユーザインターフェースから構造物の複数の損傷の種類のうちのいずれかの損傷の種類の選択を受け付けると、テーブルから選択された損傷の種類に対応する部材を特定し、特定した部材の表示を受け付けることが好ましい。

　これにより、ユーザは、確認したい損傷の種類を選択することにより、選択された損傷の種類に対応する部材がプロセッサにより特定され、特定された部材（即ち、確認したい損傷の種類に対応する損傷情報がマッピングされた部材）のみの３次元モデルを表示することができる。

　本発明の第５態様に係る３次元表示装置において、プロセッサは、損傷情報がマッピングされた部材の３次元モデルをディスプレイに表示させ、３次元モデルが表示されたディスプレイ上でポインティングデバイスにより指示された構造物の点検対象の部材の表示の指示、又は構造物の所望の部材の非表示の指示を受け付けることが好ましい。

　これにより、ユーザは、ディスプレイに表示された３次元モデルを見ながら、構造物の点検対象の点検対象の部材の表示の指示を行うことができ、又は構造物の所望の部材の非表示の指示を行うことができる。

　本発明の第６態様に係る３次元表示装置において、プロセッサは、ユーザインターフェースから構造物の点検対象の部材の表示の指示を受け付けると、部材の面の法線方向に視線方向を設定して３次元モデルをディスプレイに表示させることが好ましい。
これにより、ユーザは、構造物の点検対象の部材の面を正対して視認することができ、部材の表面にマッピングされた損傷情報をより正確に把握することができる。

　本発明の第７態様に係る３次元表示装置において、損傷情報は、損傷の位置又は領域を示す損傷図であることが好ましい。

　本発明の第８態様に係る３次元表示装置において、構造物のコンクリート部材の損傷は、ひびわれ、剥離・鉄筋露出、及び漏水・遊離石灰のうちの少なくとも１つを含み、構造物の鋼部材の損傷は、腐食、亀裂、及び破断の少なくとも１つを含む。

　第９態様に係る発明は、プロセッサにより構造物の３次元モデルをディスプレイに表示させる３次元表示方法であって、プロセッサの各処理は、構造物の３次元モデル及び構造物の部材に関連付けられた損傷情報を記憶するメモリから３次元モデル及び損傷情報を取得するステップと、取得した損傷情報を、３次元モデルの損傷情報に対応する部材にマッピングするステップと、ユーザインターフェースから構造物の部材の表示又は非表示の指示を受け付けるステップと、ユーザインターフェースから構造物の点検対象の部材の表示の指示を受け付けると、表示の指示を受け付けた損傷情報がマッピングされた部材のみの３次元モデルをディスプレイに表示させ、又は構造物の所望の部材の非表示の指示を受け付けると、非表示の指示を受け付けた部材を除く構造物の部材であって、損傷情報がマッピングされた部材の３次元モデルをディスプレイに表示させるステップと、を含む。

　第１０態様に係る発明は、構造物の３次元モデルをディスプレイに表示させる３次元表示方法をコンピュータに実行させる３次元表示プログラムであって、３次元表示方法は、構造物の３次元モデル及び構造物の部材に関連付けられた損傷情報を記憶するメモリから３次元モデル及び損傷情報を取得するステップと、取得した損傷情報を、３次元モデルの損傷情報に対応する部材にマッピングするステップと、ユーザインターフェースから構造物の部材の表示又は非表示の指示を受け付けるステップと、ユーザインターフェースから構造物の点検対象の部材の表示の指示を受け付けると、表示の指示を受け付けた損傷情報がマッピングされた部材のみの３次元モデルをディスプレイに表示させ、又は構造物の所望の部材の非表示の指示を受け付けると、非表示の指示を受け付けた部材を除く構造物の部材であって、損傷情報がマッピングされた部材の３次元モデルをディスプレイに表示させるステップと、を含む。

　本発明によれば、構造物の３次元モデルをディスプレイに表示させつつ、構造物を構成する各部材の損傷情報等を容易に確認することができる。

図１は、本発明に係る３次元表示装置のハードウエア構成の一例を示すブロック図である。図２は、構造物の各部材と各部材に発生し得る損傷との関係を示すテーブルの一例を示す図表である。図３は、橋梁の３次元モデルの全体を表示する表示部の画面の一例を示す図である。図４は、橋梁の３次元モデル（の一部）が表示された表示部の画面の一例を示す図である。図５は、本発明に係る３次元表示方法の実施形態を示すフローチャートの一部を示す図である。図６は、図５に示したフローチャートの続きのフローチャートである。図７は、損傷図がマッピングされた床版の３次元モデルを表示する表示部の画面の一例を示す図である。図８は、損傷図がマッピングされた床版の３次元モデルであって、多角形のポリゴンの集合体で構造物の表面を表した３次元モデルを表示する表示部の画面の一例を示す図である。

　以下、添付図面に従って本発明に係る３次元表示装置、方法及びプログラムの好ましい実施形態について説明する。

　［３次元表示装置のハードウエア構成］
　図１は、本発明に係る３次元表示装置のハードウエア構成の一例を示すブロック図である。

　図１に示す３次元表示装置１０としては、パーソナルコンピュータ又はワークステーションを使用することができる。本例の３次元表示装置１０は、主として画像取得部１２と、画像データベース１４と、記憶部１６と、操作部１８と、ＣＰＵ（Central Processing Unit）２０と、ＲＡＭ(Random Access Memory)２２と、ＲＯＭ(Read Only Memory)２４と、表示制御部２６とから構成されている。例えば表示制御部２６はＧＰＵ（Graphic Processing Unit）等で構成される。また、ＣＰＵ２０が表示制御部２６を兼ねてもよい。

　画像取得部１２は、入出力インターフェースに相当し、本例では点検対象の構造物を撮影した撮影画像等を取得する。点検対象の構造物は、例えば、橋梁、トンネル等の構造物を含む。

　画像取得部１２が取得する画像は、例えば、カメラを搭載したドローン（無人飛行体）やロボットにより構造物を撮影した多数の画像（撮影画像群）である。撮影画像群は、構造物の全体を網羅するものであり、かつ隣接する各撮影画像は、８割程度の範囲で画像が重複していることが好ましい。

　画像取得部１２により取得した撮影画像群は、画像データベース１４に格納される。

　記憶部１６は、ハードディスク装置、フラッシュメモリ等から構成されるメモリであり、オペレーティングシステム、３次元表示プログラムの他、構造物の３次元モデル、構造物の部材に関連付けられた部材毎の損傷情報、及び構造物の各部材と各部材に発生し得る損傷との関係を示すテーブル等を記憶する。

　ここで、３次元モデルは、画像データベース１４に格納された撮影画像群の、互いに重複する撮影画像間の特徴点を抽出し、抽出した特徴点に基づいて、ドローンに搭載されたカメラの位置及び姿勢を推定し、また、カメラの位置及び姿勢の推定結果から同時に特徴点の３次元位置を推定した３次元点群モデルを含む。

　ドローンによりカメラの撮影位置が動いていく撮影画像群の中から、多数の特徴点の動きをトラッキングし、構造物の３次元構造(Structure)とカメラ姿勢(Motion)とを同時に推定するStructure from Motion(ＳｆＭ)手法がある。近年、bundle adjustmentという最適化計算法が開発され、高精度な出力を出せるようになっている。

　尚、ＳｆＭ手法を適用する場合に必要なカメラのパラメータ（焦点距離、イメージセンサの画像サイズ、画素ピッチ等）は、記憶部１６に記憶させたものを使用することができる。また、ＳｆＭ手法では、絶対的なスケールは求めることができないため、例えば、構造物の既知の大きさ（２点間の距離等）を指示することで、絶対的なスケール（３次元位置）を求めることができる。

　ここで、３次元モデルは、構造物の表面上の多数の点の３次元点群で表した３次元点群モデル、３次元点群モデルに基づいて作成した多角形のポリゴン（例えば、三角パッチ）の集合体で構造物の表面を表した３次元ポリゴンモデル、又は多角形のポリゴンに構造物を撮影した画像（テクスチャ）をテクスチャーマッピングしたものが考えられる。本例の構造物の３次元モデルは、３次元ポリゴンモデルの多角形のポリゴンに画像をテクスチャーマッピングしたものとする。

　損傷情報は、損傷図を含む。また、損傷情報としては、損傷図に表されている損傷の種類や損傷程度（軽度、重度等）を含めることができる。

　損傷図は、構造物を撮影した撮影画像上で、例えば、コンクリート部材の場合、撮影画像上で視認したコンクリートのひびわれ、剥離等の損傷を手動でトレースしたり、撮影画像から自動で損傷を検出する画像処理を行い、必要に応じて手動で補正することにより生成することができる。

　撮影画像から自動で損傷を検出する画像処理は、人工知能（ＡＩ：artificial intelligence）により行うことができる。

　図２は、構造物の各部材と各部材に発生し得る損傷との関係を示すテーブルの一例を示す図表である。

　図２に示すテーブルには、構造物の点検項目に対応する２６種類の損傷の種類が、構造物の部材（鋼部材、コンクリート部材等）に関連付けられて記憶されている。

　以下、構造物として橋梁を例に説明する。

　図３は、橋梁の３次元モデルの全体を表示する表示部の画面の一例を示す図であり、図４は、橋梁の３次元モデル（の一部）が表示された表示部の画面の一例を示す図である。

　図３及び図４に示すように表示部３０の画面３０Ａに表示されている橋梁１は、橋脚７の間に渡された主桁２と、主桁２と直交する方向に設けられ、主桁間を連結する横桁３と、主桁２を相互に連結する対傾構４及び横構５とを含む各種の部材から構成されている。主桁等の上部には、車輌等が走行するための床版６が打設されている。床版６は、鉄筋コンクリート製のものが一般的である。

　床版６は、通常、主桁２と横桁３とにより画成された矩形形状の格間が基本単位となっており、床版の損傷（ひび割れ、コンクリート剥離など）を点検する場合、格間単位で行われる。

　床版の各格間は、構造物（橋梁）を構成する部材（点検単位）の一つである。尚、橋梁の点検単位は、床版（格間）の他に、構造物を構成する部位・部材区分（主桁２、横桁３、対傾構４、横構５、橋脚７（柱部・壁部、梁部、隅角部・接合部））などがある。

　操作部１８は、コンピュータに有線接続又は無線接続されるキーボード及びマウス等を含む。本例では、操作部１８は、コンピュータの通常の操作入力を受け付ける操作部として機能する他に、表示部３０の画面に表示させる３次元モデルの平行移動、回転、拡大縮小等を含むビュー操作を指示し、構造物の部材の表示又は非表示を指示し、あるいは構造物の複数の損傷の種類（本例では、図２に示した２６種類の損傷の種類）のうちのいずれかの損傷の種類の選択を指示するユーザインターフェースとして機能する。

　ＣＰＵ２０は、記憶部１６又はＲＯＭ２４等に記憶された各種のプログラムを読み出し、各部を統括制御するとともに、構造物の３次元モデルを表示部３０に表示させるための各種の処理を実行する。

　ＲＡＭ２２は、ＣＰＵ２０の作業領域として使用され、読み出されたプログラムや各種のデータを一時的に記憶する記憶部として用いられる。

　表示制御部２６は、表示部３０に表示させる表示用データを作成し、表示部３０に出力する部分であり、本例ではＣＰＵ２０からの指示にしたがって表示部３０に３次元モデルを表示させ、操作部１８による３次元モデルのビュー操作に基づいて３次元モデルの平行移動、回転、拡大縮小等を行わせる。

　表示部３０は、コンピュータに接続可能な液晶モニタ等の各種のディスプレイが用いられ、表示制御部２６から入力する表示用データにより３次元モデルを表示し、また、操作部１８とともにユーザインターフェースの一部として使用される。

　上記構成の３次元表示装置１０のＣＰＵ２０を含むプロセッサは、記憶部１６又はＲＯＭ２４に記憶されているプログラムを読み出すとともに、記憶部１６から３次元モデル及び損傷情報を読み出し、プログラムを実行することにより操作部１８による操作に応じて構造物の３次元モデルを表示部３０に表示させる。

　［３次元表示方法］
　図５及び図６は、本発明に係る３次元表示方法の実施形態を示すフローチャートである。

　図５及び図６において、図1に示した３次元表示装置１０の各部の動作を説明しつつ、本発明に係る３次元表示方法を説明する。

　３次元表示装置１０の記憶部１６には、構造物（本例では橋梁）の３次元モデルと構造物の部材に関連付けられた損傷情報とが記憶されている。本例の３次元表示方法を実施する場合、上記の情報を記憶した記憶部１６を予め準備しておくことが好ましい。

　３次元表示装置１０のＣＰＵ２０、記憶部１６に記憶された３次元表示プログラム、ＲＡＭ２２及びＲＯＭ２４、表示制御部２６等はプロセッサを構成し、プロセッサは、以下に示す各種の処理を行う。

　プロセッサは、記憶部１６から３次元モデル及び損傷情報を読み出し、損傷情報を３次元モデルの損傷情報に対応する部材にマッピングする損傷情報マッピング処理を行う（ステップＳ１０）。これにより、損傷情報である損傷図がマッピングされた３次元モデルを作成する。損傷情報に損傷程度が含まれている場合、例えば、損傷程度を色分けして損傷図を作成することができる。

　本例の３次元モデルは、３次元ポリゴンモデルの各ポリゴンに構造物を撮影した画像がテクスチャーマッピングされたものであるが、撮影した画像に基づいて作成される損傷図は、画像のマッピングと同様にして３次元モデルにマッピングすることができる。

　続いて、プロセッサは、損傷情報がマッピングされた３次元モデルを表示部３０に表示させる（ステップＳ１１）。ここで、プロセッサは、３次元モデルを表示部３０に最初に表示させる場合には、図３に示すように構造物である橋梁１の全体が把握できるように橋梁１の全景を示す３次元モデルを表示部３０の画面３０Ａに表示させることが好ましい。尚、図３に示す橋梁１の全景を示す３次元モデルは大幅に縮小されているため、ユーザは、３次元モデルにマッピングされた損傷情報を殆ど視認することができない。

　次に、プロセッサは、画面３０Ａに表示されている３次元モデルに対し、ユーザによるビュー操作が行われたか否かを判別する（ステップＳ１２）。ビュー操作は、画面３０Ａに３Ｄ（three dimensions）で表現された３次元モデルを拡大表示、縮小表示、平行移動、又は回転移動させるための操作であり、操作部１８を使用して行われる。この場合、ユーザのビュー操作を受け付ける操作部としては、３Ｄマウスが好適であるが、通常のマウス等も使用可能である。

　ステップＳ１２において、ビュー操作が行われたと判別されると（「Yes」の場合）、プロセッサは、ビュー操作が３次元モデルを拡大又は縮小させる操作か、３次元モデルを平行移動させる操作か、又は回転移動させる操作かを判別する（ステップＳ１４、ステップＳ１６）。

　３次元モデルを拡大又は縮小させるビュー操作が操作部１８により行われると、プロセッサは、そのビュー操作による拡大又は縮小の指示に応じて３次元モデルを拡大又は縮小させた表示用データを作成し、表示部３０に出力する（ステップＳ１８）。また、プロセッサは、３次元モデルを平行移動させるビュー操作が操作部１８により行われると、そのビュー操作による平行移動の指示に応じて３次元モデルを平行移動させた表示用データを作成し、表示部３０に出力し（ステップＳ２０）、３次元モデルを回転移動させるビュー操作が操作部１８により行われると、そのビュー操作による回転移動の指示に応じて３次元モデルを回転移動させた表示用データを作成し、表示部３０に出力する（ステップＳ２２）。

　ステップＳ１２において、ビュー操作が行われていないと判別されると（「No」の場合）、又はステップＳ１８、Ｓ２０、Ｓ２２の処理が終了すると、ステップＳ２３に遷移させる。

　ステップＳ２３において、プロセッサは、操作部１８からの３次元モデルの表示の終了の指示入力の有無を判別し、終了の指示入力がない場合（「No」の場合）には、ステップＳ２４に遷移させ、終了の指示入力がある場合（「Yes」の場合）には、３次元モデルの表示を終了させる。

　次に、プロセッサは、ユーザインターフェースとして機能する操作部１８から構造物の部材（特定の点検対象の部材）の表示の指示を受け付けたか否を判別する（受付処理を行う）（ステップＳ２４）。

　操作部１８を使用した構造物の表示する部材の受付処理は、以下のようにして行うことができる。

　例えば、プロセッサは、図２に示した構造物の２６種類の損傷を表示部３０のサブ画面又は別画面に表示させる。そして、ユーザが操作部１８を使用して所望の損傷を選択すると、プロセッサは、選択された損傷に関連する部材を、図２に示したテーブルから特定し、その部材を３次元表示する部材として受け付ける。

　例えば、損傷として「ひびわれ」、「剥離・鉄筋露出」、及び「漏水・遊離石灰」のうちの少なくとも１つが選択されると、コンクリート部材が特定される。本例の橋梁１の場合、コンクリート部材は、床版６（図４）であるため、床版６が特定されることになる。
また、損傷として「腐食」、「亀裂」、及び「破断」のうちの少なくとも１つが選択されると、構造物の鋼部材が特定される。本例の橋梁１の場合、鋼部材は、主桁２、横桁３、対傾構４、及び横構５（図４）であるため、これらの部材が特定されることになる。

　また、「剥離・鉄筋露出」が選択された場合、床版のうち、損傷情報として「剥離・鉄筋露出」を有する床版を特定することが好ましい。この場合、損傷情報として、損傷図に加えて損傷の種類の情報が含まれている場合に、その損傷の種類の情報を活用することができる。

　更に、上記の例に限らず、構造物（橋梁１）を構成する各部材のうちから１又は２以上の部材を、操作部１８を使用して直接選択するようにしてもよい。

　例えば、図４において、３２は、表示部３０の画面３０Ａでの入力位置を示すカーソルであり、カーソル３２は、操作部１８（マウス等のポインティングデバイス）の操作により画面３０Ａ上を移動することができる。

　ユーザは、橋梁の所望の点検対象の部材の損傷を確認したい場合、３次元モデルで橋梁全体を空間把握しながら３次元モデルを立体的に動かして、所望の点検対象の部材を表示部３０の画面３０Ａ上で探索する。そして、表示部３０の画面３０Ａにおいて、所望の部材の表示領域内にカーソル３２を移動させ、マウスによるクリック操作や実行キーによる入力操作を行う。これにより、操作部１８は、表示部３０の画面３０Ａに表示された３次元モデル上の位置を指定することができ、指定した位置に対応する部材の受け付けることができる。

　図４において、カーソル３２の位置は、橋梁１の床版６に含まれる特定の格間内に位置している。ここで、マウスによるクリック操作等が行われると、プロセッサは、橋梁１の床版６、又は床版６に含まれる特定の格間の表示の指示を受け付けることができる。このようにして、所望の部材の選択が行われる場合、選択が行われたことを示す指標３４を、３次元モデル上のカーソル３２が示す位置に重畳表示させることが好ましい。

　ステップＳ２４において、構造物の点検対象の部材の表示の指示を受け付けた場合（「Yes」の場合）、図６のステップＳ２６に遷移し、点検対象の部材の表示の指示を受け付けていない場合（「No」の場合）、ステップＳ１２に戻る。

　図６に示すステップＳ２６において、プロセッサは、表示の指示を受け付けた部材（損傷情報がマッピングされた部材）のみの３次元モデルを作成する（ステップＳ２６）。

　この場合、プロセッサは、３次元モデルのうちの、表示の指示を受け付けた部材に対応する３次元モデルと、それ以外の部材に対応する３次元モデルとを識別する必要がある。プロセッサは、３次元モデルに基づいて構造物を構成する各部材を認識する部材認識処理を行うことが好ましい。部材認識処理は、ＡＩにより行うことができる。

　また、３次元モデルは、予め３次元モデルの各部材に対応する部分と、構造物のどこの部材であるかを示す部材番号とが関連付けられて構成されていてもよい。

　プロセッサは、ステップＳ２６で作成された、表示の指示を受け付けた損傷情報がマッピングされた部材のみの３次元モデルを表示部３０に表示させる表示処理を行う（ステップＳ２８）。

　ステップＳ２８での表示処理は、表示の指示を受け付けた損傷情報がマッピングされた部材の３次元モデルを表示させる際に、その部材の面の法線方向に視線方向を設定して３次元モデルを表示部３０の画面に表示させる。これにより、ユーザは、構造物の点検対象の部材の面を正対して視認することができ、部材の表面にマッピングされた損傷情報をより正確に把握することができる。

　図７は、損傷図がマッピングされた床版の３次元モデルを表示する表示部の画面の一例を示す図である。

　図７に示すように表示部３０の画面３０Ａには、損傷図がマッピングされた床版のみの３次元モデルが表示される。

　図７には、床版を構成する複数の格間（格間の一部を含む）が表示されており、損傷図として、６本のひびわれＣ１～Ｃ６、コンクリートの剥離・鉄筋露出Ｈ１が図示されている。尚、ひびわれＣ６は、ひびわれＣ１～Ｃ５を有する格間に対して、図７上で下方に隣接する格間のひびわれである。

　床版の各格間の３次元モデルは、撮影された画像がマッピングされており、その画像上に損傷図がマッピングされている。また、プロセッサは、ユーザからの指示により損傷図の表示／非表示を行うことが好ましい。ユーザが画像上で損傷を確認する場合に、損傷図を非表示にしたい場合があるからである。

　次に、プロセッサは、ステップＳ２８により表示された、損傷情報がマッピングされた部材のみの３次元モデルに対し、ユーザによるビュー操作が行われたか否かを判別する（ステップＳ３０）。

　ここでのビュー操作は、損傷情報がマッピングされた部材のみの３次元モデルを拡大表示、縮小表示、又は平行移動させるための操作である。本例では、部材の面の法線方向に視線方向を設定するため、３次元モデルを回転させるビュー操作は含まれない。

　ステップＳ１２において、ビュー操作が行われたと判別されると（「Yes」の場合）、プロセッサは、ビュー操作が３次元モデルを拡大又は縮小させる操作か、又は３次元モデルを平行移動させる操作かを判別する（ステップＳ３２）。

　３次元モデルを拡大又は縮小させるビュー操作が操作部１８により行われると、プロセッサは、そのビュー操作による拡大又は縮小の指示に応じて３次元モデルを拡大又は縮小させた表示用データを作成し、表示部３０に出力する（ステップＳ３４）。また、プロセッサは、３次元モデルを平行移動させるビュー操作が操作部１８により行われると、そのビュー操作による平行移動の指示に応じて３次元モデルを平行移動させた表示用データを作成し、表示部３０に出力する（ステップＳ３６）。

　ステップＳ３０において、ビュー操作が行われていないと判別されると（「No」の場合）、又はステップＳ３４、Ｓ３６の処理が終了すると、ステップＳ３８に遷移させる。

　ステップＳ３８において、プロセッサは、操作部１８からの３次元モデルの表示の終了の指示入力の有無を判別し、終了の指示入力がない場合（「No」の場合）には、ステップＳ４０に遷移させ、終了の指示入力がある場合（「Yes」の場合）には、３次元モデルの表示を終了させる。

　ステップＳ４０では、プロセッサは、現在表示して３次元モデルの部材とは別の部材の３次元モデルを表示させるか否かを、ユーザからの指示入力に基づいて判別する。

　プロセッサは、別の部材の３次元モデルを表示させる指示入力がない場合（「No」の場合）、ステップＳ３０に遷移し、別の部材の３次元モデルを表示させる指示入力がある場合（「Yes」の場合）、図５のステップＳ１１に遷移させる。

　［実施形態の変形例］
　図５及び図６に示した実施形態では、構造物の点検対象の部材の表示の指示を受け付け、表示の指示を受け付けた損傷情報がマッピングされた部材のみの３次元モデルを表示部に表示させるようにしている。しかし、これとは逆に、構造物の所望の部材の非表示の指示を受け付け、非表示の指示を受け付けた部材を除く構造物の部材であって、損傷情報がマッピングされた部材の３次元モデルを表示部に表示させるようにしてもよい。

　例えば、橋梁１の床版６の損傷を確認したい場合、床版６の一部が、床版６よりも手前（視点側）に存在する横桁３、対傾構４及び横構５の死角となって確認しづらくなる場合がある。この場合、横桁３、対傾構４及び横構５等の部材の３次元モデルを非表示にする。

　即ち、プロセッサは、図５に示したステップＳ２４の代りに、ユーザインターフェースとして機能する操作部１８から構造物の所望の部材（特定の点検対象の部材の視認を阻害する部材）の非表示の指示を受け付けたか否を判別する（受付処理を行う）。

　そして、操作部１８から構造物の所望の部材の非表示の指示を受け付けた場合、図６に示したステップＳ２６の代りに、プロセッサは、非表示の指示を受け付けた部材を除く構造物の部材であって、損傷情報がマッピングされた部材の３次元モデルを作成する。

　尚、上記のステップＳ２４及びステップＳ２６以外のステップにおける処理は、図５及び図６に示した実施形態と同様のため、その詳細な説明は省略する。

　また、非表示の指示を受け付けた部材を除く構造物の部材の３次元モデルを最初に表示部に表示する場合、非表示の指示を受け付けた部材が除去されることにより、部材全体が視認可能になる部材の面の法線方向に視線方向を設定して３次元モデルを表示させることが好ましい。

　［その他］
　本実施形態では、構造物の３次元ポリゴンモデルの多角形のポリゴンに、構造物を撮影した画像をテクスチャーマッピングして３次元モデルを構成している。しかし、これに限らず、３次元モデルは、構造物の表面上の多数の点の３次元点群で表した３次元点群モデル、３次元点群モデルに基づいて作成した多角形のポリゴンの集合体で構造物の表面を表したものでもよい。

　図８は、損傷図がマッピングされた床版の３次元モデルであって、多角形のポリゴンの集合体で構造物の表面を表した３次元モデルを表示する表示部の画面の一例を示す図である。

　即ち、図７に示した３次元モデルには撮影した画像がテクスチャーマッピングされているが、図８に示す表示部３０の画面３０Ａに表示される３次元モデルには撮影した画像がテクスチャーマッピングされておらず、損傷図のみがマッピングされている。

　また、図５及び図６に示した実施形態では、表示の指示を受け付けた損傷情報がマッピングされた部材のみの３次元モデルを表示させる際に、その部材の面の法線方向に視線方向を設定して３次元モデルを表示させ、その後、表示させた３次元モデルを拡大縮小又は平行移動のみのビュー操作を受け付けるようにしている。しかし、回転のビュー操作を受け付けるようにしてもよい。また、表示の指示を受け付けた損傷情報がマッピングされた部材のみの３次元モデルを最初に表示する場合に、その部材の面の法線方向に視線方向を設定して３次元モデルを表示させないようにしてもよい。

　記憶部１６に記憶される構造物の３次元モデルと構造物の部材に関連付けられた損傷情報とは、３次元表示装置１０により生成されたものに限らず、外部装置により生成されたものでもよい。この場合、外部装置により生成された３次元モデルと構造物の部材に関連付けられた損傷情報とが記憶部１６に記憶されることになる。

　また、３次元モデルは、構造物を撮影した撮影画像群を使用し、ＳｆＭ手法により生成されたものに限らず、種々の方法により生成することができる。

　例えば、タイム・オブ・フライト式カメラにより構造物の撮影画像を取得するとともに、撮影画像上の各画素に対応する構造物の３次元座標を取得して３次元モデルを生成することができる。また、カメラとしての機能を備えたレーザースキャナを含み、レーザースキャナが取得した構造物の３次元情報に基づいて構造物の３次元モデルを生成することができる。

　本発明に係る３次元表示装置を実現するハードウエアは、各種のプロセッサ（processor）で構成できる。各種プロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device；ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。３次元表示装置を構成する１つの処理部は、上記各種プロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip；ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウエア的な構造として、上記各種プロセッサを１つ以上用いて構成される。更に、これらの各種のプロセッサのハードウエア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

　また、本発明は、構造物の３次元モデル及び構造物の部材に関連付けられた損傷情報を記憶するメモリにアクセス可能なコンピュータにインストールされることにより、コンピュータを本発明に係る３次元表示装置として機能させる３次元表示プログラム、及びこの３次元表示プログラムが記録された記憶媒体を含む。

　更にまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１　橋梁
２　主桁
３　横桁
４　対傾構
５　横構
６　床版
７　橋脚
１０　３次元表示装置
１２　画像取得部
１４　画像データベース
１６　記憶部
１８　操作部
２０　ＣＰＵ
２２　ＲＡＭ
２４　ＲＯＭ
２６　表示制御部
３０　表示部
３０Ａ　画面
３２　カーソル
３４　指標
Ｃ１～Ｃ６　ひびわれ
Ｈ１　剥離・鉄筋露出
Ｓ１０～Ｓ４０　ステップ

Claims

　プロセッサと、構造物の３次元モデル及び前記構造物の部材に関連付けられた損傷情報を記憶するメモリと、を備えた３次元表示装置であって、
　前記プロセッサは、
　前記メモリに記憶された前記損傷情報を、前記メモリに記憶された前記３次元モデルの前記損傷情報に対応する部材にマッピングし、
　ユーザインターフェースから前記構造物の部材の表示又は非表示の指示を受け付け、
　前記ユーザインターフェースから前記構造物の点検対象の部材の表示の指示を受け付けると、前記表示の指示を受け付けた前記損傷情報がマッピングされた前記部材のみの前記３次元モデルをディスプレイに表示させ、又は前記構造物の所望の部材の非表示の指示を受け付けると、前記非表示の指示を受け付けた部材を除く前記構造物の部材であって、前記損傷情報がマッピングされた前記部材の前記３次元モデルをディスプレイに表示させる、３次元表示装置。
　前記３次元モデルは、３次元点群モデル、前記３次元点群モデルに基づいて作成される３次元ポリゴンモデル、又は前記３次元ポリゴンモデルの各ポリゴンに前記構造物を撮影した画像がテクスチャーマッピングされたものである、
　請求項１に記載の３次元表示装置。
　前記プロセッサは、前記３次元モデルに基づいて前記構造物を構成する各部材を認識する、
　請求項１又は２に記載の３次元表示装置。
　前記メモリは、前記構造物の各部材と各部材に発生し得る損傷との関係を示すテーブルを記憶し、
　前記プロセッサは、前記ユーザインターフェースから前記構造物の複数の損傷の種類のうちのいずれかの損傷の種類の選択を受け付けると、前記テーブルから前記選択された損傷の種類に対応する部材を特定し、前記特定した部材の表示を受け付ける、
　請求項１から３のいずれか１項に記載の３次元表示装置。
　前記プロセッサは、前記損傷情報がマッピングされた前記部材の前記３次元モデルを前記ディスプレイに表示させ、
　前記プロセッサは、前記３次元モデルが表示された前記ディスプレイ上でポインティングデバイスにより指示された前記構造物の点検対象の部材の表示の指示、又は前記構造物の所望の部材の非表示の指示を受け付ける、
　請求項１から４のいずれか１項に記載の３次元表示装置。
　前記プロセッサは、前記ユーザインターフェースから前記構造物の点検対象の部材の表示の指示を受け付けると、前記部材の面の法線方向に視線方向を設定して前記３次元モデルを前記ディスプレイに表示させる、
　請求項１から５のいずれか１項に記載の３次元表示装置。
　前記損傷情報は、損傷の位置又は領域を示す損傷図である、
　請求項１から６のいずれか１項に記載の３次元表示装置。
　前記構造物のコンクリート部材の損傷は、ひびわれ、剥離・鉄筋露出、及び漏水・遊離石灰のうちの少なくとも１つを含み、前記構造物の鋼部材の損傷は、腐食、亀裂、及び破断の少なくとも１つを含む、
　請求項１から７のいずれか１項に記載の３次元表示装置。
　プロセッサにより構造物の３次元モデルをディスプレイに表示させる３次元表示方法であって、
　前記プロセッサの各処理は、
　前記構造物の３次元モデル及び前記構造物の部材に関連付けられた損傷情報を記憶するメモリから前記３次元モデル及び前記損傷情報を取得するステップと、
　前記取得した前記損傷情報を、前記３次元モデルの前記損傷情報に対応する部材にマッピングするステップと、
　ユーザインターフェースから前記構造物の部材の表示又は非表示の指示を受け付けるステップと、
　前記ユーザインターフェースから前記構造物の点検対象の部材の表示の指示を受け付けると、前記表示の指示を受け付けた前記損傷情報がマッピングされた前記部材のみの前記３次元モデルを前記ディスプレイに表示させ、又は前記構造物の所望の部材の非表示の指示を受け付けると、前記非表示の指示を受け付けた部材を除く前記構造物の部材であって、前記損傷情報がマッピングされた前記部材の前記３次元モデルを前記ディスプレイに表示させるステップと、
　を含む３次元表示方法。
　構造物の３次元モデルをディスプレイに表示させる３次元表示方法をコンピュータに実行させる３次元表示プログラムであって、前記３次元表示方法は、
　前記構造物の３次元モデル及び前記構造物の部材に関連付けられた損傷情報を記憶するメモリから前記３次元モデル及び前記損傷情報を取得するステップと、
　前記取得した前記損傷情報を、前記３次元モデルの前記損傷情報に対応する部材にマッピングするステップと、
　ユーザインターフェースから前記構造物の部材の表示又は非表示の指示を受け付けるステップと、
　前記ユーザインターフェースから前記構造物の点検対象の部材の表示の指示を受け付けると、前記表示の指示を受け付けた前記損傷情報がマッピングされた前記部材のみの前記３次元モデルを前記ディスプレイに表示させ、又は前記構造物の所望の部材の非表示の指示を受け付けると、前記非表示の指示を受け付けた部材を除く前記構造物の部材であって、前記損傷情報がマッピングされた前記部材の前記３次元モデルを前記ディスプレイに表示させるステップと、
　を含む３次元表示プログラム。