以下、本発明の実施形態の情報可視化システム、情報可視化方法及びプログラムについて、添付図面を参照して説明する。
(第1の実施形態)
図1は、本発明の実施形態に係る情報可視化システムの構成図である。
[情報可視化システム]
情報可視化システム1は、撮像装置100、端末装置200、BIM300、及び、情報提供支援装置400を備える。撮像装置100、端末装置200、BIM300、及び、情報提供支援装置400は、ネットワークNWを介して接続されている。
最初に、情報可視化システム1の概要について説明する。情報可視化システム1は、実在する建物2の対象範囲10に関する情報を可視化する。例えば、対象範囲10には、実在する建物2の一部又は全部が含まれる。さらに、対象範囲10には、上記の建物に設けられた設備、什器などが含まれる。対象範囲10は、その範囲が予め決定される。例えば、対象範囲10における位置は、直交座標系(X,Y,Z)を用いて特定される。対象範囲10内に、幾つかの観測点(不図示)が設けられる。例えば、観測点Pは、観測点Pの周囲の状況を掌握しやすい位置に、その位置が決定される。以下の説明では、観測点Pを単に観測点という。
情報可視化システム1は、この観測点を基準にして、その周囲の状況に関する情報を可視化する。情報可視化システム1により可視化される情報には、観測点の周囲画像と、BIM300によりデータ化された3Dモデル(以下、単に3Dモデルという。)、2次元図面(2D図面)などが含まれる。観測点の周囲画像とは、撮像装置100が観測点において撮像して得た画像、又は、観測点において撮像して得た複数の画像の組のことである。例えば、観測点の位置は、撮像装置100の光学系の位置に基づいて決定される。周囲画像の詳細については後述する。なお、観測点の周囲画像は、ユーザU1が撮像装置100を操作して撮像したものであってもよく、撮像装置100が予め定められたタイミングで撮像したものであってもよい。3Dモデルとは、対象範囲10を含む建物2の構造、建物2に配置された設備、什器などを3次元情報として示す情報のことである。
情報可視化システム1は、観測点の周囲画像と3Dモデルの何れか一方又は両方に基づいて画像を生成して表示する。
上記の観測点の周囲画像には、撮影範囲に含まれた対象範囲10における状況を示す正確な情報が含まれる。ただし、上記の画像情報には、画像に示されたもの(被写体)が何であるか、どのようなものであるか、また、個々の被写体の大きさや表面の状態などの物理的特徴などの諸情報は含まれていない。
一方、3Dモデルは、3次元仮想空間に形成された仮想の構造物、及び、仮想の構造物を構成する構成要素の種類、性質、特徴量、大きさや表面の状態などの物理的特徴などの諸情報を含めることができる。上記の3Dモデルを利用することで、予め正しく登録された情報を利用することができる。ただし、登録されていない情報の有無、誤って登録された情報があることなどの検出を、3Dモデルだけで判定することは困難である。また、登録されていない情報を補う作業は容易ではない。
そこで、情報可視化システム1は、撮像装置100によって撮像された画像のデータとBIM300の3Dモデルとを関連付けることにより、それぞれの情報を補完して利便性を高める。観測点の周囲画像と3Dモデルの両方に基づいて画像を生成する場合を例示する。
例えば、情報可視化システム1は、周囲画像と3Dモデルに基づいた画像(3次元仮想空間における仮想構造物を示す仮想空間画像)とを対応付ける。情報可視化システム1は、対応付けられた周囲画像を表示する表示領域と3Dモデルに基づいた画像を表示する表示領域のそれぞれに共通する領域が含まれる表示画像を生成させる。
例えば、情報可視化システム1は、周囲画像と3Dモデルに基づいた画像との対応付けを、それらに共通する射影面Sを用いて実施する。情報可視化システム1は、上記の射影面Sを3次元仮想空間における仮想の構造体である空間モデルMとして扱う。3次元仮想空間における空間モデルMは、実空間における観測点に対応して設けられる。空間モデルMは、その観測点から視認できる範囲の状況が射影される仮想の面を有する。例えば、情報可視化システム1は、観測点から視認できる範囲の状況を、上記の観測点から見込む方向を維持するように空間モデルMの面に射影する。情報可視化システム1は、空間モデルMを利用して、観測点の周囲の状況に係る情報を管理してもよい。以下、その詳細について説明する。
例えば、情報提供支援装置400は、撮像装置100によって撮像された画像のデータを収集し、収集した画像のデータに基づいた全周囲画像をBIM300に供給する。BIM300は、供給された全周囲画像と3Dモデルによる情報とを合成した画像を生成する。情報提供支援装置400は、BIM300によって生成された画像を、ユーザU2などにより操作される端末装置200からの要求に応じて、当該端末装置200の表示部に表示させる。
情報可視化システム1は、上記のように全周囲画像と3Dモデルによる情報とを合成した画像を生成する処理を行うに当たり、空間モデルMを利用する。
図2は、実施形態に係る射影面Sを形成する空間モデルMの一例を示す図である。例えば、空間モデルMは、中空の球体として形成される。情報可視化システム1の情報提供支援装置400は、球体の表面の内側に、観測点の位置で撮影した周囲画像(全周囲画像)を射影する。球体の中心Cに視点を置くことにより、球体の表面に射影された周囲画像を球体の中心Cから見込む方向と、実空間において観測点P(図1)の位置から被写体を見込む方向とを一致させることができる。なお、情報提供支援装置400は、後述するようにBIM300から情報を取得する。情報可視化システム1は、BIM300から取得した情報を、球体の表面の内側に表示するようにしてもよい。なお、空間モデルMが直交座標系の軸方向に対して傾いている場合には、空間モデルMの極方向が直交座標系の軸方向に一致するように調整するとよい。例えば、情報提供支援装置400は、図2に示すように空間モデルMの極方向を、直交座標系のZ軸方向に一致するように調整する。例えば、情報提供支援装置400は、このように空間モデルMの傾きを調整した後、周囲画像を射影するとよい。
上記の説明では、観測点における周囲画像を一例として示したが、空間モデルMに対応付ける情報の種類は、これに限らない。情報可視化システム1は、周囲画像に加えて、各種情報を空間モデルMに対応付けてもよい。例えば、情報可視化システム1は、空間モデルMを中空の球体として形成し、球体の表面に収集情報などの各種情報を関連付ける。上記の収集情報とは、観測点の周囲の状況を共有するために収集された情報のことである。上記の収集情報には、観測点の周囲を撮像して得た画像情報、画像情報と異なる種別の情報などが含まれる。画像情報と異なる種別の情報として、例えば、観測点の周囲の状況を示すテキスト(文字情報)が含まれていてもよい。
以下、情報可視化システム1に係る各装置について説明する。
[撮像装置]
撮像装置100の構成の一例について説明する。図3は、実施形態に係る撮像装置100の構成図である。撮像装置100は、その周囲を撮影し、得られる周囲画像を出力する。
撮像装置100は、光学系111と、光学系112と、撮像部121と、撮像部122と、信号処理部130と、受付部140と、制御部150と、出力部160とを備える。
光学系111と光学系112は、それぞれが魚眼系レンズを成し、それぞれ180度以上の画角で撮影可能とする。光学系111と光学系112は、光学系111の光軸と光学系112の光軸が略平行になるように、撮像装置100の筐体などに支持される。光学系111の光軸方向と光学系112の光軸方向は、反対方向に向けられている。
撮像部121は、光学系111と対になるように設けられ、光学系111の画角の範囲内の対象物(被写体)を撮像する。撮像部122は、光学系112と対になるように設けられ、光学系112の画角の範囲内の対象物(被写体)を撮像する。
信号処理部130は、撮像部121が撮像して得られた画像と、撮像部122が撮像して得られた画像とを合成することにより、撮像された画像から、正距円筒図法に基づいた画像又は全周囲画像などの合成画像を生成する。
受付部140は、ユーザの撮像を指示する操作を受け付ける。
制御部150は、受付部140によって受け付けた撮像の指示に基づいて、撮像部121と撮像部122に撮像させる。制御部150は、撮像部121と撮像部122が互いに同期して撮像するように、各撮像部を制御する。制御部150は、撮像部121と撮像部122とにより撮像された結果に基づいて、信号処理部130により合成画像を生成させる。制御部150は、出力部160から、信号処理部130によって生成された合成画像を出力させる。
例えば、撮像装置100が合成画像として出力する周囲画像には、正距円筒図法による画像、全天周画像などの全方向の画像が含まれていることが望ましい。図4Aは、実施形態に係る正距円筒図法による画像について示す図である。正距円筒図法は、前述の図2に示すような球体の表面を展開し、その表面を長方形に射影して示す図法である。球体の緯度経度は、長方形内内で直角かつ等間隔に交差するように各部の尺度が調整される。図4Bは、図4Aの画像を、中空の円筒の表面の内側に描かれた状態の一例を示す図である。
以下に示す実施形態では、図4Aに示す正距円筒図法による画像を、図2に示す空間モデルMとしての球体の表面の内側に射影する。図5は、図4Aの画像を、中空の球体の表面の内側に射影した状態の一例を示す図である。この図5は、球体の奥行き方向に遠方側の半球を示し、近方側の半球の描画を省略している。この図5に示すように、球体の表面の内側に射影された画像は、球体の内側から球全体をみれば全天周画像になる。つまり、撮像装置100により撮像された画像を、中空の球体の表面として形成された空間モデルMの表面の内側に射影することにより、観測点の周囲の状態を示す画像情報が球体の表面に配された状態を得ることができる。なお、撮像装置100は、正距円筒図法による画像と全天周画像の少なくとも何れかの画像の一部又は全部を出力する。このような撮像装置100であれば、1回の操作で全周囲を纏めて撮影することができ、周囲を漏れなく撮影できる。
つまり、撮像装置100は、画像を合成するためのユーザの手間を省き、更に、画像の空間方向の連続性の品質を高めることができる。また、撮像装置100は、全周囲を1回の操作で撮影することで、撮影に係る時間を短縮する。また、上記のような撮像装置100であれば、撮影漏れなどによる部分的な欠損が生じる虞がない。これらに起因して、ユーザの作業効率が高まる。
以下の実施形態の説明では、撮像装置100は、正距円筒図法による画像を、対象の周囲画像として出力するものとする。撮像装置100は、上記の対象の周囲画像を情報提供支援装置400に対して送信する。
[端末装置]
図6は、実施形態に係る端末装置200の構成図である。端末装置200は、例えば、CPU200Aと、RAM(Random Access Memory)200Bと、不揮発性記憶装置200Cと、可搬型記憶媒体ドライブ装置200Dと、入出力装置200Eと、通信インターフェース200Fとを備える。端末装置200は、CPU200Aに代えて、任意の形態のプロセッサを備えてもよいし、図5に示した各構成要素のうち一部を省略してもよい。
CPU200Aは、不揮発性記憶装置200Cに格納されたプログラム、又は可搬型記憶媒体ドライブ装置200Dに装着された可搬型記憶媒体に格納されたプログラムをRAM200Bに展開して実行することで、以下に説明する種々の処理を行う。RAM200Bは、CPU200Aによってワーキングエリアとして使用される。不揮発性記憶装置200Cは、例えば、HDDやフラッシュメモリ、ROM(Read Only Memory)などである。可搬型記憶媒体ドライブ装置200Dには、DVD(Digital Versatile Disc)やCD(Compact Disc)、SDカードなどの可搬型記憶媒体が装着される。入出力装置200Eは、例えば、キーボードやマウス、タッチパネル、表示装置などを含む。通信インターフェース200Fは、ネットワークNWに接続され、端末装置200における通信を制御する。
図6を参照して、実施形態に係る端末装置200の機能構成について説明する。端末装置200は、受付処理部211と、データ取得部212と、表示制御部213とを備える。これらの機能部は、例えば、CPU200Aがプログラムを実行することにより実現される。また、これらの機能部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)などのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。
受付処理部211は、入出力装置200Eによって検出されたユーザの操作を受け付ける。例えば、受付処理部211は、入出力装置200Eにより表示された画像上のボタンなどを選択する操作を検出して、ユーザの操作として受け付ける。受付処理部211は、検出したユーザの操作に基づいて、情報を共有するための要求を情報提供支援装置400宛に送信する。
データ取得部212は、情報提供支援装置400から送信された情報を取得する。情報提供支援装置400から取得する情報には、特定の観測点に対応する取得情報が含まれる。
表示制御部213は、情報提供支援装置400から送信された情報に基づいて、入出力装置200Eにおける表示部に表示させる画像を生成する。例えば、表示制御部213は、特定の観測点に対応する取得情報に基づいた閲覧画像を生成して、表示部に表示させる。
なお、端末装置200は、受付処理部211、データ取得部212、及び、表示制御部213の一部又は全部を、Webシステムに適用されるブラウザを利用して実現してもよい。端末装置200は、予め定められたユーザに限り、その利用を許可するものとしてもよい。
[BIM]
BIM300は、対象範囲を含む建物2に関する情報を数値化して管理するコンピュータである。例えば、図1に示すように、BIM300は、記憶部310と、制御部320とを備える。
記憶部310には、建物2を3Dモデルとして数値化したデータ、建物2に関する各種図面、建物2を構成する構造物又は建物2に付帯する設備の属性情報、建物2及び付帯する設備の保守点検の履歴情報などの各種情報が格納されている。例えば、建物2を3Dモデルとして数値化したデータには、建物2の構造図などのデータが含まれる。建物2に関する各種図面には、建物2の構造図、フロアごとの平面図、設備配置図、配管図、電源系統図などの各種図面(2次元図面等)の一部又は全部が含まれる。建物2を構成する構造物又は建物2に付帯する設備の属性情報には、当該構造物又は当該設備を特定する情報、当該構造物又は当該設備を特徴づける情報などが含まれる。
制御部320は、プログラムを実行することにより、外部から供給される情報を受け付けて、その情報を記憶部310に書き込む。また、制御部320は、外部からの指示に応じて3Dモデルを生成し、生成した3Dモデルを記憶部310に格納する。制御部320による処理の詳細については後述する。
図7は、BIM300による数値データに基づいた3Dモデルで3次元仮想空間を表示する一例を示す図である。図7に、対象範囲10に対応する3次元仮想空間を俯瞰した図が示されている。図7に示す3次元仮想空間には、3Dモデルが存在する。その3Dモデルは、建物2の概略を示すものであることが分かる。この3Dモデルは、建物2に対する対象範囲10のデータが登録されている。この図7に示すように、3Dモデルとして、壁面に設けられた窓、装置などの構成を示す情報の登録を必須としない。なお、この図7に示す図は、天井部を削除して表示したものである。同図には、建物2の他に、新たに配置する装置の配置案が示されている。
なお、図8は、比較例としての仮想空間画像の表示の一例を示す図である。図8に示す仮想空間画像は、3次元仮想空間における対象範囲10をパース図で示すものである。上記の図7に示した対象範囲を、そのままパース図にすると図8に示すような仮想空間画像が得られる。この図8に示すように、BIM300に登録された簡易なデータだけからは、図1に示すような対象範囲10の現況を識別することはできない。例えば、図8に示すように、対象範囲10の天井に照明(T1)が設けられていることが、BIM300に登録された簡易なデータから読み取れる。この照明の属性情報等がBIM300によって管理されている。情報提供支援装置400は、照明の属性情報から、灯具のメーカー、種別、設置年度などの情報を得ることができる。
図1に示すように、実際の照明は、並べて配置される複数の灯具の組み合わせで構成されている場合がある。そのうち、特定の灯具(T3)が故障などの要因により不点灯となっている状況が生じていても、情報提供支援装置400は、BIM300に登録された簡易なデータから特定することは困難である。
そこで、本実施形態では、次に示す情報提供支援装置400を利用することにより、簡易な方法で、特定の位置の周囲の状況を共有可能にする。
[情報提供支援装置]
図9は、実施形態に係る情報提供支援装置400のハードウェア構成図である。情報提供支援装置400は、例えば、CPU400Aと、RAM400Bと、不揮発性記憶装置400Cと、可搬型記憶媒体ドライブ装置400Dと、入出力装置400Eと、通信インターフェース400Fとを備える。情報提供支援装置400は、CPU400Aに代えて、任意の形態のプロセッサを備えてもよいし、図6に示した各構成要素のうち一部を省略してもよい。
CPU400Aは、不揮発性記憶装置400Cに格納されたプログラム、又は可搬型記憶媒体ドライブ装置400Dに装着された可搬型記憶媒体に格納されたプログラムをRAM400Bに展開して実行することで、以下に説明する種々の処理を行う。RAM400Bは、CPU400Aによってワーキングエリアとして使用される。不揮発性記憶装置400Cは、例えば、HDDやフラッシュメモリ、ROMなどである。可搬型記憶媒体ドライブ装置400Dには、DVDやCD、SDカードなどの可搬型記憶媒体が装着される。入出力装置400Eは、例えば、キーボードやマウス、タッチパネル、表示装置などを含む。通信インターフェース400Fは、ネットワークNWに接続され、情報提供支援装置400における通信を制御する。なお、通信インターフェース400Fは、Webシステムに適用されるWebサーバとしての機能を有していてもよい。
図10は、実施形態に係る情報提供支援装置400の機能構成図である。情報提供支援装置400は、記憶部410と、制御部420とを備える。
記憶部410は、RAM400B又は不揮発性記憶装置400Cに設けられた記憶領域である。記憶部410は、情報提供支援装置400からアクセス可能なNAS装置などの外部記憶装置によって実現されてもよい。
記憶部410は、空間モデル情報411、収集情報412、見込む位置情報413、提供情報415などの情報を格納する。
空間モデル情報411は、観測点ごとに設けられた空間モデルMに関する情報を含む。図11Aは、実施形態に係る空間モデル情報411の内容の一例を示す図である。例えば、観測点に対して原則的に一つの空間モデルMが割り付けられる。空間モデル情報411には、空間モデルMに関する情報が含まれる。例えば、空間モデル情報411には、空間モデルID、エリアID、実空間上の位置、仮想空間上の位置、半径、方向などの情報が含まれる。空間モデル情報411には、空間モデルごとの情報が含まれる。
空間モデルIDは、観測点に対して割り付けられた空間モデルMを識別するための識別情報である。例えば、空間モデルIDは、観測点を識別するための観測点ID(観測点識別情報)であってもよく、観測日時、観測点の座標値、又は、座標値に基づいて生成された値であってもよい。例えば、空間モデルMには、1又は複数の周囲画像が関連付けられる。空間モデルIDは、それをキーにして、空間モデルMに関連付けられた1又は複数の周囲画像を特定することを可能にする。そのうちから選択された周囲画像が、観測点の位置から見込む画像になる。空間モデルIDを用いて空間モデルMを管理して、特定の空間モデルMに対応付けられた周囲画像を、空間モデルIDを用いて参照することができる。空間モデルMに対応する周囲画像を1:1に対応させてもよく、定めた条件により複数の周囲画像のうちから1つが選択されるようにしてもよい。
エリアIDは、空間モデルMを含むエリアを識別するための識別情報である。例えば、エリアIDは、建物における階数、同一階におけるゾーン、テナント、部屋などのように、所望の規則に従って建物内を複数のエリアに区分した場合に、区分された各エリアの識別番号などの情報を含む。
実空間上の位置は、上記のエリア毎に、又は、エリアの一部に局所的に決定される座標系における観測点の位置を示す。例えば、エリア毎に決定される座標系は、直交座標系又は極座標系であり、同図に示す例は直交座標系の場合である。仮想空間上の位置は、仮想空間の座標系における観測点の位置を示す。例えば、仮想空間の座標系は、直交座標系又は極座標系であり、同図に示す例は直交座標系の場合である。仮想空間上の観測点は、空間モデルMごとに決定される。本実施形態では、説明を理解しやすくするために実空間の座標系と、実空間に対応する仮想空間の座標系とを対応させる。例えば、実空間の座標系の原点と、実空間に対応する仮想空間の座標系の原点とが一致するものとする。この場合、実空間における観測点の位置と、空間モデルMの基準点の位置とが一致させることができる。なお、上記は一例であり、実空間の座標系の原点と、実空間に対応する仮想空間の座標系の原点とが異なることを制限するものではない。例えば、実空間の座標系の原点が、内装面などを基準に定められてもよく、仮想空間の座標系の原点が、壁芯などを基準に定められてもよい。
半径は、空間モデルMの大きさを示す情報である。例えば、半径(R1)を2mとし、観測点の床面からの高さを1.5mとすると、空間モデルMの下部は、床下側に張り出した状態に配置される。或いは、半径(R1)を0.5mとし、観測点の床面からの高さを1.5mとすると、空間モデルは、床上に浮いた状態に配置される。仮想空間を表示した範囲に空間モデルMが含まれる場合には、当該場所に空間モデルMに対応する半径の球が表示される。この半径は、全ての空間モデルMに同じ値を定めてもよく、用途や目的、登録者の属性などに応じて、異なる値にしてもよい。
方向は、仮想空間の座標系に対する空間モデルMの座標系の回転量を示す。例えば、方向の値は、仮想空間の座標X軸周りの空間モデルMの極方向の回転角をαで示し、仮想空間の座標Y軸周りの空間モデルMの極方向の回転角をβで示し、仮想空間の座標Z軸周りの空間モデルMの極方向の回転角をγで示す。前述の図2に示した空間モデルMは、上記のα、β、γが所望の値に調整された結果である。
見込む位置情報413は、空間モデルMの射影面Sを見込む位置VPを示す情報を含む。図11Bは、実施形態に係る見込む位置情報413の内容の一例を示す図である。例えば、空間モデルMに対して原則的に一つの見込む位置VPが割り付けられる。例えば、見込む位置情報413には、空間モデルID、仮想空間上の位置、方向、画角などの情報が含まれる。仮想空間上の位置は、空間モデルMの射影面Sを見込む位置VPを仮想空間座標の座標系で示す位置を示す。方向は、空間モデルMの射影面Sを見込む位置VPから向けた視点の方向を示す。画角は、視点の方向を基準にした視認範囲を示す。画角の値を大きくすると、広角レンズで写した画像になり、小さくすると、望遠レンズで写した画像になる。
収集情報412と提供情報415については、後述する。
前述の図10に戻り、制御部420について説明する。制御部420は、指定情報取得部421と、周囲画像取得部422と、表示制御部423と、位置導出部424と、出力処理部427と、変換部428とを備える。指定情報取得部421と周囲画像取得部422は、取得部の一例である。
指定情報取得部421は、端末装置200におけるユーザの操作の検出結果を、端末装置200から取得する。指定情報取得部421は、端末装置200から取得した情報を、記憶部410における収集情報412に追加する。
周囲画像取得部422は、実空間における観測点の周囲画像、実空間の状態を示す図面などを取得して、同様に収集情報412に追加する。
ここで、収集情報412の内容に一例について説明する。図12は、実施形態に係る収集情報412の内容の一例を示す図である。収集情報412には、空間モデルごとに収集された画像情報などが含まれる。
例えば、収集情報412は、空間モデルID(観測点ID)、対象物、位置情報、有効フラグ、データ種別、データ識別ID(ファイル名)、日時(時刻)、画角、管理情報、基準方向(θ0φ0)、ユーザIDなどの情報を含む。
空間モデルIDは、空間モデル情報411の空間モデルIDに対応する。
対象物は、仮想空間に配置された物、仮想空間の構造物、又は、実空間の対象範囲内に配置された物を示す。この対象物は、2次元又は3次元の形状を持つものとして定義される。なお、この対象物は、仮想空間に配置された物と仮想空間の構造物の場合には、仮想空間における位置から空間モデル上に射影され、空間モデルMの観測点から視認可能になる。或いは、実空間の対象範囲内に配置された物の場合には、実空間の対象範囲の画像が空間モデル上に射影され、空間モデルMの観測点から視認可能になる。
位置情報は、対象物の位置を示す情報である。例えば、位置情報には、対象物に対応付けられた2種類の情報を含む。第1の位置情報は、仮想空間内の位置を示す情報であり、例えば、直交座標系で示される。第2の位置情報は、上記空間モデルIDに対応する観測点、すなわち、空間モデルMの原点を基準にした極座標系によって示される空間モデル上の点の位置を識別するための識別情報である。例えば、位置情報は、上記の「対象物」を代表する点の位置、上記の「対象物」の範囲を代表する点の位置、「対象物」の重心の位置などであってもよい。また、例えば、上記の対象の位置から予め定めた範囲を「対象部」と判定するようにしてもよい。上記の対象の位置から予め定めた範囲を、上記で定めた代表点を中心とする所定の半径の円として定めてもよい。なお、位置情報には、上記の第1の位置情報と第2の位置情報の少なくとも何れか一方が含まれていればよく、その場合には、他方の値を参照する際に都度導出してもよい。
有効フラグは、収集情報としての有効性を示す情報である。例えば、収集情報が利用できない状況にある場合に無効とされ、利用できる状況にある場合に有効とされる。収集情報が利用できない状況とは、データが損傷していると判定された場合、新しい情報が収集されて情報が陳腐化した場合、などの場合が含まれる。
データ種別は、画像、テキストなどにより示されるデータの種別を示す情報である。例えば、データの種別には、単独のファイルで全周囲を示す「全周囲画像(画像A)」、複数の画像を組み合わせることで全周囲を示す「未組合せ画像(画像B)」、各設備の個々の状態を示す「個別画像(画像C)」、ユーザが投稿したメモ、設備等の情報を示す「図面」、引き継ぎ事項などを示す「テキスト」などが含まれる。例えば、設備等の情報には、実空間又は仮想空間における設備の位置の情報が含まれていてもよい。データの種別をファイル名の拡張子を流用して識別するようにしてもよい。
データ識別IDは、収集情報をファイルとして扱う場合のファイル名など、収集情報として扱うデータを識別するための識別情報である。
日時は、収集情報に関連する日時を示す情報である。例えば、データの種別が画像(「全周囲画像」又は「未組合せ画像」)である場合の日時は、画像の撮影日時、画像情報が格納された日時、などである。
画角は、情報の種別が全周囲画像(画像A)である場合に適用され、画像の範囲を指定するための情報に対応する。周囲画像取得部422は、空間モデルMに画像を割り付ける際に、画像の範囲に合せてその画像が空間モデルMを覆うように、データ識別IDによって特定される原画像の大きさ、空間モデルMの位置、画像の向きなどを調整する。例えば、全周囲画像には、周囲を一巡できる画像と、周囲を一巡できない画像とが含まれる。周囲画像取得部42が空間モデルMに画像を割り付ける際に、当該画像が全周囲画像の一部しか有しておらず、空間モデルMが有する射影面の一部しか満たさないことがある。この場合に、周囲画像取得部422は、この画角に基づいて定まる範囲にデータ識別IDによって特定される原画像の範囲を調整する。この調整により、画像が歪むことなく当該画像を空間モデルMに割り付けることができる。例えば、画角を水平方向(θ方向)の角度で示してもよく、迎角(俯角)方向(φ方向(図2))で示してもよく、それらを組み合わせて示してもよい。なお、全周囲画像であっても、得られた画像によって天地方向が満たされない場合には、画角は、上記の範囲のφ方向(図2)の上限と下限の少なくとも何れかを含むものであってもよい。
基準方向(θ0φ0)は、情報の種別が全周囲画像(画像A)である場合に適用される。例えば、周囲画像取得部422は、空間モデルMに画像を割り付ける際に、基準方向θ0φ0に基づいて全周囲画像(画像A)の起点の位置を調整する。基準方向θ0に基づいて調整する場合、画像の方向が3次元仮想空間における方向に合うように、鉛直方向のz軸(図2)周りに画像を回転して、画像の方向を調整する。基準方向φ0に基づいて調整する場合、画像の方向が3次元仮想空間における方向に合うように、φ(図2)方向に画像を移動して、画像の方向を調整する。基準方向(θ0φ0)は、調整が必要となる場合の補正角であり、調整による補正を行わない場合には、その値を0にする。
管理情報は、収集情報の内容に対するステータスなどの情報である。例えば、収集情報の種類が画像情報である場合、最新の情報であるか否かのフラグ、更新の要否のフラグなどを含む。収集情報の種類がテキストである場合、その内容に応じた対応策の進捗などを含む。対応策の進捗は、対策方針の検討中、対策方針が決定された後に、対策についての対応準備中、対応中、対応済み、などの各種段階を示すものであってもよい。
ユーザIDは、収集情報412に情報を書き込む処理を実施させたユーザの識別情報である。
データの幾つかの例について説明する。例えば、指定情報取得部421は、空間モデルIDを「1001」、データ識別IDを「FP001」として参照される全周囲画像(画像A)のデータを、ユーザU1の操作に基づいて撮像装置100から取得して、ユーザIDを「U1」とし、上記の各データを収集情報412に追加する。
例えば、周囲画像取得部422は、実空間における観測点の周囲画像を、撮像装置100などから取得して、収集情報412に追加する。図12に示すように、周囲画像取得部422は、空間モデルIDを「1001」、データ識別IDを「FD002」として参照される図面のデータを、運用管理システムなどの外部装置から取得して、上記の各データを収集情報412に追加する。
また、例えば、指定情報取得部421は、空間モデルIDを「1001」、データ識別IDを「FP011」として参照される画像Cのデータを、ユーザU1の操作に基づいて撮像装置100から取得して、ユーザIDを「U1」とし、上記の各データを収集情報412に追加する。
なお、「FP101」として参照される周囲画像は、全周囲画像(画像A)ではなく、組み合わせることにより全周囲画像になる「未組合せ画像(画像B)」である。例えば、周囲画像取得部422は、上記の「FP101」として特定される未組合せ画像(画像B)を組み合わせて、FP102として特定される全周囲画像(画像A)を生成する。周囲画像取得部422は、生成されたFP102の全周囲画像(画像A)を、収集情報412に追加する。
収集情報412には、上記の画像A、画像B、画像Cなどの他にも、情報の種別が画像とは異なる情報が、上記の画像と同様に追加される。
収集情報412に格納された情報の一部を抽出して提供する場合に、抽出した情報を提供情報415に格納させてもよい。提供情報415は、前述の収集情報412と同様の構成をとり、観測点の周囲の状況として収集された情報から抽出された情報を含む。
上記の通り、指定情報取得部421と周囲画像取得部422は、実画像取得部の一例である。指定情報取得部421と周囲画像取得部422は、実空間における観測点の周囲の状況を示す周囲画像(全方位画像など)を取得する。
表示制御部423は、対象範囲10に対応する実空間における観測点に対応する3次元仮想空間における基準点Rの位置と、その基準点Rの周りに設けられた射影面Sを見込む位置VPの双方が所定の範囲内に収まるように、基準点Rの位置と射影面Sを見込む位置VPの3次元仮想空間における位置を調整する。図13は、実施形態に係る3次元仮想空間における基準点R、射影面S、射影面Sを見込む位置VPの関係を示す図である。基準点Rの位置は、空間モデル情報411に基づいて決定される。射影面Sを見込む位置VPは、見込む位置情報413に基づいて決定される。例えば、基準点Rの位置と、射影面Sを見込む位置VPは、ユーザの端末装置100の操作に基づいて決定され、表示制御部423によって、空間モデル情報411と見込む位置情報413の情報が更新される。
なお、上記の観測点に対応する3次元仮想空間とは、その観測点に対応する「空間モデルM(図2)」を配置するための仮想の3次元空間のことである。
上記の基準点Rの周りに設けられた射影面Sは、基準点Rを基準に配置された中空の球体の表面における内側の面又は中空の円筒の側面における内側の面の少なくとも一部を含む。以下の説明において、基準点Rの周りに設けられた射影面Sは、中空の球体の内側の面を成すものとする。
図14は、実施形態に係る空間モデルMを配置した3次元仮想空間を示す図である。基準点Rの周りに設けられた射影面Sは、基準点Rを中心とする球体の表面の一部又は全部である。例えば、基準点Rの周りに設けられた射影面Sは、その基準点Rに対応する空間モデルMの内面である。以下の説明において、上記の空間モデルMの内面のことを、単に射影面Sということがある。図14に示すように基準点Rを原点とする極座標を定める。例えば、上記の極座標は、原点(基準点R)から水平方向に延びる軸rと、水平面の上部から平面視した場合の軸rから反時計方向周りの角度θ、原点からの迎角φ(又は俯角)として定める。
また、上記の所定の範囲とは、生成される表示画像の精度に影響のない範囲に相当する微小な範囲である。例えば、表示制御部423は、基準点Rの位置と射影面Sを見込む位置VPとを一致させてもよい。この場合、表示制御部423は、基準点Rの位置と射影面Sを見込む位置VPを、空間モデル情報411を参照して、観測点の実空間上の位置に対応する位置に定めてもよい。つまり、上記の場合、図2における点Cは、基準点Rの位置と射影面Sを見込む位置VPとが一致する。
表示制御部423は、射影面Sに射影された周囲画像(図5参照)と3次元仮想空間における仮想構造物を示す仮想空間画像(図8参照)とを対応付ける。表示制御部423は、対応付けた周囲画像と仮想空間画像とにおいて、周囲画像を表示する表示領域と、仮想空間画像を表示する表示領域のそれぞれに共通する領域が含まれる表示画像を、BIM300によって生成させるようにBIM300を制御する。なお、上記の共通する領域とは、例えば、対象範囲10内の一部であって、表示画像に基づいて検討、検証などを実施する対象物を含む領域のことである。
表示制御部423は、基準点Rの位置又は射影面Sを見込む位置VPを基準に位置を定め、その定めた位置から見込む仮想構造物を仮想空間画像に示すように、仮想構造物に基づいた表示画像を、BIM300によって生成させるようにBIM300を制御する。表示制御部423は、予め、空間モデルMと、周囲画像と、仮想空間画像との3つの相対的な位置関係を調整する。その調整方法として下記が挙げられる。例えば、第1の調整方法として、表示制御部423は、空間モデルMに対して周囲画像の位置を調整し、その後に、3次元仮想空間に対する空間モデルMの方向を調整する。或いは、第2の調整方法として、表示制御部423は、空間モデルMに対する位置を、周囲画像と仮想空間画像とを独立に調整する。第3の調整方法として、表示制御部423は、まず周囲画像と仮想空間画像との相対位置を調整し、その後に、それらの画像を纏めて空間モデルMに対する位置を調整する。これらの何れかを実施する。これらの何れかを実施することにより、表示制御部423は、少なくとも3次元仮想空間における周囲画像の代表点の方向を調整する。
表示制御部423は、空間モデルMと、周囲画像と、仮想空間画像との3つの相対的な位置関係を調整した後に、周囲画像から抽出した範囲と仮想空間画像から抽出した範囲の双方に共通する範囲が含まれる表示画像を、BIM300によって生成するようにBIM300を制御する。表示制御部423は、周囲画像と仮想空間画像の少なくとも何れか一方を透過性のある透過画像に変換し、その透過画像を他方の画像に重なる位置に配置する。このような制御を受けて、BIM300は、上記の他方の画像を上記の透過画像越しに視認可能な表示画像を生成する。
表示制御部423は、各種情報を表示する情報出力部4231を、極座標系の原点(基準点R)を基準に仮想空間に設ける。例えば、情報出力部4231は、空間モデルMなどの球面または球面上に設けられ、その形状が吹き出し型等のものであってもよい。表示制御部423は、極座標系の原点(基準点R)を基準に仮想空間に配置された情報出力部4231に各種情報を表示する。
表示制御部423は、各種情報を表示する情報入力部4232を、極座標系の原点(基準点R)を基準に仮想空間に設ける。例えば、情報入力部4232は、空間モデルMなどの球面または球面上に設けられ、その形状が吹き出し型等のものであってもよい。表示制御部423は、極座標系の原点(基準点R)を基準に仮想空間に配置された情報入力部4232が受け付けた各種情報を、記憶部410に書き込む。
出力処理部427は、端末装置200からの要求に応じて、要求に対する所望の情報を端末装置200に対して出力する。
変換部428は、仮想空間における対象物の位置情報(例えば、直交座標系)に基づいて、その対象物の位置を示す座標系を、上記の原点(基準点R)を原点とする極座標系に変換する。
[BIM300における処理について]
BIM300は、3次元仮想空間における3Dモデルのデータ登録、作図、描画、編集、表示等の処理を実施する。例えば、BIM300は、ユーザの操作などに従い、建物2などの構造物を数値化した3Dモデルを構築する。BIM300は、3Dモデルのデータ(以下、3Dモデルデータという。)を特定のファイル形式のデータにして、他のBIMソフト、CADソフト、ビューワーソフトなどを実行するコンピュータとそのデータを共有することができる。
本実施形態におけるBIM300は、数値情報として登録された数値データの他に、撮像装置100などにより撮像された画像データを取得して、描画などの処理に利用する。実施形態のBIM300は、例えば、全天球画像、正距円筒図法などの画像のデータを利用する。BIM300は、対応する関係にある全天球画像と3Dモデルデータによる画像とを同じ視点上で重ね合わせる。例えば、全天球画像のデータには、現状の壁面の利用状況が含まれている。一方、3Dモデルデータには、壁面の利用状況についての詳細な情報が含まれていないものとする。BIM300は、画像情報として取得した「現状」の情報と、3Dモデルデータによる「数値データ」、「幾何学モデルデータ」などの情報を組み合わせることで、各データに不足している情報を互いに補う。ユーザは、この結果として得られた画像から、状況を直感的に認識することができ、更には、数値データに基づいた客観的なデータを得ることができる。
BIM300は、全天球画像データと3Dモデルデータのそれぞれに基づいた画像を描画する際には、3点透視図法と2点透視図法の何れかのパースペクティブ(透視図法)に揃える。BIM300は、全天球画像データと3Dモデルデータのパースペクティブを揃えて、3次元仮想空間における画像を合成する。
(BIM300が表示する画像情報)
ところで、BIM300が3次元仮想空間で扱うデータ(3Dモデルデータ)は、3次元形式である。一方、撮像装置100などにより生成される全天球画像は、2次元形式の情報である。全天球画像を面に表示することは容易であるが、そのまま3次元形式の情報として利用できるものではない。このように全天球画像と3Dモデルデータの2つのデータのデータ構造が異なり、そのまま合成することは困難である。
そこで、本実施形態のBIM300は、3次元仮想空間におけるオブジェクトの面に、2次元形式の画像のデータをマッピングすることで、上記の形式が互いに異なるデータを利用可能にする。
以下に一例として示す3次元仮想空間におけるオブジェクトは、中空の球体(空間モデルM)であり、前述の空間モデルMに相当する。BIM300は、この球体の表面の内側に、2次元形式の画像のデータをマッピングする。
(BIM300が表示する画像の範囲)
BIM300による表示範囲を、広角にするほど画像にゆがみが生じる。通常視認される画像(標準的な画角の画像)との差が生じると不自然さが出る。これに対して、表示範囲を標準にすれば、画像に生じたゆがみが目立つことはなく、空間認識が容易である。
BIM300は、全天球画像と3Dモデルデータに基づく画像の双方を、仮想の球体の表面の内側にマッピングして、それぞれのデータに基づいて描画する。BIM300が仮想の球体表面の一部を選択して、選択した範囲を2次元の画像(2Dビュー)として表示する。上記の通り、球体の表面の内側(射影面S)にマッピングされた画像を切り出して、2次元の画像として表示するが、球体の中心に射影面Sを見込む位置VPを配置していることにより、射影面Sが曲面であることによる歪の発生は軽減する。
BIM300は、表示制御部423からの制御により、例えば、全天球画像(周囲画像)から抽出した範囲と、3Dモデルデータに基づく画像(仮想空間画像)から抽出した範囲の双方に共通する範囲が含まれる表示画像を生成してもよい。
なお、BIM300は、表示制御部423からの制御により、周囲画像と仮想空間画像の少なくとも何れか一方を透過性のある透過画像に変換してもよい。例えば、BIM300は、その透過画像を他方の画像に重なる位置に配置する。これにより、BIM300は、上記の他方の画像を上記の透過画像越しに視認可能とする表示画像を生成する。
図15は、実施形態に係る情報可視化処理の一例を示すフローチャートである。現場の画像は、撮像装置100によって撮影される。
まず、周囲画像取得部422は、撮像装置100から画像を取得し(S11)、収集情報412に追加する。周囲画像取得部422は、S11において取得した画像が、写真データの合成を必要とする画像であるか否かを、収集情報412のデータ種別に基づいて判定する(S12)。写真データの合成が必要な画像とは、加工をせずに全周囲画像として扱うことができない画像のことである。写真データの合成を必要とする画像である場合には(S12:YES)、周囲画像取得部422は、取得した複数の画像を組み合わせて、画像を撮像した観測点を基準にした全周囲画像を生成し(S13)、生成した画像を、その種別が全周囲画像であるものとして収集情報412に追加する。
写真データの合成を必要とする画像ではない場合(S12:NO)、又は、S13における処理を終えた後に、指定情報取得部421は、BIM300からの情報に基づいて、対象範囲10の3Dモデルデータの有無を判定する(S14)。対象範囲10の3Dモデルデータが無い場合(S14:NO)には、指定情報取得部421は、3Dモデルデータを生成するように制御する(S15)。例えば、指定情報取得部421は、BIM300を制御して、BIM300により3Dモデルデータを生成させる。
なお、比較例のBIMには、3Dモデルデータとして様々なデータが揃わないと既存の状況を表すことはできないものとされるものがある。これに対し、本実施形態のBIM300は、3Dモデルデータとして、検討の目的に関連する最低限の既存要素(既設物)の情報が含まれていればよいものである。例えば、部屋などの内装についての情報を整理する目的であれば、部屋の形状を示す情報が入力されていればよい。例えば、2次元図面(2D図面)に内壁面、天井面、床面を示すことで、部屋の形状を示すことができる。その部屋に設けられている窓や設備などの情報は必須の情報としない。これらの情報は、後述する画像を重ねる処理で補完される。
対象範囲10の3Dモデルデータが有る場合(S14:YES)、又は、S15における処理を終えた後に、指定情報取得部421は、撮像装置100又は端末装置200から観測点の位置を取得する(S16)。
次に、指定情報取得部421は、空間モデル情報411に登録されている空間モデルMのうちに所望の空間モデルMが有るか否かを判定する(S17)。空間モデル情報411内に所望の空間モデルMが無いと判定した場合(S17:NO)、指定情報取得部421は、空間モデルMを空間モデル情報411の観測ポイントに追加する(S18)。指定情報取得部421は、BIM300を制御して、BIM300により空間モデルMを3Dモデルデータに追加する。
空間モデル情報411内に所望の空間モデルMが有ると判定した場合(S17:YES)、又は、S18における処理を終えた後に、表示制御部423は、周辺画像を加工する(S19)。例えば、カメラから出力された全周囲画像(正距円筒画像)の中央部が必ずしもカメラの正面に一致しないことがある。カメラの正面の向きを画像の起点にした全周囲画像(正距円筒画像)である場合には、表示制御部423は、データ上の起点の位置を補正する。表示制御部423は、上記で決定した補正量を、収集情報412の「基準方向」に反映する。
また、画像の範囲や大きさが、BIM300のデータとして利用することが適当ではない場合には、表示制御部423は、BIM300のデータとして利用できるように、予め定められた規格に従って画像の一部を抽出(トリミング)し、また、画像の大きさを調整するなどの加工を、周辺画像に対して施す。表示制御部423は、上記で決定した調整量を、収集情報412の「画角」に反映する。
次に、表示制御部423は、空間モデル情報411に登録されている空間モデルMのうちから所望の空間モデルMを選択し、選択された空間モデルMに、収集情報412から選択された周辺画像(全周囲画像)を合成する(S20)。なお、空間モデルMと、周囲画像と、仮想空間画像との3つに、相対的な位置にずれが生じている場合には、表示制御部423は、互いの位置関係を、空間モデルを基準にして調整してもよい。
表示制御部423は、端末装置200に表示する画像の方向を定める視点の方向(視点方向)を、端末装置200から取得する(S21)。
表示制御部423は、観測点から視点方向を見込む画像を端末装置200に表示させる(S22)。図16は、実施形態に係る観測点から視点方向を見込む画像の一例を示す図である。例えば、同図に示すように、対象範囲10内に新たに設置を予定する装置と既存の装置とが干渉することが、明らかになる。
表示制御部423は、端末装置200からの指示に従い、視点方向が異なる他の方向を表示するか否かを判定し(S23)、他の方向を表示すると判定した場合には(S23:YES)、S21以降の処理を繰り返す。S23における判定処理により他の方向を表示すると判定しなかった場合には(S23:NO)、図示する一連の処理を終える。
以上に示した処理により、情報提供支援装置400は、より簡易な方法で、ある観測点の位置の周囲の状況を共有可能にする。情報提供支援装置400を各種業務の用途に適用して、上記の画像に基づいて所望の情報を共有してもよい。
上記の通り、情報提供支援装置400による情報可視化処理の実施により、情報可視化システム1は、所望の情報を提供する。
なお、上記のS22における処理において、表示制御部423が観測点VPから視点方向を見込む画像を端末装置200に表示させる際に、当該画像の範囲に含まれる対象物に付与された情報を表示したり、その情報を追加したりすることが必要とされる場合には、情報提供支援装置400は、下記の処理を実施してもよい。
図16は、実施形態に係る対象物の属性情報を可視化する情報可視化処理の一例を示すフローチャートである。
表示制御部423は、極座標系の原点(基準点R)から見込める範囲に存在する対象物のうちから属性情報が付与された対象物を抽出する(Sa221)。例えば、対象物の代表点又は対象物に対応する領域が、極座標系の原点(基準点R)から見込める範囲に存在する場合に、表示制御部423は、極座標系の原点(基準点R)から見込める範囲に当該対象物が存在する、と判定して、当該対象物を抽出する。
次に、表示制御部423は、抽出された対象物が有るか否かを判定する(Sa222)。
抽出した対象物がある場合(Sa222:有り)には、変換部428は、仮想空間における対象物の位置情報(例えば、直交座標系)に基づいて、仮想空間において対象物の位置を示す座標系を極座標系に変換し、その値を収集情報412の「位置情報」に反映する。なお、既に変換後の値が収集情報412の「位置情報」に反映されている場合には、上記の変換を省略して、変換後の「位置情報」の値を参照することができる。
表示制御部423は、抽出した対象物に対し、各種情報を表示する情報出力部4231を、極座標系の原点(基準点R)を基準に仮想空間に設ける(Sa223)。例えば、表示制御部423は、情報出力部4231を、空間モデルMなどの球面または球面上になるように配置する。
表示制御部423は、閲覧画像上の位置の位置情報に基づいて、情報出力部4231を含む閲覧画像を表示させるための情報を生成し(Sa224)、図に示す一連の処理を終える。
表示制御部423は、抽出した対象物がない場合(Sa222:無し)には、情報提供支援装置400は、図に示す一連の処理を終える。
上記の通り、情報提供支援装置400は、対象物の属性情報を可視化する情報可視化処理を実施する。
図17は、実施形態の閲覧画像の一例を示す図である。
符号Z200は、端末装置20に表示された閲覧画像の表示領域を示す。領域Z200には、収集情報である画像情報と3Dモデルデータに基づいた画像とが合成されて、背景画像として表示されている。閲覧画像は、表示制御部423によって生成される。端末装置200は、閲覧画像をその表示部に表示させるとともに、閲覧画像に対するユーザの操作を検出して情報共有支援装置400宛に通知する。このような操作を通して閲覧画像は遂次更新される。
領域Z200内に、OBJ201、OBJ202、OBJ204などのオブジェクトが表示されている。さらに、領域Z200内に、領域Z210、領域Z220、領域Z230、領域Z240などの情報表示領域が設けられている。
OBJ201、OBJ202などのオブジェクトは、背景画像の一部に示されている対象物に関連付けられた情報があることを示すピンである。ユーザは、マウスなどを利用してピンを選択することにより、対応する情報を開いて表示させることができる。例えば、OBJ201は、天井に設けられている照明装置に対応付けられている。OBJ202は、壁に対応付けられている。OBJ201、OBJ202などのオブジェクトは、情報出力部4231の一例である。
なお、OBJ201、OBJ202などのピンは、それを示すアイコンの形又は色などの視覚的特徴により識別可能に表示されてもよい。例えば、表示制御部423は、収集情報412を参照して、ピンに対応する対象物に関連付けられた情報の種類、上記の情報から特定されたステータスなどの情報が示す内容を示すように、上記のアイコンの色を設定してもよい。例えば、表示制御部423は、情報が示す内容をクラス分けして、異なる色をアイコンの色として割り付ける。これにより、ユーザは、情報が示す内容の違いを、画像に表示されたピンの色から認識することができる。
OBJ204のオブジェクトは、背景画像の表示範囲内に、他の空間モデルが存在することを示す。例えば、ユーザは、マウスなどを利用してオブジェクトOBJ204を選択することにより、OBJ204に対応する他の空間モデルの情報の表示に切り替えることができる。上記の操作により、ユーザは、あたかも、他の観測点を移動したかの如く、その観測点に対応する情報を閲覧することができる。
領域Z200のうち符号210の領域には、対象領域の平面図とその範囲内にある対象物、オブジェクトOBJ211、OBJ212、OBJ213等が示されている。OBJ211、OBJ212、OBJ213のそれぞれは、観測点の位置を示すピンである。OBJ211、OBJ212、OBJ213などのピンを、マウスなどを利用して選択することにより、それぞれに対応する他の空間モデルの情報の表示に切り替えることができる。上記の操作により、ユーザは、あたかも、他の観測点を移動したかの如く、その観測点に対応する情報を閲覧することができる。
なお、OBJ211、OBJ212、OBJ213などのピンは、それを示すアイコンを視覚的特徴により識別可能に表示されてもよい。例えば、アイコンの色、形、模様、透明度、重ね表示などを、アイコンの視覚的特徴としてもよく、また、上記のこれらの組み合わせを、アイコンの視覚的特徴としてもよい。重ね表示とは、同一又は異なるアイコンを重ねて表示した状態のことである。例えば、単に同じアイコンを2重、3重に表示してもよく、基本となるアイコン上に、バッチとして、アイコンより小さなオブジェクトを重ねて表示してもよい。
例えば、表示制御部423は、収集情報412を参照して、対応する撮像装置(カメラ)の性能、撮像時に選択した観測点の位置、撮影時期、収集情報を登録したユーザ、撮影した画像の主たる目的や用途などの一部又は全部を示すように、上記のアイコンの視覚的特徴を設定してもよい。
例えば、撮像装置の性能としては、例えば、撮像により得られる画像の解像度、撮影デバイスの画素数、光学系の特徴などが挙げられる。表示制御部423は、これらの性能のクラス分けの結果に基づいて、上記のアイコンの視覚的特徴を設定する。これにより、例えば、ユーザは、低解像度の撮像装置又は高解像度の撮像装置という解像度による性能の違いを、画像に表示されたピンの色から認識することができる。
また、撮像時に選択した観測点の位置としては、例えば、天井裏、人の視野程度の高さ(例えば、1.5m)、床面上、床下などに区分された位置を、選択の候補として挙げられる。表示制御部423は、その区分分けの結果に基づいて、上記のアイコンの視覚的特徴を設定する。これにより、例えば、ユーザは、立位の視野で表示された閲覧画像を見ながら建物2内の位置を特定して、その位置に対応する天井裏や床下の状況を示す閲覧画像に、容易に切り替えることができる。
また、撮影時期としては、撮影された年(年度)、月などが挙げられる。表示制御部423は、これらの撮影時期に基づいて、上記のアイコンの視覚的特徴を設定する。これにより、例えば、ユーザは、ある年に撮影された画像の位置と同じ位置又はその近傍で、異なるときに撮影された画像があること識別でき、ある位置に関連する他の画像を容易に表示することができる。
また、例えば、表示制御部423は、収集情報を登録したユーザの識別情報に基づいて、上記のアイコンの視覚的特徴を設定する。これにより、ユーザは、収集情報を登録したユーザをキーにして、次に表示させる画像を容易に選択することが可能になる。
また、例えば、撮影した画像の主たる目的(用途)としては、設計監理のため、点検のため、レイアウト把握のため、などの目的(用途)が挙げられる。表示制御部423は、その目的(用途)に基づいて、上記のアイコンの視覚的特徴を設定する。これにより、例えば、ユーザは、その目的(用途)に対応する閲覧画像に、容易に切り替えることができる。
OBJ211には、OBJ211の位置に頂点を置いた三角形を示すOBJ2111が、半透明に描かれている。OBJ2111は、選択されている観測点に対応して表示され、三角形に含まれる範囲が表示されていることを示す。この図の場合、OBJ211により識別される観測点が、現在選択されており、表示されている方向は観測点に対して平面図の上方向であることが示されている。
なお、OBJ213のピンは、前述のOBJ204の空間モデルに対応する観測点を示す。この図に表示の例からも、OBJ211の観測点とOBJ213の観測点の位置が近いことが分かる。
領域Z200のうち符号220の領域には、ユーザが投稿したコメントなどがテキストとして表示されている。なお、領域Z220の表示は、前述のOBJ201に対応付けられている。ユーザがマウスなどを利用してOBJ201のピンの選択が検出されることにより、領域Z220の表示が開かれて、対応する情報が表示される。
領域Z220内に、領域Z221、Z222、Z223、Z224と、ボタンOBJ225が示されている。
領域Z221には、ユーザが投稿したテキストが示されている。領域Z222には、この投稿に関連する日付が表示されている。領域Z223には、上記のコメントに対する概要が示されている。例えば、概要として、「クレーム」、「重故障」、「軽故障」、「その他」などが容易に識別可能に表示される。なお、表示制御部423は、領域Z223に、状態を表すステータス、緊急性を表すステータス、進捗を表すステータスなどのように、種類の異なるステータスを表示してもよく、複数種類のステータスを増やして、それらを併記して表示してもよい。例えば、状態を表すステータスの表示の一例として、「状態:●クレーム ○重故障 ○軽故障 ○その他」等の表示が挙げられる。緊急性を表すステータスの表示の一例として、「緊急性:○緊急 ●早期 ○年度内 ○中長期」等の表示が挙げられる。進捗を表すステータスの一例として、「進捗:○確認中 ○検討中 ●経過観察 ○処置中 ○完了済」等の表示が挙げられる。さらに、複数種類のステータスを併記した表示の一例として、下記のような例が挙げられる。
「状態 : ●クレーム ○重故障 ○軽故障 ○その他
緊急性: ○緊急 ●早期 ○年度内 ○中長期
進捗 : ○確認中 ○検討中 ●経過観察 ○処置中」
領域Z224には、ステータスが表示されている。図に示す例では、ステータスとして、対応済を示す「済」が示されている。「予備」の文字が示されている欄は、将来、表示の内容を追加するように用意されているものである。
ユーザがマウスなどを利用してOBJ225のボタンを選択したことが検出されると、領域Z220の表示が閉じられる。上記の領域Z220を利用して情報を取得し、対象物に付与される情報を追加する処理の詳細は後述する。
領域Z200のうち符号230の領域には、閲覧画面の表示の制御に付帯する操作を行うための、ボタンOBJ231、OBJ232、OBJ233、OBJ234、OBJ235,OBJ236などの各種ボタンが表示されている。
ユーザがマウスなどを利用して上記の各ボタンの選択が検出されることにより、下記の処理が行われる。
端末装置200は、OBJ231に対する操作を検出すると、ユーザ情報414を参照して、端末装置200又は情報共有支援装置400に対するユーザの操作権限の認証処理を実施する。例えば、端末装置200は、ユーザが提示する識別情報を読み取って、読み取った識別情報の照合結果を得る。端末装置200は、照合結果に基づき許可される範囲で、その利用を許可する。
端末装置200は、OBJ232に対する操作を検出すると、平面図などの図面を領域Z210に表示するか否かを切り替える。
端末装置200は、OBJ233に対する操作を検出すると、表示領域内に各種アイコンを表示するか非表示にするかを切り替える。
端末装置200は、OBJ234に対する操作を検出すると、表示中の画面のスナップショットを取得する。
端末装置200は、OBJ235に対する操作を検出する(図11のS20)と、閲覧画面を表示する表示モードと、コメントなどの情報の投稿を受け付ける編集モード(図11のS21)とを切り替える。
端末装置200は、OBJ236に対する操作を検出すると、比較的直近の操作によって表示された閲覧画面の履歴情報を表示する。ユーザは、表示された履歴情報のうちから特定の履歴情報を選択する。端末装置200は、これを検出して、当該履歴情報に対応する閲覧画面を表示する。
領域Z240は、バー241と、バー241上を移動するスライダ242とが示されている。領域Z240には、表示されている閲覧画面の方向が示される。例えば、表示制御部423は、バー241に対するスライダ242の位置により、周囲画像が示す全周囲に対する閲覧画面の方向を示す。図に示すバー241とスライダ242は、領域240に常時表示されていてもよく、操作時等に選択的に表示されてもよい。バー241とスライダ242の表示制御は、端末装置200が実施してもよく、情報共有支援装置400又はBIM300の処理として実施されてもよい。
画面の左右方向の略中央にスライダ242が位置する場合には、例えば、平面図の上方側の方向を閲覧していることが示される。例えば、スライダ242の位置が、画面の左右方向の略中央より向かって右側に移動された場合には、表示制御部423は、平面図の上方側の方向から時計まわりに方向を変えた閲覧画像を生成する。これに対し、スライダ242の位置が、例えば、画面の左右方向の略中央より向かって左側に移動させた場合には、表示制御部423は、平面図の上方側の方向から反時計まわりに方向を変えた閲覧画像を生成する。表示制御部423は、このような操作に応じて、スライダ242の位置に対応する方向の閲覧画像を生成する。
なお、上記のバー241とスライダ242は、閲覧画面を、画面の左右方向の移動させるものとして説明したが、画面の上下方向の移動させるものを別途設けてもよい。画面の上下方向の移動させるためのバーとスライダは、同図に非表示である。例えば、画面の左端部近傍又は右端部近傍の領域に、画面の上下方向の移動させるためのバーと、当該バーの上を画面の上下方向に移動可能なスライダを設けてもよい。
このように、端末装置200は、表示した閲覧画面内のオブジェクトが選択される操作を検出することにより、検出した操作に応じて情報を選択して表示する。例えば、表示制御部423は、OBJ232に対する操作により平面図を領域Z210に表示させる状態に、かつ、併せて閲覧画像を領域Z200に表示させる状態にする。その閲覧画像において、表示されている閲覧画面内のオブジェクトが選択されると、表示制御部423は、選択されたオブジェクトを閲覧画像の中心に表示させたり、領域Z210内に選択されたオブジェクトを表示させたりしてもよい。また、表示制御部423は、領域Z210内に表示されたオブジェクトが選択されたことを検出して、そのオブジェクトに対応する閲覧画像を端末装置200に表示させてもよい。
また、上記の通り、情報共有支援装置400は、収集情報を適宜取得して、取得した情報を共有させる。また、情報共有支援装置400は、取得した情報をBIM300等の情報に反映させる。ここで、図15に示すS22における処理において、表示制御部423が観測点VPから視点方向を見込む画像を端末装置200に表示させる際に、当該画像の範囲に含まれる対象物に付与される情報を追加する処理の一例について説明する。
図18は、実施形態に係る対象物に付与される情報を追加する処理の一例を示すフローチャートである。
例えば、実空間における観測点の周囲の状況は、閲覧画像として、端末装置200の表示部などに示される。ユーザは、端末装置200の表示部に示された閲覧画面を見て、この閲覧画面に表示されている範囲内の対象物に、新たな情報を追加する操作を行う。
端末装置200は、上記の操作を検出して、情報共有支援装置400宛に通知する。これに対し情報共有支援装置400の表示制御部423は、端末装置200から、マウスなどの操作により指示された位置、つまり閲覧画像における所定の位置の位置情報を取得し、閲覧画像における所定の位置に対応するテキストなどの情報を取得する(Sb221)。
表示制御部423は、閲覧画像における所定の位置を、観測点を基準に形成される空間モデル上の位置に対応付ける(Sb222)。
表示制御部423は、提供情報を生成し、生成した提供情報を記憶部410(収集情報412)に書き込む(Sb223)。表示制御部423は、生成された提供情報を、対応する観測点に関連付けられる収集情報412に追加して、一連の情報として管理する。
上記に示した処理により、情報共有支援装置400は、共有される収集情報を、随時変化させることができる。
以上に示した処理により、情報提供支援装置400は、3次元仮想空間に配置されたものに付与された情報の利便性を高めることを可能にする。
なお、空間モデルMとして設定した射影面Sは、表示する画像を見込む基準点Rと、3次元仮想空間に設けられた仮想構造物とを結ぶ仮想の直線に交差するように設けられる。例えば、射影面Sの位置は、基準点Rと仮想構造物との間である。
(第1の実施形態の変形例)
第1の実施形態の変形例について説明する。第1の実施形態では、周囲画像と仮想空間画像の少なくとも何れか一方を透過性のある透過画像に変換し、他方の画像を上記の透過画像越しに表示することについて説明したが、これに代えて、本変形例では、透過させずに表示することについて説明する。
表示制御部423は、周囲画像と仮想空間画像の少なくとも何れか一方の画像から所定の抽出条件に基づいて一部を抽出し、抽出した部分画像を、他方の画像に重ねて配置する。例えば、壁面、床面、天井などで隠れる範囲に布設された屋内配線、配管などの情報が、BIM300に登録されているとする。表示制御部423が、周囲画像をBIM300に供給すると、BIM300は、供給した周囲画像を下敷きにして、屋内配線、配管などを抽出した部分画像を、その周囲画像の上に重ねて配置する。
或いは、上記の屋内配線、配管などの対象物を含む画像情報と、上記の対象物以外の範囲を示すマスク情報とが、BIM300に登録されているとする。表示制御部423が、周囲画像をBIM300に供給すると、BIM300は、供給した周囲画像を下敷きにして、対象物を含む画像情報のうち、マスク情報により指定される範囲以外を、その周囲画像の上に重ねて配置する。
本変形例によれば、BIM300が抽出した部分画像を周囲画像に重ねて配置する表示画像を生成することが可能になる。なお、情報提供支援装置400は、上記の表示画像の生成を、BIM300を制御することによって実施するようにしてもよい。
なお、情報提供支援装置400は、端末装置200からの制御を受けて、周囲画像と仮想空間画像の少なくとも何れか一方を透過画像に変換し、他方の画像を上記の透過画像越しに表示する第1表示モードと、本変形で例示した透過させずに表示する第2表示モードとを切り替えて表示するようにしてもよい。
(第2の実施形態)
第2の実施形態について説明する。第1の実施形態では、情報提供支援装置400は、BIM300等から情報を受けて、その情報の提供を支援する処理について説明したが、これに加えて、本実勢形態では、情報提供支援装置400が収集した情報を、BIM300において利用できるように共有させることについて説明する。第1の実施形態との相違点を中心に説明する。
上記の図11のS20とS21に示したように、情報提供支援装置400は、端末装置200が検出した操作により、閲覧画面を表示する表示モードと、コメントなどの情報の投稿を受け付ける編集モードとを切り替える。
情報提供支援装置400は、編集モードを実行中に受け付けた投稿を、情報入力部が受け付けて、記憶部410の収集情報412に管理情報として追加する。情報提供支援装置400は、記憶部410に格納されている収集情報412を、BIM300と共有する。例えば、情報提供支援装置400とBIM300は、収集情報412と、BIM300の記憶部に格納されている情報とを同期させる。情報提供支援装置400とBIM300は、予め定められたタイミングに、又は、新たな情報が追加された場合に上記の同期を実施してもよい。
上記の実施形態によれば、第1の実施形と同様の効果を奏することの他、BIM300は、情報提供支援装置400がBIM300以外から収集した情報を利用することができる。
なお、上記の説明では、BIM300が、情報提供支援装置400がBIM300以外から収集した情報を利用することを例示したが、当該情報を利用する装置は、BIM300以外の装置であってもよい。
なお、情報提供支援装置400がBIM300等から情報を収集するために、BIM300オブジェクトのプリパティの少なくとも1つを、情報を収集可能なページを示す情報の格納先を識別するための情報として追加してもよい。
少なくとも上記の何れかの実施形態によれば、情報提供支援装置400は、仮想空間に配置された対象物の属性情報を含み前記対象物に関する各種情報と前記対象物の位置を示す前記対象物の位置情報とを含む情報を取得する取得部(指定情報取得部421と周囲画像取得部422)と、前記対象物の位置情報に基づいて、前記仮想空間において前記対象物の位置を示す座標系を極座標系に変換する変換部428と、前記各種情報を表示する情報出力部を、前記極座標系の原点を基準に前記仮想空間に設け、前記極座標系に変換された前記対象物の位置に対応するように表示する情報として、前記取得した対象物の属性情報を含む情報があることを、前記対象物の位置に対応する前記情報出力部に表示する表示制御部423と、を備えるようにしたことにより、より簡易な方法で、3次元仮想空間に配置されたものに付与された情報の利便性を高めることを可能にする。
また、仮想空間に配置された対象物に関する各種情報を、仮想空間に定められた極座標系における位置に関連付けて格納する記憶部410を備える。表示制御部423は、各種情報を表示する情報入力部を、極座標系の原点を基準に仮想空間に設け、情報入力部が受け付けた各種情報を記憶部410に書き込む。これにより、情報提供支援装置400は、取得部が取得した情報を閲覧することの他、情報を記憶部410に記憶させることができる。
また、表示制御部423は、取得部が取得した対象物の属性情報を、極座標系の位置に配置された情報出力部に表示してもよい。
また、表示制御部423は、極座標系の原点の周囲を示す周囲画像(全方位画像等)を、極座標系に対応付けるようにしてもよい。
また、極座標系の原点の周囲を示す周囲画像は、仮想空間に対応する実空間において、極座標系の原点に対応する位置で撮像された画像に基づくものであってもよい。
また、表示制御部423は、極座標系の原点と、極座標系に対応付けられた周囲画像内の位置とを結ぶ直線上からの距離が所定範囲内の物を対象物の候補として選択するようにしてもよい。
なお、上記の実施形態によれば、対象範囲10の画像を撮像装置100により撮影するという簡易な作業により、対象範囲10の正確な情報を漏らさずに得ることが可能になる。撮像装置100に対する比較例として、現場の状況を点群情報として取得するレーザスキャナが知られている。情報可視化システム1は、壁面などの状況などを取得する際などに、レーザスキャナなどの特殊な装置を利用することなく、撮像装置100を利用することで必要とされる情報を容易に得ることができる。なお、情報可視化システム1は、上記のように簡易な作業を提供するものであり、維持管理の業務に適用してもよい。
また、情報可視化システム1は、撮像装置100により撮影された対象範囲10の画像を単に表示するだけではなく、その画像に像が直接表示されていない対象物について表示するようにしてもよい。
例えば、表示制御部423は、極座標系の原点と、極座標系に対応付けられた周囲画像内の位置とを結ぶ直線上からの距離が所定範囲内の物を対象物の候補として選択するようにしてもよい。これにより、表示制御部423は、手前に配置されているロッカーの陰に設備が配置されている場合、ロッカーと、画像には表示されない設備の双方を表示することができる。その表示の方法は、ロッカーの面を半透過状態で表示して、ロッカーの陰に配置されている設備をBIM300から取得した情報に基づいて、ロッカーの面に重ねて表示してもよい。さらに、表示制御部423は、上記の直線上からの距離が所定範囲内の物を対象物の候補として選択することで、その直線上に配置されている何れかのものを選択できるようにしてもよい。上記と別の事例ではあるが、表示制御部423は、天井面又は壁面が有ることで不可視な状況に配置されている管路などを、上記と同様の方法で表示することができる。
なお、情報可視化システム1は、建物2に対する設計業務、監理業務、管理業務など以外の業務や用途に適用可能である。
以上、本発明の実施形態について説明したが、図1に示す情報可視化システム1は、内部にコンピュータシステムを有している。そして、上述した処理に関する一連の処理の過程は、プログラムの形式でコンピュータ読み取り可能な記憶媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここで、コンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリなどをいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。また、ここでいう「コンピュータシステム」とは、OSなども含むものとする。
以上、本発明の一実施形態について説明したが、本発明の実施形態は上記のものに限定されない。本発明の実施形態は、例えば、上記の実施形態を次のように変形したものとすることができる。
例えば、上記の実施形態では、本発明に関連する構成を便宜上、情報可視化システム1を、撮像装置100、端末装置200、BIM300、及び、情報提供支援装置400に分けて説明した。撮像装置100、端末装置200、BIM300、及び、情報提供支援装置400の分割を、上記に例示したものと変更してもよく、各装置同士を一体化してもよい。また、各装置に含まれる一部の構成を、他の装置の構成に含めて構成してもよい。
なお、図に示したデータ構造は説明を容易にするために表の形式にしたものを示しているが、データ構造の形式は他の形式であってもよい。
なお、上記の実施形態では、撮像装置100により撮影された実空間の画像を利用する方法について例示したが、これに代えて、建物などをモデル化した3次元モデルに基づいて生成された画像を利用してもよい。
なお、情報可視化システム1は、維持管理の業務の他、建物2に対する設計業務、監理業務、管理業務など以外の業務や用途に適用可能である。
なお、上記の実施形態として、撮像装置100が正距円筒図法に基づく画像又は全周囲画像を周囲画像として撮像し、情報提供支援装置400は、周囲画像を生成する合成処理を不要とする場合を例示して説明した。これに代えて、情報提供支援装置400は、撮像装置100から供給される複数の画像を合成して周囲画像を生成してもよい。これにより、情報提供支援装置400は、撮像装置100から供給される複数の画像を合成して周囲画像を生成することができる。