JP7045863B2 - 情報管理システム、情報管理方法、及びプログラム - Google Patents

Description

本発明は、情報管理システム、情報管理方法、及びプログラムに関する。

建物の維持管理及びレイアウト設計などの各業務では、対象とされる建物の状況を正確に把握することが必要とされる。建物の状況を全天球画像で撮影すると、一般的な写真のような範囲が制限される２次元画像とは異なり、１視点から周囲を見回すように表示させることができて周囲の状況を把握しやすくなる。一方で、実際の建物における調査の結果や、作業時のメモを写真に書き込んで、書き込んだ情報を利用することがある。

特開２００９－２３５６９６号公報

しかしながら、一般的な写真や２次元画像に情報を書き込むことが可能であっても、全天球画像に情報を書き込むことは容易ではなく、その全天球画像に関連する情報を有効に利用できない場合がある。
本発明が解決しようとする課題は、より簡易な方法で、ある位置の周囲の状況を示す全天球画像に付加した情報を管理する情報管理システム、情報管理方法、及びプログラムを提供することにある。

（１）本発明の一態様の情報管理システムは、画像が表示される表示面と、前記表示面に沿って設けられユーザの操作を検出する操作検出部とを備える表示装置を、情報の獲得に利用する情報管理システムであって、実空間における所定の地点で撮影された画像であって、撮影されている前記所定の地点の周囲のものの方向を極座標系で示すことが可能な画像である全天球画像を用いて、前記全天球画像の一部である部分画像が前記表示面に表示された状態で、前記操作検出部によって検出されたユーザの操作に関するデータから、前記ユーザが前記表示面上に触れた軌跡に関する軌跡データを生成する軌跡データ生成部と、前記全天球画像を撮影した所定の地点を含む実空間に対応する仮想空間内に、前記所定の地点に対応する基準点が配置され、前記基準点を包含する立体の立体モデルと前記全天球画像とが位置と方向を整合させて配置され、前記立体を形成する曲面の内面の所定の位置に前記全天球画像と前記軌跡データとを対応付ける変換処理部と、を備える情報管理システムである。

（２）また、上記の情報管理システムは、前記全天球画像のなかで前記表示面に表示された部分画像の範囲に、前記軌跡データに基づいた軌跡画像を対応付けて表示させる表示制御部を備える。

（３）また、上記の情報管理システムにおいて、前記変換処理部は、前記仮想空間内のオブジェクトに前記軌跡画像を対応付ける。

（５）また、上記の情報管理システムにおいて、前記変換処理部は、前記全天球画像に前記全天球画像に相当する広さの面を対応させて、前記軌跡データによる像を前記全天球画像に相当する広さの面に対応付ける。

（６）本発明の一態様の情報管理方法は、画像が表示される表示面と、前記表示面に沿って設けられユーザの操作を検出する操作検出部とを備える表示装置を、情報の獲得に利用する情報管理システムにおける情報管理方法であって、実空間における所定の地点で撮影された画像であって、撮影されている前記所定の地点の周囲のものの方向を極座標系で示すことが可能な画像である全天球画像を用いて、前記全天球画像の一部である部分画像が前記表示面に表示された状態で、前記操作検出部によって検出されたユーザの操作に関するデータから、前記ユーザが前記表示面上に触れた軌跡に関する軌跡データを生成し、前記全天球画像を撮影した所定の地点を含む実空間に対応する仮想空間内に、前記所定の地点に対応する基準点が配置され、前記基準点を包含する立体の立体モデルと前記全天球画像とが位置と方向を整合させて配置され、前記立体を形成する曲面の内面の所定の位置に前記全天球画像と前記軌跡データとを対応付ける過程を含む。

（７）本発明の一態様のプログラムは、画像が表示される表示面と、前記表示面に沿って設けられユーザの操作を検出する操作検出部とを備える表示装置を、情報の獲得に利用する情報管理システムのコンピュータが、実空間における所定の地点で撮影された画像であって、撮影されている前記所定の地点の周囲のものの方向を極座標系で示すことが可能な画像である全天球画像を用いて、前記全天球画像の一部である部分画像が前記表示面に表示された状態で、前記操作検出部によって検出されたユーザの操作に関するデータから、前記ユーザが前記表示面上に触れた軌跡に関する軌跡データを生成するステップと、前記全天球画像を撮影した所定の地点を含む実空間に対応する仮想空間内に、前記所定の地点に対応する基準点が配置され、前記基準点を包含する立体の立体モデルと前記全天球画像とが位置と方向を整合させて配置され、前記立体を形成する曲面の内面の所定の位置に前記全天球画像と前記軌跡データとを対応付けるステップとを実行するためのプログラムである。

本発明によれば、より簡易な方法で、ある位置の周囲の状況を示す全天球画像に付加した情報を管理する情報管理システム、情報管理方法、及びプログラムを提供できる。

本発明の実施形態に係る情報管理システムの構成図である。 実施形態に係る正距円筒図法による画像について示す図である。 実施形態に係る図２の画像を、中空の円筒の表面の内側に描かれた状態の一例を示す図である。 実施形態に係る図２の画像を、中空の球体の表面の内側に射影した状態の一例を示す図である。 実施形態に係る端末装置２００の構成図である。 実施形態に係る端末装置２００の一例について説明するための図である。 実施形態に係るＢＩＭ３００による数値データに基づいた３Ｄモデルの一例を示す図である。 実施形態に係る情報管理装置４００のハードウェア構成図である。 実施形態に係る情報管理装置４００の機能構成図である。 実施形態に係る空間モデル情報４１１の内容の一例を示す図である。 実施形態に係る見込む位置情報４１３の内容の一例を示す図である。 実施形態に係る収集情報４１２の内容の一例を示す図である。 実施形態に係る全天球画像と３次元仮想空間との関係を説明するための図である。 実施形態の変換処理の手順を示すフローチャートである。 実施形態の操作の軌跡を全天球画像に対応付ける手法について説明するための図である。 端末装置２００に表示された画像内の位置を全天球画像内の位置に変換する処理を説明するための図である。 端末装置２００に表示された画像内の位置を全天球画像内の位置に変換する処理を説明するための図である。 端末装置２００に表示された画像内の位置を全天球画像内の位置に変換する処理を説明するための図である。

以下、本発明の実施形態の情報管理システム、情報可視化方法及びプログラムについて、添付図面を参照して説明する。以下の実施形態の説明において、全天球画像を撮影した地点に対応する仮想空間は、直交座標系で示すことができる３次元空間であってもよく、上記の撮影した地点を包含する球体などの立体の面（内面）であってもよい。以下の説明では、直交座標系で示すことができる３次元空間の事例を中心に説明する。

図１は、本発明の実施形態に係る情報管理システムの構成図である。
最初に、情報管理システム１の概要について説明する。情報管理システム１は、実在する建物２の対象範囲１０において撮影された全天球画像の一部である部分画像を端末装置２００等に表示させる。情報管理システム１は、例えば、端末装置２００に表示された部分画像に対してユーザが書き込んだ情報を取得する。例えば、情報管理システム１は、ユーザが書き込んだ情報から部分画像上の操作の軌跡に基づいた軌跡画像を取得して、その軌跡画像を管理する。以下、軌跡画像による情報をＢＩＭ３００等において再利用する事例について説明する。

なお、実施形態における対象範囲１０には、実在する建物２の一部又は全部が含まれる。さらに、対象範囲１０には、上記の建物２に設けられた設備、什器、造作物の内の一部又は全部などが含まれる。対象範囲１０は、その範囲が予め決定される。例えば、対象範囲１０における位置は、直交座標系（Ｘ，Ｙ，Ｚ）を用いて特定される。直交座標系の軸は、建物２の軸に対応するように決定されていてもよい。対象範囲１０内に、幾つかの観測点（不図示）が設けられていてもよい。例えば、観測点Ｐ０は、観測点Ｐ０の比較的近傍の周囲の状況を掌握しやすい位置になるように、その位置が決定される。以下の説明では、観測点Ｐ０を単に観測点という。

［情報管理システム］
情報管理システム１は、撮像装置１００、端末装置２００（表示装置）、ＢＩＭ３００、及び、情報管理装置４００を備える。撮像装置１００、端末装置２００、ＢＩＭ３００、及び、情報管理装置４００は、ネットワークＮＷを介して接続されている。

［撮像装置１００］
撮像装置１００は、ユーザＵ１の操作により、撮影地点において自装置を中心にした全天球画像を撮影する。撮像装置１００は、通信機能を利用して、その全天球画像を端末装置２００又は情報管理装置４００に送信する。撮像装置１００は、例えば、ユーザＵ１によって携帯され、ユーザＵ１が指定する任意の地点で全天球画像を撮影する。全天球画像とは、撮影地点（立脚点）である１視点から周囲を見回した画像である。例えば、撮像装置１００から提供される全天球画像は、正距円筒図法による画像、全天周画像などの全方向の画像が含まれている。

図２は、実施形態に係る正距円筒図法による画像について示す図である。正距円筒図法は、球体の表面を展開し、その表面を長方形に射影して示す図法である。球体の緯度経度は、長方形内で直角に交差するように各部の尺度が調整される。図２に示す長方形の大きさは、幅が４Ａπであり、高さが２Ａπである。画像の中心が「Ｏ」の位置になっている。図３は、図２の画像を、中空の円筒の側面の内側に描かれた状態の一例を示す図である。図３に示す円筒の周が４Ａπであり、高さが２Ａπである。

例えば、図２に示す正距円筒図法による画像を、球体の表面の内側に射影すると、図４のようになる。図４は、図２の画像を、中空の球体の表面の内側に全天球画像を射影した状態の一例を示す図である。この図４は、球体の奥行き方向に遠方側の半球を示し、近方側の半球の描画を省略している。球体の内側から球全体をみれば全天球画像によって囲まれた状態になる。なお、撮像装置１００は、正距円筒図法による画像と全天球画像の少なくとも何れかの画像の一部又は全部を出力する。このような撮像装置１００であれば、１回の操作で全周囲を纏めて撮影することができ、周囲を漏れなく撮影できる。

［端末装置２００］
図５は、実施形態に係る端末装置２００の構成図である。端末装置２００は、例えば、ＣＰＵ２００Ａと、ＲＡＭ（Random Access Memory）２００Ｂと、不揮発性記憶装置２００Ｃと、可搬型記憶媒体ドライブ装置２００Ｄと、入出力装置２００Ｅと、通信インターフェース２００Ｆとを備える。端末装置２００は、ＣＰＵ２００Ａに代えて、任意の形態のプロセッサを備えてもよいし、図５に示した各構成要素のうち一部を省略してもよい。

ＣＰＵ２００Ａは、不揮発性記憶装置２００Ｃに格納されたプログラム、又は可搬型記憶媒体ドライブ装置２００Ｄに装着された可搬型記憶媒体に格納されたプログラムをＲＡＭ２００Ｂに展開して実行することで、以下に説明する種々の処理を行う。ＲＡＭ２００Ｂは、ＣＰＵ２００Ａによってワーキングエリアとして使用される。不揮発性記憶装置２００Ｃは、例えば、ＨＤＤやフラッシュメモリ、ＲＯＭ（Read Only Memory）などである。可搬型記憶媒体ドライブ装置２００Ｄには、ＤＶＤ（Digital Versatile Disc）やＣＤ（Compact Disc）、ＳＤカードなどの可搬型記憶媒体が装着される。入出力装置２００Ｅは、例えば、タッチパネルとしての操作検出部、表示部などを含む。通信インターフェース２００Ｆは、ネットワークＮＷに接続され、端末装置２００における通信を制御する。

図５を参照して、実施形態に係る端末装置２００の機能構成について説明する。端末装置２００は、受付処理部２１１と、データ取得部２１２と、表示制御部２１３と、表示部２２１と、操作検出部２２２とを備える。これらの機能部は、例えば、ＣＰＵ２００Ａがプログラムを実行することにより実現される。また、これらの機能部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。

受付処理部２１１は、入出力装置２００Ｅによって検出されたユーザの操作を受け付ける。例えば、受付処理部２１１は、入出力装置２００Ｅにより表示された画像上のボタンなどを選択する操作を検出して、ユーザの操作として受け付ける。受付処理部２１１は、検出したユーザの操作に基づいて、情報を共有するための要求を情報管理装置４００宛に送信する。

データ取得部２１２は、情報管理装置４００から送信された情報を取得する。情報管理装置４００から取得する情報には、特定の観測点に対応する取得情報が含まれる。

表示制御部２１３は、情報管理装置４００から送信された情報に基づいて、入出力装置２００Ｅにおける表示部に表示させる画像を生成する。例えば、表示制御部２１３は、特定の観測点に対応する取得情報に基づいた閲覧画像を生成して、表示部に表示させる。

なお、端末装置２００は、受付処理部２１１、データ取得部２１２、及び、表示制御部２１３の一部又は全部を、Ｗｅｂシステムに適用されるブラウザを利用して実現してもよい。端末装置２００は、予め定められたユーザに限り、その利用を許可するものとしてもよい。

端末装置２００は、ユーザにより可搬可能な携帯型のコンピュータである。例えば、端末装置２００は、スマートフォン、タブレットなどであってよく、外部の装置と通信する通信機能を有する。

図６は、実施形態に係る端末装置２００の一例について説明するための図である。端末装置２００は、撮像装置１００又は情報管理装置４００から取得した画像１０ＰＩＡ等を、入出力装置２００Ｅの表示部２２１に表示する。表示部２２１は、画像１０ＰＩＡ等を表示する表示面ＦＳを含む。この図６における端末装置２００の背景に示す全天球画像１０ＡＲＩは、全天球画像のように実空間を模式化して示したものである。画像１０ＰＩＡは、その全天球画像の一部が切り出され、実空間の像と同様に見えるように像の歪が補正されたものである。

表示面ＦＳには、ユーザの操作を検出する操作検出部２２２が表示面ＦＳに沿って設けられている。操作検出部２２２は、タッチパネルとして機能してフリーハンドで書き込まれた情報を検出する。例えば、ユーザＵ２は、端末装置２００を左手で支持し、右手の人差し指を使って操作する。画像１０ＰＩＡが表示された状態で、右手の人差し指を使って表示面ＦＳ上をなぞることにより、画像１０ＰＩＡに関連する情報を書き込むことができる。例えば、壁に配置されている設備３１１に関する情報を書き込むために、ユーザＵ２は、設備３１１の周りを囲むように指を移動させる。入出力装置２００Ｅは、その操作、つまり表示面ＦＳ上の指の移動を検出して、その軌跡を表示する。上記の場合、設備３１１の周りを囲む線ＴＩは、操作の軌跡の一例であり、ユーザＵ２が表示面ＦＳを指でなぞって書き込んだ情報の一例である。符号Ｐ１は、例えば線ＴＩの一方の端部の位置を示す。その位置は、ユーザＵ２のなぞる操作の始点の位置である。

受付処理部２１１は、入出力装置２００Ｅにおける表示面ＦＳをなぞるユーザの操作を操作検出部２２２が検出すると、それを受け付けて、情報管理装置４００宛に送信する。

［ＢＩＭ３００］
図１に戻りＢＩＭ３００について説明する。ＢＩＭ３００は、建物２とその付帯設備などをモデル化した３次元情報（以下、単に３Ｄモデルという。）に基づいた３次元の像を表示する。この３Ｄモデルには、対象範囲１０の建物２の構造、対象範囲１０内に配置された設備、什器などの３次元情報が含まれる。

ＢＩＭ３００は、対象範囲１０を含む建物２に関する情報を数値化して管理するコンピュータである。例えば、図１に示すように、ＢＩＭ３００は、記憶部３１０と、制御部３２０とを備える。

記憶部３１０には、建物２を３Ｄモデルとして数値化したデータ、建物２に関する各種図面、建物２に付帯する設備を特定するための属性情報、建物２及び付帯する設備の保守点検の履歴情報などが格納されている。例えば、建物２を３Ｄモデルとして数値化したデータには、建物２の意匠図、構造図、設備図などのデータが含まれる。建物２に関する各種図面には、建物２の意匠図、構造図、フロアごとの平面図、設備図、配管図、電源系統図などの各種図面の一部又は全部が含まれる。

制御部３２０は、プログラムを実行することにより、外部から供給される情報を受け付けて、その情報を記憶部３１０に書き込む。また、制御部３２０は、外部からの指示に応じて３Ｄモデルを生成し、生成した３Ｄモデルを記憶部３１０に格納する。制御部３２０は、所謂ＢＩＭ（Building Information Modeling）としての処理を実行する。

図７は、ＢＩＭ３００による数値データに基づいた３Ｄモデルの一例を示す図である。図７に、対象範囲１０に対応する３次元仮想空間における３Ｄモデルを俯瞰した図が示されている。その３Ｄモデルは、建物２の概略を示し、建物２の対象範囲１０を示すものである。この図７に示す図は、天井部を削除して表示したものである。同図に示す建物２の壁には、設備３１１が配置されている。例えば、設備３１１は、空気調和設備のダクトである。

実施形態のＢＩＭ３００は、例えば、情報管理装置４００からの要求により、３Ｄモデルに関するデータの一部を情報管理装置４００に提供する。

［情報管理装置４００］
図８は、実施形態に係る情報管理装置４００のハードウェア構成図である。情報管理装置４００は、例えば、ＣＰＵ４００Ａと、ＲＡＭ４００Ｂと、不揮発性記憶装置４００Ｃと、可搬型記憶媒体ドライブ装置４００Ｄと、入出力装置４００Ｅと、通信インターフェース４００Ｆとを備える。情報管理装置４００は、ＣＰＵ４００Ａに代えて、任意の形態のプロセッサを備えてもよいし、図８に示した各構成要素のうち一部を省略してもよい。

ＣＰＵ４００Ａは、不揮発性記憶装置４００Ｃに格納されたプログラム、又は可搬型記憶媒体ドライブ装置４００Ｄに装着された可搬型記憶媒体に格納されたプログラムをＲＡＭ４００Ｂに展開して実行することで、以下に説明する種々の処理を行う。ＲＡＭ４００Ｂは、ＣＰＵ４００Ａによってワーキングエリアとして使用される。不揮発性記憶装置４００Ｃは、例えば、ＨＤＤやフラッシュメモリ、ＲＯＭなどである。可搬型記憶媒体ドライブ装置４００Ｄには、ＤＶＤやＣＤ、ＳＤカードなどの可搬型記憶媒体が装着される。入出力装置４００Ｅは、例えば、キーボードやマウス、タッチパネル、表示装置などを含む。通信インターフェース４００Ｆは、ネットワークＮＷに接続され、情報管理装置４００における通信を制御する。なお、通信インターフェース４００Ｆは、Ｗｅｂシステムに適用されるＷｅｂサーバとしての機能を有していてもよい。

図９は、実施形態に係る情報管理装置４００の機能構成図である。情報管理装置４００は、記憶部４１０と、制御部４２０とを備える。

記憶部４１０は、ＲＡＭ４００Ｂ又は不揮発性記憶装置４００Ｃに設けられた記憶領域である。記憶部４１０は、情報管理装置４００からアクセス可能なＮＡＳ装置などの外部記憶装置によって実現されてもよい。

記憶部４１０は、観測点情報４１１、収集情報４１２、見込む位置情報４１３、仮想空間モデル情報４１４などの情報を格納する。

観測点情報４１１は、全天球画像に係る観測点の位置に関する情報を含む。図１０は、実施形態に係る観測点情報４１１の内容の一例を示す図である。例えば、観測点に対して原則的に一つの全天球画像が割り付けられる。例えば、観測点情報４１１には、観測点ＩＤ、エリアＩＤ、実空間上の位置、仮想空間上の位置、半径、方向などの情報が含まれる。観測点情報４１１には、全天球画像にそれぞれ対応する情報が含まれる。

観測点ＩＤには、観測点を識別するための識別情報が格納される。例えば、観測点ＩＤは、観測点の座標値、又は、座標値に基づいて生成された値であってもよい。例えば、観測点には、１又は複数の全天球画像が関連付けられる。観測点ＩＤをキーにして検索することにより、上記の１又は複数の全天球画像を特定できる。ある全天球画像から選択された範囲の周囲画像が、観測点の位置から見込む画像になる。なお、観測点ＩＤに対応する全天球画像を１：１に対応させてもよく、定めた条件により複数の周囲画像のうちから１つが選択されるようにしてもよい。

エリアＩＤには、建物２におけるエリアを識別するための識別情報が格納される。例えば、エリアＩＤには、建物２における階数、同一階におけるゾーン、テナント、部屋などのように、所望の規則に従って建物２内を複数のエリアに区分した場合の各エリアの識別番号などのデータが含まれる。

実空間上の位置には、エリア毎に決定される座標系における観測点の位置を示すデータが格納される。例えば、エリア毎に決定される座標系は、直交座標系又は極座標系であり、同図に示す例は直交座標系の場合である。仮想空間上の位置は、仮想空間の座標系における観測点の位置を示す。例えば、仮想空間の座標系は、直交座標系又は極座標系であり、同図に示す例は直交座標系の場合である。仮想空間上の観測点は、全天球画像ごとに決定される。本実施形態では、説明を理解しやすくするために実空間の座標系と、実空間に対応する仮想空間の座標系とを対応させる。例えば、実空間の座標系の原点と、実空間に対応する仮想空間の座標系の原点とが一致するものとする。この場合、実空間における観測点の位置と、仮想空間における観測点の位置とを一致させることができる。なお、上記は一例であり、実空間の座標系の原点と、実空間に対応する仮想空間の座標系の原点とが異なることを制限するものではない。例えば、実空間の座標系の原点が、内装面などを基準に定められてもよく、仮想空間の座標系の原点が、壁芯などを基準に定められてもよい。

半径には、全天球画像をマッピングさせる球体の大きさを示すデータが格納される。例えば、半径（Ａ）を２ｍとし、観測点の床面からの高さを１．５ｍとすると、全天球の下部は、床下側に張り出した状態に配置される。この半径は、全ての全天球画像に対して同じ値を定めてもよく、用途や目的、登録者の属性などに応じて、異なる値にしてもよい。

方向には、仮想空間の座標系に対する全天球画像の座標系の基準方向の回転量を示すデータが格納される。

見込む位置情報４１３は、全天球画像を見込む位置Ｒを示す情報を含む。図１１は、実施形態に係る見込む位置情報４１３の内容の一例を示す図である。見込む位置情報４１３には、観測点ＩＤ、方向、画角などの情報が含まれる。方向は、基準点Ｒから向けた視点の方向を示す。画角は、視点の方向を基準にした視認範囲を示す。画角の値を大きくすると、広角レンズで写した画像になり、小さくすると、望遠レンズで写した画像になる。

仮想空間モデル情報４１４は、仮想空間における建物２の仮想空間モデルの情報を含む。例えば、仮想空間モデルは、ＢＩＭ３００の３Ｄモデルと同じ又はその一部の情報に基づいたものである。仮想空間モデルには、少なくとも、ＢＩＭ３００の３Ｄモデルに含まれる建物２の大きさ、形状、天井や壁などの内装材の配置などの情報を含む。

収集情報４１２については、後述する。

前述の図９に戻り、制御部４２０について説明する。
制御部４２０は、取得部４２１と、軌跡データ生成部４２２と、表示制御部４２３と、変換処理部４２４と、３Ｄモデル取得部４２５と、出力処理部４２７とを備える。

取得部４２１は、撮像装置１００によって撮影された全天球画像のデータを取得して、記憶部４１０における収集情報４１２にそのデータを追加する。

取得部４２１は、端末装置２００におけるユーザの操作の検出結果を、端末装置２００から取得して、収集情報４１２にそのデータを追加する。例えば、取得部４２１は、端末装置２００からフリーハンドで書き込まれた情報等の操作に関する情報（点群データ）を取得する。例えば、点群データは、画面をなぞった軌跡の情報を含むものである。取得部４２１は、端末装置２００から取得したデータを、時刻歴データとして収集情報４１２に追加する。

取得部４２１は、ＢＩＭ３００から、仮想空間モデルに関するデータを取得して、収集情報４１２にそのデータを追加する。例えば、仮想空間モデルに関するデータは、ＢＩＭ３００における３Ｄモデルのデータの一部であってよい。

ここで、収集情報４１２の内容の一例について説明する。図１２は、実施形態に係る収集情報４１２の内容の一例を示す図である。

例えば、収集情報４１２は、観測点ＩＤ、データ種別、データ識別ＩＤ（ファイル名）、日時（時刻）、位置情報、端末装置ＩＤ、ユーザＩＤなどの情報を含む。

観測点ＩＤは、前述の観測点情報４１１の観測点ＩＤに対応する。

データ種別には、全天球画像、点群データ、軌跡画像などにより示されるデータの種別を示す情報が格納される。例えば、データの種別には、単独のファイルで全周囲を示す「全天球画像」、ユーザの操作を示す「点群データ」、点群データに基づいて生成された「軌跡画像」、「軌跡点群データ」、「仮想空間モデル」などが含まれる。なお、「軌跡画像」と「軌跡点群データ」は、何れか一方であってもよい。例えば、「軌跡点群データ」は、上記の仮想空間内のオブジェクトに張り付くように対応付けられた点群として形成されるものであってよい。

データ識別ＩＤには、各種データを識別するための識別情報であって、例えば、収集情報をファイルとして扱う場合のファイル名などの識別情報が格納される。データ識別ＩＤには、一群の点群データをファイルとして扱う場合のファイル名などの識別情報が格納される。データ識別ＩＤには、上記の識別情報の他、収集情報としてのデータを一緒に格納してもよい。

日時には、収集情報に関連する日時を示すデータが格納される。例えば、収集情報が端末装置２００に書き込まれた日時、又は収集情報が収集情報４１２に追加された日時などである。

位置情報には、上記観測点ＩＤに対応する観測点を原点とした極座標系によって示される仮想空間モデル上の代表点の位置を識別するためのデータが格納される。その代表点の位置は、例えば、上記の「軌跡画像」、「軌跡点群データ」等のデータの場合、ユーザの操作の開始位置にしてもよい。

端末装置ＩＤには、端末装置２００の識別情報が格納される。

ユーザＩＤには、収集情報４１２に情報を書き込む処理を実施させたユーザの識別情報が格納される。

前述の図９に戻り説明を続ける。軌跡データ生成部４２２は、書き込まれた情報に関する点群データを収集情報４１２から読み出して、その点群データに基づく軌跡画像を生成する。例えば、書き込まれた情報とは、ユーザＵ２の操作によって端末装置２００の表示部２２１（表示面ＦＳ）をフリーハンドでなぞった軌跡を示す情報である。軌跡データ生成部４２２は、端末装置２００にフリーハンドで書き込まれた情報、つまり表示面ＦＳをフリーハンドでなぞった軌跡の点群データから軌跡画像を生成して、記憶部４１０に書き込む。これにより、軌跡データ生成部４２２は、全天球画像の一部である部分画像が表示面ＦＳに表示された状態で、操作検出部によって検出されたユーザの操作に関するデータから、ユーザが表示面ＦＳ上に描いた軌跡に関する軌跡データを生成することができる。

表示制御部４２３は、対象範囲１０に対応する実空間における観測点に対応する全天球画像の一部を抽出した部分画像を切り出して、端末装置２００に表示させる画像を生成する。端末装置２００に表示させる画像に、ユーザが表示面ＦＳ上に描いた軌跡が重畳された画像を含めることができる。表示制御部４２３は、全天球画像の一部を抽出した部分画像と、ユーザが表示面ＦＳ上に描いた軌跡が重畳された画像との少なくとも何れか一方を表示することができる。

変換処理部４２４は、全天球画像と、端末装置２００を使用して取得した情報と、仮想空間モデルとを対応付ける。

図１３は、実施形態に係る全天球画像と３次元仮想空間との関係を説明するための図である。図１３（ａ）に示す３次元仮想空間に、実空間の対象範囲１０に対応する仮想空間モデル１０ＴＤＭが配置されている。例えば、基準点Ｒを取り囲む円筒を、その円筒の軸が基準点Ｒを通るように配置する。実空間の状況を示す全天球画像が、その円筒の側面Ｓに射影されていると仮定すると、実空間の観測点の周りの状況がその円筒の内面（側面Ｓ）に表わされる。端末装置２００には、その全天球画像の一部である画像１０ＰＩＡ（部分画像）が表示されている。

例えば、変換処理部４２４は、まず、観測点ＩＤによって対応付けられている全天球画像と仮想空間モデルとの組について、互いの位置と、互いの方向とを整合させる。変換処理部４２４は、次に、全天球画像に対応付けられた情報を仮想空間モデルに対応付ける。変換処理部４２４は、この対応付けを、観測点に対応する基準点Ｒの位置を基準にして、仮想空間における所定の面に射影して、軌跡データＴＩＰを得る。これにより、変換処理部４２４は、仮想空間モデル内のオブジェクトに、全天球画像に対応付けられた情報を対応付けることができる。仮想空間モデル内のオブジェクトとは、建物２の天井、壁等の面の他、建物２内に配置された設備等に対応するものである。

全天球画像に対応付けられた情報は、例えば、上記の軌跡画像であってよい。変換処理部４２４は、仮想空間内のオブジェクトに上記の軌跡画像を対応付けてもよい。その際に、仮想空間内のオブジェクトに対応する所定の面に軌跡画像を対応付けてもよい。上記の手順で、図１３（ｂ）に示すように、変換処理部４２４は、全天球画像を撮影した地点に対応する仮想空間モデル（３次元モデル）内に、軌跡データＴＩＰを対応付けることができる。

なお、変換処理部４２４は、上記に代えて、仮想空間内のオブジェクトに、ユーザＵ２の操作に基づいた点群データを対応付けて、仮想空間モデル内に軌跡を示す点群（軌跡点群データ）を生成してもよい。なお、上記の仮想空間内のオブジェクトに対応付けられた点群は、仮想３次元空間である仮想空間モデル内のオブジェクトの表面に書き込まれたように表示されるものになる。

変換処理部４２４は、仮想空間モデル（３次元モデル）内に軌跡データを対応付けた結果に基づいて、軌跡データとその対応付けに関する情報をＢＩＭ３００に提供するデータに変換してもよい。これにより、ＢＩＭ３００において、３Ｄモデル上に軌跡データを表示させたり、３Ｄモデルを構成するデータに含めて、３次元表示したりすることが可能なる。

出力処理部４２７は、端末装置２００からの要求に応じて、要求に対する所望の情報を端末装置２００に対して出力する。また、出力処理部４２７は、処理の結果を、ＢＩＭ３００に出力することがある。

次に、実施形態の変換処理の一例について説明する。
図１４は、実施形態の変換処理の手順を示すフローチャートである。

端末装置２００は、ユーザＵ２の要求を受け付けて、その表示面に表示する全天球画像を特定して、その全天球画像を情報管理装置４００に要求する。情報管理装置４００は、その要求を受けて全天球画像を提供する（ステップＳ１０）。

端末装置２００は、全天球画像を表示して、その表示面に表示する範囲についてユーザＵ２の要求を受け付けて、その範囲を表示する。

端末装置２００は、その表示面をなぞるユーザＵ２の操作を受け付けて、検出したユーザＵ２の指の位置を示す点群データを情報管理装置４００に通知する。情報管理装置４００は、点群データを取得する（ステップＳ２０）。

情報管理装置４００は、点群データＧＰの要素を時刻順に繋ぐことで、指の移動の軌跡を再生する（ステップＳ３０）。

例えば、端末装置２００は、指の位置を周期的にサンプリングして得たＰ１１、Ｐ１２、Ｐ１３、・・・、Ｐ１Ｎなどの各点の位置データに基づいて、点群データＧＰ（Ｐ１１、Ｐ１２、Ｐ１３、・・・、Ｐ１Ｎ）を生成する。上記のＰ１１は、最初に振れた箇所の位置とその時刻ｔ１のデータを含む。Ｐ１２は、Ｐ１１の次に検出された箇所の位置とその時刻ｔ２のデータを含む。以降、同様であり、Ｐ１Ｎは、なぞる操作として最後に検出された箇所の位置とその時刻ｔＮのデータを含む。つまり、Ｐ１Ｎは、表示面から指を離した位置に対応する。

この軌跡は、端末装置２００の表示面上の指の移動を示すものであるが、ユーザＵ２が意図する操作は、全天球画像への書き込みである。情報管理装置４００は、この軌跡を全天球画像に対応付ける（ステップＳ４０）。その詳細については同様に後述する。

さらに、情報管理装置４００は、この軌跡を仮想空間モデルに対応付ける（ステップＳ５０）。その詳細については後述する。

上記の手順により、情報管理システム１は、ユーザＵ２の操作による情報の書き込みを、仮想空間モデルに対応付けることができる。

図１５は、実施形態の操作の軌跡を全天球画像に対応付ける手法について説明するための図である。

上記の通り、ユーザＵ２は、端末装置２００に表示されている全天球画像１０ＡＲＩの一部の範囲である部分画像を見ながら操作する。ユーザＵ２が端末装置２００を操作した際に表示されていた部分画像の全天球画像１０ＡＲＩにおける範囲は、上記の通り既知である。

そこで、図１５（ａ）に示す射影面１０ＴＩＦを利用する。射影面１０ＴＩＦは、全天球画像１０ＡＲＩと同じ大きさで透過性のある平面である。射影面１０ＴＩＦと全天球画像１０ＡＲＩは、共通する座標系でそれぞれの範囲内の位置を表すことができる。

情報管理装置４００は、部分画像をその射影面１０ＴＩＦにマッピングする。さらに、情報管理装置４００は、その部分画像の範囲内に軌跡ＴＩを射影面１０ＴＩＦに対応づける。

部分画像の範囲内に軌跡ＴＩが対応づけられた射影面１０ＴＩＦと、全天球画像１０ＡＲＩとを、互いの位置を合わせて重ねることで、全天球画像１０ＡＲＩ上にユーザＵ２が描いた軌跡ＴＩを配置することができる。あたかもユーザＵ２の操作による情報が軌跡ＴＩとして残された軌跡ＴＩ付の全天球画像１０ＡＲＩを得ることができる。

端末装置２００を操作することにより、軌跡ＴＩ付の全天球画像１０ＡＲＩを端末装置２００に表示させることができる。

また、端末装置２００に表示する範囲の移動、範囲の変更をすることは、画像の閲覧に関する既知の手法により可能である。図１５（ｂ）に示す画像は、端末装置２００に表示する部分画像１０ＰＩＢの一例である。このように、軌跡ＴＩ付の全天球画像１０ＡＲＩを端末装置２００に表示させる範囲をずらして、基準点Ｒの周りを見回すと、対応づけた軌跡が全天球画像１０ＡＲＩと一緒にずれて端末装置２００に表示される。

次に、図１６から図１８を参照して、端末装置２００に表示された画像内の点の位置を全天球画像内の点の位置に変換する方法の一例について説明する。
図１６から図１８は、端末装置２００に表示された画像内の位置を全天球画像内の位置に変換する処理を説明するための図である。

図１６に示すように、全天球画像とそれに対応する仮想球体との関係を示す。全天球画像は、それに対応する仮想球体に外接する。仮想球の半径はＡである。この全天球画像が、正距円筒図法によるものである場合、例えば、画像の幅（横）が４Ａπ、高さ（縦）が２Ａπであり、縦横比が１対２である。図１６に示す全天球画像は、縦ｖ（ピクセル）・横ｕ（ピクセル）の画素を有する。ここで、全天球画像の中心Ｏを原点とする２次元座標系を全天球画像上に定義する。

端末装置２００に表示された画像（以下、ビューという。）内の点Ｐ１（不図示）に対応する全天球画像内の点Ｐ３が定まる。点Ｐ１の位置は、下記の変換処理によって全天球画像内の点Ｐ３の位置（ｘ，ｙ）に変換される。

例えば、図１７の断面図と図１８の平面図に示す仮想空間内の所定の位置に観測点に相当する基準点Ｒを配置する。仮想空間内に基準点Ｒを原点にした極座標系を定義する。基準点Ｒからビューの表示面に向う方向に極座標系の基準軸ｒを設定する。

例えば、極座標系の基準軸ｒ上で基準点Ｒからの距離が１の位置に、基準軸ｒに直交するようにビューの表示面ＦＳを配置する。なお、図示する例ではビューの下端部にその基準軸ｒが掛かっている。なお、基準点Ｒから表示面ＦＳまでの距離は、１に制限されることなく任意の距離に定めることができる。

全天球画像の中心Ｏを、仮想空間の極座標系の基準軸ｒ上に配置する。
ビュー内の点Ｐ１は、基準点Ｒを原点にした極座標（１、θ、φ）で表すことができる。例えば、ビュー内の点Ｐ１は、この基準軸の方向に対して迎角θの方向にある。この場合、ビューの下端部から点Ｐ１までの高さがｔａｎθである。

全天球画像に対応する仮想球体の半径がＡであるので、仮想球体の中心にあたる基準点Ｒから仮想球体の表面までの距離がＡになる。基準点Ｒから点Ｐ１を見込む方向の仮想球体の表面上の点を点Ｐ２とする。この点Ｐ２を全天球画像に射影して、全天球画像上の点Ｐ３を得る。上記の手順で、ビュー内の点Ｐ１が、全天球画像上の点Ｐ３に射影される。全天球画像の中心Ｏを通る直交座標によれば、全天球画像における点Ｐ３の高さは、Ａθになる。

また、上記の図１８に示すように、端末装置２００の表示面ＦＳに表示された画像内の点Ｐ１は、例えば、この基準軸ｒの方向に対して水平方向にφだけ外れた方向にある。この場合、端末装置２００に表示された画像の中心Ｏから点Ｐ１までの水平距離がｔａｎφである。

上記の通り、基準点Ｒから点Ｐ１を見込む方向の仮想球体の表面上の点が点Ｐ２である。この点Ｐ２を全天球画像に射影して、全天球画像上の点Ｐ３を得る。上記の手順で、ビュー内の点Ｐ１が、全天球画像上の点Ｐ３に射影される。全天球画像の中心Ｏを通る直交座標によれば、全天球画像上の点Ｐ３の水平方向の位置は、Ａφになる。

上記の図１７と図１８に示す仮想空間における直交座標系に従えば、基準点Ｒの位置は（ｘｒ、ｙｒ、ｚｒ）である。仮想空間における基準点Ｒの位置を基準にして、上記の点Ｐ１～点Ｐ３に対応する仮想空間における位置が点Ｐ４として特定される。

例えば、基準点Ｒの位置から点Ｐ１を見込む方向（迎角θ）を仮想空間モデルにおけるオブジェクトの位置まで延伸し、そのオブジェクトとの交点を点Ｐ４とする。上記のオブジェクトは、建物２の壁、天井、床などの意匠部材の他、建物２に設けられている各種設備などに対応するものであってよい。

上記の図１７に示す事例では、点Ｐ４が天井に設けられた設備３１１の位置にある。例えば、図１７に示す事例より迎角θを小さくすることにより、点Ｐ４の位置が天井から端末装置２００の表示面方向を正面としたときの正面方向に存在する壁に点Ｐ４が位置する。

仮想空間におけるオブジェクトの位置と基準点Ｒの位置は、既知である。基準点Ｒから天井や壁までの距離は、オブジェクトの位置と基準点Ｒの位置とに基づいて算定できる。例えば、図１７に示すように、点Ｐ４が天井に位置しており、天井と基準点Ｒとの距離は、床から天井までの高さｈから床から基準点Ｒまでの高さｚｒを引くことで算出できる。これにより、点Ｐ４の仮想空間内の位置も定まる。

また、上記の図１８に示す事例では、端末装置２００の表示面方向を正面としたときの横方向の壁に点Ｐ４が位置している。上記のことは、図１８に示す場合も同様である。

上記の通り、端末装置２００に表示された画像上の点を、全天球画像内や仮想空間内の点に射影することができる。つまり、端末装置２００に表示された画像上を指でなぞって図形を描き、その指の位置を逐次補足することにより、画像上に描かれた図形としての指の軌跡をデータに残すことができる。例えば、各時刻において検出された指の位置を、上記の方法で全天球画像内や仮想空間内の点に射影することにより、全天球画像内や仮想空間内に指で描かれた図形を再現することができる。

なお、オブジェクトに対応する所定の面は、オブジェクトが配置されている面、オブジェクトの外観を形成する面、オブジェクトに対応するものの重心の位置と観測点の位置の間に配置された面などの面の何れかであってよい。

少なくとも上記の何れかの実施形態によれば、情報管理システム１は、画像が表示される表示面ＦＳと、表示面ＦＳに沿って設けられユーザの操作を検出する操作検出部２２２とを備える端末装置２００を、情報の獲得に利用する。情報管理システム１において、軌跡データ生成部４２２は、全天球画像の一部である部分画像が表示面ＦＳに表示された状態で、操作検出部２２２によって検出されたユーザＵ２の操作に関するデータから、ユーザＵ２が表示面ＦＳ上に触れた軌跡に関する軌跡データを生成する。変換処理部４２４は、全天球画像を撮影した地点に対応する仮想空間モデル内に、軌跡データを対応付けることにより、より簡易な方法で、ある位置の周囲の状況を示す全天球画像に付加した情報を管理することができる。

以上、本発明の実施形態について説明したが、図１に示す情報管理システム１は、内部にコンピュータシステムを有している。そして、上述した処理に関する一連の処理の過程は、プログラムの形式でコンピュータ読み取り可能な記憶媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここで、コンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリなどをいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。また、ここでいう「コンピュータシステム」とは、ＯＳなども含むものとする。

以上、本発明の一実施形態について説明したが、本発明の実施形態は上記のものに限定されない。例えば、各実施形態とその変形例に例示した手法は、例示した組合せ以外の組みにしてもよい。また、本発明の実施形態は、上記の実施形態を次のように変形したものとすることができる。
例えば、上記の実施形態では、本発明に関連する構成を便宜上、情報管理システム１を、撮像装置１００、端末装置２００、ＢＩＭ３００、及び、情報管理装置４００に分けて説明した。撮像装置１００、端末装置２００、ＢＩＭ３００、及び、情報管理装置４００の分割を、上記に例示したものと変更してもよく、各装置同士を一体化してもよい。また、各装置に含まれる一部の構成を、他の装置の構成に含めて構成してもよい。

なお、図に示したデータ構造は説明を容易にするために表の形式にしたものを示しているが、データ構造の形式は他の形式であってもよい。

なお、上記の実施形態では、撮像装置１００により撮影された実空間の画像を利用する方法について例示したが、これに代えて、建物などをモデル化した３次元モデルに基づいて生成された画像を利用してもよい。

なお、情報管理システム１は、建物２に対する設計業務、管理業務など以外の業務や用途に適用可能である。

１ 情報管理システム、１００ 撮像装置、２００ 端末装置、３００ ＢＩＭ、４００ 情報管理装置、４１０ 記憶部、４１１ 観測点情報、４１２ 収集情報、４１３ 見込む位置情報、４１４ 仮想空間モデル情報、４２０ 制御部、４２１ 取得部、４２２ 軌跡データ生成部、４２３ 表示制御部、４２４ 変換処理部、４２５ ３Ｄモデル取得部、４２７ 出力処理部

Claims (6)

1. 画像が表示される表示面と、前記表示面に沿って設けられユーザの操作を検出する操作検出部とを備える表示装置を、情報の獲得に利用する情報管理システムであって、
   実空間における所定の地点で撮影された画像であって、撮影されている前記所定の地点の周囲のものの方向を極座標系で示すことが可能な画像である全天球画像を用いて、前記全天球画像の一部である部分画像が前記表示面に表示された状態で、前記操作検出部によって検出されたユーザの操作に関するデータから、前記ユーザが前記表示面上に触れた軌跡に関する軌跡データを生成する軌跡データ生成部と、
   前記全天球画像を撮影した所定の地点を含む実空間に対応する仮想空間内に、前記所定の地点に対応する基準点が配置され、前記基準点を包含する立体の立体モデルと前記全天球画像とが位置と方向を整合させて配置され、前記立体を形成する曲面の内面の所定の位置に前記全天球画像と前記軌跡データとを対応付ける変換処理部と、
   を備える情報管理システム。
2. 前記全天球画像のなかで前記表示面に表示された部分画像の範囲に、前記軌跡データに基づいた軌跡画像を対応付けて表示させる表示制御部
   を備える請求項１に記載の情報管理システム。
3. 前記変換処理部は、
   前記仮想空間内にオブジェクト配置されていて、前記オブジェクトが配置された位置に対応する前記曲面上の位置に前記軌跡を含む前記軌跡画像を対応付ける
   請求項２に記載の情報管理システム。
4. 前記変換処理部は、
   前記全天球画像に前記全天球画像に相当する広さの面を対応させて、前記軌跡データによる像を前記全天球画像に相当する広さの面に対応付ける
   請求項１に記載の情報管理システム。
5. 画像が表示される表示面と、前記表示面に沿って設けられユーザの操作を検出する操作検出部とを備える表示装置を、情報の獲得に利用する情報管理システムにおける情報管理方法であって、
   実空間における所定の地点で撮影された画像であって、撮影されている前記所定の地点の周囲のものの方向を極座標系で示すことが可能な画像である全天球画像を用いて、前記全天球画像の一部である部分画像が前記表示面に表示された状態で、前記操作検出部によって検出されたユーザの操作に関するデータから、前記ユーザが前記表示面上に触れた軌跡に関する軌跡データを生成し、
   前記全天球画像を撮影した所定の地点を含む実空間に対応する仮想空間内に、前記所定の地点に対応する基準点が配置され、前記基準点を包含する立体の立体モデルと前記全天球画像とが位置と方向を整合させて配置され、前記立体を形成する曲面の内面の所定の位置に前記全天球画像と前記軌跡データとを対応付ける過程
   を含む情報管理方法。
6. 画像が表示される表示面と、前記表示面に沿って設けられユーザの操作を検出する操作検出部とを備える表示装置を、情報の獲得に利用する情報管理システムのコンピュータが、
   実空間における所定の地点で撮影された画像であって、撮影されている前記所定の地点の周囲のものの方向を極座標系で示すことが可能な画像である全天球画像を用いて、前記全天球画像の一部である部分画像が前記表示面に表示された状態で、前記操作検出部によって検出されたユーザの操作に関するデータから、前記ユーザが前記表示面上に触れた軌跡に関する軌跡データを生成するステップと、
   前記全天球画像を撮影した所定の地点を含む実空間に対応する仮想空間内に、前記所定の地点に対応する基準点が配置され、前記基準点を包含する立体の立体モデルと前記全天球画像とが位置と方向を整合させて配置され、前記立体を形成する曲面の内面の所定の位置に前記全天球画像と前記軌跡データとを対応付けるステップと、
   を実行するためのプログラム。

Images