JP6110780B2 - 付加情報表示システム - Google Patents

Description

本発明は、建物の実写画像に対して、付加情報を重畳して表示するシステムに関する。

地図が、一旦、整備された後でも、地理的な状況の変化に応じたメンテナンスが必要とされる。例えば、建物が新築されたり、取り壊されたりした場合には、地図にもそれに応じた修正を施す必要がある。近年では、建物等の形状を３次元的に表現してコンピュータや携帯端末等のディスプレイに表示する３次元地図が普及しているが、このような３次元地図では、建物の増改築などによる外観の変更に対しても、建物の３次元モデルを修正する必要がある。
電子地図を対象としてメンテナンスを行うための先行技術として、特許文献１は、複数の航空写真のステレオマッチングにより、地物の高さを算出し、その結果を従前の地図データと比較することによって自動的に地物の変化を検出する技術を開示している。

特開２００８−２９８６３１号公報

３次元地図は、建物の外観をリアルに再現しようとしているため、表面の色彩や模様、即ちテクスチャが変化した場合であっても、その変化を３次元モデルに反映することが望まれる。このように形状の変化を伴わない外観上の変化に対しては、特許文献１で開示されている自動検出では限界があり、現地調査が欠かせない。また、形状の変化を伴う場合であっても、自動検出よりも現地調査の方が、精度が高い。
現地調査によるメンテナンスの方法としては、建物を撮影した画像と、従前の建物または地図データとを、オペレータが見比べることによって、経年変化を見いだす方法がとられる。しかし、この方法において、一つの建物を撮影した画像が多数存在する場合には、いずれかの画像に基づいて経年変化を見いだしたとしても、その情報を他の画像で共有することができず、同じ経年変化を複数の画像で重複して指摘するという無駄が生じたり、画像の移り具合によっては、存在するはずの経年変化を見落としたりという不都合が生じていた。
かかる不都合は、地図のメンテナンスの場面だけでなく、ある実写画像において、建物の壁面に広告のように付加した情報を他の実写画像においても共有することができないという課題があった。
本発明は、かかる課題に鑑み、建物の実写画像に対して、付加情報を重畳して表示し、複数の実写画像間で情報の共有を可能とすることを目的とする。

本発明は、
建物に対して指示された付加情報を、該建物の実写画像中に表示する付加情報表示システムであって、
前記建物の実写画像を、該実写画像の撮影位置、撮影方向と関連づけて記憶する実写画像データベースと、
前記建物に対する付加情報の内容を、該付加情報を表示すべき前記建物表面上の３次元的な位置を関連づけて記憶する付加情報データベースと、
前記実写画像データベース記憶部に記憶されたいずれかの実写画像を表示する実写画像表示部と、
前記実写画像の撮影位置、撮影方向に基づいた透視投影によって、前記付加情報データベースに記憶された前記付加情報を前記建物表面上の位置に表示するための付加情報画像を生成し、前記実写画像に重畳して表示する付加情報表示部とを備える付加情報表示システムと構成することができる。

付加情報の内容は、３次元的な位置と関連づけて記憶されているから、仮想３次元空間内に付加情報を配置することができる。そして、かかる状態で、実写画像の撮影位置、撮影方向に基づいて透視投影を行えば、実写画像と同じ視点、視線方向で見た状態の付加情報を表す付加情報画像が生成できる。本発明では、こうして得られた付加情報画像を実写画像に重畳して表示するため、実写画像の建物表面上に、付加情報を表示することが可能となる。
また、一つの建物に対する付加情報と実写画像とは、それぞれ別のデータベースとして管理されているため、その建物の実写画像が複数存在するとき、一つの付加情報を、これらの間で共有することができる。
本発明において、付加情報としては、文字、記号、ピクチャなど、表示可能な種々の情報が含まれる。
建物表面上の３次元的な位置は、建物の位置を基準とする相対的な座標で記憶してもよいし、緯度、経度、高度などの絶対的な座標で記憶してもよい。
付加情報画像を表示する際、付加情報を平板等に貼り付けた状態で透視投影する方法をとってもよいし、建物の３次元モデルを別途用意し、この３次元モデル上に付加情報を貼付した状態で透視投影する方法をとってもよい。後者の例では、建物の３次元モデルについては透過した状態で重畳表示すればよい。
付加情報の表示の可否やサイズ等は、ユーザの指示等に応じて切換可能としてもよい。

本発明の付加情報表示システムにおいては、
前記建物の３次元形状を表す３次元モデルを記憶する３次元モデルデータベースと、
前記付加情報の内容と、該付加情報を表示すべき前記建物表面上の位置を指定するユーザからのコマンドを入力するコマンド入力部とを有し、
前記コマンド入力部は、
前記３次元モデルを前記実写画像の撮影位置、撮影方向に基づいて透視投影した画像内において、前記ユーザが前記実写画像上で指定した位置座標に対応する点の位置座標を入力し、
前記位置座標が前記３次元モデルの建物表面上の点を表しているとの拘束条件に基づき、前記位置座標を前記建物表面上の３次元座標に変換し、
該変換された結果を、前記付加情報の内容と関連づけて前記付加情報データベースに格納するものとしてもよい。

実写画像中で指定された一点は、画像上の２次元の座標値でしかなく、撮影地点や撮影方向が既知であったとしても、建物の形状等が不明のままでは、３次元の情報に変換することはできない。これに対し、上述の態様では、建物の形状を表す３次元モデルを用いることによって、ユーザから指定された位置を３次元的な位置に変換可能となる。従って、ユーザの操作に応じて付加情報を追加することができる。
かかる機能は、例えば、次の態様で利用することができる。
第１の態様は、実写画像中の建物の壁面に、ユーザが仮想的な広告・案内板などを付加する態様である。こうすることによって、建物を撮影した複数の実写画像に対して、あたかも壁面に広告・案内板が付されているかのように違和感のないリアルな状態で情報を表示することが可能となる。
第２の態様は、３次元モデルの整備等に利用する態様である。ユーザが、実写画像と３次元モデルによる画像とを比較し、３次元モデルに不備がある場合に、実写画像中にその不備のある部分、内容の修正指示を付加情報として追加するのである。こうすることによって、いずれか一つの実写画像で修正指示を追加しておけば、その建物のどの画像を参照しても、共通した修正指示が得られるため、指示の重複や漏れを回避することができる。
上記態様においては、さらに、３次元モデルを透視投影した画像を表示し、この画像内でユーザが指定した位置座標を３次元座標に変換して、付加情報を追加可能としてもよい。

また、本発明の付加情報表示システムにおいては、
前記建物を含む広範囲を撮影したパノラマ画像を入力し、該パノラマ画像から、前記実写画像データベースに格納する前記実写画像を生成する実写画像生成部を備え、
前記実写画像生成部は、
前記パノラマ画像の撮影地点と、前記建物の平面形状における重心位置とに基づいて、前記撮影方向を設定し、
前記撮影位置および撮影方向に基づいて、前記パノラマ画像から前記建物を含む所定範囲を切り出すことにより前記実写画像を生成するものとしてもよい。

こうすることによって、撮影された画像の事後処理によって実写画像データベースを生成することが可能となる。つまり、現地調査においては、撮影地点、撮影方向を特定せずに建物を撮影することが可能となり、現地調査時における撮影の負荷を軽減することが可能となる。
パノラマ画像としては、全方位を撮影した画像としてもよいし、一部の角度範囲を撮影した画像としてもよい。全方位を撮影した画像とすれば、複数の建物を含む画像が得られるため、さらに現地調査時における負荷が軽減できる利点がある。

上記態様において撮影方向は、種々の方法で設定できる。例えば、撮影地点と建物の平面形状における重心位置とを結ぶ方向を撮影方向としてもよい。
また、別の方法として、前記実写画像生成部は、
前記切り出された実写画像中で前記建物が占める面積が大きくなるよう前記撮影方向を修正し、
該修正後の撮影方向に基づいて前記切り出しを行うものとしてもよい。
こうすることによって、建物を大きく表示した実写画像を得ることができるため、付加情報の表示に好適である。また、本発明を、建物の経年変化の確認に利用する場合には、建物の画像を大きく表示することができるため、かかる変化の確認が容易になる利点もある。
撮影方向の修正は、例えば、撮影位置と建物の重心位置とを結ぶ方向を初期の撮影方向とし、所定の角度ずつ撮影方向をずらしながら、建物の占める面積（以下、占有面積と呼ぶ）を評価していけばよい。初期の撮影方向における占有面積よりも所定の割合、または所定の面積だけ大きくなった時点の撮影方向を採用してもよいし、占有面積が最大となる撮影方向を採用してもよい。
対象となる建物を従前に撮影した実写画像が存在する場合には、上述した種々の方法に代えて、その実写画像で用いられている撮影方向を利用するものとしてもよい。

本発明の付加情報表示システムにおいては、
前記実写画像データベースは、前記建物について、撮影時期が異なる新旧の実写画像を記憶しており、
前記実写画像表示部は、前記新旧の実写画像から、それぞれ撮影位置および撮影方向が近似するものを選択し、それぞれを対比できる態様で表示するものとしてもよい。
かかる態様によれば、撮影位置、撮影方向が近似する新旧の実写画像、即ち対比しやすい新旧の実写画像を表示可能であるため、対象となる建物の経年変化を容易に確認することができる。
新旧の撮影位置、撮影方向は一致している必要はないから、例えば、撮影時期が新しい実写画像の撮影位置、撮影方向に対して、複数存在する旧実写画像の中から撮影位置、撮影方向が最も近いものを選択すればよい。

本発明の付加情報表示システムにおいては、
前記建物の３次元形状を表す３次元モデルを記憶する３次元モデルデータベースと、
前記実写画像と対比できる態様で、該実写画像の撮影位置、撮影方向に基づいて前記３次元モデルを透視投影して表示する透視投影部とを備えるものとしてもよい。
こうすることによって、実写画像と３次元モデルの状態とを比較的容易に比較することができ、本発明を３次元モデルの生成を支援するシステムとして利用しやすくなる利点がある。
上記態様においては、３次元モデル内にも、実写画像と同様に付加情報を提示するようにしてもよい。
また、３次元形状と併せて、建物の２次元的な平面形状を表示するようにしてもよい。

本発明の付加情報表示システムにおいては、
前記付加情報は、前記建物表面上に沿って表示するよう指定されており、
前記付加情報表示部は、前記指定に従い、前記建物表面上に前記付加情報を配置した上で前記透視投影を行うものとしてもよい。
こうすることにより、点ではなく、平面または領域として付加情報を表示することができる。例えば、本発明を広告等の用途で利用する場合には、建物の壁面上に矩形や円形など種々の形状の広告・案内板を付加情報として表示することができる。また、本発明を、３次元モデルの生成を支援するために利用する場合には、建物の壁面上の領域を指定した上で、その領域に対する修正指示を付加情報として追加・表示することができる。

本発明においては、上述の各特徴を全て備えている必要はなく、適宜、一部を省略したり、組み合わせたりして構成することも可能である。
また、本発明は、付加情報表示システムとしての態様の他、コンピュータを用いて付加情報を表示する付加情報表示方法として構成することもできるし、かかる機能をコンピュータに実現させるためのコンピュータプログラム、さらに、かかるコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体として構成することも可能である。

３次元モデル生成支援システムの出力例（１）を示す説明図である。 ３次元モデル生成支援システムの出力例（２）を示す説明図である。 ３次元モデル生成支援システムの出力例（３）を示す説明図である。 ３次元モデル生成支援システムの出力例（４）を示す説明図である。 ３次元モデル生成支援システムの出力例（５）を示す説明図である。 ３次元モデル生成支援システムの出力例（６）を示す説明図である。 付加情報の表示例（１）を示す説明図である。 付加情報の表示例（２）を示す説明図である。 付加情報の表示例（３）を示す説明図である。 ３次元モデル生成支援システムの構成を示す説明図である。 各データベースの構造を示す説明図である。 付加情報データベースの構造を示す説明図である。 視点情報生成処理のフローチャートである。 旧視点情報利用生成処理のフローチャートである。 新規生成処理のフローチャートである。 インタフェース表示、付加情報入力処理のフローチャートである。 インタフェース表示処理のフローチャートである。 付加情報入力処理のフローチャートである。

以下、３次元モデル生成支援システムとして構成した場合を例にとって、本発明の実施例を説明する。３次元モデル生成支援システムとは、オペレータの操作に基づいて、建物の形状を表す３次元モデルの生成・修正を支援するためのシステムである。オペレータは、本システムを用いて、３次元モデルの生成対象となる建物を撮影した新旧の実写画像を比較し、時間の経過によって変化した部分、即ち３次元モデルに修正が必要な部分を指示する。指摘された部分を３次元モデルに反映する作業は、３次元モデルの生成および修正を取り扱う別の専用システムで行われる。即ち、本システムは、３次元モデルを生成または修正するために必要な指示を設定するためのシステムである。本システムによって設定される指示を、以下、付加情報と呼ぶ。
まず、３次元モデル生成支援システムの機能等を説明するため、同システムの出力例を示した後、それを実現するための構成および処理内容等について説明する。

Ａ．出力例：
図１〜図６は、３次元モデル生成支援システムの出力例を示す説明図である。それぞれ３次元モデル生成支援システムを構成するコンピュータのディスプレイ上に表示される画面である。
図１に示すように、３次元モデル生成支援システムの画面は、実写表示ウィンドウ、３Ｄモデル表示ウィンドウ、および２次元地図ウィンドウで構成される。それぞれのウィンドウは、独立したウィンドウとなっており、オペレータの操作に応じてサイズを変更し、閉じることも可能である。
実写表示ウィンドウには、処理対象となる建物（以下、「対象建物」と呼ぶ）を撮影した実写画像が表示される。
３Ｄモデル表示ウィンドウには、対象建物の３次元モデルを透視投影したグラフィックス画像が表示される。この透視投影は、実写画像の撮影位置を視点、撮影方向を視線方向として行われており、３Ｄモデル表示ウィンドウの画像は、実写表示ウィンドウにおける対象建物の表示を再現した画像となっている。精度のよい３次元モデルが未生成の場合には、対象建物の平面形状を高さ方向に平行移動しただけの簡易なモデルなどを用いてもよい。
２次元地図ウィンドウには、対象建物周囲の２次元地図が表示され、カメラのモデルによって、３Ｄモデル表示ウィンドウの視点位置および画角が示される。また、カメラの方向は、透視投影の視線方向を表している。この視点位置は、実写画像の撮影位置に対応しており、視線方向は，撮影方向に対応している。

図２は、図１と同じ対象建物の従前の実写画像を表示した例である。実写画像は、図１と撮影地点、撮影方向が近似しているものが選択されている。従って、図１、２における対象建物の実写画像は、同一の建物を、ほぼ同じ位置から、ほぼ同じ方向に見た新旧の画像ということになる。オペレータは、図１、２のように表示された新旧の実写画像を比較することによって、対象建物の外観に現れる経年変化を確認することができる。この例では、図２に示した旧実写画像に対して、図１に示した新実写画像では、対象建物の壁面中央部分に、垂れ幕が下げられていることが分かる。この部分が、３次元モデルに反映すべき経年変化であると判断される場合には、オペレータは、図１の画面で、この垂れ幕部分を指定して、３次元モデルにその内容を変化させるべき指示を、付加情報として設定するのである。

図３、４は、図１、２と同じ対象建物を別の視点から見た状態を表している。図３が新実写画像であり、図４が旧実写画像である。本実施例では、対象建物に対して、その周囲の多方向からの実写画像が用意されている。こうすることにより、対象建物のいずれの壁面に年変化が生じた場合でも、確認可能となっている。このように多方向からの実写画像を用意する方法については、後述する。

図５、６は、図１、２と同じ対象建物をさらに別の視点から見た状態を表している。図５が新実写画像であり、図６が旧実写画像である。実写画像では、連絡通路で２つの建物が接続された状態の画像が表示されているのに対し、図５、６内の右上に示した３Ｄモデル表示ウィンドウには、連絡通路部分で分断された状態で対象建物が表示されている。これは、連絡通路の左右の建物が、道路をはさんだ別の敷地に建てられている都合上、３Ｄモデル上は別の建物として扱っていることによるものである。このように、３Ｄモデル表示ウィンドウに対象建物の３Ｄモデルのみを表示させることにより、オペレータが、経年変化を確認すべき対象を明確にすることができる利点がある。仮に、３Ｄモデルにも、連結通路の左右の建物を表示したとすると、連結通路の右側の部分に経年変化が見いだされた場合、オペレータが、右側の部分の経年変化に対して修正指示を指定するおそれがあるが、実施例のように対象建物の３Ｄモデルのみを表示させるようにすれば、こうした過誤を抑制することができるのである。

図７は、付加情報の表示例を示す説明図である。図２に示した旧実写画像内で付加情報を設定した例を示した。オペレータが、先に示した図１、２内の新旧実写画像を比較して、垂れ幕の有無が経年変化として存在することを見い出し、この変化に対する修正指示を付加情報として設定する場合を考える。オペレータは、マウスなどのポインティングデバイスを使用して実写画像内で経年変化が現れている領域を指定し、経年変化の内容または３Ｄモデルに施すべき修正の内容を文字等で入力する。図７の例では、垂れ幕がかけられる部分を示す矩形領域およびその下に記載された文字列がこれらの付加情報に相当する。
ここで付された付加情報は、３Ｄモデルを修正する役割を担う別のオペレータに対する修正指示となる。付加情報自体を読み込んで自動的に３Ｄモデルに修正を施すという訳ではないため、付加情報を設定する領域等は、修正担当のオペレータが経年変化を認識し得る程度の精度で示されていれば足りる。入力された付加情報には、対象建物の壁面上の３次元座標が付されるため、右上の３Ｄモデル表示ウィンドウおよび右下の２次元地図ウィンドウにも、その位置が表示される。図７では、３Ｄモデル表示ウィンドウ等には、単に付加情報の位置を示すマーキングのみを表示した例を示しているが、ここに、実写画像表示ウィンドウと同様の領域や指示内容を表示するものとしてもよい。
図７では、旧実写画像内で付加情報を設定した例を示したが、図１に示した新実写画像内で設定することも可能である。

図８、９は、別の視点位置からの付加情報の表示例を示す説明図である。上述の通り、付加情報には、３次元座標が付されるため、このように視点位置が変化した表示画像内においても、実写画像表示ウィンドウ、３Ｄモデル表示ウィンドウ、２次元地図ウィンドウのそれぞれに、付加情報が表示される。つまり、図８、９に示された付加情報は、それぞれの表示画面内で設定されたものではなく、図７の画面内で設定された付加情報が表示されているのである。こうすることで、図７の画面で既に設定された付加情報と同じ内容が、図８、９の画面で重複して設定されることを回避できる。また、図８、９の左側の実写表示ウィンドウだけでは、垂れ幕の有無による経年変化が生じる壁面が視認しづらく、オペレータが経年変化を見落とすおそれがあるが、図７の画面では明確に経年変化を認識可能であり、それを他の実写画像等でも共有できうるため、対象建物に生じた経年変化を漏れなく見いだすことができる利点もある。図８、９の例でも、付加情報の位置のみを表示した例を示しているが、付加情報を付した領域や指示内容を表示するものとしてもよい。

Ｂ．システム構成：
図１０は、３次元モデル生成支援システムの構成を示す説明図である。３次元モデル生成支援システムは、調査車両で街中を走行しながら撮影した画像を取り込み、これに基づいて図１〜９に示した表示等を実現するよう構成されている。図の上方には、調査車両１００の構成を示し、下方には３次元モデル生成支援システム２００の構成を示した。

調査車両１００は、普通自動車を利用して構成されている。
調査車両１００の屋根には、全方位を写すカメラ１２０が設置されている。カメラ１２０としては、例えば、魚眼カメラを利用してもよいし、複数の通常のカメラを多方向に向けて設置するようにしてもよい。カメラ１２０は、動画用および静止画用のいずれでもよい。画像データは、ハードディスク１１４に記録される。画像データの記録には、ハードディスク１１４の他、フラッシュメモリ、ＳＳＤなど種々の記録媒体を利用可能である。
また、調査車両１００には、撮影位置を記録するためのセンサ１０２、１０４が取り付けられている。センサ１０２は、ＧＰＳ（Global Positioning System）であり、撮影時の車両の位置情報、即ち緯度経度を周期的に検出し、検出時刻とともに出力する。このデータは、画像データと併せてハードディスク１１４に記録される。
センサ１０４は、車両が一定距離移動する度に車速パルスと呼ばれる信号を出力する。車速パルスも、画像データと併せてハードディスク１１４に記録される。
制御部１１０は、ＣＰＵ、ＲＯＭ、ＲＡＭを備えたコンピュータであり、カメラ１２０、センサ１０２、１０４およびハードディスク１１４の動作を制御する。特に、カメラ１２０からの画像に対して、各センサ１０２、１０４の出力を同期させて、ハードディスク１１４に記録する機能を奏する。

３次元モデル生成支援システム２００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク等を備えるコンピュータに、図示する各機能ブロックを実現するためのコンピュータプログラムをインストールすることによって構成される。

まず、３次元モデル生成支援システム２００に備えられたデータベースについて説明する。これらのデータベースは、ハードウェア的には、３次元モデル生成支援システム２００のハードディスク内に格納されているものである。各データベースを、３次元モデル生成支援システム２００とは別のサーバ等に格納し、それぞれネットワークを介してアクセス可能な構成としてもよい。
調査画像ＤＢ２０１は、調査車両１００によって撮影された画像（以下、調査画像と呼ぶこともある）および撮影位置等のデータを蓄積するデータベースである。調査車両１００からのデータの移植は、例えば、ＤＶＤ１１４ａを介して行うことができる。
インタフェース用画像ＤＢ２０３は、調査画像から切り出され、実写画像の表示に使用される画像データ（以下、「実写画像データ」と呼ぶこともある）を蓄積する。本実施例では、対象建物のそれぞれについて、図１〜９に示した実写画像データが蓄積されているのである。経年変化を確認することができるよう、実写画像データとしては、以前に撮影された旧データ、および調査車両１００によって撮影された新データがそれぞれ格納されている。
視点情報ＤＢ２０２は、実写画像データのそれぞれについての視点情報、即ち、各実写画像データを撮影した撮影地点および撮影方向のデータを格納する。実写画像データの旧データ、新データに対応して、視点情報も、旧データ、新データがそれぞれ格納されている。
３次元モデルＤＢ２０５は、対象建物の３次元形状を表す３次元モデルを格納している。３次元モデルは、いわゆる３次元地図を表示するために用いられるデータと共通しており、対象建物を表すポリゴンデータおよびそこに貼付されるテクスチャデータなどから構成される。３次元モデルＤＢ２０５には、建物に関する３次元モデルのみを格納してもよいし、その他の種々の地物に関する３次元モデルを併せて格納しておいてもよい。
付加情報ＤＢ２０６は、３次元モデル生成支援システム２００を用いてオペレータによって設定された付加情報を記憶する。具体的には、図７に示したように、付加情報の３次元座標、およびその指示内容などが記憶されることになる。
地物ＩＤリスト２０４は、３次元モデル生成支援システム２００における経年変化の確認や３Ｄモデルの修正対象となる対象建物を特定するための識別情報、即ち地物ＩＤを記憶している。

次に、各機能ブロックの内容を説明する。
視点情報生成部２１０は、地物ＩＤリスト２０４で特定される各建物に対して、調査画像ＤＢ２０１から実写画像データおよび視点情報を生成する機能を奏する。本実施例では、調査画像は全方位を撮影した画像となっており、対象建物以外も写っているため、このままでは、３次元モデル生成支援システム２００の画面表示には適さない。そこで、この全方位画像から、対象建物が写っている部分を切り出して、実写画像データを生成し、インタフェース用画像ＤＢ２０３に格納するのである。また、その切り出しに用いた視点情報を、視点情報ＤＢ２０２に格納するのである。
インタフェース用画像ＤＢ２０３には、このように切り出した実写画像データを記録する態様の他、全方位画像から実写画像データを切り出すための切り出し情報、例えば、切り出すべき全方位画像の名称、および当該画像内で切り出すべき領域を特定する情報などを保持する切り出し情報ＤＢとして構成してもよい。この場合は、実写画像データを表示する際に、切り出し情報に基づいて全方位画像から切り出した実写画像データを用いて画面表示を行うようにすればよい。こうすることによって、インタフェース用画像ＤＢ２０３のデータ容量を抑制することができ、また切り出し情報を調整することで、表示に用いられる実写画像のサイズや位置を柔軟に変化させることができる利点がある。
透視投影部２１３は、３次元モデルＤＢ２０５に格納された３次元モデルを透視投影することによって、３Ｄモデル表示ウィンドウの画像を生成する。
２次元地図表示部２１４は、３次元モデルＤＢ２０５に格納された３次元モデルを平面投影することによって、２次元地図ウィンドウの画像を生成する。
付加情報表示部２１５は、付加情報ＤＢ２０６に格納された付加情報を、その３次元座標に従って、仮想空間に配置し、透視投影することで、実写表示ウィンドウ、３Ｄモデル表示ウィンドウ、および２次元地図ウィンドウのそれぞれに付加情報を表示する画像を生成する。
コマンド入力部２１２は、３次元モデル生成支援システム２００の画像において、付加情報の設定などについてのオペレータのコマンドを入力する。
インタフェース表示部２１１は、透視投影部２１３、２次元地図表示部２１４、付加情報表示部２１５で生成された画像を統合して、図１〜９に示した画像、即ち、実写表示ウィンドウ、３Ｄモデル表示ウィンドウ、および２次元地図ウィンドウをそれぞれ表示する。また、オペレータによって入力されたコマンドに応じて付加情報を生成し、付加情報ＤＢ２０６に格納する機能も奏する。

図１１は、各データベースの構造を示す説明図である。
上段には、調査画像ＤＢ２０１の構造を模式的に示した。調査画像ＤＢには、調査車両１００で撮影された全方位画像が、調査車両１００の走行軌を表す軌跡データに沿って、撮影位置情報とともに記録されている。全方位画像は、数メートル間隔の撮影位置となるように、間引いて記録してもよい。
視点情報ＤＢ２０２およびインタフェース用画像ＤＢ２０３には、調査画像ＤＢ２０１の全方位画像を切り出して生成された実写画像データおよびその際に設定された視点情報を格納する。これらの情報は、対象建物ごとに生成されるため、対象建物を特定する地物ＩＤに対応して格納される。
まず、切り出し処理の対象としての全方位画像を選択すると、その撮影位置情報が、矢印ａに示すように、切り出し画像の視点位置として格納される。また、全方位画像から、対象建物が撮影されている範囲を切り出すと、その範囲に対応した視線方向および画角が定まる。切り出された実写画像データは、インタフェース用画像ＤＢ２０３に識別子としての画像ＩＤを付されて格納される。視点情報ＤＢ２０２には、上述の視点位置、視線方向、画角および画像ＩＤが、視点情報１として格納される。
対象建物については、複数の視点から実写画像データが用意されるから、上述の処理を繰り返すことによって、視点情報２以降のデータが生成され、格納されることになる。

図１２は、付加情報データベースの構造を示す説明図である。上側に示した３次元モデル中の左側面（枠で囲んだ部分）に付加情報が付された例を示す。
本実施例における付加情報としては、下側の図に示す付加情報１のように点Ｐという一つの点を指定して付される情報、付加情報２のように点Ｐ１〜Ｐ４という領域を指定して付される情報がある。
付加情報１の場合、その付加情報が付されている対象建物の地物ＩＤ、および付加情報が付されているポリゴンを特定するポリゴンＩＤ、そして付加情報を付す点の３次元座標Ｐ、およびその指示内容が格納される。
付加情報２の場合、地物ＩＤ、ポリゴンＩＤ、指示内容は付加情報１と同じであるが、位置を表す情報としては、指定された領域を構成する頂点列Ｐ１〜Ｐ４のそれぞれの３次元座標が格納される。
本実施例では、付加情報は対象建物の壁面上に付されているものとして扱うため、付加情報ＤＢ２０６に、その壁面を表すポリゴンＩＤを記憶するものとしたが、これを省略することも可能である。

Ｃ．視点情報生成処理：
Ｃ１．全体処理：
図１３は、視点情報生成処理のフローチャートである。この処理は、全方位画像から、実写画像データ等を切り出す処理である。また、視点情報生成部２１０が実行する処理であり、ハードウェア的には、３次元モデル生成支援システム２００のＣＰＵが実行する処理である。

処理を開始すると、ＣＰＵは、対象建物を選択する（ステップＳ１０）。オペレータの入力に従って選択するものとしてもよいし、予め設定された規則に従って自動的に選択するものとしてもよい。かかる場合の規則としては、例えば、調査車両１００の走行した軌跡の周囲に存在する建物を選択する方法、地物ＩＤリスト２０４に記憶されている地物から、未処理のものを選択する方法などが考えられる。

ＣＰＵは、対象建物に基づき、必要なデータを読み込む（ステップＳ１１）。読み込むべきデータとしては、対象建物および周辺の３次元モデル、対象建物周辺の撮影軌跡データ、旧視点情報が挙げられる。撮影軌跡データとは、調査車両１００が走行した軌跡であり、例えば、全方位画像の撮影地点の点列で表すことができる。旧視点情報とは、対象建物について、既に視点情報ＤＢ２０２に、旧視点情報が存在する場合には、それを読み込むという意味である。

そして、ＣＰＵは、旧視点情報が存在しない場合には（ステップＳ１２）、新規生成処理（ステップＳ１３）によって、新視点情報を生成する。また、旧視点情報が存在する場合には（ステップＳ１２）、これを利用する旧視点情報利用生成処理（ステップＳ１４）によって、新視点情報を生成する。それぞれの処理内容については、後述する。
ＣＰＵは、生成された視点情報を視点情報ＤＢ２０２に格納し（ステップＳ１５）、対象となるべき全建物について処理が終了するまで（ステップＺＳ１６）、以上の処理を繰り返し実行する。

Ｃ２．旧視点情報利用生成処理：
図１４は、旧視点情報利用生成処理のフローチャートである。視点情報生成処理（図１３）のステップＳ１４に相当する処理である。この処理では、ＣＰＵは、旧視点情報に準じて、新視点情報を生成する。
処理を開始すると、ＣＰＵは、対象建物に対応した旧視点情報を１つ選択し（ステップＳ２０）、視点位置および視線方向の情報を読み込む。また、旧視点情報に近い撮影位置を選択する（ステップＳ２１）。
図中に撮影位置の選択方法を例示した。直線で示す調査車両１００の軌跡データ上に、×で示す撮影位置で全方位画像が撮影されているものとする。一方、旧視点情報は、この軌跡データからややはずれた●で示した位置にあるものとする。このとき、軌跡データ上の撮影位置の中では、〇を付した位置が旧視点情報に近いため、ＣＰＵは、この点を選択するのである。

撮影位置は、旧視点情報における視点位置と一致している訳ではないため、選択された撮影位置における全方位画像から、旧視点情報に対応した視線方向および画角で画像を切り出すと、対象建物が小さくなったり、対象建物の一部が欠けたりするおそれがある。こうした不都合を避けるため、ＣＰＵは、選択された視点情報を調整する。即ち、対象建物の描画部分が最大となるように視点位置、視線方向、画角を調整するのである。
調整は、例えば、次の手順で行うことができる。まず、対象建物が切り出された画像の描画領域からはみ出さないように、視線方向、画角を調整する。そして、描画領域に対して、対象建物が占める描画部分の面積を算出し、その割合が最大となるように、さらに、視線方向および画角を調整するのである。最大という条件に代えて、対象建物の描画部分が占める割合が所定値以上となる条件で調整するようにしてもよい。
ＣＰＵは、以上の処理を、旧視点情報に含まれる全ての視点情報について終了するまで繰り返し（ステップＳ２３）、この処理を終了する。

このように旧視点情報を利用して、新視点情報を設定することにより、旧実写画像データと視点位置、視線方向が近い新実写画像データを用意することが可能となる。従って、新旧の画像の比較が容易となり、対象建物の経年変化を認識しやすくなる利点がある。

Ｃ２．新規生成処理：
図１５は、新規生成処理のフローチャートである。視点情報生成処理（図１３）のステップＳ１３に相当する処理である。この処理では、ＣＰＵは、旧視点情報が存在しないため、新規に新視点情報を生成する。
処理を開始すると、ＣＰＵは、仮視点情報群を生成する（ステップＳ３０）。
図中に生成方法を示した。まず、ＣＰＵは、対象建物の平面形状に基づき、その重心位置ＣＧを特定する。地図データとして、対象建物に対して、代表点が設定されている場合には、それを用いても良い。
そして、重心位置ＣＧを中心として所定の半径の円Ｃを描画する。この円Ｃは、仮想視点を設定する領域の限界を画定するためのものである。円Ｃの半径は、任意に設定可能であるが、対象建物周囲の調査車両１００の軌跡が円Ｃ内を貫通する程度の大きさにしておく必要がある。
ＣＰＵは、重心位置ＣＧを中心として図に示すように８方向に半径を描く。本実施例では、東（Ｅ）、南東、南（Ｓ）、南西、西（Ｗ）、北西、北（Ｎ）、北東の８方位としたが、調査車両１００の軌跡のいずれかを基準として８方向を設定してもよい。
こうして８方向の半径が決まると、ＣＰＵは、各半径と軌跡との交点を求め、これを仮視点とする。図中に示した５カ所の〇が仮視点となる。南（Ｓ）、南西、西（Ｗ）方向は、円Ｃ内に交点が見いだされないため、仮視点は設定されない。
西（Ｗ）方向の半径については、このまま延長すれば軌跡との交点を見いだすことができる状態にあるが、あまりに遠方の交点を視点に設定したとしても、そこから撮影された画像には、対象建物が十分な大きさで写っておらず、３次元モデル生成支援システムの実写画像データとしては適さないと考えられる。本実施例において、円Ｃによって仮視点の設定範囲を限定した意義は、このような点にある。

実施例では、仮視点を設定する領域を画定するために円Ｃを用いたが、これに代えて、次に示す方法で、各方向の半径の長さを規制するようにしてもよい。
まず、重心ＣＧから８方向に放射状に直線を伸ばし、対象建物の輪郭線との交点を求める。対象建物は閉図形であるから、この交点は８カ所求まるはずである。次に、重心ＣＧから、各交点までの距離を算出し、その最大値を求める。そして、この最大値に所定の倍率を乗じるか、最大値に対して所定値を加えるなどして、得られる距離を、仮視点設定のための半径の上限値とするのである。

ＣＰＵは、以上の方法で、仮視点を設定すると、それぞれに対して仮視点情報を調整する（ステップＳ３１）。調整方法は、旧視点情報利用生成処理（図１４）のステップＳ２２で説明したのと同じである。

以上の処理によって、ＣＰＵは、対象建物の周囲に、視点情報を設定し、調査画像から対象建物が写っている部分を切り出して、３次元モデル生成支援システムに表示するための実写画像データを生成することができる。

Ｄ．インタフェース表示、付加情報入力処理：
Ｄ１．全体処理：
図１６は、インタフェース表示、付加情報入力処理のフローチャートである。図１〜９で示した各画面の出力や、付加情報の設定を行うための処理である。これは、図１０に示したインタフェース表示部２１１を中心とする各機能ブロックの連携によって実現される処理であり、ハードウェア的には３次元モデル生成支援システム２００のＣＰＵによって実行される処理である。

図１〜９に示した通り、インタフェース画面は、対象建物単位で表示されるため、処理を開始すると、ＣＰＵは、対象建物の地物ＩＤを設定する（ステップＳ４０）。オペレータが指示するものとしてもよいし、地物ＩＤリスト２０４に格納されている地物ＩＤから自動的に選択するようにしてもよい。
ＣＰＵは、視点情報ＤＢ２０２およびインタフェース用画像ＤＢ２０３から、新旧視点情報および新旧実写画像データを読み込むと（ステップＳ４１）、以下、オペレータの操作に応じて、次の各処理を実行する。
オペレータが視点情報を選択したときは（ステップＳ４２）、ＣＰＵはインタフェース表示処理（ステップＳ４３）を実行する。この処理は、選択された視点情報に基づき、図１〜９で示したインタフェース画像を表示する処理である。本実施例では、図１〜９で示した通り、新実写画像データを用いた画面、旧実写画像データを用いた画面を表示可能である。そこで、本実施例では、画像表示用のバッファを２つ設け、一方に新実写画像データを用いた画面、他方に旧実写画像データを用いた画面を描画するようにした。こうすることで、表示に用いるバッファを切り換えることにより、速やかに新旧の画像を切り換えて表示することが可能となる。インタフェース表示処理（ステップＳ４３）の具体的な処理内容は後述する。
オペレータが切換指示を選択したときは（ステップＳ４４）、ＣＰＵは、バッファ切換（ステップＳ４５）を行って、新旧の画面を切り換える。
オペレータが、付加情報の入力操作を行った場合には（ステップＳ４６）、ＣＰＵは、付加情報入力処理（ステップＳ４７）を行う。処理の具体的内容は後述する。
ＣＰＵは、オペレータが、終了を指示するまで（ステップＳ４８）、以上の処理を繰り返し実行する。

Ｄ２．インタフェース表示処理：
図１７は、インタフェース表示処理のフローチャートである。インタフェース表示、付加情報入力処理（図１６）のステップＳ４３に相当する処理である。
処理を開始すると、ＣＰＵは、表示に必要なデータを読み込む（ステップＳ６０）。読み込むべきデータとしては、新旧の視点情報、およびそれに対応した新旧実写画像データ、地物ＩＤに対応した３Ｄモデル、付加情報が挙げられる。
ＣＰＵは、新旧実写画像データを用いて実写画像を表示する（ステップＳ６１）。この画像は、図１に示した実写表示ウィンドウとなる。特に加工することなく、実写画像データをそのまま表示すればよい。本実施例では、新旧それぞれの画像表示用に２つのバッファを設けているため、一方に新実写画像データによる表示、他方に旧実写画像データによる表示を行っている。

ＣＰＵは、３Ｄモデル、付加情報を用いて２次元地図を表示する（ステップＳ６２）。この画像は、図１の右下に示した２次元地図ウィンドウとなる。３Ｄモデルを真上から平面に投影することにより２次元地図の画像を生成することができる。また、付加情報には、３次元の座標が付されているから、この中の２次元的な位置座標を用いて付加情報を表示すればよい。付加情報は、図７に示したように、その位置のみを表示するようにしてもよいし、付加情報の内容をテキスト等で表示するようにしてもよい。

ＣＰＵは、３Ｄモデル、付加情報を用いて視点情報に基づき透視投影を行う（ステップＳ６３）。視点情報、即ち実写画像データを撮影する際の視点位置、視線方向を用いて透視投影をすることにより、実写画像と同じ状態で対象建物を表示する画像を生成することができる。また、付加情報には３次元の座標が付されているから、３Ｄモデル上に付加情報を貼付した状態で透視投影を行えば、建物の表面上に付加情報が付された画像を生成することができる。こうして得られる画像は、図１の右上に示した３Ｄモデル表示ウィンドウとなる。

また、ここで生成される画像は、実写表示ウィンドウに付加情報を表示するためにも、用いられる。ＣＰＵは、生成された透視投影画像を、実写画像に重畳表示することによって、付加情報を実写表示ウィンドウに表示する（ステップＳ６４）。ただし、重畳する際には、３Ｄモデルは透過表示とし、付加情報については非透過表示とする。こうすることによって、あたかも実写画像中の建物の壁面に付加情報が付された状態の画像を表示することが可能となる。

以上の処理において、３Ｄモデルおよび付加情報を透視投影する際には、新実写画像用の画面では、新視点情報を用い、旧実写画像用の画面では、旧視点情報を用いることが好ましい。ただし、経年変化を容易に行えるようにするため、本実施例では、旧視点情報が存在する場合には、それを利用するようにして（図１４参照）、新旧の視点情報には大きな差異が生じないようにしている。従って、上記透視投影においては、新実写画像、旧実写画像ともに、新視点情報または旧視点情報のいずれかを共通して用いるようにしてもよい。こうすることにより、透視投影に要する処理負荷を軽減することができる。

本実施例では、実写表示ウィンドウ、３Ｄモデル表示ウィンドウ、２次元地図ウィンドウの全てを表示するものとしているが、それぞれオペレータの指示によって表示／非表示を切換可能としてもよい。３Ｄモデル表示ウィンドウを表示しない場合には、３Ｄモデルを透視投影する必要はないから、付加情報のみを３次元の仮想空間上に配置し、これを透視投影するようにしてもよい。

Ｄ２．付加情報入力処理：
図１８は、付加情報入力処理のフローチャートである。インタフェース表示、付加情報入力処理（図１６）のステップＳ４７に相当する処理である。オペレータが、実写表示ウィンドウまたは３Ｄモデル表示ウィンドウで位置を指定して付加情報を入力するための処理である。
処理を開始すると、ＣＰＵは、オペレータがポインティングデバイスで指示した点の画面上の位置座標を入力する（ステップＳ７０）。実写表示ウィンドウ内の点ＰＰが指定されたときは、このウィンドウに設けられた２次元座標ｘｉ、ｙｉでその位置座標を入力することになる。３Ｄモデル表示ウィンドウ内の点が指定されたときは、このウィンドウに設けられた２次元座標ｘｃ、ｙｃでその位置座標を入力することになる。

ＣＰＵは、入力された位置座標を、建物のポリゴン上の３次元座標に変換する（ステップＳ７１）。図中の左側には、実写表示ウィンドウで点ＰＰが指定された状態を示している。実写画像データの視点位置および視線方向は視点情報として既知であるから、ＣＰＵは、点ＰＰの２次元座標値に対して、視点情報を用いて透視投影の逆変換をする。ただし、この変換では、視点位置を通り点ＰＰが存在する直線が定まるだけであり、点ＰＰの３次元座標までは定まらない。そこで、指定された点ＰＰは、対象建物の壁面上の点であるとの拘束条件を用いることにより、点ＰＰの３次元座標に変換するのである。
例えば、次の方法で３次元座標を得ることができる。まず、対象建物の３次元モデルを視点情報に基づいて透視投影して得られるポリゴンを実写画像に重畳することによって、指定された点ＰＰのポリゴン内での相対的な位置を求める。そして、３次元モデルのポリゴン内において、点ＰＰに相当する位置を求めるのである。３次元座標への変換は、この他、種々の方法で行うことができる。
３Ｄモデル表示ウィンドウ内で点ＰＰが指定された場合も同様である。また、付加情報を付す領域が指定された場合は（図１２参照）、上述の変換をそれぞれの点に対して行えばよい。

ＣＰＵは、また、付加情報の指示内容を文字列として入力する（ステップＳ７２）。そして、図１２に示すように、付加情報の位置座標と指示内容を対応づけた形で付加情報ＤＢ２０６に、付加情報を格納する（ステップＳ７３）。
格納された付加情報は、インタフェース表示処理（図１７）によって、画面上に表示されることになる。

Ｅ．効果および変形例：
以上で説明した３次元モデル生成支援システムによれば、いずれかのインタフェース画面内で建物の任意の点または領域に対して設定した付加情報を、実写画像とは別の付加情報ＤＢ２０６によって管理することができる。付加情報には、それを表示すべき３次元座標が関連づけられているため、対象建物の全ての実写表示ウィンドウ、３次元モデル表示ウィンドウにおいて共有することができる。

本実施例において、説明した種々の特徴は、必ずしも全てを備えている必要はなく、適宜、一部を省略したり、組み合わせたりして実施してもよい。
また、本発明は、上述した３次元モデル生成支援システムとしての態様に限らず、対象建物に付された種々の付加情報を表示する付加情報表示システムとして構成することも可能である。例えば、対象建物の壁面の領域を指定し、広告画像などを付加情報として設定しておくことにより、図１〜９で示した実写画像を表示する画面内において、あたかも対象建物自体に広告が付されているかのような画像を提供することが可能となる。
また、付加情報として、対象建物の壁面に対する種々のテクスチャを用意しておき、付加情報を切り換えて実写画像を表示することにより、対象建物の外壁仕上げのシミュレーションを行うこともできる。

本発明は、建物の実写画像に対して、重畳して表示する付加情報の設定およびその表示のために利用可能である。

１００…調査車両
１０２、１０４…センサ
１１０…制御部
１１４…ハードディスク
１１４ａ…ＤＶＤ
１２０…カメラ
２００…３次元モデル生成支援システム
２０１…調査画像ＤＢ
２０２…視点情報ＤＢ
２０３…インタフェース用画像ＤＢ
２０４…地物ＩＤリスト
２０５…３次元モデルＤＢ
２０６…付加情報ＤＢ
２１０…視点情報生成部
２１１…インタフェース表示部
２１２…コマンド入力部
２１３…透視投影部
２１４…２次元地図表示部
２１５…付加情報表示部

Claims (8)

1. 建物に対して指示された付加情報を、該建物の実写画像中に表示する付加情報表示システムであって、
   前記建物の実写画像を、該実写画像の撮影位置、撮影方向と関連づけて記憶する実写画像データベースと、
   前記建物に対する付加情報の内容を、該付加情報を表示すべき前記建物表面上の３次元的な位置を関連づけて記憶する付加情報データベースと、
   前記実写画像データベース記憶部に記憶されたいずれかの実写画像を表示する実写画像表示部と、
   前記実写画像の撮影位置、撮影方向に基づいた透視投影によって、前記付加情報データベースに記憶された前記付加情報を前記建物表面上の位置に表示するための付加情報画像を生成し、前記実写画像に重畳して表示する付加情報表示部と、
   前記建物を含む広範囲を撮影したパノラマ画像を入力し、該パノラマ画像から、前記実写画像データベースに格納する前記実写画像を生成する実写画像生成部を備え、
   前記実写画像生成部は、
   前記パノラマ画像の撮影地点と、前記建物の平面形状における重心位置とに基づいて、前記撮影方向を設定し、
   前記撮影位置および撮影方向に基づいて、前記パノラマ画像から前記建物を含む所定範囲を切り出すことにより前記実写画像を生成する
   付加情報表示システム。
2. 請求項１記載の付加情報表示システムであって、
   前記建物の３次元形状を表す３次元モデルを記憶する３次元モデルデータベースと、
   前記付加情報の内容と、該付加情報を表示すべき前記建物表面上の位置を指定するユーザからのコマンドを入力するコマンド入力部とを有し、
   前記コマンド入力部は、
   前記３次元モデルを前記実写画像の撮影位置、撮影方向に基づいて透視投影した画像内において、前記ユーザが前記実写画像上で指定した位置に対応する点の位置座標を入力し、
   前記位置座標が前記３次元モデルの建物表面上の点を表しているとの拘束条件に基づき、前記位置座標を前記建物表面上の３次元座標に変換し、
   該変換された結果を、前記付加情報の内容と関連づけて前記付加情報データベースに格納する
   付加情報表示システム。
3. 請求項１記載の付加情報表示システムであって、
   前記実写画像生成部は、
   前記切り出された実写画像中で前記建物が占める面積が大きくなるよう前記撮影方向を修正し、
   該修正後の撮影方向に基づいて前記切り出しを行う
   付加情報表示システム。
4. 請求項１〜３いずれか記載の付加情報表示システムであって、
   前記実写画像データベースは、前記建物について、撮影時期が異なる新旧の実写画像を記憶しており、
   前記実写画像表示部は、前記新旧の実写画像から、それぞれ撮影位置および撮影方向が近似するものを選択し、それぞれを対比できる態様で表示する
   付加情報表示システム。
5. 請求項１〜４いずれか記載の付加情報表示システムであって、
   前記建物の３次元形状を表す３次元モデルを記憶する３次元モデルデータベースと、
   前記実写画像と対比できる態様で、該実写画像の撮影位置、撮影方向に基づいて前記３次元モデルを透視投影して表示する透視投影部とを備える
   付加情報表示システム。
6. 請求項１〜５いずれか記載の付加情報表示システムであって、
   前記付加情報は、前記建物表面上に沿って表示するよう指定されており、
   前記付加情報表示部は、前記指定に従い、前記建物表面上に前記付加情報を配置した上で前記透視投影を行う
   付加情報表示システム。
7. 建物に対して指示された付加情報を、該建物の実写画像中に表示する付加情報表示方法であって、
   コンピュータが実行するステップとして、
   前記建物の実写画像を、該実写画像の撮影位置、撮影方向と関連づけて記憶する実写画像データベースにアクセスするステップと、
   前記建物に対する付加情報の内容を、該付加情報を表示すべき前記建物表面上の３次元的な位置を関連づけて記憶する付加情報データベースにアクセスするステップと、
   前記実写画像データベース記憶部に記憶されたいずれかの実写画像を表示するステップと、
   前記実写画像の撮影位置、撮影方向に基づいた透視投影によって、前記付加情報データベースに記憶された前記付加情報を前記建物表面上の位置に表示するための付加情報画像を生成し、前記実写画像に重畳して表示するステップと、
   前記建物を含む広範囲を撮影したパノラマ画像を入力し、該パノラマ画像から、前記実写画像データベースに格納する前記実写画像を生成する実写画像生成ステップを備え、
   前記実写画像生成ステップは、
   前記パノラマ画像の撮影地点と、前記建物の平面形状における重心位置とに基づいて、前記撮影方向を設定し、
   前記撮影位置および撮影方向に基づいて、前記パノラマ画像から前記建物を含む所定範囲を切り出すことにより前記実写画像を生成する
   付加情報表示方法。
8. 建物に対して指示された付加情報を、該建物の実写画像中に表示するためのコンピュータプログラムであって、
   前記建物の実写画像を、該実写画像の撮影位置、撮影方向と関連づけて記憶する実写画像データベースにアクセスする機能と、
   前記建物に対する付加情報の内容を、該付加情報を表示すべき前記建物表面上の３次元的な位置を関連づけて記憶する付加情報データベースにアクセスする機能と、
   前記実写画像データベース記憶部に記憶されたいずれかの実写画像を表示する機能と、
   前記実写画像の撮影位置、撮影方向に基づいた透視投影によって、前記付加情報データベースに記憶された前記付加情報を前記建物表面上の位置に表示するための付加情報画像を生成し、前記実写画像に重畳して表示する機能と、
   前記建物を含む広範囲を撮影したパノラマ画像を入力し、該パノラマ画像から、前記実写画像データベースに格納する前記実写画像を生成する実写画像生成機能をコンピュータに実現させ、
   前記実写画像生成機能は、
   前記パノラマ画像の撮影地点と、前記建物の平面形状における重心位置とに基づいて、前記撮影方向を設定し、
   前記撮影位置および撮影方向に基づいて、前記パノラマ画像から前記建物を含む所定範囲を切り出すことにより前記実写画像を生成する機能であるコンピュータプログラム。