JP4437677B2 - 景観表示装置 - Google Patents

Description

本発明は、地形や都市の景観を表現するためのパノラマ画像または空間データを用いて、設定した視点位置から見た景観を再現して表示する景観表示装置に関するものである。

地形や都市の景観を表現するためのパノラマ画像または空間データを用いて、景観を再現する従来の手法としては、以下のものがある。

景観を再現するための地形や建物のデータからなる空間データを、サーバ装置からクライアント端末へ伝送して表示する方式がある（例えば、特許文献１参照）。この方式において、３次元空間データ送信表示装置は、通信路の輻輳していない状態での伝送能力に基づいて３次元空間の領域を分割した分割数と、分割した各領域単位で各領域に含まれる３次元オブジェクトデータの詳細度とをあらかじめ設定しておく。そして、設定した分割数と詳細度とに基づいて送信する３次元オブジェクトのデータ量を調整している。

また、空間データを、サーバ装置からクライアント端末へ伝送して表示する別の方式がある（例えば、特許文献２参照）。この方式における３次元空間データ送信表示システムでは、データを送信する通信路の輻輳状況の変化等に応じて、サーバからクライアント装置へ単位時間当たりに送信する３次元オブジェクトデータの容量の上限を変更し、データ容量の上限を超えない範囲の３次元オブジェクトデータを抽出して送信するものである。

さらに、蓄積した複数のパノラマ画像から、任意位置からの視点を再構築して、提供することにより、道案内を行うものがある（例えば、特許文献３参照）。これは、事前に撮影したパノラマ画像から、任意位置の視点位置を合成して生成することができるものであり、パノラマ画像から輝度の変化等を用いて抽出した頂点の３次元座標を、マルチプルベースラインステレオの原理を用いて計算することにより、任意位置から見た新しいパノラマ画像を再構築している。

特開２００２−２７９４４９号公報（第１頁、図２） 特開２００２−１９７０１６号公報（第１頁、図１） 特開２００２−２１３９８４号公報（第１頁、図１）

しかしながら、従来技術には次のような問題点がある。従来の特許文献１の方式では、３次元データを表示する端末の表示性能あるいは伝送に利用する回線の速度によって、さまざまな詳細度のデータを事前に用意しておかないと、快適なレスポンスで表示できないという問題がある。また、表示性能の低い端末へ表示する場合、あるいは速度の遅い回線を利用して伝送する場合には、詳細度が低い粗いデータでしか景観を再現する３次元表示ができないという問題がある。

また、従来の特許文献２の方式では、単位時間あたりに伝送するデータ量の上限値の変更に応じて、伝送する３次元オブジェクトの量を調整するので、表示性能の低い端末へ表示する場合、あるいは速度の遅い回線を利用して伝送する場合には、伝送する３次元オブジェクトの量が著しく少なくなり、景観を表示した場合の再現性あるいは見た目が悪くなるといった問題がある。

さらに、従来の特許文献３の方式では、パノラマ画像から物体の頂点といった特徴点が抽出できないと、視点位置の再構築ができない。この方式では、特徴点の抽出にあたっては、輝度の急激な変化がある点を用いている。ところが、特徴点を抽出するパノラマ画像が、建物が多数建っている地点から撮影した写真の場合には建物同士が重なり合い、建物面の細かい凹凸や模様、光の反射等によって、建物の辺や頂点を明確に抽出することは困難であり、結果として任意視点から見たパノラマ画像を再構築することが難しいといった問題がある。

本発明は上述のような課題を解決するためになされたもので、回線の伝送性能あるいは端末の表示性能に依存せずに、時々刻々と移動する視点位置に追従して高レスポンスで広範囲の景観表示を行うことのできる景観表示装置を得ることを目的とする。

本発明に係る景観表示装置は、画像配信用装置と画像表示用装置とが通信回線を介して接続され、景観画像の表示を行う景観表示装置であって、画像配信用装置は、視点位置及び視野領域を有する視点情報と関連づけられたパノラマ画像を蓄積したパノラマ画像データベースと、通信回線を介して画像表示用装置から時間とともに移動する視点位置を受信し、パノラマ画像データベース内に蓄積されている視点情報からそれぞれの視点情報に対応する視野領域を求め、視野領域内に視点位置が含まれる視点情報を抽出し、抽出された視点情報に関連づけられたパノラマ画像をパノラマ画像データベースから取り出して視点情報とともに通信回線を介して画像表示用装置に送信する画像伝送手段とを備え、画像表示用装置は、入力される視点位置の移動に伴って画像配信用装置から受信したパノラマ画像及び視点情報に基づいて、入力された視点位置から入力された視点方向を見たときのパノラマ画像を切り出して、切り出されたパノラマ画像を表示装置に表示する表示制御手段を備え、表示制御手段は、視点位置の移動に伴って、すでに受信済のパノラマ画像とともに、受信済のパノラマ画像と視野領域の一部が重複する他の新たなパノラマ画像を画像配信用装置から受信することで複数のパノラマ画像を受信したときは、複数のパノラマ画像に対して、入力された視点位置から入力された視点方向を見たときのそれぞれのパノラマ画像を切り出して、切り出された複数のパノラマ画像を個別に同時に表示装置に表示するものである。

本発明によれば、データ容量の少ないパノラマ画像を視点情報に関連づけてあらかじめ記憶しておき、時々刻々と移動する視点位置に適したパノラマ画像を取り出して表示制御することにより、伝送速度の遅い回線や、３次元モデルの表示性能の低い端末を使用した場合にも、視点位置の移動に対応した景観が再現できる景観表示装置を得ることができる。

以下、本発明の実施の形態を図面に基づいて説明する。

実施の形態１．
図１は、本発明の実施の形態１における景観表示装置の構成図である。図１における景観表示装置は、画像表示用コンピュータ１０と画像配信用コンピュータ２０とが通信回線３０を介して相互に接続されている場合を示している。ここで、画像表示用コンピュータ１０は、例えば、ＰＤＡ、携帯電話、カーナビゲーション装置等の画像表示用装置に相当する。画像配信用コンピュータ２０は、画像配信用装置に相当する。また、通信回線３０は、例えば、ＬＡＮ，ＩＳＤＮ、ＡＤＳＬあるいは無線ＬＡＮといった有線または無線の通信回線に相当する。さらに、携帯電話あるいはＰＨＳを介したインターネット回線接続、赤外線機器を介したモバイル回線接続もこの通信回線に含まれる。

画像表示用コンピュータ１０は、表示制御手段１１を備えている。表示制御手段１１は、利用者からの操作入力に基づいて、表示させたいパノラマ画像の視点情報を、通信回線３０を介して画像配信用コンピュータ２０に出力する。

一方、画像配信用コンピュータ２０は、空間データデータベース２１、パノラマ画像生成手段２２、パノラマ画像データベース２３及び画像伝送手段２４を備えている。空間データデータベース２１は、建物、地形、道路等を画像として再現するための空間データを蓄積している。パノラマ画像生成手段２２は、空間データデータベース２１に蓄えられている空間データに基づいて、視点情報で特定される位置から見たパノラマ画像を生成するものである。

パノラマ画像生成手段２２は、種々の視点情報に対して生成したパノラマ画像を、視点情報と関連づけてパノラマ画像データベース２３に蓄積する。実施の形態１では、種々の視点情報があらかじめ決められており、各視点情報に対するパノラマ画像がパノラマ画像データベース２３に事前に蓄積されているものとする。

画像伝送手段２４は、通信回線３０を介して表示制御手段１１から視点情報を受信する。そして、画像伝送手段２４は、受信した視点情報とパノラマ画像データベース２３内の視点情報との比較に基づいて、最適なパノラマ画像を取り出す。さらに、画像伝送手段２４は、取り出したパノラマ画像を、通信回線３０を介して表示制御手段１１に送信することとなる。なお、最適なパノラマ画像の取り出し及び視点情報の詳細に関しては後述する。

これに対して、表示制御手段１１は、通信回線３０を介して画像配信用コンピュータ２０から、先に送信した視点情報に対応する最適なパノラマ画像を取り込み、画面表示を行う。このような構成を取ることにより、時々刻々と移動する視点情報に対して、最適なパノラマ画像を表示制御できることとなる。

次に、空間データ及びパノラマ画像について説明する。図２は、本発明の実施の形態１における空間データとパノラマ画像との関係を示したイメージ図である。

まず、空間データとは、建物、地形、道路等を再現できる画像データを、例えば、経度、緯度、高度のそれぞれに対して１メートルを単位１として座標変換した３次元の形状データのことである。この空間データは、例えば、ＶＲＭＬ（Virtual reality modeling language：仮想現実設計言語）といった記述言語で表現され、空間データデータベース２１内にあらかじめ蓄えられている。

空間データデータベース２１内の空間データの座標値は、特定の高度、緯度、経度の点を原点とすることにより、実空間との位置関係を保っている。また、空間データは、具体的には次のような形状データを有する。例えば、建物の形状データは、頂点、辺、面及び面の表面に付加するテクスチャと呼ばれる画像によって表現したデータである。建物は、ビルのような場合にはほぼ直方体の形状になる。再現できる景観は、建物の細かい凹凸あるいは屋根の形状等をどこまで形状データ化するかによって異なる。

さらに、地形の形状データは、例えば、地形の高低を地面上の数メートルおきのサンプル点の座標点で表現したデータである。空間データは、さらに、道路面や歩道面の形状データも備えている。

これに対して、パノラマ画像とは、空間データに基づいて生成される表示画像のことである。具体的には、空間のある１点から垂直方向に上下例えば３０度、水平方向にある半径で３６０度全周を見渡したときの円筒形の視野を長方形に展開した画像である。以下の説明においては、この長方形のパノラマ画像を採用するが、パノラマ画像はこれに限定されない。例えば、空間のある１点から水平方向にある半径で３６０度全周、垂直方向に水平から垂直上方向までの半球方向を見渡したときの半球の視野を水平な面に射影した円形の画像をパノラマ画像とすることもできる。

長方形のパノラマ画像は、空間データ内のどの位置にどのようなサイズの円筒形を置くかによって特定される。ここで、円筒形の半径と高さは、パノラマ画像の視野角と次の関係を有する。この場合における視野角とは、視点位置から水平に対して、上下方向に何度までを再現したパノラマ画像を得るかという角度のことである。例えば、視野角の水平位置から上方向の角度と、水平位置から下方向の角度とが共にθであるときに、θと円筒形の高さ及び半径とは、下式の関係となる。
ｔａｎθ＝（円筒形の高さ／２）／（円筒形の半径）

従って、円筒形の中心位置、円筒形の半径そして円筒形の中心位置からの視野角の３つのパラメータを特定することにより、これに対応する１つのパノラマ画像も特定される。円筒形の中心位置は、パノラマ画像を生成するための視点位置に相当し、経度、緯度、高度により特定できる。

また、円筒形の半径は、パノラマ画像を生成するための視点位置間隔と関連して定めることができる。例えば、視点間隔より長く、かつ視点間隔の２倍を越えないような値を、円筒形の半径として設定しておくことができる。座標の単位１が１メートルに相当する空間データにおいて、パノラマ画像を生成するための視点位置が２０メートル間隔で配置されている場合には、２０メートル以上４０メートル未満の値を円筒形の半径とする。

視野角に関しては、長方形のパノラマ画像の高さ方向をいくつにするかによって決めることができる。上方向と下方向の視野範囲の角度は、異なっていてもよい。パノラマ画像を生成するためのパラメータである上述のような視点位置、半径、視野角のことを、以下の説明においては総称して視点情報と呼ぶこととする。パノラマ画像は、この視点情報と関連づけられてパノラマ画像データベース２３内に蓄積されている。

次に、操作員による視点位置の設定方法を説明する。本発明における景観表示装置は、操作員により指定された視点位置に基づいて、指定のあった場所の空間データの景観を再現するものである。視点位置の移動に伴う操作員からの入力操作によって時々刻々と移動する視点位置に対して、適切なパノラマ画像を表示することとなる。

操作員は、最初にパノラマ画像を表示するときには、表示させたいパノラマ画像の視点位置を特定するために、表示制御手段１１に対して経度、緯度、高度を入力する。

操作員が表示制御手段１１に対して経度、緯度、高度を特定する手法としては、数値を設定する以外にも次のものが考えられる。例えば、地名と経度、緯度、高度が対応する辞書データを表示制御手段１１にあらかじめ用意しておく。この辞書データを参照することにより、操作員が入力した地名から経度、緯度、高度を特定することができる。

また、あらかじめ地図上の点の経度、緯度がわかっている２次元地図を画面に表示しておき、地図上の任意位置を操作員が指定することにより、その位置の経度、緯度、高度を特定することも可能である。さらに、操作員は、視点位置を特定すると同時に、東西南北、上下に自由な方向の視点方向を指定することも可能である。

すでにパノラマ画像を１枚以上表示しているときには、操作員は、表示制御手段１１に対して、次のような操作入力を行うことができる。すなわち、操作員は、前進、右折、左折、後退、上昇といった操作入力を行うことにより、現在の視点位置、視点方向から、どのように移動させたいかを操作することとなる。

表示制御手段１１は、現在の視点位置、視点方向に対する操作員の操作入力から、新たな視点情報となる視点位置を計算する。例えば、操作員が前進を指定した場合には、あらかじめ決めてある変位量だけ視点方向に進めた位置の新たな経度、緯度、高度を算出することにより視点位置を定め、新たな視点情報を作成することとなる。

次に、最適なパノラマ画像の取り出し方法について説明する。操作員の入力に基づいて生成された視点情報は、表示制御手段１１から通信回線３０を介して画像伝送手段２４へ送信される。そして、画像伝送手段２４は、表示制御手段１１から受信した視点情報に基づいてパノラマ画像データベース２３から最適なパノラマ画像を取り出すこととなり、具体的には以下のようにして行う。

画像伝送手段２４は、パノラマ画像データベース２３にあらかじめ記憶されている視点情報を取り出す。次に、画像伝送手段２４は、視点情報の中の視点位置及び半径のデータから、それぞれのパノラマ画像の視野領域を求める。この視野領域は、視点位置を中心とする半径で定まる円内の領域のことであり、図２における円筒形を真上から見たときの円筒形の中の領域に相当する。

そして、画像伝送手段２４は、それぞれの視野領域に対して、表示制御手段１１から受信した視点情報の中の視点位置が、その領域内に含まれるか否かを判断する。画像伝送手段２４は、受信した視点位置が含まれる視野領域を抽出すると、抽出した視野領域に対応する視点情報及びパノラマ画像をパノラマ画像データベース２３から取り出す。

パノラマ画像を生成したときの円筒形の中に受信した視点位置が含まれるため、このようにして取り出されたパノラマ画像は、受信した視点位置からの景観を再現するために適したパノラマ画像といえる。なお、視野領域が重複している場合には、１つの視点位置に対して複数のパノラマ画像が抽出されることとなる。このようにして抽出されたパノラマ画像は、パノラマ画像と関連づけられている視点情報とともに、画像伝送手段２４から表示制御手段１１へ通信回線３０を介して送信される。

次に、受信したパノラマ画像に基づいて表示制御手段１１によりパノラマ画像を表示する方法について説明する。図３は、本発明の実施の形態１におけるパノラマ画像の表示イメージを示した図である。表示制御手段１１は、画像伝送手段２４からパノラマ画像及び視点情報を受信すると、受信した視点情報に基づいて立体的に３次元形状の円筒形を表示し、円筒形の内側に受信したパノラマ画像を貼り付けて表示する。

立体的に３次元形状を表示する手法としては、例えばＯｐｅｎＧＬ（登録商標）という名称のソフトウェア関数群を使うことができる。ソフトウェア関数群の使用により、表示制御手段１１は、真上から見て円筒形の替わりに多角形の形状である多角柱を表示することができる。例えば、真上から見て３６角になる多角柱を表示し、真上から見て１辺に１０度分の割合で、パノラマ画像を貼り付けることにより、表示制御手段１１は、パノラマ画像の表示を近似して再現できる。

また、円筒形を表示して、パノラマ画像を表示する場合、円筒形の中心は、パノラマ画像の中心であり、パノラマ画像生成手段２２によりパノラマ画像をあらかじめ生成したときの仮想視点位置である。したがって、操作員の入力によって指定された視点位置と仮想視点位置とは必ずしも一致しない。そこで、表示制御手段１１は、円筒形の中心からではなく、操作員の入力によって指定された視点位置から、操作員の指定した視点方向に従って画像表示を行うことが必要となる。

このような画像表示は、円筒形の３次元モデルを設置してパノラマ画像を再現するだけではなく、指定された視点位置及び視点方向に基づいて特定された部分の画像を、パノラマ画像から切り出して表示することで実現できる。

図３に示したように、表示制御手段１１は、指定された視点位置及び視点方向により特定される表示範囲をパノラマ画像から切り出して画面表示することが可能である。すなわち、表示制御手段１１は、パノラマ画像を再現するための円筒形モデルの内側に、パノラマ画像を貼り付けたことを想定し、円筒形モデルを表示するのではなく、設定された視点位置から設定された視点方向へ向かった上下左右のあらかじめ決められた画角に入る表示範囲の表示イメージを、パノラマ画像から切り出して画面に出力することができる。

以上の内容を総合して、視点位置の移動に伴うパノラマ画像の抽出及び表示に関して、図４を用いて説明する。図４は、本発明の実施の形態１における視点位置の移動とそれに対応するパノラマ画像との関係を示した図である。

図４は、パノラマ画像を表示するための４つの円筒形モデルを真上からみた状態を示している。この円筒形モデルの中心は、パノラマ画像生成手段２２によりパノラマ画像をあらかじめ生成したときの仮想視点位置に相当する。したがって、ここでは４つの円筒形モデルに対応した４つのパノラマ画像が、パノラマ画像データベース２３にあらかじめ蓄えられていることになる。

図４においては、操作員により操作入力された視点位置が、視点位置Ｐ１から、視点位置Ｐ２、視点位置Ｐ３、視点位置Ｐ４へと順次移動した場合を示している。まず始めに、画像伝送手段２４は、視点位置Ｐ１に対応するパノラマ画像Ａをすでに表示制御手段１１に送信しており、表示制御手段１１は、パノラマ画像Ａに基づく表示をしているものとする。

次に、操作員の操作入力により、視点位置がＰ１からＰ２に移動したときには、表示制御手段１１は、視点位置Ｐ２に関する視点情報を画像伝送手段２４に送信する。画像伝送手段２４は、視点位置Ｐ２がパノラマ画像Ａを再現するための円筒形モデルの視野領域の範囲だけに属する位置であるため、パノラマ画像Ａのみを表示制御手段１１に対して送信する。表示制御手段１１は、すでに表示済みのパノラマ画像Ａだけを取り込んだ後、新たなパノラマ画像の表示は不要と判断できる。

さらに、操作員の操作入力により、視点位置がＰ２からＰ３に移動したときには、表示制御手段１１は、視点位置Ｐ３に関する視点情報を画像伝送手段２４に送信する。画像伝送手段２４は、視点位置Ｐ３がパノラマ画像Ａを再現するための円筒形モデルの視野領域の範囲と、パノラマ画像Ｂを再現するための円筒形モデルの視野領域の範囲との両方に属する位置であるため、パノラマ画像Ａ及びパノラマ画像Ｂの両方を表示制御手段１１に対して送信する。表示制御手段１１は、パノラマ画像Ａ及びパノラマ画像Ｂを取り込んだ後、すでに表示しているパノラマ画像Ａとともに、新たなパノラマ画像Ｂに基づく表示が必要であると判断できる。

さらに、操作員の操作入力により、視点位置がＰ３からＰ４に移動したときには、表示制御手段１１は、視点位置Ｐ４に関する視点情報を画像伝送手段２４に送信する。画像伝送手段２４は、視点位置Ｐ４がパノラマ画像Ｂを再現するための円筒形モデルの視野領域の範囲だけに属する位置であるため、パノラマ画像Ｂのみを表示制御手段１１に対して送信する。表示制御手段１１は、パノラマ画像Ｂのみを取り込んだ後、すでに表示しているパノラマ画像Ａに基づく表示を消し、パノラマ画像Ｂに基づく表示のみを継続する必要があると判断できる。

上述のような手順を行うことにより、図４に示す視点位置の移動経路に対して、表示制御手段１１は、区間Ｚ１あるいは区間Ｚ２に視点位置があるときには複数のパノラマ画像を画面表示することが可能となる。これにより、例えば区間Ｚ１においては、パノラマ画像Ａに基づく表示からパノラマ画像Ｂに基づく表示にいきなり切り替わるのではなく、パノラマ画像Ａ及びパノラマ画像Ｂに基づく複数の画像表示が可能であり、景観の連続性が保たれる。

さらに、表示制御手段１１は、前回送信した視点位置及びその送信時間と、操作者によって入力された現在の視点位置及び現在時刻とに基づいて、視点移動方向及び視点移動速度を求めることができる。すなわち、２つの視点位置の座標から視点移動方向が特定できる。また、２つの視点位置の距離と時刻の差から視点移動速度が特定できる。

表示制御手段１１は、前回の送信時刻と現在時刻との差があらかじめ決められた限界時間間隔よりも短いときは、入力された現在の視点位置、視点移動方向及び視点移動速度に基づいて、前回の送信時刻から限界時間間隔経過した後の時刻における視点位置を推測できる。表示制御手段１１は、このようにして推測された視点位置を、対応する時刻に送信することができ、視点移動方向及び視点移動速度を加味して画像伝送手段２４に送信する視点情報及びタイミングを調整することができる。

実施の形態１によれば、画像伝送手段は、表示制御手段から受信した視点情報に基づいて、視点位置と関連づけてパノラマ画像データベースにあらかじめ記憶されているパノラマ画像の中から視点位置に適したパノラマ画像を取り出すことができる。さらに、表示制御手段は、画像伝送手段から受信した最適なパノラマ画像を表示できる。このようにして、画像伝送手段と表示制御手段との間の送受信データは、情報量の多い空間データそのものではなく、データ容量の少ない画像形式に変換したパノラマ画像データで実現できる。これにより、伝送速度の遅い回線や、３次元モデルの表示性能の低い端末を使用した場合にも、視点位置の移動に伴う視点情報に対応したパノラマ画像による景観表示が実現できる。

さらに、表示制御手段は、指定された視点位置及び視点方向により特定された部分をパノラマ画像から切り出して画像表示することもできる。さらに、視点の移動に対応して、複数のパノラマ画像を合わせて表示する、あるいは視点の移動に合わせて不要になった範囲のパノラマ画像の表示を消すことができる。このように、視点位置に応じて複数のパノラマ画像を表示させることにより、視点位置の移動に対しても、表示画面の切り替えがスムーズで、急激な変化を抑えた継続性のある画像表示が実現できる。

さらに、表示制御手段は、視点移動方向及び視点移動速度を加味して画像伝送手段に送信する視点情報及びタイミングを調整することができる。これにより、視点移動速度が速い場合に対しても、パノラマ画像によって再現される視点の正確さが損なわれず、かつパノラマ画像を生成する時間間隔が短くなって画面表示の切り替わりが頻繁に起きることを防ぐことができる。

なお、視点位置の移動に伴うパノラマ画像表示の切り替えは、上述の方法に限定されない。例えば、表示制御手段１１が、パノラマ画像データベース２３にあらかじめ蓄えられているパノラマ画像に対応した視点情報を有することにより、新たなパノラマ画像が必要になったことを自らが判断することも可能である。この場合には、表示制御手段１１は、新たなパノラマ画像が必要になったときのみ視点情報を送信すればよい。

また、表示制御手段１１は、新たなパノラマ画像が必要になったときのみ視点情報としてパノラマ画像の番号を直接指定することも可能である。

実施の形態２．
実施の形態２は、表示制御手段１１が遠景表示用のパノラマ画像を合成して表示するものである。構成は、実施の形態１における図１と同様である。図５は、本発明の実施の形態２における複数のパノラマ画像に対応する円筒形の配置を示す図である。図５は、パノラマ画像１〜４によって表示されるそれぞれの円筒形の範囲を真上から示したものである。

パノラマ画像１〜３に対応する円筒形は、図５に示されているように一部の範囲が重複しており、先に図４で説明したパノラマ画像と同様のものである。また、パノラマ画像４に対応する円筒形は、パノラマ画像１〜３に対応する円筒形の範囲を含むさらに広い範囲をカバーしている。さらに、パノラマ画像４は、パノラマ画像４に対応する円筒形の領域よりも外側の範囲の空間データがパノラマ画像として表示されているものとする。また、パノラマ画像１〜３は、パノラマ画像４に対応する円筒形の内側にある空間データのみがパノラマ画像として表示されているものとする。これにより、パノラマ画像１〜３は近景表示を行うことができる近景表示パノラマ画像であり、パノラマ画像４は遠景表示を行うことができる遠景表示パノラマ画像である。

パノラマ画像１〜４は、実施の形態１と同様に、視点情報と関連づけられてパノラマ画像データベース２３に記憶されている。さらに、パノラマ画像１〜３は、パノラマ画像４の中に含まれるものとして、遠景表示パノラマ画像であるパノラマ画像４と関連づけられてパノラマ画像データベース２３に記憶されているものとする。また、視点位置は、図５に示されているような移動経路に従って移動したことを想定する。

これらの前提を元に、一連の流れを説明する。基本的な流れは、実施の形態１で説明した手順と同様である。まず始めに、表示制御手段１１は、視点情報を画像伝送手段２４に送信する。画像伝送手段２４は、受信した視点情報に基づいて、対応するパノラマ画像をパノラマ画像データベース２３から取り出す。

画像伝送手段２４は、パノラマ画像１〜３を取り出す際には、遠景表示パノラマ画像として関連づけられて記憶されているパノラマ画像４も取り出すこととなる。画像伝送手段２４は、視点位置の移動に伴って、まず始めに表示制御手段１１に対してパノラマ画像１とパノラマ画像４を送信し、次にパノラマ画像２とパノラマ画像４を送信し、さらにパノラマ画像３とパノラマ画像４の送信を行う。

表示制御手段１１は、受信した複数のパノラマ画像を表示する。このような遠景、近景のパノラマ画像の表示は、必要に応じて３枚以上のパノラマ画像を合成して表示してもよい。また、例えば、近景表示パノラマ画像であるパノラマ画像１とパノラマ画像２が重複する視野領域においては、表示制御手段１１は、複数の近景表示パノラマ画像を同時に受信して表示制御することも可能である。

また、遠景、近景のパノラマ画像を合成して表示する方法としては、図３で説明したように、特定の表示範囲をパノラマ画像から切り出すことにより合成表示する方法も考えられる。図６は、本発明の実施の形態２におけるパノラマ画像の合成表示に関する説明図である。近景表示パノラマ画像から切り出した画像を、遠景表示パノラマ画像から切り出した画像の手前に配置することにより、両画像の合成表示が可能となる。

実施の形態２によれば、表示制御手段は、遠景及び近景のパノラマ画像を用いて、視点位置の移動にともなって、視点位置に対応したパノラマ画像の合成表示をすることができる。すなわち、近景と遠景のパノラマ画像を合成して表示するので、視点が移動しても少ない枚数のパノラマ画像により、視点位置から見た景観のずれが少ないリアルな景観表示が可能となる。

実施の形態３．
実施の形態１においては、パノラマ画像生成手段２２によって、あらかじめ決められた視点位置に対して空間データに基づくパノラマ画像が生成されており、パノラマ画像データベース２３内に蓄積されている場合について説明した。実施の形態３では、パノラマ画像生成手段２２自らが、空間データデータベース２１の空間データに基づいて、空間データのどの地点をパノラマ画像生成のための視点位置（以下、パノラマ生成点と呼ぶ）とするかを決定する場合について説明する。基本的な構成は、実施の形態１における図１と同一であり、パノラマ生成点の決定方法について図７を用いて説明する。

図７は、本発明の実施の形態３におけるパノラマ生成点の決定方法に関する説明図である。この図７は、建物としての８つのビルと道路からなる３次元の空間データを真上方向から見た図である。画面表示されたパノラマ画像を見た操作者が、複数のビルの位置関係を容易に把握できるようにするためには、パノラマ画像を生成する元となるパノラマ生成点を空間データの中のどの位置にするかが重要となる。

交差点付近におけるパノラマ生成点は、交差点に近い複数の建物との距離がなるべく均等になるような点として求めることができる。例えば、ビル１、ビル２、ビル３、ビル４の４つのビルからなる交差点では、各ビルにおいてこの交差点に最も近い頂点のそれぞれからの距離がほぼ均等となる点をパノラマ生成点Ａとして求める。

４頂点からの距離がほぼ均等となる点は、４頂点を母点とするボロノイ点を求め、ボロノイ点が複数の点となったときは、ボロノイ点の中点を求めることにより決定される。ここで、ボロノイ点とは、２つの母点の垂直２等分線を引き、複数の垂直２等分線同士が交差する点のことをいう。パノラマ画像を再生するときは、例えば、パノラマ生成点から最も近いビルの頂点までの距離の位置に円筒形のスクリーンを置いて表示できるようにする。

ビル２、ビル４、ビル５、ビル６の４つのビルからなる交差点では、パノラマ生成点Ａを決定した手法と同様にして、パノラマ生成点Ｂを決定できる。これに対して、交差点以外の道路上においては、次のようにしてパノラマ生成点を求める。まず始めに、ビルの正面をなす辺の中心の点を母点として、道路に沿って、ある決められた距離範囲内にある複数の母点から、交差点のときと同様にしてボロノイ点を求める。図７におけるパノラマ生成点Ｃ及びパノラマ生成点Ｄが、このようにして求まったパノラマ生成点である。

パノラマ生成点Ｃとパノラマ生成点Ｄとの距離の値があらかじめ定められた値よりも小さい場合は、パノラマ生成点Ｃとパノラマ生成点Ｄの中点を新たなパノラマ生成点とすることも可能である。パノラマ画像を再生するときの円筒形は、例えば、パノラマ生成点から最も近いビルの正面をなす辺の中心の点までの距離を円筒形の半径として定めることができる。道路上以外においても同じように、周囲の建物との距離が一定になる点からパノラマ生成点を決定する。

交差点のパノラマ生成点と道路上のパノラマ生成点との距離、または道路上のパノラマ生成点同士の距離があらかじめ設定された距離以上はなれている場合には、それらのパノラマ生成点の間に新たなパノラマ生成点を設置する。このような操作を繰り返すことにより、あらかじめ設定された距離以内に少なくとも１つのパノラマ生成点が設置されるようになる。

上述のようにして、パノラマ画像生成手段２２は、空間データデータベース２１の中の空間データにおける建物データの座標を元にして、パノラマ生成点及び表示に必要な円筒形の半径を定めることができる。そして、パノラマ画像生成手段２２は、生成されたパノラマ生成点を視点位置としたパノラマ画像を生成できる。さらに、パノラマ画像生成手段２２は、パノラマ生成点及び表示に必要な円筒形の半径を視点情報として、生成したパノラマ画像を視点情報と関連づけてパノラマ画像データベース２３に記憶させておくことができる。

実施の形態３によれば、パノラマ画像生成手段は、事前に記憶されている空間データの座標に基づいてパノラマ画像を生成するためのパノラマ生成点を自動的に生成でき、パノラマ生成点に対応するパノラマ画像を生成できる。さらに、パノラマ画像生成手段は、パノラマ生成点を含む視点情報と関連づけたパノラマ画像をパノラマ画像データベースに記憶させておくことができる。

パノラマ画像生成手段により決定されるパノラマ生成点は、交差点から周りを見渡せる位置、あるいはなるべく建物の正面の位置となるように求められる。これにより、視点の移動に伴って、離散的な位置から生成したパノラマ画像を切り替えて表示する場合においても、建物の画像表示は、違和感が少なく再現することができる。

実施の形態４．
図８は、本発明の実施の形態４における景観表示装置の構成図である。各構成要素は、実施の形態１〜３と同様である。実施の形態４が実施の形態１〜３と異なる点は、パノラマ画像生成手段２２が、画像伝送手段２４からの視点情報に基づいて新たなパノラマ画像を生成する点である。図８の構成に基づく具体的な処理の流れは後述する。

図９は、本発明の実施の形態４における新たなパノラマ生成点の決定方法に関する説明図である。この図９は、建物としての複数のビルと道路からなる３次元の空間データを真上方向から見た図である。ここで、パノラマ画像があらかじめ生成されている視点位置が、パノラマ生成点Ａ、パノラマ生成点Ｂ及びパノラマ生成点Ｃの３点であったとする。すなわち、パノラマ画像データベース２３には、これら３点のパノラマ生成点に対応づけられた３種のパノラマ画像があらかじめ記憶されていることとする。

さらに、図９に示された視点位置の移動経路に沿って視点が移動した場合を想定する。表示制御手段１１は、視点位置の移動に伴い、パノラマ画像Ａおよび、パノラマ画像Ｂを用いて景観を表示する。ところが、視点が点Ｄに来たときには、パノラマ画像Ｂを用いて景観を表示すると、点Ｄは、ビル１とビル２に挟まれた景観の再現が必要であるにもかかわらず、ビル１、ビル２、ビル３、ビル４に囲まれたパノラマ画像Ｂの視点位置から見た景観しか再現できないこととなる。

このような点Ｄに対して、実施の形態４では、パノラマ画像生成手段２２が新たなパノラマ画像を生成することにより対応する。指定された視点位置が点Ｄであり、それに対してパノラマ生成点Ｂにおけるパノラマ画像をそのまま使用できるか、それとも新たなパノラマ画像を生成すべきかを判断する場合を例にして、以下に詳細を説明する。

新たなパノラマ画像を生成すべきか否かの判断にあたっては、点Ｂを中心として、点Ｂから建物のような景観を再現するときに重要になる空間データの最も近い点までの距離を半径Ｒとした円を求めることが重要となる。点Ｂを中心とする半径Ｒの円の領域内に点Ｄが含まれている場合には、点Ｄを視点位置とする景観は、パノラマ生成点Ｂにおけるパノラマ画像によって再現する景観とあまり差異はないと判断する。

これに対して、点Ｂを中心とする半径Ｒの円の領域内に点Ｄが含まれていない場合には、点Ｄを視点位置とする景観は、パノラマ生成点Ｂにおけるパノラマ画像によって再現する景観と差異が大きいと判断する。そして、この場合には、点Ｄを視点位置とした新たなパノラマ画像Ｄを生成する必要があると判断することになる。

この半径Ｒに関しては、実施の形態３においてパノラマ画像生成手段２２が空間データからパノラマ生成点を求めた後に、算出しておくことが可能である。そして、パノラマ画像生成手段２２は、パノラマ生成点とともに上述の半径Ｒに相当する半径を視点情報に追加して、この視点情報と関連づけたパノラマ画像を、パノラマ画像データベース２３にあらかじめ記憶させておくことができる。

パノラマ画像データベース２３内にこのようなデータが事前に記憶されていることにより、新たなパノラマ画像を生成すべきか否かは、画像伝送手段２４によって判断することができる。視点位置の移動に伴ってその視点位置に対応するパノラマ画像を表示するまでの一連の流れを、図８の構成に基づいて以下に説明する。

表示制御手段１１は、視点位置の移動に伴って、視点情報を画像伝送手段２４に送信する。ここでは、点Ｄに関する視点情報が送信された場合を想定する。画像伝送手段２４は、パノラマ画像データベース２３内の視点情報を取り出し、視点情報から算出される領域内に、受信した視点情報である点Ｄが含まれるかどうかを判断する。この判断手法は、実施の形態１で説明した視点位置がどの視野領域に入るかを判断する方法と同一である。

その結果、パノラマ生成点Ｂから点Ｄまでの距離が半径Ｒ以下である場合には、画像伝送手段２４は、パノラマ生成点Ｂにおけるパノラマ画像を表示制御手段１１に対して送信する。一方、パノラマ生成点Ｂから点Ｄまでの距離が半径Ｒ以上である場合には、画像伝送手段２４は、点Ｄにおける新たなパノラマ画像の生成が必要であると判断し、パノラマ画像生成手段２２に対して点Ｄに関する視点情報を送る。

パノラマ画像生成手段２２は、空間データデータベース２１内の空間データに基づいて点Ｄを視点位置とするパノラマ画像を生成するとともに半径も算出する。そして、パノラマ画像生成手段２２は、点Ｄをパノラマ生成点Ｄとしてさらにそれに対応する半径と関連づけて、生成したパノラマ画像をパノラマ画像データベース２３内に記憶させる。その後、画像伝送手段２４は、パノラマ画像データベース２３からパノラマ生成点Ｄに対応するパノラマ画像を取り出し、表示制御手段１１に送信する。表示制御手段１１は、受信したパノラマ画像を表示することとなる。

実施の形態４によれば、事前に生成して蓄積してあるパノラマ画像を用いると再現が難しい視点位置からの景観については、新たにパノラマ画像を生成することが容易に実現できる。これにより、景観を再現表示する場合に、あらかじめ記憶されているパノラマ生成点に対応したパノラマ画像以外にも、任意の視点位置に対応したパノラマ画像を用いることが可能となる。

実施の形態５．
実施の形態５は、建物等の部分的な画像を分割して切り出してパノラマ画像を生成し、他のパノラマ画像と合成表示するものである。構成は、実施の形態４における図８と同一である。図１０は、本発明の実施の形態５におけるパノラマ画像の合成表示に関する説明図である。図１０におけるパノラマ画像は、パノラマ画像生成手段２２で生成されたものである。

このパノラマ画像には、建物Ａ〜Ｃが含まれている。全周のパノラマ画像から、建物Ａの写っている部分を囲む最小の長方形、建物Ｂの写っている部分を囲む最小の長方形、建物Ｃの写っている部分を囲む最小の長方形の３枚の長方形画像を個別のパノラマ画像としてあらかじめ切り出す。さらに、それぞれの建物に関して、パノラマ生成点から建物までの距離を空間データから求めておく。

また、建物Ａ〜Ｃに対して同じ仰角によるパノラマ画像を生成したときに、建物Ｃのように背の高い建物は、パノラマ画像に入りきらない場合が生ずる。このような場合は、建物Ｃの全景が写るような範囲の長方形となるように高さを増してパノラマ画像を生成し直した後に、建物Ｃを切り出すこともできる。また、建物単位としたが、複数の建物をひとまとまりとして、１枚の長方形のパノラマ画像として切り出すこともできる。

このように、分割して生成されたパノラマ画像は、視点位置からの空間データ上における実際の距離が求められており、円周上の切り出した位置がわかる角度データとともに視点情報の一部としてパノラマ画像と関連づけられてパノラマ画像データベース２３に記憶される。

画像伝送手段２４は、分割して生成されたパノラマ画像を表示制御手段１１に送信する場合にも、パノラマ画像に関連づけられた視点情報も合わせて送信する。これにより、表示制御手段１１は、分割して生成されたパノラマ画像に対して表示位置を特定して景観表示させることが可能となる。

図１１は、本発明の実施の形態５における分割して生成されたパノラマ画像の表示に関する説明図である。建物Ａのパノラマ画像を表示する手法について説明する。通常のパノラマ画像は、種々の建物が混在しており、空間上の距離を特定できない。しかし、個別の建物に対して分割して生成されたパノラマ画像は、上述のように空間データ上の実際の距離を視点情報として有する。従って、図１１において建物Ａの空間データ上の位置を特定できる。

経度と緯度を座標に換算した位置として考えたときに、建物Ａの空間モデルのある位置をＰＡ、表示制御手段１１が表示したい視点位置をＰＳ、パノラマ画像Ａを生成したときの視点位置をＰ０とする。また、Ｐ０からパノラマ画像を表示する円筒形までの距離をＤＰ、Ｐ０からＰＡまでの距離をＤＡ、そしてＰＳからＰＡまでの距離をＤＳとする。さらに、Ｐ０からＰＡ方向へ向かうベクトルと、あらかじめ定めた基準方向とのなす角度がθであったとする。

まず、ＰＳからＰＡへのベクトルを求め、これが基準方向となす角度γを求める。次に、すでにわかっているＤＰ、ＤＳ、ＤＡを用いてＤＰ×（ＤＳ／ＤＡ）を求め、この値をＤＳＰとする。そして、仮想空間上において、基準方向とγの角度でＰＳから距離ＤＳＰの位置にパノラマ画像Ａを設置する。このとき、パノラマ画像Ａは、ＰＳの方向を向けてもよいし、もともとのパノラマ画像Ａの方向のままであってもよい。

分割したパノラマ画像と、複数の遠景、または近景を表示するパノラマ画像を合成して表示してもよい。また、いずれの合成表示においても、視点位置から見て近いパノラマ画像のうち、空間データが映っていない空の部分については、透過色とすることにより、背後のパノラマ画像を表示できる。

実施の形態５によれば、表示制御手段は、分割した複数のパノラマ画像を用いて、視点位置の移動にともなって、視点位置に対応したパノラマ画像の合成表示をすることができる。すなわち、空間データの対象毎にパノラマ画像を分割することにより、空間データにおける視点位置からの距離を加味した表示が実現でき、対象毎に表示の大きさや向きを調整して表示できる。

実施の形態６．
図１２は、本発明の実施の形態６における景観表示装置の構成図である。実施の形態６における景観表示装置は、画像表示用コンピュータ１０の表示性能あるいは通信回線３０の伝送性能に応じて、景観再現のために伝送するメディア形式を、パノラマ画像または空間データのいずれかあるいは両方に選択するものである。

図１２において、空間データデータベース２１及びパノラマ画像データベース２３は、ともに画像伝送手段２４につながれている。これにより、画像伝送手段２４は、空間データあるいはパノラマ画像のどちらも取り出すことができる。パノラマ画像データベース２３は、実施の形態１と同様に、あらかじめ決められた視点位置に対応するパノラマ画像が記憶されている。

ここで、実施の形態６における表示制御手段１１は、画像表示用コンピュータ１０の表示性能あるいは通信回線３０の伝送性能を測定することができる。まず始めに、画像表示用コンピュータ１０の表示性能を測定する方法を説明する。画像配信用コンピュータ２０と画像表示用コンピュータ１０とが通信回線３０を介して通信できるようになった時点で、表示制御手段１１は、通信回線３０及び画像伝送手段２４を介して空間データデータベース２１から表示性能判定用の空間データを受け取る。

ここで、表示性能判定用の空間データとは、例えば、３０ｍ四方のタイル状の土地に建物２件があるといったような空間データであり、空間データの頂点数やテクスチャデータを含む空間データの容量があらかじめわかっているサンプルデータのことである。表示性能判定用の空間データは、表示制御手段１１があらかじめ記憶保持することも可能である。表示制御手段１１は、受信した表示性能判定用の空間データをあらかじめ指定されている視点位置と視点方向に従って画面表示する。

頂点からなる形状データや、頂点で構成される形状の表面に貼り付けるテクスチャといわれる画像データからなる空間データを任意視点から表示するには、例えばＯｐｅｎＧＬ（登録商標）といった一般的な３次元表示関数を用いることができる。

次に、表示制御手段１１は、画面表示されている表示性能判定用の空間データに対して、あらかじめ決められた新たな視点位置及び新たな視点方向からの空間データの表示に切り替える。そして、表示制御手段１１は、表示が完了すると、さらに新たな視点位置及び新たな視点方向からの空間データの表示に切り換え、このような表示動作を一定時間繰り返す。ここで、１秒間に何回表示を繰り返すかという回数をフレームレートと呼ぶ。表示制御手段１１は、あらかじめ容量がわかっている表示性能判定用の空間データを繰り返し表示させることにより、フレームレートを測定できる。

さらに、表示制御手段１１は、測定したフレームレートがあらかじめ設定した基準フレームレート以上であった場合は、表示性能判定用の空間データを複製する。そして、表示中の表示性能判定用の空間データと表示位置が重ならないように東西南北のいずれかの方向に並行移動して、表示中の表示性能判定用の空間データに追加して表示する。そして、今度は元の空間データと複製した空間データとの２つの空間データを表示したときのフレームレートを、１つの空間データのときと同様の手順で測定する。

表示制御手段１１は、測定したフレームレートがあらかじめ設定した基準フレームレート以上であった場合は、更に空間データの数を増やして、フレームレートの測定を繰り返す。あらかじめ設定した基準フレームレート以下となるまでこの測定を繰り返すことにより、表示制御手段１１は、基準フレームレートで表示できる限界の空間データの頂点数及びデータ容量を得る。データ容量はバイトの単位で表す。本実施の形態６においては、基準フレームレートで表示できる限界の空間データの頂点数及びデータ容量のことをそれぞれ基準頂点数及び基準データ容量と呼ぶこととする。この基準頂点数あるいは基準データ容量が、表示限界データ容量に相当する。

次に、通信回線３０の伝送性能を測定する方法を説明する。表示制御手段１１は、通信回線３０を介して、例えば１００キロバイトといった一定の大きさの伝送性能測定用の空間データの送信要求を画像伝送手段２４に送り、受け取るまでの時間を計測することにより、通信回線３０の伝送速度を測定する。伝送速度の単位としては、ビット／秒を用いる。伝送速度の上限値をあらかじめ設定しておき、徐々に伝送容量の大きい伝送性能測定用の空間データを用いて伝送速度を測定することにより、伝送速度の上限値以内で伝送できる限界の伝送性能測定用の空間データが求められる。この上限値以内で伝送することのできる限界の伝送性能測定用の空間データのデータ容量を基準伝送量とする。この基準伝送量が、伝送限界データ容量に相当する。

以上のようにして、表示制御手段１１は、表示性能測定用の空間データ及び伝送性能測定用の空間データを用いることにより、基準頂点数、基準データ容量及び基準伝送量を測定することができる。その結果、表示制御手段１１は、画像表示用コンピュータ１０の表示性能及び通信回線３０の伝送性能を定量的に定めることができる。以下の説明では、この基準頂点数、基準データ容量及び基準伝送量を総称して基準性能情報と呼ぶ。

次に、測定された基準性能情報に基づいて、空間データまたはパノラマ画像の表示を切り替える手法について説明する。表示制御手段１１は、測定された基準性能情報を画像伝送手段２４にあらかじめ送信しておく。さらに、表示制御手段１１は、実施の形態１と同様にして、操作員の入力に応じた視点情報を画像伝送手段２４に送信する。

画像伝送手段２４は、受信した視点情報に基づいて、指定された視点位置を中心としてあらかじめ決められた半径の範囲の空間データを空間データデータベース２１から取り出す。さらに、画像伝送手段２４は、取り出した空間データのデータ容量及び頂点数を求める。

また、画像伝送手段２４は、重複して同じデータを送信しないようにするために、次の判断を行うことができる。すなわち、前回受信した視点情報に基づいて取り出した範囲の空間データと、今回受信した視点情報に基づいて取り出した範囲の空間データとを比較して、重複しない部分の空間データのみを抽出することもできる。さらに、この場合には、画像伝送手段２４は、重複しない部分の空間データのデータ容量及び頂点数を求める。

画像伝送手段２４は、これから送信する空間データのデータ容量及び頂点数と、あらかじめ受信した基準性能情報に含まれている基準データ容量及び基準頂点数とを比較し、画像表示用コンピュータ１０の表示性能を満たすかを判断する。さらに、画像伝送手段２４は、これから送信する空間データのデータ容量とあらかじめ受信した基準性能情報に含まれている基準伝送量とを比較し、通信回線３０の伝送性能を満たすかを判断する。

比較の結果、画像伝送手段２４は、これから送信する空間データのデータ容量及び頂点数の少なくともいずれか１つが対応する基準データを超えていれば、送信する空間データの容量が大きすぎると判断する。このように、送信する空間データの容量が大きすぎると判断した場合には、画像伝送手段２４は、パノラマ画像データベース２３からパノラマ画像を取り出し、表示制御手段１１に送信する。すなわち、容量の少ないパノラマ画像を選択して、表示制御手段１１に送信することとなる。

一方、これから送信する空間データのデータ容量及び頂点数のどれもが各基準データ以下であれば、画像伝送手段２４は、送信する空間データの容量が適切な大きさであると判断する。送信する空間データの容量が適切な大きさであると判断した場合には、画像伝送手段２４は、すでに空間データデータベース２１から取り出している空間データを表示制御手段１１に送信する。そして、表示制御手段１１は、画像伝送手段２４から受信した空間データあるいはパノラマ画像を表示する。

実施の形態６によれば、画像表示用コンピュータの表示性能あるいは通信回線の伝送性能に応じて、空間データとパノラマ画像を切り替えて伝送、表示することが可能となる。これにより、３次元データを表示する表示性能の低い端末を用いた場合、あるいは速度の遅い通信回線に端末を接続している場合であっても、表示までの時間の遅延が少なく、また操作レスポンスを悪化させることなく景観表示を行うことが可能となる。さらに、表示性能のよい端末及び高速の通信回線を用いて景観表示を行う場合は、全て３次元空間データを表示するので、視点位置からの景観は、パノラマ画像で表現したときよりも正確に表示することができる。

なお、上述の説明においては、画像表示用コンピュータ１０の表示性能及び通信回線３０の伝送性能を求める際に、空間データデータベース２１内に蓄えられている表示性能測定用の空間データ及び伝送性能測定用の空間データを用いる場合について説明したが、これに限定されない。画像伝送手段２４が、空間データデータベース２１から取り出した任意の空間データに対して、その容量と頂点数を求め、その空間データを元にして性能測定を行うことも可能であり、この場合は測定用のデータを持つ必要が無くなる。

さらに、上述の説明においては、最初に画像表示用コンピュータ１０の表示性能及び通信回線３０の伝送性能を求める場合について説明したが、これに限定されない。必要に応じて適宜性能評価を行うことも可能である。

さらに、上述の説明においては、空間データを取り出す半径としてあらかじめ決められた１つの値を採用していたが、これに限定されない。同じ半径であっても場所が異なれば空間データの容量も異なる。そこで、空間データを取り出す半径の許容範囲を定めておくことにより、次のような処理も行える。すなわち、画像伝送手段２４は、送信する空間データの容量が大きすぎると判断した場合に、すぐにパノラマ画像の送信を行うのではなく、空間データを取り出す半径を許容範囲内で徐々に狭めて新たな空間データを取り出し、容量が適切な大きさになるまでこの操作を繰り返す。

許容範囲の下限値を半径として取り出した空間データにおいても、その容量が適切な大きさを超えている場合には、画像伝送手段２４は、空間データの替わりにパノラマ画像の伝送を行う。逆に、あらかじめ決められた値を半径として取り出した空間データの容量が、適切な大きさに対して余裕がある場合には、許容範囲内でさらに大きな半径の空間データを取り出すことも可能である。

実施の形態７．
実施の形態７では、パノラマ画像と空間データを合成して表示する場合について説明する。構成は、実施の形態６における図１２と同一である。実施の形態６において、画像伝送手段２４は、画像表示用コンピュータ１０の表示性能あるいは通信回線３０の伝送性能に応じて、空間データとパノラマ画像のどちらかを選択して送信していた。

これに対して、実施の形態７において、画像伝送手段２４は、画像表示用コンピュータ１０の表示性能あるいは通信回線３０の伝送性能に応じて、空間データとパノラマ画像の両方を送信する場合を説明する。

空間データと合成して表示するためのパノラマ画像は、次のようにして生成する。すなわち、視点位置から一定半径の円内に入る領域の空間データを取り除き、一定半径以遠の空間データに基づくパノラマ画像を生成しておくものとする。また、同一の視点位置に対して複数の値をこの一定半径として用い、複数のパノラマ画像を生成しておくことができる。視点位置と半径は視点情報として、生成されたパノラマ画像と関連づけられて、パノラマ画像データベース２３に蓄積される。

画像伝送手段２４は、表示制御手段１１からの視点情報に基づいて、パノラマ画像データベース２３からパノラマ画像を取り出す。さらに、画像伝送手段２４は、パノラマ画像の視点情報に対応する視点位置と半径に対応した範囲の空間データを空間データデータベース２１から取り出す。ここで、画像伝送手段２４は、取り出した空間データのデータ容量と基準伝送量との比較を、実施の形態６と同様にして行う。

空間データのデータ容量が基準伝送量よりも大きい場合には、画像伝送手段２４は、空間データを取り出す半径を一定の値だけ小さくして新たな空間データを取り出す。画像伝送手段２４は、基準伝送量よりも容量の小さい空間データが取り出されるまで、半径を短くした空間データの取り出しを繰り返す。最終的に基準伝送量よりも小さな容量の空間データが抽出されると、画像伝送手段２４は、先に取り出したパノラマ画像とともに表示制御手段１１に送信する。

逆に、あらかじめ決められた値を半径として取り出した空間データの容量が、基準伝送量に対して余裕がある場合には、許容範囲内でさらに大きな半径の空間データを取り出すことも可能である。

また、上述においては、空間データのデータ容量が基準伝送量よりも大きい場合には、直ちに空間データを取り出す半径を徐々に短くしていったが、次の方法をとることもできる。すなわち、同一の視点位置に対してさらに半径の小さいパノラマ画像がパノラマ画像データベース２３内に存在する場合には、そのパノラマ画像を取り出すとともに、該当する半径に対応した領域の空間データを空間データデータベース２１から取り出して、先と同様の処理により基準伝送量を満たすかを判断することも可能である。

一方、表示制御手段１１は、画像伝送手段２４から空間データ及びパノラマ画像を受信すると、受信した空間データに基づいて、画像表示用コンピュータ１０の表示性能である基準頂点数及び基準データ容量に適合するかを判断する。すなわち、画像伝送手段２４は、受信した空間データの頂点数及びデータ容量が、基準頂点数及び基準データ容量よりも小さい場合には、受信した空間データの表示が可能であると判断する。

画像伝送手段２４は、受信した空間データの頂点数が基準頂点数よりも大きいか、あるいは受信した空間データのデータ容量が基準データ容量よりも大きい場合には、空間データを表示する範囲を狭くして表示する空間データの量を減らすことを試みる。空間データを表示する範囲は、視点位置から表示する範囲の半径を変更することで調整する。表示制御手段１１は、表示が可能と判断できるまで空間データの半径を少しずつ狭めていくことにより、表示可能な空間データを得ることができる。

次に、表示制御手段１１が空間データとパノラマ画像を合成して表示する方法について説明する。図１３は、本発明の実施の形態７における空間データとパノラマ画像とを合成表示するためのイメージ図である。表示制御手段１１は、周辺をパノラマ画像として再現し、視点付近を空間データで再現する。真上から見ると、パノラマ画像の円筒形のスクリーンのほぼ中心に、視点位置があり、その周辺に空間データが配置される。視点位置から見ると、まず、目の前に空間データが広がりその先にパノラマ画像が見えるように表示される。

表示制御手段１１は、空間データのうち、建物の形状が表示されているところはその形状を表示し、何も表示されていない空の部分は、透過色で表示することにより、建物の無い部分は、パノラマ画像を表示するものとする。表示制御手段１１は、地面や道路に関しては、パノラマ画像が空間データによって塞がれて表示できない部分には空間データを用いて表示するものとする。

例えば、パノラマ生成点からの半径が５０メートルであるパノラマ画像を用いる場合に、表示制御手段１１は、パノラマ生成点から半径５０メートルの位置に円筒形を設置し、この円筒形の内側にパノラマ画像を貼り付ける。さらに、表示制御手段１１は、その円筒形の中を空間データで埋めることとなる。

このようにパノラマ画像と空間データとの合成表示を行う場合には、パノラマ画像で表示された領域の内側の領域が空間データで満たされることが望まれる。したがって、画像伝送手段２４は、伝送性能の関係により１回でパノラマ画像に対応する空間データを送信できない場合には、伝送時間内に伝送できる単位で空間データを分割して送信することも可能である。このとき、視点の中心位置に近いデータから順に伝送することにより、視点位置に近いところからの表示が可能となる。画像伝送手段２４は、分割して伝送を行う場合には、１回の伝送が終わったら、表示制御手段１１から表示できたことの確認のメッセージを受け取ってから、次のデータを送ることとなる。

また、表示制御手段１１は、表示性能の関係により１回でパノラマ画像に対応する空間データを表示できない場合には、１回の表示時間で表示できる単位で空間データを分割して表示することも可能である。このときも、視点の中心位置に近いデータから順に表示することにより、視点位置に近いところからの表示が可能となる。

なお、空間データとパノラマ画像を合成して表示する方法としては、図３で説明したように、特定の表示範囲をパノラマ画像から切り出すことにより合成表示する方法も考えられる。図１４は、本発明の実施の形態７における空間データとパノラマ画像との合成表示に関する説明図である。パノラマ画像から切り出した画像を、その領域に対応する空間データの後ろに配置することにより、両画像の合成表示が可能となる。

実施の形態７によれば、画像伝送手段は、伝送性能に応じて適切な容量の空間データを取り出すことができる。さらに、表示制御手段は、表示性能に応じて適切な容量の空間データを表示するとともに、パノラマ画像も合わせて表示できる。これにより、画像表示用コンピュータの表示性能あるいは通信回線の伝送性能に応じて、パノラマ画像と空間データとを合成した景観表示が実現できる。伝送性能や表示回線の制約によって、ごく狭い範囲の空間データしか表示できない場合においても、周囲にはパノラマ画像が表示され、地面部分も空間データが表示されるので、景観が損なわれずに視認性の優れた景観表示が行える。

さらに、空間データで表示できる範囲に応じて、パノラマ画像で表示する範囲も合わせて変えることができ、空間データとパノラマ画像を合成して表示した場合にも違和感のない表示ができる。

なお、上述の実施の形態１〜７において、パノラマ画像のデータ容量は空間データと比べて少ないために、パノラマ画像の容量は、伝送性能及び表示性能の判断には用いていない。しかし、空間データの容量と同様に扱い、パノラマ画像の容量も加味して伝送性能及び表示性能を判断することも容易に実施できる。

本発明の実施の形態１における景観表示装置の構成図である。 本発明の実施の形態１における空間データとパノラマ画像との関係を示したイメージ図である。 本発明の実施の形態１におけるパノラマ画像の表示イメージを示した図である。 本発明の実施の形態１における視点位置の移動とそれに対応するパノラマ画像との関係を示した図である。 本発明の実施の形態２における複数のパノラマ画像に対応する円筒形の配置を示す図である。 本発明の実施の形態２におけるパノラマ画像の合成表示に関する説明図である。 本発明の実施の形態３におけるパノラマ生成点の決定方法に関する説明図である。 本発明の実施の形態４における景観表示装置の構成図である。 本発明の実施の形態４における新たなパノラマ生成点の決定方法に関する説明図である。 本発明の実施の形態５におけるパノラマ画像の合成表示に関する説明図である。 本発明の実施の形態５における分割して生成されたパノラマ画像の表示に関する説明図である。 本発明の実施の形態６における景観表示装置の構成図である。 本発明の実施の形態７における空間データとパノラマ画像とを合成表示するためのイメージ図である。 本発明の実施の形態７における空間データとパノラマ画像との合成表示に関する説明図である。

符号の説明

１０ 画像表示用コンピュータ、１１ 表示制御手段、２０ 画像配信用コンピュータ、２１ 空間データデータベース、２２ パノラマ画像生成手段、２３ パノラマ画像データベース、２４ 画像伝送手段、３０ 通信回線。

Claims (11)

1. 画像配信用装置と画像表示用装置とが通信回線を介して接続され、景観画像の表示を行う景観表示装置において、
   前記画像配信用装置は、視点位置及び視野領域を有する視点情報と関連づけられたパノラマ画像を蓄積したパノラマ画像データベースと、
   前記通信回線を介して前記画像表示用装置から時間とともに移動する視点位置を受信し、前記パノラマ画像データベース内に蓄積されている前記視点情報からそれぞれの視点情報に対応する視野領域を求め、前記視野領域内に前記視点位置が含まれる視点情報を抽出し、抽出された前記視点情報に関連づけられたパノラマ画像を前記パノラマ画像データベースから取り出して前記視点情報とともに前記通信回線を介して前記画像表示用装置に送信する画像伝送手段と
   を備え、
   前記画像表示用装置は、入力される視点位置の移動に伴って前記画像配信用装置から受信した前記パノラマ画像及び前記視点情報に基づいて、入力された視点位置から入力された視点方向を見たときのパノラマ画像を切り出して、切り出されたパノラマ画像を表示装置に表示する表示制御手段を備え、
   前記表示制御手段は、視点位置の移動に伴って、すでに受信済のパノラマ画像とともに、前記受信済のパノラマ画像と視野領域の一部が重複する他の新たなパノラマ画像を前記画像配信用装置から受信することで複数のパノラマ画像を受信したときは、前記複数のパノラマ画像に対して、入力された視点位置から入力された視点方向を見たときのそれぞれのパノラマ画像を切り出して、切り出された複数のパノラマ画像を個別に同時に表示装置に表示する
   ことを特徴とする景観表示装置。
2. 請求項１に記載の景観表示装置において、
   前記表示制御手段は、前記画像伝送手段に対して前回送信した視点位置及び送信時刻と入力された現在の視点位置及び現在時刻とに基づいて視点移動方向及び視点移動速度を求め、前回の送信時刻と現在時刻との差があらかじめ決められた限界時間間隔よりも短いときは、入力された現在の視点位置、前記視点移動方向及び前記視点移動速度に基づいて、前回の送信時刻から限界時間間隔経過した後の時刻における視点位置を求め、送信する視点位置と送信時刻を制御することを特徴とする景観表示装置。
3. 請求項１または２に記載の景観表示装置において、
   前記パノラマ画像データベースは、視野領域範囲外の景観表示を行う遠景表示パノラマ画像をさらに有し、
   前記表示制御手段は、前記パノラマ画像と前記遠景表示パノラマ画像とを合成したパノラマ画像を表示装置に表示する
   ことを特徴とする景観表示装置。
4. 請求項１ないし３のいずれか１項に記載の景観表示装置において、
   地理上の位置に関連づけられて景観の画像データを座標変換した空間データをあらかじめ蓄積した空間データデータベースと、
   前記空間データデータベースに蓄積された空間データに基づき、指定した視点情報に対応するパノラマ画像を生成し、生成したパノラマ画像を前記視点情報と関連づけて前記パノラマ画像データベースに蓄積するパノラマ画像生成手段と
   をさらに備え、
   前記画像伝送手段は、前記表示制御手段から受信した視点位置が前記パノラマ画像データベース内に蓄積されている前記視点情報に対応するいずれの視野領域内にもないときは、前記視点位置を前記パノラマ画像生成手段に転送し、前記パノラマ画像生成手段が前記視点位置に基づいて新たに生成し前記パノラマ画像データベースに登録したパノラマ画像を取り出して前記表示制御手段に送信することを特徴とする景観表示装置。
5. 請求項４に記載の景観表示装置において、
   前記パノラマ画像生成手段は、前記空間データデータベースから取り出した空間データ内の建物の位置に基づいて、複数の建物までの距離がほぼ均等になるような位置を求めて視点位置と定めるとともに、前記視点位置から最も近い建物までの距離を半径として定め、前記視点位置及び前記半径を視点情報としてパノラマ画像を生成し、生成したパノラマ画像を前記視点情報と関連づけて前記パノラマ画像データベースに蓄積することを特徴とする景観表示装置。
6. 請求項４または５に記載の景観表示装置において、
   前記パノラマ画像生成手段は、パノラマ画像を生成する際に、１枚のパノラマ画像の中から建物の映っている部分を切り出して分割したパノラマ画像を生成するとともに、視点位置から切り出した前記建物までの距離データ及び前記１枚のパノラマ画像に対する前記分割したパノラマ画像の位置を特定する角度データをさらに視点情報の一部として、前記視点情報と関連づけて前記パノラマ画像データベースに蓄積し、
   前記表示制御手段は、前記分割したパノラマ画像及び前記視点情報を受信したときは、時間とともに移動する視点位置から見た前記分割したパノラマ画像の表示位置を前記視点情報に含まれている前記距離データ及び角度データに基づいて算出して表示装置に表示する
   ことを特徴とする景観表示装置。
7. 請求項６に記載の景観表示装置において、
   前記パノラマ画像生成手段は、１枚のパノラマ画像から建物の映っている部分を切り出した際に、前記パノラマ画像の高さ方向に対して前記建物の全景がはみ出しているときは、視野角を変えて全景が入るパノラマ画像を生成し直した後に前記建物の映っている部分を切り出して分割したパノラマ画像を生成することを特徴とする景観表示装置。
8. 請求項１に記載の景観表示装置において、
   地理上の位置に関連づけられて景観の画像データを座標変換した空間データがあらかじめ蓄積されている空間データデータベースをさらに備え、
   前記画像伝送手段は、前記パノラマ画像データベースから視点位置に応じたパノラマ画像を取り出すとともに、前記空間データデータベースから視点位置に応じた一定範囲の空間データを取り出し、前記空間データのデータ容量があらかじめ定められた前記通信回線の伝送可能データ容量及びあらかじめ定められた表示可能データ容量のどちらよりも小さいときは前記表示制御手段に前記パノラマ画像とともに前記空間データを送信し、
   前記表示制御手段は、前記パノラマ画像とともに前記空間データを受信したときには、切り出されたパノラマ画像とともに空間データを合成して表示装置に表示する
   ことを特徴とする景観表示装置。
9. 請求項８に記載の景観表示装置において、
   前記パノラマ画像データベースは、同一の視点位置に対する複数の視野半径で生成されたパノラマ画像を有し、
   前記画像伝送手段は、前記パノラマ画像データベースから設定視点情報に応じた複数の視野半径によるパノラマ画像を取り出すとともに、前記空間データデータベースから前記複数の視野半径に応じた範囲の複数の空間データを取り出し、前記複数の空間データの中から前記伝送可能データ容量以内で最も大きなデータ容量を有する空間データとそれに対応するパノラマ画像データとを抽出して前記表示制御手段に送信し、
   前記表示制御手段は、受信した前記空間データと前記パノラマ画像とを合成して表示装置に表示する
   ことを特徴とする景観表示装置。
10. 請求項８または９に記載の景観表示装置において、
    前記表示制御手段は、前記通信回線を介して前記画像伝送手段との間でデータ容量が既知である空間データのデータ通信速度を測定して前記伝送可能データ容量を求めることを特徴とする景観表示装置。
11. 請求項８ないし１０のいずれか１項に記載の景観表示装置において、
    前記表示制御手段は、データ容量が既知である空間データの表示時間を測定して前記表示可能データ容量を求めることを特徴とする景観表示装置。

Images