JP5363971B2

JP5363971B2 - Landscape reproduction system

Info

Publication number: JP5363971B2
Application number: JP2009296977A
Authority: JP
Inventors: 廣美平野
Original assignee: Rakuten Inc
Current assignee: Rakuten Group Inc
Priority date: 2009-12-28
Filing date: 2009-12-28
Publication date: 2013-12-11
Anticipated expiration: 2029-12-28
Also published as: JP2011138258A

Description

本発明は、利用者が携帯端末で指定した地点の過去又は将来の景観を再現するシステムに関する。 The present invention relates to a system for reproducing a past or future landscape at a point designated by a user with a mobile terminal.

特許文献１（「ナビゲーションシステム及びナビゲーション端末」）には、ユーザの位置情報に基づいて、地形及び建物情報を検索し、風景の画像を生成する技術が開示されている。 Patent Document 1 (“navigation system and navigation terminal”) discloses a technique for searching for terrain and building information based on user position information and generating a landscape image.

また、特許文献２（「ゴルフプレーヤのプレー支援方法およびシステム」）には、ゴルフプレーヤ支援のために、地形画像へ風景画像を重畳する技術が開示されている。 Patent Document 2 ("Golf Player Play Support Method and System") discloses a technique for superimposing a landscape image on a terrain image for golf player support.

更に、特許文献３（「携帯機用地図表示装置」）には、ユーザ視点の景観を表示する技術が開示されている。 Furthermore, Patent Document 3 (“Map Display Device for Portable Device”) discloses a technique for displaying a user's viewpoint landscape.

しかし、特許文献１乃至３は、いずれも現在の状況を再現することを目的としており、過去又は未来の状況を再現することを企図していない。 However, Patent Documents 1 to 3 all aim to reproduce the current situation, and do not intend to reproduce the past or future situation.

特許文献４（「タイムスリップ動画像表示システム」）には、撮影済みの過去の画像と現在の画像を並列して表示する技術が開示されている。 Patent Document 4 (“Time Slip Moving Image Display System”) discloses a technique for displaying a captured past image and a current image in parallel.

特許文献４は、単に過去の画像を再生する技術であって、過去の景観を再現するものではない。従って、撮影した動画以外の視点や視線での景観を知ることはできない。 Patent Document 4 is a technique for simply reproducing a past image, and does not reproduce a past landscape. Therefore, it is not possible to know a landscape from a viewpoint or line of sight other than the captured video.

特開２００３−１３２０６８号公報JP 2003-132068 A 特開２００５−０３４５２９号公報JP 2005-034529 A 特開２００６−３４９９６４号公報JP 2006-349964 A 特開２００６−０９３７６９号公報JP 2006-093769 A

任意の再現時点における景観を、指定された視点と視線方位に従って再現することを課題とする。 It is an object to reproduce a landscape at an arbitrary re-current time according to a specified viewpoint and gaze direction.

本願発明に係る景観再現システムは、
互いにネットワークを介して接続する利用者携帯端末と景観再現サーバからなる景観再現システムであって、
利用者携帯端末は、
（イ）利用者携帯端末の向きを方位として検出する方位取得部と、
（ロ）利用者携帯端末の位置を検出する位置取得部と、
（ハ）景観の再現の基準となる再現時点を受け付ける再現時点受付部と、
（ニ）検出した方位を視線方位とし、検出した位置を視点として、再現時点と、視点と、視線方位を含む再現画像要求を景観再現サーバに送信する再現画像要求送信部を有し、
景観再現サーバは、
（１）再現時点と、視点と、視線方位を含む再現画像要求を受信する再現画像要求受信部と、
（２）物体の３次元形状を示す物体３次元形状情報を、当該物体が存在した期間を示す存在期間と当該物体が存在した位置を示す所在地とに対応付けて記憶する物体３次元形状情報データベースと、
（３）再現画像要求の再現時点を前記存在期間に含み、且つ前記視点及び前記視線方位に基づいて設定される再現物体領域に前記所在地が含まれる物体の物体３次元形状情報を抽出する再現物体抽出部と、
（４）抽出した物体の物体３次元形状情報毎に、前記再現物体領域を示す仮想の３次元空間における当該物体の所在地に当該物体を示す物体オブジェクトを配置した再現画像を生成する再現画像生成部と、
（５）生成した再現画像を利用者携帯端末に返信する再現画像送信部を有し、
利用者携帯端末は、更に
（ホ）再現画像を受信する再現画像受信部と、
（へ）受信した再現画像を表示する再現画像表示部を有することを特徴とする。 The landscape reproduction system according to the present invention is
A landscape reproduction system consisting of a user mobile terminal and a landscape reproduction server connected to each other via a network,
User mobile devices
(A) an orientation acquisition unit that detects the orientation of the user mobile terminal as the orientation;
(B) a position acquisition unit that detects the position of the user portable terminal;
(C) a re-current time reception unit that accepts a re-current time as a standard for landscape reproduction;
(D) The detected azimuth is the viewing direction, the detected position is the viewpoint, the re-current time point, and the reproduction image request transmission unit that transmits the reproduction image request including the viewpoint and the viewing direction to the landscape reproduction server,
The landscape reproduction server
(1) A re-image request receiving unit that receives a re-image request including a re-current time point, a viewpoint, and a line-of-sight direction;
(2) Object three-dimensional shape information database that stores object three-dimensional shape information indicating a three-dimensional shape of an object in association with an existence period indicating a period in which the object exists and a location indicating a position where the object exists. When,
(3) Reproduced object for extracting the object three-dimensional shape information of an object that includes the re-present time of the reconstructed image request in the existence period and the reconstructed object region set based on the viewpoint and the line-of-sight direction includes the location An extractor;
(4) for each extracted object object 3-dimensional shape information, reproduced image generation unit that generates a reproduced image obtained by placing the physical objects indicating the object location of the object in a virtual three-dimensional space indicating the reproduction object region When,
(5) having a reproduction image transmission unit that returns the generated reproduction image to the user portable terminal;
The user portable terminal further includes (e) a reproduction image receiving unit that receives the reproduction image;
(F) It is characterized by having a reproduced image display unit for displaying the received reproduced image.

また、
前記再現画像生成部は、
前記再現画像要求に含まれる視点を仮想カメラの位置として、前記再現画像要求に含まれる視線方位を仮想カメラの撮影方向として、当該仮想カメラで前記再現画像に含まれる前記物体オブジェクトを２次元に投射した２次元投射画像を生成することを特徴とする。 Also,
The reproduced image generation unit
Projecting the viewpoint included in the reproduced image request as the position of the virtual camera, a gaze direction included in the reproduced image request as the imaging direction of the virtual camera, the object object included in the reproduced image in the virtual camera in a two-dimensional A two-dimensional projection image is generated.

また、
景観再現サーバは、更に、
地形の３次元形状を示す地形３次元形状情報を、当該地形が維持されていた期間を示す維持期間と当該地形の地形範囲とに対応付けて記憶する地形３次元形状情報データベースと、
再現画像要求の再現時点を前記維持期間に含み、且つ前記視点及び前記視線方位に基づいて設定される再現地形領域に前記地形範囲の少なくとも一部が含まれる地形の地形３次元形状情報を抽出する再現地形抽出部を有し、
前記再現画像生成部は、抽出した地形の地形３次元形状情報に基づいて前記再現地形領域を示す仮想の３次元空間に当該地形を示す地表面の形状を生成し、前記抽出した物体３次元形状情報毎に、当該生成した地形を示す地表面上に当該物体を示す物体オブジェクトを配置した再現画像を生成することを特徴とする。 Also,
The landscape reproduction server
A terrain 3D shape information database for storing terrain 3D shape information indicating a 3D shape of the terrain in association with a maintenance period indicating a period during which the terrain was maintained and a terrain range of the terrain ;
The terrain three-dimensional shape information of the terrain including the recurrent time of the reproduction image request in the maintenance period and including at least a part of the terrain range in the reproduction terrain region set based on the viewpoint and the line-of-sight direction is extracted. Has a reproduction terrain extraction part,
The reproduction image generating unit based on the extracted topographical 3-dimensional shape information of the terrain to produce the shape of the ground surface indicating the terrain in a three-dimensional space of the virtual indicating the reproduction terrain area, the extracted object three-dimensional shape For each piece of information, a reproduction image in which an object object indicating the object is arranged on the ground surface indicating the generated terrain is generated.

景観再現サーバは、前記物体が生物である場合に、前記物体３次元形状情報データベースにおいて、当該生物の生息域内における任意の地点を当該物体の所在地に設定することを特徴とする。When the object is a living thing, the landscape reproduction server sets an arbitrary point in the habitat of the living object as the location of the object in the object three-dimensional shape information database.

また、
前記再現時点受付部は、利用者携帯端末の本体回転数又は本体回転角に基づいて、再現時点を指定することを特徴とする。 Also,
The re-current time accepting unit designates the re-current time based on the main body rotation speed or the main body rotation angle of the user portable terminal.

利用者携帯端末とネットワークを介して接続する景観再現サーバであって、以下の要素を有することを特徴とする景観再現サーバ
（１）再現時点と、視点と、視線方位を含む再現画像要求を受信する再現画像要求受信部
（２）物体の３次元形状を示す物体３次元形状情報を、当該物体が存在した期間を示す存在期間と当該物体が存在した位置を示す所在地とに対応付けて記憶する物体３次元形状情報データベース
（３）再現画像要求の再現時点を前記存在期間に含み、且つ前記視点及び前記視線方位に基づいて設定される再現物体領域に前記所在地が含まれる物体の物体３次元形状情報を抽出する再現物体抽出部
（４）抽出した物体の物体３次元形状情報毎に、前記再現物体領域を示す仮想の３次元空間における当該物体の所在地に当該物体を示す物体オブジェクトを配置した再現画像を生成する再現画像生成部
（５）生成した再現画像を利用者携帯端末に返信する再現画像送信部。 A landscape reproduction server connected to a user portable terminal via a network, characterized by having the following elements: (1) Receiving a reproduction image request including the current time, viewpoint, and gaze direction (2) The object 3D shape information indicating the 3D shape of the object is stored in association with the existence period indicating the period in which the object exists and the location indicating the position where the object exists. Object three-dimensional shape information database (3) The object three-dimensional shape of an object including the re-present time of a reproduction image request in the existence period and including the location in a reproduction object region set based on the viewpoint and the line-of-sight direction reproduction object extraction unit for extracting information (4) for each extracted object object 3-dimensional shape information, the object location of the object in a virtual three-dimensional space indicating the reproduction object region Reproduced image generation unit (5) and returns the generated reproduced image in the user portable terminal reproduced image transmitting unit that generates a reproduced image obtained by placing the physical object shown.

本願発明に係る景観再現方法は、
物体の３次元形状を示す物体３次元形状情報を、当該物体が存在した期間を示す存在期間と当該物体が存在した位置を示す所在地とに対応付けて記憶する物体３次元形状情報データベースを有し、利用者携帯端末とネットワークを介して接続する景観再現サーバによる景観再現方法であって、以下の要素を有することを特徴とする景観再現方法
（１）再現時点と、視点と、視線方位を含む再現画像要求を受信する再現画像要求受信工程
（２）再現画像要求の再現時点を前記存在期間に含み、且つ前記視点及び前記視線方位に基づいて設定される再現物体領域に前記所在地が含まれる物体の物体３次元形状情報を抽出する再現物体抽出工程
（３）抽出した物体の物体３次元形状情報毎に、前記再現物体領域を示す仮想の３次元空間における当該物体の所在地に当該物体を示す物体オブジェクトを配置した再現画像を生成する再現画像生成工程
（４）生成した再現画像を利用者携帯端末に返信する再現画像送信工程。 The landscape reproduction method according to the present invention is
An object three-dimensional shape information database for storing object three-dimensional shape information indicating a three-dimensional shape of an object in association with an existence period indicating a period in which the object exists and a location indicating a position where the object exists A landscape reproduction method by a landscape reproduction server connected to a user portable terminal via a network, the landscape reproduction method characterized by having the following elements: (1) Re-present, including viewpoint and gaze direction Reproduced image request receiving step of receiving a reproduced image request (2) An object including the recurrent time of the reproduced image request in the existence period and including the location in a reproduced object region set based on the viewpoint and the viewing direction the object 3-dimensional shape information to reproduce the object extraction step (3) for each extracted object object 3-dimensional shape information to be extracted, and the in a virtual three-dimensional space indicating the reproduction object region It reproduced image transmitting step of returning the reproduced image generating step (4) generated reproduced image to generate a reproduced image obtained by placing the physical objects indicating the object on the location of the body to the user portable terminal.

本願発明に係るプログラムは、
物体の３次元形状を示す物体３次元形状情報を、当該物体が存在した期間を示す存在期間と当該物体が存在した位置を示す所在地とに対応付けて記憶する物体３次元形状情報データベースを有し、利用者携帯端末とネットワークを介して接続する景観再現サーバとなるコンピュータに、以下の手順を実行させるためのプログラム
（１）再現時点と、視点と、視線方位を含む再現画像要求を受信する再現画像要求受信手順
（２）再現画像要求の再現時点を前記存在期間に含み、且つ前記視点及び前記視線方位に基づいて設定される再現物体領域に前記所在地が含まれる物体の物体３次元形状情報を抽出する再現物体抽出手順
（３）抽出した物体の物体３次元形状情報毎に、前記再現物体領域を示す仮想の３次元空間における当該物体の所在地に当該物体を示す物体オブジェクトを配置した再現画像を生成する再現画像生成手順
（４）生成した再現画像を利用者携帯端末に返信する再現画像送信手順。

The program according to the present invention is:
An object three-dimensional shape information database for storing object three-dimensional shape information indicating a three-dimensional shape of an object in association with an existence period indicating a period in which the object exists and a location indicating a position where the object exists , A program for causing a computer to be a landscape reproduction server connected to a user portable terminal via a network to execute the following procedure: (1) Reproduction that receives a reproduction image request including a current time, a viewpoint, and a gaze direction Image request reception procedure (2) Object three-dimensional shape information of an object including the re-present time of a reproduction image request in the existence period and including the location in a reproduction object region set based on the viewpoint and the line-of-sight direction extraction reproducibility object extraction procedure (3) for each extracted object object 3-dimensional shape information of that, the location of the object in a virtual three-dimensional space indicating the reproduction object region Reproduced image transmission procedure that returns a reproduction image reproduced image generation procedure (4) was produced to generate a reproduced image obtained by placing the physical objects indicating the object to the user portable terminal.

物体の３次元形状情報を有効期間（存在期間）と対応付けて記憶し、指定された再現時点に存在した物体の３次元形状を復元し、指定された視点と視線方位での再現画像を生成するので、任意の時間と場所における景観を自在に再現することができる。 Stores the 3D shape information of an object in association with the effective period (existing period), restores the 3D shape of the object that existed at the specified re-current time, and generates a reproduction image at the specified viewpoint and line of sight Therefore, the scenery at any time and place can be freely reproduced.

更に、地形の３次元形状情報を有効期間と対応付けて記憶し、指定された再現時点の地形を復元し、指定された視点と視線方位での再現画像を生成するので、地形を含めた景観を再現することができる。特に、物体の高低まで正確に再現することができる。 Furthermore, the 3D shape information of the terrain is stored in association with the effective period, the specified recurrent terrain is restored, and a reproduction image with the specified viewpoint and line of sight is generated. Can be reproduced. In particular, it is possible to accurately reproduce the height of an object.

再現する領域内の物体及び地形の３次元形状のみを抽出するので、処理時間が短縮される。 Since only the three-dimensional shape of the object and the terrain within the region to be reproduced is extracted, the processing time is shortened.

利用者携帯端末の本体回転数や本体回転角を再現時点の指定に用いるので、体感的なユーザインターフェースを実現することができる。 Since the main body rotation speed and main body rotation angle of the user portable terminal are used again for the current designation, a sensible user interface can be realized.

図１は、景観再現システムのネットワーク概要を示す図である。FIG. 1 is a diagram showing a network overview of a landscape reproduction system. 図２は、利用者携帯端末のハードウェア構成を示す図である。FIG. 2 is a diagram illustrating a hardware configuration of the user portable terminal. 図３は、利用者携帯端末のメイン処理フローを示す図である。FIG. 3 is a diagram showing a main processing flow of the user portable terminal. 図４は、利用者携帯端末のモジュール構成を示す図である。FIG. 4 is a diagram illustrating a module configuration of the user portable terminal. 図５は、再現方向指示受付画面の例を示す図である。FIG. 5 is a diagram illustrating an example of a reproduction direction instruction acceptance screen. 図６は、再現時点受付画面の例を示す図である。FIG. 6 is a diagram illustrating an example of the re-current reception screen. 図７は、景観再現サーバのメイン処理フローを示す図である。FIG. 7 is a diagram illustrating a main processing flow of the landscape reproduction server. 図８は、景観再現サーバのモジュール構成を示す図である。FIG. 8 is a diagram illustrating a module configuration of the landscape reproduction server. 図９は、再現地形抽出処理フローを示す図である。FIG. 9 is a diagram showing a reproduction terrain extraction process flow. 図１０は、再現領域の概要を示す図である。FIG. 10 is a diagram showing an outline of the reproduction area. 図１１は、再現物体抽出処理フローを示す図である。FIG. 11 is a diagram showing a reproduction object extraction process flow. 図１２は、２次元投射画像生成処理フローを示す図である。FIG. 12 is a diagram showing a two-dimensional projection image generation processing flow. 図１３は、２次元投射画像生成部の構成を示す図である。FIG. 13 is a diagram illustrating a configuration of the two-dimensional projection image generation unit. 図１４は、実施の形態２に係る再現地形抽出処理フローを示す図である。FIG. 14 is a diagram illustrating a reproduction terrain extraction process flow according to the second embodiment. 図１５は、実施の形態３に係る再現物体抽出処理フローを示す図である。FIG. 15 is a diagram illustrating a reproduction object extraction processing flow according to the third embodiment. 図１６は、実施の形態４に係る景観再現サーバのメイン処理フローを示す図である。FIG. 16 is a diagram illustrating a main processing flow of the landscape reproduction server according to the fourth embodiment. 図１７は、実施の形態４に係る２次元投射画像生成処理フローを示す図である。FIG. 17 is a diagram showing a two-dimensional projection image generation processing flow according to the fourth embodiment. 図１８は、実施の形態４に係る再現画像の例を示す図である。FIG. 18 is a diagram illustrating an example of a reproduced image according to the fourth embodiment.

本願発明に係る景観再現システムでは、利用者が指定した再現時点における景観を再現する。 In the landscape reproduction system according to the present invention, the landscape at the re-current time designated by the user is reproduced.

実施の形態１．
図１は、景観再現システムのネットワーク概要を示す図である。利用者携帯端末１０２は、インターネットと携帯電話網を介して景観再現サーバ１０１にアクセスすることができる。また、利用者携帯端末１０２は、景観再現サーバ１０１から受信した画面を表示し、その画面上での操作結果を返信できるブラウザを有している。 Embodiment 1 FIG.
FIG. 1 is a diagram showing a network overview of a landscape reproduction system. The user portable terminal 102 can access the landscape reproduction server 101 via the Internet and a cellular phone network. In addition, the user portable terminal 102 has a browser that can display the screen received from the landscape reproduction server 101 and return the operation result on the screen.

全体の動作概要として、利用者携帯端末１０２は、再現する景観と時点を特定して、再現画像要求を景観再現サーバ１０１に送信する。景観再現サーバ１０１は、再現画像要求を受信すると、その要求に従って景観の画像を再現して返信する。利用者携帯端末１０２は、返信された再現画像を表示する。 As the overall operation overview, the user portable terminal 102 specifies a scene to be reproduced and a point in time, and transmits a reproduction image request to the scene reproduction server 101. When the landscape reproduction server 101 receives the reproduction image request, the landscape reproduction server 101 reproduces the landscape image according to the request and sends it back. The user portable terminal 102 displays the returned reproduced image.

まず、利用者携帯端末１０２について説明する。利用者携帯端末１０２は、例えば携帯電話、携帯情報端末（ＰＤＡ）、携帯型ノートブックパソコンなどである。図２は、利用者携帯端末のハードウェア構成を示す図である。利用者携帯端末１０２は、バスを介してメモリ２０１、演算装置２０２、無線通信デバイス２０３、カメラ２０４、位置検出デバイス２０５、方位検出デバイス２０６、及び表示装置２０７を接続している。 First, the user portable terminal 102 will be described. The user portable terminal 102 is, for example, a mobile phone, a personal digital assistant (PDA), a portable notebook personal computer, or the like. FIG. 2 is a diagram illustrating a hardware configuration of the user portable terminal. The user portable terminal 102 is connected to a memory 201, a computing device 202, a wireless communication device 203, a camera 204, a position detection device 205, an orientation detection device 206, and a display device 207 via a bus.

メモリ２０１は、プログラムをロードする他、各パラメータ、画像データ、仮想３次元空間データ、及び再現画像等を記憶するために用いられる。演算装置２０２は、ロードされたプログラムを順次読み出し実行する。無線通信デバイス２０３は、携帯電話網に接続する際の無線通信に用いられる。カメラ２０４は、撮像に用いる。位置検出デバイス２０５は、ＧＰＳ（全地球測位システム）あるいはＰＨＳの位置特定システムなどにより、利用者携帯端末１０２の位置（緯度・経度）を特定する。方位検出デバイス２０６は、利用者携帯端末１０２の向きを方位として求めるために用いる。通常は、利用者携帯端末１０２の向きは、カメラ２０４の撮像方位と一致する。一致しない場合には、利用者携帯端末１０２の向きに対するカメラ２０４の撮像方位の角度差を加減算することにより、利用者携帯端末１０２の向きに基づいてカメラ２０４の撮像方位を算出することができる。表示装置２０７は、撮像画像、操作画面、又はブラウザ等を表示するために用いる。 The memory 201 is used for loading each program, storing each parameter, image data, virtual three-dimensional space data, reproduced image, and the like. The arithmetic device 202 sequentially reads and executes the loaded programs. The wireless communication device 203 is used for wireless communication when connecting to a mobile phone network. The camera 204 is used for imaging. The position detection device 205 specifies the position (latitude / longitude) of the user portable terminal 102 by using a GPS (Global Positioning System) or a PHS position specifying system. The direction detection device 206 is used to obtain the direction of the user portable terminal 102 as the direction. Usually, the orientation of the user portable terminal 102 matches the imaging orientation of the camera 204. If they do not match, the imaging orientation of the camera 204 can be calculated based on the orientation of the user portable terminal 102 by adding or subtracting the angle difference of the imaging orientation of the camera 204 with respect to the orientation of the user portable terminal 102. The display device 207 is used to display a captured image, an operation screen, a browser, or the like.

続いて、利用者携帯端末１０２の処理概要について説明する。図３は、利用者携帯端末のメイン処理フローを示す図である。撮像表示起動処理（Ｓ３０１）で、撮影画像表示状態にする。再現方向指示受付処理（Ｓ３０２）で、再現方向の指示を受け付ける。方位取得処理（Ｓ３０３）で、方位検出デバイス２０６を用いて方位を検出し、撮像方位を得る。位置取得処理（Ｓ３０４）で、位置検出デバイス２０５を用いて現在位置を検出する。これらの方位取得処理（Ｓ３０３）と位置取得処理（Ｓ３０４）は、再現方向指示受付処理（Ｓ３０２）の直後に行われることが望ましい。これにより、指示時の利用者携帯端末１０２の状態における方位と位置を正確に検出することができる。撮像表示停止処理（Ｓ３０５）で、撮影画像表示状態を解除する。再現時点受付処理（Ｓ３０６）で、再現時点を受け付ける。再現画像要求送信処理（Ｓ３０７）で、再現画像要求を景観再現サーバ１０１に送信し、再現画像受信処理（Ｓ３０８）で、景観再現サーバ１０１から返信される再現画像を受信する。再現画像表示処理（Ｓ３０９）で、受信した再現画像を表示装置２０７に表示させる。 Next, an outline of processing of the user portable terminal 102 will be described. FIG. 3 is a diagram showing a main processing flow of the user portable terminal. In the imaging display activation process (S301), the captured image display state is set. In the reproduction direction instruction receiving process (S302), an instruction for the reproduction direction is received. In the azimuth acquisition process (S303), the azimuth detection device 206 is used to detect the azimuth and obtain the imaging azimuth. In the position acquisition process (S304), the current position is detected using the position detection device 205. These azimuth acquisition processing (S303) and position acquisition processing (S304) are preferably performed immediately after the reproduction direction instruction reception processing (S302). Thereby, the azimuth | direction and position in the state of the user portable terminal 102 at the time of instruction | indication can be detected correctly. In the imaging display stop process (S305), the captured image display state is canceled. In the re-current time reception process (S306), the re-current time is received. A reproduction image request is transmitted to the landscape reproduction server 101 in the reproduction image request transmission process (S307), and a reproduction image returned from the landscape reproduction server 101 is received in the reproduction image reception process (S308). In the reproduction image display process (S309), the received reproduction image is displayed on the display device 207.

データフローに従って各処理について詳述する。図４は、利用者携帯端末のモジュール構成を示す図である。利用者携帯端末１０２は、撮像表示指示部４０１、撮像制御部４０２、表示制御部４０３、再現方向指示受付部４０４、方位取得部４０５、位置取得部４０６、再現時点受付部４０７、再現画像要求送信部４０８、再現画像受信部４０９、及び再現画像表示部４１０の各モジュールを有している。 Each process will be described in detail according to the data flow. FIG. 4 is a diagram illustrating a module configuration of the user portable terminal. The user portable terminal 102 includes an imaging display instruction unit 401, an imaging control unit 402, a display control unit 403, a reproduction direction instruction reception unit 404, an orientation acquisition unit 405, a position acquisition unit 406, a recurrent time reception unit 407, and a reproduction image request transmission. A module 408, a reproduced image receiving unit 409, and a reproduced image display unit 410.

撮像表示指示部４０１は、撮像表示起動処理（Ｓ３０１）で、撮像制御部４０２に対して撮像動作を起動させるコマンドを発行し、更に表示制御部４０３に対して撮影画像を表示させるコマンドを発行する。これにより、表示制御部４０３は、撮像制御部４０２から連続的に撮影画像を取得する。 In the imaging display activation process (S301), the imaging display instruction unit 401 issues a command for starting the imaging operation to the imaging control unit 402, and further issues a command for displaying a captured image to the display control unit 403. . Accordingly, the display control unit 403 continuously acquires captured images from the imaging control unit 402.

再現方向指示受付部４０４は、再現方向指示受付処理（Ｓ３０２）で、再現方向指示受付画面を表示し、再現方向指示を受け付ける。なお、再現方向指示は、当該指示を行った時の方向と位置を、再現画像の領域を決定する基準とすることを意味している。例えば、利用者携帯端末１０２の実行ボタンを押下することにより指示する。 The reproduction direction instruction reception unit 404 displays a reproduction direction instruction reception screen and receives a reproduction direction instruction in the reproduction direction instruction reception process (S302). The reproduction direction instruction means that the direction and position when the instruction is given is used as a reference for determining the area of the reproduction image. For example, an instruction is given by pressing an execution button of the user portable terminal 102.

図５は、再現方向指示受付画面の例を示す図である。バック５０１には、撮影画像が表示される。これにより、利用者は再現画像の方位や位置関係を把握することができる。 FIG. 5 is a diagram illustrating an example of a reproduction direction instruction acceptance screen. A photographed image is displayed on the back 501. Thereby, the user can grasp | ascertain the azimuth | direction and positional relationship of a reproduction image.

方位取得部４０５は、方位取得処理（Ｓ３０３）で、方位検出デバイス２０６を用いて利用者携帯端末１０２の向きを方位として検出する。通常は、利用者携帯端末１０２の向きは、カメラ２０４の撮像方位と一致するので、検出した方位を撮像方位とする。一致しない場合には、利用者携帯端末１０２の向きに対するカメラ２０４の設置方位の角度差により、利用者携帯端末１０２の向きを補正して撮像方位を算出する。 The direction acquisition unit 405 detects the direction of the user portable terminal 102 as the direction using the direction detection device 206 in the direction acquisition process (S303). Normally, since the orientation of the user portable terminal 102 matches the imaging orientation of the camera 204, the detected orientation is set as the imaging orientation. If they do not match, the imaging orientation is calculated by correcting the orientation of the user portable terminal 102 based on the angular difference of the installation orientation of the camera 204 with respect to the orientation of the user portable terminal 102.

位置取得部４０６は、位置取得処理（Ｓ３０４）で、位置検出デバイス２０５を用いて利用者携帯端末１０２の現在位置（緯度・経度）を取得する。 In the position acquisition process (S304), the position acquisition unit 406 acquires the current position (latitude / longitude) of the user portable terminal 102 using the position detection device 205.

撮像表示指示部４０１は、撮像表示停止処理（Ｓ３０５）で、撮像制御部４０２に対して撮像動作を停止させるコマンドを発行し、更に表示制御部４０３に対して撮像画像の表示を停止させるコマンドを発行する。これにより撮影画像表示状態が解除される。 In the imaging display stop process (S305), the imaging display instruction unit 401 issues a command to stop the imaging operation to the imaging control unit 402, and further issues a command to stop the display of the captured image to the display control unit 403. Issue. This cancels the captured image display state.

再現時点受付部４０７は、再現時点受付処理（Ｓ３０６）で、再現時点受付画面を表示し、再現時点を受け付ける。図６は、再現時点受付画面の例を示す図である。例えば、テンキーより数字入力を受け付ける。スクロールやプルダウンにより年、月、日を選択するように構成することもできる。 The re-current time reception unit 407 displays a re-current time reception screen in the re-current time reception processing (S306) and receives the re-current time. FIG. 6 is a diagram illustrating an example of the re-current reception screen. For example, numeric input is accepted from a numeric keypad. It can also be configured to select the year, month, and day by scrolling or pull-down.

再現画像要求送信部４０８は、再現画像要求送信処理（Ｓ３０７）で、再現時点と視点と視線方位を含む再現画像要求を生成し、その再現画像要求を景観再現サーバ１０１へ送信する。その際、再現時点受付部４０７で受け付けた再現時間の他に、位置取得部４０６で取得した現在位置を視点位置（緯度・経度）として、方位取得部４０５で取得した撮像方位を視線方位として、再現画像要求に含める。 The reproduction image request transmission unit 408 generates a reproduction image request including the re-current time, the viewpoint, and the line-of-sight direction in the reproduction image request transmission process (S307), and transmits the reproduction image request to the landscape reproduction server 101. At that time, in addition to the reproduction time received by the re-current reception unit 407, the current position acquired by the position acquisition unit 406 is used as the viewpoint position (latitude / longitude), and the imaging direction acquired by the direction acquisition unit 405 is used as the line-of-sight direction. Include in replay image request.

再現画像受信処理（Ｓ３０８）と再現画像表示処理（Ｓ３０９）については、後述する。 The reproduced image reception process (S308) and the reproduced image display process (S309) will be described later.

次に、景観再現サーバ１０１の動作について説明する。図７は、景観再現サーバのメイン処理フローを示す図である。再現画像要求受信処理（Ｓ７０１）で、再現画像要求を受信する。再現地形抽出処理（Ｓ７０２）で、再現する地形３次元形状情報を抽出し、再現物体抽出処理（Ｓ７０３）で、再現する物体３次元形状情報を抽出する。２次元投射画像生成処理（Ｓ７０４）で、再現する地形３次元形状情報と物体物体３次元形状情報から２次元投射画像を生成し、再現画像送信処理（Ｓ７０５）で、生成した２次元投射画像を再現画像として、利用者携帯端末１０２に返信する。 Next, the operation of the landscape reproduction server 101 will be described. FIG. 7 is a diagram illustrating a main processing flow of the landscape reproduction server. In reproduction image request reception processing (S701), a reproduction image request is received. In the reproduction terrain extraction process (S702), the three-dimensional shape information to be reproduced is extracted, and in the reproduction object extraction process (S703), the three-dimensional shape information to be reproduced is extracted. In the two-dimensional projection image generation process (S704), a two-dimensional projection image is generated from the three-dimensional shape information to be reproduced and the three-dimensional shape information of the object, and the two-dimensional projection image generated in the reproduction image transmission process (S705). It returns to the user portable terminal 102 as a reproduction image.

データフローに従って、各処理について詳述する。図８は、景観再現サーバのモジュール構成を示す図である。景観再現サーバ１０１は、再現画像要求受信部８０１、再現画像要求記憶部８０２、地形３次元形状情報データベース８０３、再現地形抽出部８０４、再現地形３次元形状情報記憶部８０５、物体３次元形状情報データベース８０６、再現物体抽出部８０７、再現物体３次元形状情報記憶部８０８、２次元投射画像生成部８０９、再現画像記憶部８１０、及び再現画像送信部８１１の各モジュールを有している。 Each process will be described in detail according to the data flow. FIG. 8 is a diagram illustrating a module configuration of the landscape reproduction server. The landscape reproduction server 101 includes a reproduction image request receiving unit 801, a reproduction image request storage unit 802, a terrain three-dimensional shape information database 803, a reproduction terrain extraction unit 804, a reproduction terrain three-dimensional shape information storage unit 805, and an object three-dimensional shape information database. 806, a reproduced object extraction unit 807, a reproduced object three-dimensional shape information storage unit 808, a two-dimensional projection image generation unit 809, a reproduction image storage unit 810, and a reproduction image transmission unit 811.

地形３次元形状情報データベース８０３は、地形情報単位毎に有効期間と地形範囲に対応付けて、地形３次元形状情報を記憶している。地形情報単位は、国土全体の地形情報を分割して管理する単位である。例えば、所定サイズの地形地図に相当する単位である。有効期間は、その地形情報の有効な時期的な範囲である。この有効期間中は、その地形が維持されていたことを示している。地形範囲は、その地形情報単位で表される地理的な範囲である。例えば、矩形の緯度範囲と経度範囲で示される。地形３次元形状情報は、地形（つまり、地表面）を３次元空間に復元可能な情報である。例えば、地表面全体の多数の地点における緯度、経度、標高の３次元情報を有している。あるいは、メッシュ上に連続するベクトルにより地表面を表すベクトル情報群を有している。 The terrain 3D shape information database 803 stores terrain 3D shape information in association with the effective period and the terrain range for each terrain information unit. The terrain information unit is a unit for dividing and managing the terrain information of the entire country. For example, a unit corresponding to a terrain map of a predetermined size. The effective period is a valid time range of the topographic information. This indicates that the terrain was maintained during this validity period. The terrain range is a geographical range represented by the terrain information unit. For example, it is indicated by a rectangular latitude range and longitude range. The topographic three-dimensional shape information is information that can restore the topography (that is, the ground surface) to a three-dimensional space. For example, it has three-dimensional information of latitude, longitude, and altitude at many points on the entire ground surface. Or it has the vector information group which represents the ground surface by the vector which continues on a mesh.

物体３次元形状情報データベース８０６は、物体毎に有効期間と所在地に対応付けて、物体３次元形状情報を記憶している。物体には、例えばビル、家屋、倉庫、橋梁やダムなどの建築物の他、恐竜や動物などの生物なども含まれる。有効期間は、その物体が有効な時期的な範囲である。この有効期間中は、その物体が存在していたことを示している。つまり、存在期間ということもできる。所在地は、物体が存在した位置（緯度・経度）である。物体３次元形状情報は、物体の形態（少なくとも外形）を３次元空間に復元可能な情報である。例えば、物体の設計図面情報や生体情報を有し、あるいは境界面を定義するベクトル情報を有している。また、物体３次元形状情報は、方位も定義されている。なお、前記物体が（所在地を一意に特定することが困難である）生物である場合に、当該所在地は当該生物の生息域内における任意の地点を予め設定するように構成されてもよい。 The object three-dimensional shape information database 806 stores object three-dimensional shape information in association with an effective period and a location for each object. Objects include, for example, buildings, houses, warehouses, buildings such as bridges and dams, and creatures such as dinosaurs and animals. The effective period is a time range in which the object is effective. It indicates that the object was present during this effective period. In other words, it can also be called the existence period. The location is the position (latitude / longitude) where the object exists. The object three-dimensional shape information is information that can restore the form (at least the outer shape) of the object to a three-dimensional space. For example, it has design drawing information and biological information of an object, or vector information that defines a boundary surface. In the object three-dimensional shape information, the direction is also defined. When the object is an organism (it is difficult to uniquely identify the location), the location may be configured to set an arbitrary point in the habitat of the organism in advance.

再現画像要求受信部８０１は、再現画像要求受信処理（Ｓ７０１）で、再現時点と視点と視線方位を含む再現画像要求を受信し、受信した再現画像要求を再現画像要求記憶部８０２に記憶させる。 The reproduced image request receiving unit 801 receives a reproduced image request including the recurrent time, the viewpoint, and the line-of-sight direction in the reproduced image request receiving process (S701), and stores the received reproduced image request in the reproduced image request storage unit 802.

再現地形抽出部８０４は、再現地形抽出処理（Ｓ７０２）で、地形３次元形状情報データベース８０３から再現に必要な地形情報を抽出する。図９は、再現地形抽出処理フローを示す図である。まず、再現地形領域を設定する（Ｓ９０１）。再現地形領域は、仮想の３次元空間に展開する地形の地理範囲である。 The reproduced terrain extraction unit 804 extracts terrain information necessary for reproduction from the terrain three-dimensional shape information database 803 in the reproduced terrain extraction process (S702). FIG. 9 is a diagram showing a reproduction terrain extraction process flow. First, a reproduction terrain area is set (S901). The reproduced terrain region is a geographical range of terrain developed in a virtual three-dimensional space.

再現地形領域について、平面図を用いて説明する。図１０は、再現領域の概要を示す図である。１００１は、視点を示している。１００２は、視線方位を示している。１００３と１００４は、視野境界線である。視野境界線は、視野方位から視野角θだけ両側に開いた線である。１００５は、再現地形領域の視点寄りの境界線（手前境界線）である。この例では、視点１００１から所定近距離の曲線である。１００７は、再現地形領域の視点と反対側の境界線（遠方境界線）である。この例では、視点１００１から所定遠距離の曲線である。再現地形領域は、これらの右方視界境界線１００３と左方視界境界線１００４と再現地形領域の手前境界線１００５と再現地形領域の遠方境界線１００７により囲まれた領域である。従って、１０１４の丘陵は再現地形領域に含まれるが、１０１３の丘陵は含まれない。尚、１００８〜１０１２は、物体を示している。１０１３と１０１４は、丘陵を示している。 The reproduced landform area will be described using a plan view. FIG. 10 is a diagram showing an outline of the reproduction area. Reference numeral 1001 denotes a viewpoint. Reference numeral 1002 denotes a viewing direction. Reference numerals 1003 and 1004 denote visual field boundary lines. The visual field boundary line is a line opened on both sides by the visual field angle θ from the visual field orientation. Reference numeral 1005 denotes a boundary line (front boundary line) closer to the viewpoint of the reproduced terrain area. In this example, the curve is a predetermined short distance from the viewpoint 1001. Reference numeral 1007 denotes a boundary line (distant boundary line) opposite to the viewpoint of the reproduced terrain area. In this example, the curve is a predetermined long distance from the viewpoint 1001. The reproduced terrain area is an area surrounded by the right visual field boundary line 1003, the left visual field boundary line 1004, the near boundary line 1005 of the reproduced terrain area, and the far boundary line 1007 of the reproduced terrain area. Accordingly, 1014 hills are included in the reconstructed terrain area, but 1013 hills are not included. Reference numerals 1008 to 1012 denote objects. Reference numerals 1013 and 1014 denote hills.

Ｓ９０１では、視点を中心に所定の視野角を左右に回転させることにより、右方視界境界線１００３と左方視界境界線１００４を求め、更に視点から所定近距離の曲線（円弧）と所定遠距離の曲線（円弧）を求めることにより、再現地形領域を定める。 In step S901, a right viewing boundary line 1003 and a left viewing boundary line 1004 are obtained by rotating a predetermined viewing angle left and right around the viewpoint, and further, a predetermined short distance curve (arc) and a predetermined long distance from the viewpoint. The terrain area to be reproduced is determined by obtaining the curve (arc).

続いて、地形情報単位毎に以下の処理を繰り返す（Ｓ９０２）。地形３次元形状情報データベース８０３から、当該地形情報単位の有効期間と地形範囲を読み込み（Ｓ９０３）、再現画像要求記憶部８０２から再現時点を読み取り、有効期間が時期として再現時点を含むかを判定する（Ｓ９０４）。再現時点を含まない場合には、当該地形情報単位についての処理を終了し、Ｓ９０７に移行する。再現時点を含む場合には、更に地形範囲の一部又は全部が再現地形領域に含まれるかを判定する（Ｓ９０５）。つまり、地形範囲と再現地形領域が、少なくとも一部が重複するかを判定する。再現地形領域に含まれない場合には、当該地形情報単位についての処理を終了し、Ｓ９０７に移行する。再現地形領域に含まれる場合には、当該地形情報単位の地形３次元形状情報を再現地形３次元形状情報として再現地形３次元形状情報記憶部８０５に記憶させる（Ｓ９０６）。すべての地形情報単位について処理した時点で終了する（Ｓ９０７）。なお、本実施例においては全ての地形情報を対象としているが、対象となる地形情報を利用者携帯端末の位置情報に基づいて予め限定するように構成してもよい。 Subsequently, the following processing is repeated for each terrain information unit (S902). The effective period and terrain range of the terrain information unit are read from the terrain three-dimensional shape information database 803 (S903), the re-current time is read from the reproduction image request storage unit 802, and it is determined whether the effective period includes the re-current time as the time. (S904). If the current time is not included, the processing for the terrain information unit is terminated, and the process proceeds to S907. When the recurrent time is included, it is further determined whether a part or all of the terrain range is included in the reproduced terrain region (S905). That is, it is determined whether at least a part of the terrain range and the reproduced terrain region overlap. If it is not included in the reproduced terrain area, the processing for the terrain information unit is terminated, and the process proceeds to S907. If it is included in the reproduced terrain area, the terrain 3D shape information of the terrain information unit is stored in the reproduced terrain 3D shape information storage unit 805 as reproduced terrain 3D shape information (S906). The process ends when all the terrain information units are processed (S907). In the present embodiment, all terrain information is targeted, but the terrain information to be targeted may be limited in advance based on the position information of the user portable terminal.

再現物体抽出部８０７は、再現物体抽出処理（Ｓ７０３）で、物体３次元形状情報データベース８０６から再現に必要な物体の形状情報を抽出する。 The reproduced object extraction unit 807 extracts object shape information necessary for reproduction from the object three-dimensional shape information database 806 in the reproduced object extraction process (S703).

図１１は、再現物体抽出処理フローを示す図である。再現物体領域を設定する（Ｓ１１０１）。再現物体領域は、仮想の３次元空間に物体を展開する地理範囲である。つまり、仮想の３次元空間に展開すべき再現対象の物体を所在地で特定する所在地の範囲条件である。 FIG. 11 is a diagram showing a reproduction object extraction process flow. A reproduction object region is set (S1101). The reproduced object area is a geographical area where an object is developed in a virtual three-dimensional space. That is, it is a location range condition that specifies an object to be reproduced to be developed in a virtual three-dimensional space by location.

再現物体領域について図１０を用いて説明する。１００５は、再現物体領域の視点寄りの手前境界線でもある。この例では、視点１００１から所定近距離の曲線である。１００６は、再現物体領域の視点と反対側の遠方境界線である。この例では、視点１００１から所定遠距離の曲線である。再現物体領域は、右方視界境界線１００３と左方視界境界線１００４と再現物体領域の手前境界線１００５と再現物体領域の遠方境界線１００６により囲まれた領域である。従って、１０１０と１０１１の物体は再現物体領域に含まれるが、他の物体は含まれない。この例では、再現地形領域の手前境界線と再現物体領域の手前境界線が一致するが、両手前境界線１００５は、別であっても構わない。また、再現地形領域の遠方境界線１００７と再現物体領域の遠方境界線１００６が別であるが、両遠方境界線は、一致しても構わない。 The reproduced object area will be described with reference to FIG. Reference numeral 1005 denotes a near boundary line closer to the viewpoint of the reproduced object region. In this example, the curve is a predetermined short distance from the viewpoint 1001. Reference numeral 1006 denotes a far boundary line opposite to the viewpoint of the reproduced object region. In this example, the curve is a predetermined long distance from the viewpoint 1001. The reproduced object area is an area surrounded by the right visual field boundary line 1003, the left visual field boundary line 1004, the front boundary line 1005 of the reproduced object area, and the far boundary line 1006 of the reproduced object area. Accordingly, the objects 1010 and 1011 are included in the reproduction object region, but other objects are not included. In this example, the near boundary line of the reproduction topography area and the near boundary line of the reproduction object area coincide with each other, but the both boundary lines 1005 may be different. Further, although the far boundary line 1007 of the reproduction topography region and the far boundary line 1006 of the reproduction object region are different, the far boundary lines may be coincident.

そして、物体毎に以下の処理を繰り返す（Ｓ１１０２）。物体３次元形状情報データベース８０６から、当該物体の有効期間と所在地を読み込み（Ｓ１１０３）、再現画像要求記憶部８０２から再現時点を読み取り、有効期間が時期として再現時点を含むかを判定する（Ｓ１１０４）。再現時点を含まない場合には、当該物体についての処理を終了し、Ｓ１１０７に移行する。再現時点を含む場合には、更に所在地が再現物体領域に含まれるかを判定する（Ｓ１１０５）。再現物体領域に含まれない場合は、当該物体についての処理を終了し、Ｓ１１０７に移行する。再現物体領域に含まれる場合には、当該物体の物体３次元形状情報を再現物体３次元形状情報として、所在地と対応付けて再現物体３次元形状情報記憶部８０８に記憶させる（Ｓ１１０６）。すべての物体について処理した時点で終了する（Ｓ１１０７）。なお、本実施例においては全ての物体を対象としているが、対象となる物体を利用者携帯端末の位置情報に基づいて予め限定するように構成してもよい。 Then, the following processing is repeated for each object (S1102). The effective period and location of the object are read from the object three-dimensional shape information database 806 (S1103), the re-current time is read from the reproduction image request storage unit 802, and it is determined whether the effective period includes the re-current time (S1104). . If the current time is not included, the process for the object is terminated, and the process proceeds to S1107. If the recurrent time is included, it is further determined whether the location is included in the reproduced object area (S1105). If it is not included in the reproduced object area, the process for the object is terminated, and the process proceeds to S1107. If it is included in the reproduced object area, the object three-dimensional shape information of the object is stored in the reproduced object three-dimensional shape information storage unit 808 as reproduced object three-dimensional shape information in association with the location (S1106). The process ends when all the objects have been processed (S1107). Although all objects are targeted in the present embodiment, the object to be targeted may be limited in advance based on the position information of the user portable terminal.

２次元投射画像生成部８０９は、２次元投射画像生成処理（Ｓ７０４）で、再現地形３次元形状情報記憶部８０５と再現物体３次元形状情報記憶部８０８の情報に基づいて、再現画像となる２次元投射画像を生成する。この処理は、３次元コンピュータグラフィックスの手法による行われる。つまり、仮想の３次元空間上の形状情報から、それらを平面上に投射した２次元画像を生成する。仮想の３次元空間は、２次元投射画像生成部８０９内の記憶領域を用いて論理的に構成される。 The two-dimensional projection image generation unit 809 is a two-dimensional projection image generation process (S704), and becomes a reproduction image based on information in the reproduction landform three-dimensional shape information storage unit 805 and reproduction object three-dimensional shape information storage unit 808. A three-dimensional projection image is generated. This process is performed by a three-dimensional computer graphics technique. That is, a two-dimensional image obtained by projecting them on a plane is generated from shape information in a virtual three-dimensional space. The virtual three-dimensional space is logically configured using a storage area in the two-dimensional projection image generation unit 809.

図１２は、２次元投射画像生成処理フローを示す図である。また、図１３は、２次元投射画像生成部の構成を示す図である。地形モデリング部１３０１の地形モデリング処理（Ｓ１２０１）で、仮想の３次元空間に地表面の形状を生成する。再現地形３次元形状情に含まれる各地点の緯度・経度・標高から地上面をポリゴンの集合で定義する。ポリゴンは、三角形や四角形といった多角形であり、連続するポリゴンにより地表面を表現する。ポリゴンによらず、自由曲面によって面を定義することも有効である。形状を定義する他、材質、色、反射率など所定の設定値を設定する。このように、仮想の３次元空間に生成された地表面の形状を地形オブジェクト（地形モデル）という。地形オブジェクトは、地形オブジェクト記憶部１３０２に記憶される。 FIG. 12 is a diagram showing a two-dimensional projection image generation processing flow. FIG. 13 is a diagram illustrating a configuration of a two-dimensional projection image generation unit. In the terrain modeling process (S1201) of the terrain modeling unit 1301, the shape of the ground surface is generated in a virtual three-dimensional space. The ground surface is defined by a set of polygons based on the latitude, longitude, and altitude of each point included in the reproduced terrain 3D shape information. The polygon is a polygon such as a triangle or a quadrangle, and the ground surface is expressed by a continuous polygon. It is also effective to define a surface by a free-form surface regardless of the polygon. In addition to defining the shape, predetermined set values such as material, color, and reflectance are set. Thus, the shape of the ground surface generated in the virtual three-dimensional space is called a terrain object (terrain model). The terrain object is stored in the terrain object storage unit 1302.

次に、物体モデリング部１３０３の物体モデリング処理（Ｓ１２０２）で、仮想の３次元空間に物体の形状を生成する。再現物体３次元形状情に含まれる物体の設計図面情報、生体情報、や境界面を定義するベクトル情報などに基づいて、物体表面をポリゴンの集合で定義する。ポリゴンは、三角形や四角形といった多角形であり、連続するポリゴンにより物体表面を表現する。ポリゴンによらず、自由曲面によって面を定義することも有効である。形状の定義の他、材質、色、反射率など所定の設定値を設定する。このように、仮想の３次元空間に生成された物体表面の形状を物体オブジェクト（物体モデル）という。物体オブジェクトは、物体オブジェクト記憶部１３０４に記憶される。 Next, an object modeling process (S1202) of the object modeling unit 1303 generates an object shape in a virtual three-dimensional space. The object surface is defined as a set of polygons based on the design drawing information of the object included in the reproduced object three-dimensional shape information, biological information, vector information defining the boundary surface, and the like. The polygon is a polygon such as a triangle or a quadrangle, and the object surface is expressed by a continuous polygon. It is also effective to define a surface by a free-form surface regardless of the polygon. In addition to the shape definition, predetermined setting values such as material, color, and reflectance are set. Thus, the shape of the object surface generated in the virtual three-dimensional space is referred to as an object object (object model). The object object is stored in the object object storage unit 1304.

次に、シーンレイアウト設定部１３０５のシーンレイアウト設定処理（Ｓ１２０３）で、生成したオブジェクト群のレイアウト（配置）を行う。レイアウトは、緯度・経度・標高の絶対的位置と方位を基準とする。地形オブジェクト記憶部１３０２から地形オブジェクトを読み込み、物体オブジェクト記憶部１３０４から読み込んだ各物体オブジェクトの所在地に相当する地点の地形オブジェクトの地表面に、当該物体オブジェクトを、方位を合わせて配置することにより、地形オブジェクトと物体オブジェクトを合成する。更に、所定の位置に光源を設定し、視点の地表面から所定高さ分上の位置にカメラ（仮想カメラ）を設定する。例えば、視点（緯度・経度）の地表面（標高）から１５０ｃｍ程度（人の目の高さに相当）上方にカメラ位置を定める。また、視線方位の略水平方向にカメラの撮影方向を設定する。光源は、例えば太陽の位置に相当するように設定する。この手順により、仮想的な舞台となるシーン情報を得る。生成したシーンは、シーン記憶部１３０６に記憶される。 Next, in the scene layout setting process (S1203) of the scene layout setting unit 1305, the generated object group is laid out (arranged). The layout is based on the absolute position and orientation of latitude, longitude, and altitude. By reading the terrain object from the terrain object storage unit 1302 and arranging the object object on the ground surface of the terrain object at the location corresponding to the location of each object object read from the object object storage unit 1304, the orientation is aligned, Combining terrain objects and object objects. Furthermore, a light source is set at a predetermined position, and a camera (virtual camera) is set at a position a predetermined height above the ground surface of the viewpoint. For example, the camera position is determined approximately 150 cm (corresponding to the height of the human eye) from the ground surface (elevation) of the viewpoint (latitude / longitude). In addition, the shooting direction of the camera is set substantially in the horizontal direction of the line-of-sight direction. The light source is set so as to correspond to the position of the sun, for example. By this procedure, scene information that is a virtual stage is obtained. The generated scene is stored in the scene storage unit 1306.

レンダリング部１３０７のレンダリング処理（Ｓ１２０４）で、シーン記憶部１３０６からシーンを読み出して、仮想的なカメラに写されるはずの画像を生成する。つまり、オブジェクトの形状や位置、光の当り具合などについて周知手段により計算し、最終的な２次元への投射画像を生成する。２次元投射画像は、再現画像として再現画像記憶部８１０に記憶される。 In the rendering process (S1204) of the rendering unit 1307, the scene is read from the scene storage unit 1306, and an image that should be copied to the virtual camera is generated. That is, the shape and position of the object, the degree of light hitting, and the like are calculated by known means, and a final two-dimensional projection image is generated. The two-dimensional projection image is stored in the reproduction image storage unit 810 as a reproduction image.

最後に再現画像送信部８１１は、再現画像送信処理（Ｓ７０５）で、生成した再現画像を再現画像記憶部８１０から読み出して、利用者携帯端末１０２に送信する。 Finally, the reproduction image transmission unit 811 reads out the generated reproduction image from the reproduction image storage unit 810 and transmits it to the user portable terminal 102 in the reproduction image transmission process (S705).

そして、利用者携帯端末１０２側では、図４の再現画像受信部４０９が、再現画像受信処理（Ｓ３０８）で、再現画像を受信し、再現画像表示部４１０が、再現画像表示処理（Ｓ３０９）で、受信した再現画像を表示装置２０７に表示させる。 On the user portable terminal 102 side, the reproduced image receiving unit 409 in FIG. 4 receives the reproduced image in the reproduced image receiving process (S308), and the reproduced image display unit 410 in the reproduced image display process (S309). The received reproduced image is displayed on the display device 207.

実施の形態２．
実施の形態１では、再現地形抽出処理において、再現地形領域の判定を行ったが、再現地形領域の判定を省略することもできる。 Embodiment 2. FIG.
In the first embodiment, the reproduced terrain area is determined in the reproduced terrain extraction process, but the determination of the reproduced terrain area may be omitted.

図１４は、実施の形態２に係る再現地形抽出処理フローを示す図である。この例では、図９のＳ９０１での再現地形領域の設定と、Ｓ９０５での地形範囲が再現地形領域を含むかの判定を行なわない。また、Ｓ９０３に相当するＳ１４０２で地形３次元形状情報データベース８０３から地形範囲を読み取ることも要しない。 FIG. 14 is a diagram illustrating a reproduction terrain extraction process flow according to the second embodiment. In this example, the setting of the reproduced terrain area in S901 in FIG. 9 and the determination of whether the terrain area in S905 includes the reproduced terrain area are not performed. Further, it is not necessary to read the terrain range from the terrain three-dimensional shape information database 803 in S1402 corresponding to S903.

例えば、３次元空間として再現できる対象地形自体が狭い場合には、地形を展開する領域を限定する効果は小さい。 For example, when the target terrain itself that can be reproduced as a three-dimensional space is narrow, the effect of limiting the region where the terrain is developed is small.

実施の形態３．
実施の形態１では、再現物体抽出処理において、再現物体領域の判定を行ったが、再現物体領域の判定を省略することもできる。 Embodiment 3 FIG.
In the first embodiment, the reproduction object area is determined in the reproduction object extraction process. However, the determination of the reproduction object area may be omitted.

図１５は、実施の形態３に係る再現物体抽出処理フローを示す図である。この例では、図１１のＳ１１０１での再現物体領域の設定と、Ｓ１１０５での所在地が再現物体領域を含むかの判定を行なわない。 FIG. 15 is a diagram illustrating a reproduction object extraction processing flow according to the third embodiment. In this example, the setting of the reproduced object area in S1101 of FIG. 11 and the determination of whether the location in S1105 includes the reproduced object area are not performed.

例えば、３次元空間として再現できる対象物体が限られている場合には、物体を領域で限定する効果は小さい。 For example, when the target objects that can be reproduced as a three-dimensional space are limited, the effect of limiting the objects by area is small.

実施の形態４．
前述の実施の形態では、地形及び物体を再現する例を示したが、物体のみを再現し、地形は再現しない形態も考えられる。 Embodiment 4 FIG.
In the above-described embodiment, an example in which the terrain and the object are reproduced is shown. However, a form in which only the object is reproduced and the terrain is not reproduced is also conceivable.

図１６は、実施の形態４に係る景観再現サーバのメイン処理フローを示す図である。この例では、図７の再現地形抽出処理（Ｓ７０２）を省いている。 FIG. 16 is a diagram illustrating a main processing flow of the landscape reproduction server according to the fourth embodiment. In this example, the reproduction landform extraction process (S702) of FIG. 7 is omitted.

図１７は、実施の形態４に係る２次元投射画像生成処理フローを示す図である。この例では、図１２の地形モデリング処理（Ｓ１２０１）を省いている。また、シーンレイアウト設定処理（Ｓ１７０２）では、物体オブジェクトを基準面（一定高さ）に配置し、仮想カメラも基準面から所定の高さの位置に設定する。 FIG. 17 is a diagram showing a two-dimensional projection image generation processing flow according to the fourth embodiment. In this example, the terrain modeling process (S1201) of FIG. 12 is omitted. In the scene layout setting process (S1702), the object is placed on the reference plane (fixed height), and the virtual camera is also set at a predetermined height from the reference plane.

図１８は、実施の形態４に係る再現画像の例を示す図である。地形の起伏が少ない平坦地、例えば市街地などでは、地形を省略しても景観の再現における現実との差異は小さい。 FIG. 18 is a diagram illustrating an example of a reproduced image according to the fourth embodiment. On flat terrain where there are few terrain terrains, such as urban areas, even if the terrain is omitted, the difference from the reality in the reproduction of the landscape is small.

実施の形態５．
上述の例では、再現時点受付部４０７において利用者携帯端末１０２のテンキー等より数字入力を受け付ける例を示したが、方位検出デバイス２０６及び傾き検出デバイス２０８により利用者携帯端末１０２の本体回転数や本体回転角を検出し、その回転数や回転角度によって、年、月、日を指示することもできる。 Embodiment 5 FIG.
In the above example, the re-current time reception unit 407 receives a numeric input from the numeric keypad or the like of the user portable terminal 102, but the orientation detection device 206 and the inclination detection device 208 can detect the number of rotations of the main body of the user portable terminal 102. The main body rotation angle can be detected, and the year, month, and day can be indicated by the number of rotations and the rotation angle.

例えば、回転数や回転各度に所定期間（例えば１０年、１年、１月、１日など）を乗ずることにより、再現する年、月、日の数を算出することが有効である。 For example, it is effective to calculate the number of years, months, and days to be reproduced by multiplying the number of rotations and each rotation by a predetermined period (for example, 10 years, 1 year, January, 1 day, etc.).

上述の例では、過去を再現時点としたが、未来を再現時点とすることも考えられる。例えば、地形の変化が予測できる場合や物体の建造計画が明確な場合には特に有効である。 In the above example, the past is set as the current time again, but the future may be set as the current time again. For example, it is particularly effective when a change in terrain can be predicted or when an object construction plan is clear.

再現時点を年月日で特定したが、年月のみ、あるいは年だけでもよい。また年号や、時代名で特定することも有効である。 The re-current time is specified by date, but only the year or year may be used. It is also effective to specify the year and name.

景観再現サーバ１０１と利用者携帯端末１０２は、コンピュータであり、各要素はプログラムにより処理を実行することができる。また、プログラムを記憶媒体に記憶させ、記憶媒体からコンピュータに読み取られるようにすることができる。 The landscape reproduction server 101 and the user portable terminal 102 are computers, and each element can execute processing by a program. Further, the program can be stored in a storage medium so that the computer can read the program from the storage medium.

１０１景観再現サーバ
１０２利用者携帯端末
２０１メモリ
２０２演算装置
２０３無線通信デバイス
２０４カメラ
２０５位置検出デバイス
２０６方位検出デバイス
２０７表示装置
２０８傾き検出デバイス
４０１撮像表示指示部
４０２撮像制御部
４０３表示制御部
４０４再現方向指示受付部
４０５方位取得部
４０６位置取得部
４０７再現時点受付部
４０８再現画像要求送信部
４０９再現画像受信部
４１０再現画像表示部
８０１再現画像要求受信部
８０２再現画像要求記憶部
８０３地形３次元形状情報データベース
８０４再現地形抽出部
８０５再現地形３次元形状情報記憶部
８０６物体３次元形状情報データベース
８０７再現物体抽出部
８０８再現物体３次元形状情報記憶部
８０９２次元投射画像生成部
８１０再現画像記憶部
８１１再現画像送信部
１００１視点
１００２視線方位
１００３右方視界境界線
１００４左方視界境界線
１００５手前境界線
１００６再現物体領域の遠方境界線
１００７再現地形領域の遠方境界線
１００８〜１０１２物体
１０１３、１０１４丘陵
１３０１地形モデリング部
１３０２地形オブジェクト記憶部
１３０３物体モデリング部
１３０４物体オブジェクト記憶部
１３０５シーンレイアウト設定部
１３０６シーン記憶部
１３０７レンダリング部

DESCRIPTION OF SYMBOLS 101 Landscape reproduction server 102 User portable terminal 201 Memory 202 Arithmetic apparatus 203 Wireless communication device 204 Camera 205 Position detection device 206 Direction detection device 207 Display apparatus 208 Tilt detection device 401 Imaging display instruction part 402 Imaging control part 403 Display control part 404 Reproduction Direction instruction reception unit 405 Orientation acquisition unit 406 Position acquisition unit 407 Re-current time reception unit 408 Reproduction image request transmission unit 409 Reproduction image reception unit 410 Reproduction image display unit 801 Reproduction image request reception unit 802 Reproduction image request storage unit 803 Topographic three-dimensional shape Information database 804 Reproduction terrain extraction unit 805 Reproduction terrain 3D shape information storage unit 806 Object 3D shape information database 807 Reproduction object extraction unit 808 Reproduction object 3D shape information storage unit 809 2D projection image generation unit 810 Reproduction image storage unit 11 Reproduced Image Transmission Unit 1001 Viewpoint 1002 Gaze Direction 1003 Right View Boundary Line 1004 Left View Boundary Line 1005 Near Boundary Line 1006 Reproduced Object Area Far Boundary Line 1007 Reproduced Terrain Area Far Boundary Lines 1008 to 1012 Objects 1013 and 1014 Hill 1301 Terrain modeling unit 1302 Terrain object storage unit 1303 Object modeling unit 1304 Object object storage unit 1305 Scene layout setting unit 1306 Scene storage unit 1307 Rendering unit

Claims

A landscape reproduction system consisting of a user mobile terminal and a landscape reproduction server connected to each other via a network,
User mobile devices
(A) an orientation acquisition unit that detects the orientation of the user mobile terminal as the orientation;
(B) a position acquisition unit that detects the position of the user portable terminal;
(C) a re-current time reception unit that accepts a re-current time as a standard for landscape reproduction;
(D) The detected azimuth is the viewing direction, the detected position is the viewpoint, the re-current time point, and the reproduction image request transmission unit that transmits the reproduction image request including the viewpoint and the viewing direction to the landscape reproduction server,
The landscape reproduction server
(1) A re-image request receiving unit that receives a re-image request including a re-current time point, a viewpoint, and a line-of-sight direction;
(2) Object three-dimensional shape information database that stores object three-dimensional shape information indicating a three-dimensional shape of an object in association with an existence period indicating a period in which the object exists and a location indicating a position where the object exists. When,
(3) Reproduced object for extracting the object three-dimensional shape information of an object that includes the re-present time of the reconstructed image request in the existence period and the reconstructed object region set based on the viewpoint and the line-of-sight direction includes the location An extractor;
(4) for each extracted object object 3-dimensional shape information, reproduced image generation unit that generates a reproduced image obtained by placing the physical objects indicating the object location of the object in a virtual three-dimensional space indicating the reproduction object region When,
(5) having a reproduction image transmission unit that returns the generated reproduction image to the user portable terminal;
The user portable terminal further includes (e) a reproduction image receiving unit that receives the reproduction image;
(F) A landscape reproduction system having a reproduction image display unit for displaying a received reproduction image.

The reproduced image generation unit
Projecting the viewpoint included in the reproduced image request as the position of the virtual camera, a gaze direction included in the reproduced image request as the imaging direction of the virtual camera, the object object included in the reproduced image in the virtual camera in a two-dimensional The landscape reproduction system according to claim 1, wherein the two-dimensional projection image is generated.

The landscape reproduction server
A terrain 3D shape information database for storing terrain 3D shape information indicating a 3D shape of the terrain in association with a maintenance period indicating a period during which the terrain was maintained and a terrain range of the terrain ;
The terrain three-dimensional shape information of the terrain including the recurrent time of the reproduction image request in the maintenance period and including at least a part of the terrain range in the reproduction terrain region set based on the viewpoint and the line-of-sight direction is extracted. Has a reproduction terrain extraction part,
The reproduction image generating unit based on the extracted topographical 3-dimensional shape information of the terrain to produce the shape of the ground surface indicating the terrain in a three-dimensional space of the virtual indicating the reproduction terrain area, the extracted object three-dimensional shape The landscape reproduction system according to claim 1 or 2, wherein a reproduction image in which an object object indicating the object is arranged on the ground surface indicating the generated terrain is generated for each piece of information.

The landscape reproduction server, when the object is a living thing, sets an arbitrary point in the habitat of the living object as the location of the object in the object three-dimensional shape information database. The landscape reproduction system according to any one of the above.

The landscape reproduction system according to any one of claims 1 to 4 , wherein the re-current time reception unit specifies a re-current time based on a main body rotation speed or a main body rotation angle of a user portable terminal.

A landscape reproduction server connected to a user portable terminal via a network, characterized by having the following elements: (1) Receiving a reproduction image request including the current time, viewpoint, and gaze direction (2) The object 3D shape information indicating the 3D shape of the object is stored in association with the existence period indicating the period in which the object exists and the location indicating the position where the object exists. Object three-dimensional shape information database (3) The object three-dimensional shape of an object including the re-present time of a reproduction image request in the existence period and including the location in a reproduction object region set based on the viewpoint and the line-of-sight direction reproduction object extraction unit for extracting information (4) for each extracted object object 3-dimensional shape information, the object location of the object in a virtual three-dimensional space indicating the reproduction object region Reproduced image generation unit (5) and returns the generated reproduced image in the user portable terminal reproduced image transmitting unit that generates a reproduced image obtained by placing the physical object shown.

An object three-dimensional shape information database for storing object three-dimensional shape information indicating a three-dimensional shape of an object in association with an existence period indicating a period in which the object exists and a location indicating a position where the object exists A landscape reproduction method by a landscape reproduction server connected to a user portable terminal via a network, the landscape reproduction method characterized by having the following elements: (1) Re-present, including viewpoint and gaze direction Reproduced image request receiving step of receiving a reproduced image request (2) An object including the recurrent time of the reproduced image request in the existence period and including the location in a reproduced object region set based on the viewpoint and the viewing direction the object 3-dimensional shape information to reproduce the object extraction step (3) for each extracted object object 3-dimensional shape information to be extracted, and the in a virtual three-dimensional space indicating the reproduction object region It reproduced image transmitting step of returning the reproduced image generating step (4) generated reproduced image to generate a reproduced image obtained by placing the physical objects indicating the object on the location of the body to the user portable terminal.

An object three-dimensional shape information database for storing object three-dimensional shape information indicating a three-dimensional shape of an object in association with an existence period indicating a period in which the object exists and a location indicating a position where the object exists , A program for causing a computer to be a landscape reproduction server connected to a user portable terminal via a network to execute the following procedure: (1) Reproduction that receives a reproduction image request including a current time, a viewpoint, and a gaze direction Image request reception procedure (2) Object three-dimensional shape information of an object including the re-present time of a reproduction image request in the existence period and including the location in a reproduction object region set based on the viewpoint and the line-of-sight direction extraction reproducibility object extraction procedure (3) for each extracted object object 3-dimensional shape information of that, the location of the object in a virtual three-dimensional space indicating the reproduction object region Reproduced image transmission procedure that returns a reproduction image reproduced image generation procedure (4) was produced to generate a reproduced image obtained by placing the physical objects indicating the object to the user portable terminal.