JP4965475B2 - Virtual moving display device - Google Patents

Virtual moving display device Download PDF

Info

Publication number
JP4965475B2
JP4965475B2 JP2008025429A JP2008025429A JP4965475B2 JP 4965475 B2 JP4965475 B2 JP 4965475B2 JP 2008025429 A JP2008025429 A JP 2008025429A JP 2008025429 A JP2008025429 A JP 2008025429A JP 4965475 B2 JP4965475 B2 JP 4965475B2
Authority
JP
Japan
Prior art keywords
image
shooting
images
unit
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008025429A
Other languages
Japanese (ja)
Other versions
JP2009187210A5 (en
JP2009187210A (en
Inventor
孝子 花井
修 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Olympus Imaging Corp
Original Assignee
Olympus Corp
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp, Olympus Imaging Corp filed Critical Olympus Corp
Priority to JP2008025429A priority Critical patent/JP4965475B2/en
Priority to US12/364,574 priority patent/US8717411B2/en
Priority to CN 200910006169 priority patent/CN101505376B/en
Publication of JP2009187210A publication Critical patent/JP2009187210A/en
Publication of JP2009187210A5 publication Critical patent/JP2009187210A5/ja
Application granted granted Critical
Publication of JP4965475B2 publication Critical patent/JP4965475B2/en
Priority to US14/175,854 priority patent/US9412204B2/en
Priority to US15/228,927 priority patent/US9807354B2/en
Priority to US15/723,935 priority patent/US10027931B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、撮影された撮影位置情報付きの画像から撮影者の行動を地図画像上に再現する仮想移動表示装置に関する。   The present invention relates to a virtual moving display device that reproduces a photographer's action on a map image from a photographed image with photographing position information.

近年、グーグル(登録商標)マップのように、3次元(3D)画像によって地図表示を行うサービスが各種提案されている。また、現実画像にCG画像を重畳して表示できるシステムも各種提案されている。例えば、特許文献1においては、カメラによって撮影された画像の撮影位置を3D地図空間上で特定している。そして、この3D地図と撮影時のカメラ位置、カメラ角度等から、撮影画像上に見えているはずの構造物の名称を特定し、該構造物の名称に係る画像をカメラによって撮影された画像に重畳するようにしている。
特開2000−50156号公報
In recent years, various services for displaying a map using a three-dimensional (3D) image such as a Google (registered trademark) map have been proposed. Various systems that can display a CG image superimposed on a real image have also been proposed. For example, in patent document 1, the imaging position of the image image | photographed with the camera is specified on 3D map space. Then, the name of the structure that should be visible on the captured image is specified from the 3D map, the camera position at the time of shooting, the camera angle, and the like, and the image related to the name of the structure is converted into an image shot by the camera. They are superimposed.
JP 2000-50156 A

個人向けのカメラ撮影において、ユーザが自身で撮影した写真をアルバム等で見て、その撮影当時を追体験することが行われることがある。ここで、一般的には、ユーザが自身で撮影した写真に関しては記憶が残りやすく、撮影していない写真に関する記憶は残りにくいと考えられる。したがって、当時に撮影していなかった風景等に関する追体験を行うことは困難であると考えられる。   In personal camera photography, there are cases where a user takes a picture taken by himself / herself in an album or the like and relives the time of photography. Here, in general, it is considered that the memory about the photograph taken by the user himself is likely to remain, and the memory regarding the photograph which has not been photographed is difficult to remain. Therefore, it is considered difficult to have a re-experience about scenery that was not taken at that time.

本発明は、上記の事情に鑑みてなされたもので、撮影当時に撮影されなかった風景等も含めた撮影当時の状況を追体験することができる仮想移動表示装置を提供することを目的とする。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a virtual moving display device capable of re-experiencing the situation at the time of photographing including scenery that was not photographed at the time of photographing. .

上記の目的を達成するために、本発明の第1の態様の仮想移動表示装置は、撮影位置情報と撮影日時情報とが付加された画像を複数記録する画像記録部と、前記記録された画像の中から、撮影位置の異なる少なくとも2枚の画像を選択するための選択部と、年代別の地図データと選択された前記少なくとも2枚の画像に付加されている撮影位置情報と、選択された前記少なくとも2枚の画像に付加されている撮影日時情報と、に基づき、一方の前記画像に係る撮影位置から他方の前記画像に係る撮影位置に至る移動経路を特定し、前記特定した移動経路内の移動に伴って見えるべき、前記撮影日時情報によって特定される撮影日時に相当する風景を仮想的に表示する仮想風景作成部とを具備することを特徴とする。 In order to achieve the above object, a virtual moving display device according to a first aspect of the present invention includes an image recording unit that records a plurality of images to which shooting position information and shooting date / time information are added, and the recorded image. among a selection unit for selecting at least two images different imaging positions, and age of the map data, and the photographing position information added to the selected at least two images are selected Based on the shooting date and time information added to the at least two images , a movement path from the shooting position related to one of the images to the shooting position related to the other image is specified, and the specified movement path And a virtual landscape creation unit that virtually displays a landscape corresponding to the shooting date and time specified by the shooting date and time information, which should be seen as the user moves.

本発明によれば、撮影当時に撮影されなかった風景等も含めた撮影当時の状況を追体験することができる仮想移動表示装置を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the virtual moving display apparatus which can relive the situation at the time of imaging | photography including the scenery etc. which were not image | photographed at the time of imaging | photography can be provided.

以下、図面を参照して本発明の実施形態を説明する。
図1は、本発明の一実施形態に係る仮想移動表示装置を含む、仮想移動表示システムの構成を示す図である。図1に示す仮想移動表示システムは、カメラ100と、サーバ200とが通信回線300を介して通信自在に接続されて構成されている。ここで、通信回線300はインターネット回線等の汎用の通信回線である。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram showing a configuration of a virtual movement display system including a virtual movement display apparatus according to an embodiment of the present invention. The virtual mobile display system shown in FIG. 1 is configured such that a camera 100 and a server 200 are communicatively connected via a communication line 300. Here, the communication line 300 is a general-purpose communication line such as an Internet line.

カメラ100は、制御部101と、操作入力部102と、撮像部103と、位置検出部104と、時計部105と、記録部106と、表示部107と、通信部108とを有している。   The camera 100 includes a control unit 101, an operation input unit 102, an imaging unit 103, a position detection unit 104, a clock unit 105, a recording unit 106, a display unit 107, and a communication unit 108. .

制御部101は、カメラ100の全体の動作を制御する。この制御部101は、ユーザによる操作入力部102の操作状態に従って各種の処理を制御する。操作入力部102は、カメラ100の電源をオンオフするための電源スイッチ、カメラ100の撮影実行の指示を与えるためのレリーズボタン、画像の通常再生指示を与えるための再生ボタン、画像の思い出再生(詳細は後述)指示を与えるための思い出再生ボタン、カメラ100における各種選択操作を行うための十字キー等、ユーザがカメラ100の操作を行うための各種の操作部材を含んで構成されている。   The control unit 101 controls the overall operation of the camera 100. The control unit 101 controls various processes according to the operation state of the operation input unit 102 by the user. The operation input unit 102 is a power switch for turning on / off the power of the camera 100, a release button for giving an instruction to execute shooting of the camera 100, a playback button for giving a normal playback instruction of an image, and a memory playback of details (details). These are configured to include various operation members for the user to operate the camera 100, such as a memory playback button for giving an instruction and a cross key for performing various selection operations on the camera 100.

撮像部103は、制御部101の制御の下で被写体を撮影して画像を取得する。位置検出部104は、例えばGPS等で構成され、撮影時のカメラ100の位置(緯度・経度)を検出する。時計部105は、撮影日時を検出する。   The imaging unit 103 captures an image by capturing a subject under the control of the control unit 101. The position detection unit 104 is configured by, for example, a GPS or the like, and detects the position (latitude / longitude) of the camera 100 at the time of shooting. The clock unit 105 detects the shooting date and time.

ここで、位置検出部104や時計部105は必ずしもカメラ100に内蔵する必要はない。例えば、GPS内蔵の腕時計や専用のナビゲーション装置をユーザに携帯させることで、これらによって検出される位置情報や時間情報をカメラ100において取得するようにしても良い。   Here, the position detection unit 104 and the clock unit 105 are not necessarily built in the camera 100. For example, the camera 100 may acquire position information and time information detected by a GPS wristwatch or a dedicated navigation device carried by the user.

記録部106は、例えばカメラ100に対して着脱自在に構成されたメモリカードであり、撮像部103を介して取得された画像を、位置検出部104で検出された撮影位置及び時計部105で検出された撮影日時と関連付けて記録する。表示部107は、制御部101の下で記録部106に記録された画像等の各種画像を表示する。   The recording unit 106 is, for example, a memory card configured to be detachable from the camera 100, and an image acquired via the imaging unit 103 is detected by the shooting position detected by the position detection unit 104 and the clock unit 105. Recorded in association with the shooting date and time. The display unit 107 displays various images such as images recorded in the recording unit 106 under the control unit 101.

通信部108は、制御部101の制御の下、サーバ200との通信に係る各種処理を行う。   The communication unit 108 performs various processes related to communication with the server 200 under the control of the control unit 101.

サーバ200は、制御部201と、操作入力部202と、画像記録部203と、年代別地図データベース(DB)204と、ルート探索部205と、仮想風景作成部206と、通信部207とを有している。サーバ200は、様々な地方の地図画像を記録できるように巨大なデータベースを有し、インターネット上の様々なサイトの情報も利用できるようにインターネットに接続されていることが望ましいが、カメラ100にサーバ200の機能を持たせるようにしても良い。   The server 200 includes a control unit 201, an operation input unit 202, an image recording unit 203, an age-specific map database (DB) 204, a route search unit 205, a virtual landscape creation unit 206, and a communication unit 207. is doing. The server 200 has a huge database so that various local map images can be recorded, and is preferably connected to the Internet so that information on various sites on the Internet can be used. 200 functions may be provided.

制御部201は、サーバ200における各種処理を制御する。この制御部201は、操作入力部202が操作された場合には、その操作内容に従った処理も行う。操作入力部202は、サーバ200の操作を行うための各種の操作部材を含んで構成されている。   The control unit 201 controls various processes in the server 200. When the operation input unit 202 is operated, the control unit 201 also performs processing according to the operation content. The operation input unit 202 includes various operation members for operating the server 200.

画像記録部203は、カメラ100から通信回線300を介して送信された画像を記録する。画像記録部203は、カメラ100の記録部106に比して大容量の記録容量を有するハードディスク等から構成されている。ここで、本実施形態における画像記録部203は、位置年代記録部203aとしての記録領域を有している。位置年代記録部203aは、画像記録部203に記録されている各画像の撮影位置と撮影日時(撮影年代)とを関連付けて記録しておくための記録領域である。   The image recording unit 203 records an image transmitted from the camera 100 via the communication line 300. The image recording unit 203 includes a hard disk having a larger recording capacity than the recording unit 106 of the camera 100. Here, the image recording unit 203 in the present embodiment has a recording area as the position age recording unit 203a. The position age recording unit 203a is a recording area for recording the shooting position of each image recorded in the image recording unit 203 and the shooting date and time (shooting age) in association with each other.

年代別地図DB204は、撮影年代毎の2D及び3D地図画像を記録したデータベースである。ここで、年代別地図DB204は、画像記録部203とは別の記録媒体内に構築しても良いし、画像記録部203内に構築しても良い。   The age-specific map DB 204 is a database that records 2D and 3D map images for each shooting age. Here, the age-specific map DB 204 may be constructed in a recording medium different from the image recording unit 203 or may be constructed in the image recording unit 203.

ルート探索部205は、ユーザによって選択される2枚(またはそれ以上)の画像から、それら2枚の画像の撮影の間にユーザが移動したと考えられる移動経路を特定する。仮想風景作成部206は、ルート探索部205によって特定された移動経路に従った地図画像(2D地図画像若しくは3D地図画像)を作成し、さらに、作成した地図画像に、ユーザの分身としてのキャラクタ画像であるアバターを合成する。   The route search unit 205 specifies a movement route that is considered to have moved by the user during the shooting of the two images from two (or more) images selected by the user. The virtual landscape creation unit 206 creates a map image (2D map image or 3D map image) according to the movement route specified by the route search unit 205, and further, a character image as a user's alternation on the created map image. Synthesize an avatar that is

通信部207は、制御部201の制御の下、カメラ100との通信に係る各種処理を行う。   The communication unit 207 performs various processes related to communication with the camera 100 under the control of the control unit 201.

以下、図1に示す仮想移動表示システムの動作の概略について説明する。図2は、仮想移動表示システムの動作の概略について示す図である。   The outline of the operation of the virtual moving display system shown in FIG. 1 will be described below. FIG. 2 is a diagram showing an outline of the operation of the virtual movement display system.

本実施形態においては、撮影がなされると、撮影位置と撮影日時とが関連付けられた状態で画像が記録部106に記録される。   In this embodiment, when shooting is performed, an image is recorded in the recording unit 106 in a state where the shooting position and the shooting date and time are associated with each other.

そして、ユーザの操作入力部102の操作により、カメラ100の動作モードが思い出画像再生モードに設定され、その後に、カメラ100の記録部106に記録されている画像の中の少なくとも2枚の画像が選択されると、選択された画像がサーバ200に送信される。図2の例では、11時30分に緯度A、経度Bの位置で撮影された画像401と、12時20分に緯度C、経度Dの位置で撮影された画像402とが選択された例を示している。   Then, the operation mode of the camera 100 is set to the memory image playback mode by the operation of the operation input unit 102 by the user, and then at least two images among the images recorded in the recording unit 106 of the camera 100 are displayed. When selected, the selected image is transmitted to the server 200. In the example of FIG. 2, an image 401 photographed at a position of latitude A and longitude B at 11:30 and an image 402 photographed at a position of latitude C and longitude D at 12:20 are selected. Is shown.

2枚の画像401、402が受信されると、年代別地図DB204から画像401の撮影位置と画像402の撮影位置とを含む2D地図画像403が取得される。なお、画像401の撮影位置と画像402の撮影位置との距離が遠い場合には、両画像が含まれるように地図画像の縮尺が拡大される。その後、ルート探索部205において、ユーザがどのように画像401の撮影位置と画像402の撮影位置との間を移動したのかが、移動時間(撮影日時の差)と移動距離(撮影位置の差)とから特定される。   When the two images 401 and 402 are received, a 2D map image 403 including the shooting position of the image 401 and the shooting position of the image 402 is acquired from the age-specific map DB 204. When the distance between the shooting position of the image 401 and the shooting position of the image 402 is long, the scale of the map image is enlarged so that both images are included. After that, how the user moves between the shooting position of the image 401 and the shooting position of the image 402 in the route search unit 205 is the moving time (difference in shooting date and time) and moving distance (difference in shooting position). And is identified from

移動経路の特定がなされると、仮想風景作成部206において、特定された移動経路内における複数の風景画像(仮想風景画像)404〜406が3D地図画像をもとに作成される。さらに、作成された仮想風景画像404〜406に必要に応じてアバター407が合成される。   When the movement route is identified, the virtual landscape creation unit 206 creates a plurality of landscape images (virtual landscape images) 404 to 406 in the identified movement route based on the 3D map image. Furthermore, an avatar 407 is combined with the created virtual landscape images 404 to 406 as necessary.

以上のようにして仮想風景画像を作成することにより、実際には画像401の撮影位置と画像402の撮影位置の2点でしか撮影を行っていなくとも、その2点の撮影位置の間の位置の画像を鑑賞することが可能である。例えば、図2に示すような一連の画像を見ることにより、画像404(画像401)の位置で建物を撮影してから、画像406(画像402)の位置で山を撮影するまでの状況を再現できる。このような一連の画像を見て、ユーザは、撮影当時はあんな風景だった、坂道を歩いた、階段だった、大きく迂回した等の撮影当時の様々な出来事を想起することが可能となる。   By creating a virtual landscape image as described above, a position between the two shooting positions is actually taken even if shooting is performed only at two shooting points of the shooting position of the image 401 and the shooting position of the image 402. It is possible to appreciate the images. For example, by looking at a series of images as shown in FIG. 2, the situation from when a building was photographed at the position of the image 404 (image 401) to when a mountain was photographed at the position of the image 406 (image 402) is reproduced. it can. By viewing such a series of images, the user can recall various events at the time of shooting, such as such a landscape at the time of shooting, walking on a hill, staircase, greatly detouring.

ここで、画像404〜画像406の代わりに2D地図画像403を表示させるようにしても良い。また、2D地図画像403と画像404〜画像406とを並列して表示できるようにしても良い。   Here, instead of the images 404 to 406, the 2D map image 403 may be displayed. Further, the 2D map image 403 and the images 404 to 406 may be displayed in parallel.

以下、図1の仮想移動表示システムの具体的な動作について説明する。
図3は、図1に示す仮想移動表示システムにおけるカメラ100の動作を示すフローチャートである。ユーザによる操作入力部102の電源スイッチの操作によってカメラ100の電源がオンされることで図3の処理が開始される。
Hereinafter, a specific operation of the virtual moving display system of FIG. 1 will be described.
FIG. 3 is a flowchart showing the operation of the camera 100 in the virtual moving display system shown in FIG. The process of FIG. 3 is started when the power of the camera 100 is turned on by the operation of the power switch of the operation input unit 102 by the user.

電源のオン後、制御部101は、撮像部103を動作させ、撮像部103を介して得られる画像を表示部107に逐次表示させるスルー画表示を行う(ステップS1)。スルー画表示の後、制御部101は、ユーザによる操作入力部102のレリーズボタンの操作によって画像撮影指示がなされたかを判定する(ステップS2)。   After the power is turned on, the control unit 101 operates the imaging unit 103 to perform a through image display that sequentially displays images obtained via the imaging unit 103 on the display unit 107 (step S1). After the through image display, the control unit 101 determines whether an image shooting instruction is given by the user operating the release button of the operation input unit 102 (step S2).

ステップS2の判定において、画像撮影指示がなされた場合に、制御部101は、被写体の撮影を実行する(ステップS3)。即ち、制御部101は、撮像部103を動作させて被写体の画像を取得し、この取得した被写体の画像に対し、種々の画像処理を施す。その後、制御部101は、撮影実行時に時計部105において検出された撮影日時情報を取得するとともに(ステップS4)、撮影実行時に位置検出部104において検出された撮影位置情報を取得する(ステップS5)。次に、制御部101は、撮影によって得られた画像と撮影日時情報及び撮影位置情報とを関連付けて記録部106に記録する(ステップS6)。   If it is determined in step S2 that an image shooting instruction has been issued, the control unit 101 performs shooting of the subject (step S3). That is, the control unit 101 operates the imaging unit 103 to acquire a subject image, and performs various image processing on the acquired subject image. Thereafter, the control unit 101 acquires the shooting date / time information detected by the clock unit 105 when the shooting is performed (step S4), and acquires the shooting position information detected by the position detection unit 104 when the shooting is executed (step S5). . Next, the control unit 101 records the image obtained by shooting, shooting date / time information, and shooting position information in the recording unit 106 in association with each other (step S6).

また、ステップS2の判定において、画像撮影指示がなされていない場合に、制御部101は、ユーザによる操作入力部102の再生ボタンの操作によって通常の画像再生指示がなされたかを判定する(ステップS7)。ステップS7の判定において、通常の画像再生指示がなされた場合に、制御部101は、通常の画像の再生に関する処理を行う(ステップS8)。即ち、制御部101は、記録部106に記録されている画像のサムネイル画像を表示部107に表示させ、ユーザによって選択されたサムネイル画像に対応した画像を表示部107に表示させる。なお、サーバ200の画像記録部203に記録されている画像をカメラ100で再生できるようにしても良い。この場合には、カメラ100からサーバ200に対して画像の再生要求がなされる。これを受けてサーバ200に記録されている画像のサムネイル画像が表示部107に表示される。何れかのサムネイル画像がユーザによって選択された場合、そのサムネイル画像に対応した画像がサーバ200からカメラ100に送信され、この送信された画像が表示部107に表示される。   Further, in the determination in step S2, if no image shooting instruction has been issued, the control unit 101 determines whether a normal image reproduction instruction has been made by the user operating the reproduction button of the operation input unit 102 (step S7). . In the determination in step S7, when a normal image reproduction instruction is given, the control unit 101 performs processing related to normal image reproduction (step S8). That is, the control unit 101 causes the display unit 107 to display a thumbnail image of the image recorded in the recording unit 106 and causes the display unit 107 to display an image corresponding to the thumbnail image selected by the user. The image recorded in the image recording unit 203 of the server 200 may be played back by the camera 100. In this case, an image reproduction request is made from the camera 100 to the server 200. In response to this, a thumbnail image of an image recorded in the server 200 is displayed on the display unit 107. When any thumbnail image is selected by the user, an image corresponding to the thumbnail image is transmitted from the server 200 to the camera 100, and the transmitted image is displayed on the display unit 107.

また、ステップS7の判定において、通常の画像再生指示がなされていない場合に、制御部101は、ユーザによる操作入力部102の思い出再生ボタンの操作によって思い出再生指示がなされたかを判定する(ステップS9)。ステップS9の判定において、思い出再生指示がなされていない場合に、制御部101は、ユーザによる操作入力部102の操作により画像送信指示がなされたかを判定する(ステップS10)。ステップS10の判定において、画像送信指示がなされていない場合に、処理がステップS1に戻り、制御部101は、スルー画表示を再び行う。一方、ステップS10の判定において、画像送信指示がなされた場合に、制御部101は画像送信に関する処理を行う(ステップS11)。即ち、制御部101は、記録部106に記録されている画像のサムネイル画像を表示部107に表示させ、ユーザによって選択されたサムネイル画像に対応した画像をサーバ200に送信する。   Further, in the determination in step S7, when a normal image reproduction instruction has not been given, the control unit 101 determines whether or not a memory reproduction instruction has been given by the operation of the memory reproduction button of the operation input unit 102 by the user (step S9). ). If it is determined in step S9 that no memory playback instruction has been issued, the control unit 101 determines whether an image transmission instruction has been given by an operation of the operation input unit 102 by the user (step S10). If it is determined in step S10 that no image transmission instruction has been issued, the process returns to step S1, and the control unit 101 performs the through image display again. On the other hand, when an image transmission instruction is given in the determination in step S10, the control unit 101 performs processing related to image transmission (step S11). That is, the control unit 101 causes the display unit 107 to display a thumbnail image of the image recorded in the recording unit 106 and transmits an image corresponding to the thumbnail image selected by the user to the server 200.

また、ステップS9の判定において、思い出再生指示がなされた場合に、制御部101は思い出再生に係る処理を実行する。まず、制御部101は、記録部106に記録されている画像のサムネイル画像を表示部107に表示させる(ステップS12)。次に、制御部101は、ユーザによる操作入力部102の操作によってサムネイル画像中の少なくとも2画像が選択されるのを待つ(ステップS13)。ここで選択する画像の枚数は、ユーザが適宜設定できるものである。また、ここで選択される画像は、それぞれ、撮影日時が近く(撮影年代が同じ)、且つ撮影位置が異なる画像である。   In the determination of step S9, when a memory playback instruction is given, the control unit 101 executes a process related to memory playback. First, the control unit 101 causes the display unit 107 to display thumbnail images of images recorded in the recording unit 106 (step S12). Next, the control unit 101 waits for at least two images among the thumbnail images to be selected by the operation of the operation input unit 102 by the user (step S13). The number of images to be selected here can be set as appropriate by the user. In addition, the images selected here are images that have close shooting dates (same shooting age) and different shooting positions.

以後の説明においては、2画像が選択されたものとして説明を続ける。ステップS13において2画像の選択がなされた後、制御部101は、思い出再生モードにおける画像選択以外の設定の入力を待つ(ステップS14)。この設定は、後述する思い出再生モードにおいて表示部107に表示される地図画像を表示させる際の視点方向の設定(地図画像を2D表示とするか3D表示とするか)、或いは地図画像にアバターを合成するか等の設定である。   In the following description, the description will be continued assuming that two images are selected. After two images are selected in step S13, the control unit 101 waits for input of settings other than image selection in the memory playback mode (step S14). This setting is performed by setting the viewpoint direction when the map image displayed on the display unit 107 is displayed in the memory playback mode to be described later (whether the map image is displayed in 2D or 3D), or an avatar is added to the map image. It is a setting such as whether to synthesize.

その後、制御部101は、ユーザによる操作入力部102の操作によって決定指示がなされたかを判定する(ステップS15)。ステップS15の判定において、決定指示がなされていない場合には、処理がステップS13に戻って、制御部101は2画像の選択及びその他の設定入力の変更を待つ。一方、ステップS15の判定において、決定指示がなされた場合に、制御部101は、ユーザによって選択された2画像をサーバ200に送信し、サーバ200に対して思い出再生要求を送信する。この際、ステップS14で設定された各種の設定情報もサーバ200に送信する(ステップS16)。この後、後述するサーバ200の処理において、思い出再生用の画像ファイルが生成される。   Thereafter, the control unit 101 determines whether a determination instruction has been given by the operation of the operation input unit 102 by the user (step S15). If it is determined in step S15 that no determination instruction has been given, the process returns to step S13, and the control unit 101 waits for selection of two images and change of other setting inputs. On the other hand, when a determination instruction is given in the determination in step S <b> 15, the control unit 101 transmits the two images selected by the user to the server 200 and transmits a memory playback request to the server 200. At this time, various setting information set in step S14 is also transmitted to the server 200 (step S16). Thereafter, in the process of the server 200 described later, an image file for replaying memories is generated.

その後、制御部101は、サーバ200において生成された思い出再生用の画像ファイルを受信したかを判定する(ステップS17)。ステップS17において、サーバ200から画像ファイルを受信するまで待機する。ステップS17の判定において、サーバ200から画像ファイルが受信された場合に、制御部101は、ユーザにその旨を通知する。ユーザによって思い出画像ファイルの再生指示がなされたかを判定する(ステップS18)。ステップS18の判定において、思い出画像ファイルの再生指示がなされた場合に、制御部101は、サーバ200から送信された画像ファイル内の各画像を、ユーザの操作入力部102の操作に従って表示部107に表示させる(ステップS19)。ここでの表示はスライドショーのような形態で画像ファイル内の各画像を再生するようにしても良い。また、所定の再生スピードに従って各画像を自動的に再生するようにしても良い。   Thereafter, the control unit 101 determines whether an image file for replaying a memory generated in the server 200 has been received (step S17). In step S17, the process waits until an image file is received from the server 200. If it is determined in step S17 that an image file has been received from the server 200, the control unit 101 notifies the user to that effect. It is determined whether or not the user has instructed playback of the memory image file (step S18). When it is determined in step S18 that the memory image file is instructed to be reproduced, the control unit 101 displays each image in the image file transmitted from the server 200 on the display unit 107 according to the operation of the user operation input unit 102. It is displayed (step S19). In this case, each image in the image file may be reproduced in the form of a slide show. Further, each image may be automatically reproduced according to a predetermined reproduction speed.

また、ステップS18の判定において、思い出画像ファイルの再生指示がなされなかった場合に、制御部101は、ステップS19の処理をスキップする。   Also, in the determination in step S18, if no instruction to reproduce the memory image file is given, the control unit 101 skips the process in step S19.

ステップS18又はステップS19の後、制御部101ユーザの操作入力部102の操作により画像ファイルの記録指示がなされたかを判定する(ステップS20)。ステップS20の判定において、画像ファイルの記録指示がなされた場合に、制御部101は画像ファイルを記録部106に記録する(ステップS21)。また、ステップS20の判定において、思い出画像ファイルの記録指示がなされなかった場合に、制御部101は、ステップS21の処理をスキップする。   After step S18 or step S19, it is determined whether an instruction to record an image file is given by the operation of the operation input unit 102 of the control unit 101 user (step S20). If it is determined in step S20 that an image file recording instruction has been issued, the control unit 101 records the image file in the recording unit 106 (step S21). Also, in the determination in step S20, when no memory image file recording instruction is given, the control unit 101 skips the process in step S21.

図4は、図1に示す仮想移動表示システムにおけるサーバ200の動作を示すフローチャートである。制御部201は、思い出再生要求がなされていない状態でカメラ100からの画像を受信したかを判定する(ステップS31)。ステップS31の判定において、画像を受信した場合に、制御部201は、受信した画像を画像記録部203に記録する(ステップS32)。その後、制御部201は、カメラ100からの画像の受信が終了したかを判定する(ステップS33)。ステップS33の判定において、画像の受信が終了していない場合に、処理がステップS31に戻り、制御部201は、カメラ100からの次の画像の受信を待つ。   FIG. 4 is a flowchart showing the operation of the server 200 in the virtual movement display system shown in FIG. The control unit 201 determines whether an image from the camera 100 has been received in a state where no memory playback request has been made (step S31). If it is determined in step S31 that an image has been received, the control unit 201 records the received image in the image recording unit 203 (step S32). Thereafter, the control unit 201 determines whether or not reception of an image from the camera 100 has been completed (step S33). If it is determined in step S33 that image reception has not ended, the process returns to step S31, and the control unit 201 waits for reception of the next image from the camera 100.

また、ステップS31の判定において、画像の受信がない場合に、制御部201は、カメラ100から2枚の画像とともに思い出再生要求がなされたかを判定する(ステップS34)。ステップS34の判定において、思い出再生要求がなされていない場合に、制御部201は、カメラ100から通常の画像の再生要求がなされたかを判定する(ステップS35)。ステップS35の判定において、通常の画像の再生要求がなされた場合に、制御部201はユーザによって選択された画像をカメラ100に転送する。これにより、カメラ100の表示部107において画像再生が行われる(ステップS36)。   If no image is received in the determination in step S31, the control unit 201 determines whether a memory reproduction request is made from the camera 100 together with two images (step S34). If the memory playback request is not made in the determination in step S34, the control unit 201 determines whether a normal image playback request is made from the camera 100 (step S35). In the determination in step S <b> 35, when a normal image reproduction request is made, the control unit 201 transfers the image selected by the user to the camera 100. Thereby, image reproduction is performed on the display unit 107 of the camera 100 (step S36).

また、ステップS34の判定において、思い出再生要求がなされた場合に、制御部201はカメラ100から送られてきた2画像を取得する(ステップS37)。次に、制御部201は、2画像の撮影日時と撮影位置をルート探索部205に送る。ルート探索部205は、2画像の撮影日時の差と2画像の撮影位置の差とから、2画像の撮影位置間の移動の際の移動速度Vを算出する(ステップS38)。また、制御部201は、取得した2画像にそれぞれ付加されている撮影日時と撮影位置の情報に基づき、年代別地図DB204から2画像の撮影日時と同年代で且つ2画像の撮影位置を含む2D地図画像を選択し(ステップS39)、選択した2D地図画像をルート探索部205に送る。ここで、2画像の撮影位置間の距離が遠く、1枚の地図画像内に収まらない場合には地図の縮尺を拡大する。逆に2画像の撮影位置間の距離が近い場合には地図の縮尺を縮小しても良い。   In the determination in step S34, when a memory playback request is made, the control unit 201 acquires two images sent from the camera 100 (step S37). Next, the control unit 201 sends the shooting date / time and shooting position of the two images to the route search unit 205. The route search unit 205 calculates a moving speed V when moving between the shooting positions of the two images from the difference between the shooting dates of the two images and the difference between the shooting positions of the two images (step S38). In addition, the control unit 201 determines, based on information on the shooting date and time and the shooting position added to each of the acquired two images, the 2D map including the shooting position of the two images at the same time as the shooting date and time of the two images from the age-specific map DB 204. An image is selected (step S39), and the selected 2D map image is sent to the route search unit 205. Here, when the distance between the shooting positions of the two images is too long to fit within one map image, the scale of the map is enlarged. On the contrary, when the distance between the shooting positions of the two images is short, the scale of the map may be reduced.

その後、ルート探索部205は、移動速度Vと2D地図画像とから2画像の撮影位置間の移動ルート及び撮影時におけるユーザの進行方向を特定する(ステップS40)。   Thereafter, the route search unit 205 specifies the moving route between the shooting positions of the two images and the traveling direction of the user at the time of shooting from the moving speed V and the 2D map image (step S40).

ここで、ステップS40の移動速度Vによる移動ルートの特定処理について説明する。ステップS39においては、移動速度Vを算出する際に、2画像の撮影日時差及び2画像の撮影位置差を用いている。ここで、2画像の撮影位置差は、図5に示すような、2画像の撮影位置a−b間の直線距離を示すものである。実際には、ユーザの移動ルートは必ずしも直線であるとは限らず、図5のルートR1、R2のように曲線を含む場合も考えられる。また、ユーザの移動手段によっては同じ距離(同じルート)の移動であっても移動時間は異なるものとなる。例えば、撮影位置a−b間を徒歩で移動するのと自動車で移動するのとでは、自動車で移動するほうが、移動時間が短くなる。   Here, the movement route specifying process based on the movement speed V in step S40 will be described. In step S39, when the moving speed V is calculated, the difference in shooting date / time of the two images and the difference in shooting position of the two images are used. Here, the difference between the shooting positions of the two images indicates a linear distance between the shooting positions ab of the two images as shown in FIG. Actually, the moving route of the user is not necessarily a straight line, and it may be possible to include a curve like the routes R1 and R2 in FIG. Further, depending on the moving means of the user, even if the movement is the same distance (same route), the movement time is different. For example, when moving between the shooting positions a and b on foot and moving by automobile, the movement time is shorter when moving by automobile.

本実施形態では、ステップS38で算出した移動速度VとステップS39で選択された2D地図画像とから、撮影時の移動ルート及び移動手段を特定する。また、進行方向は、特定された移動ルートに対し、撮影日時が先の撮影位置から撮影日時が後の撮影位置に向かう方向となる。   In the present embodiment, the moving route and moving means at the time of shooting are specified from the moving speed V calculated in step S38 and the 2D map image selected in step S39. Further, the traveling direction is a direction in which the shooting date and time is directed from the previous shooting position to the subsequent shooting position with respect to the specified moving route.

図6は、移動ルート探索処理について示すフローチャートである。ルート探索部205は、制御部201によって選択された2D地図画像において、2画像の撮影位置を結ぶルート(道路等)を移動ルートの候補とする(ステップS61)。次に、ルート探索部205は、ルート候補の中の何れかを選択し、選択したルートの距離Lを算出する(ステップS62)。初回は、例えば最短距離のルートの距離Lを算出する。   FIG. 6 is a flowchart showing the movement route search process. In the 2D map image selected by the control unit 201, the route search unit 205 sets a route (such as a road) connecting the shooting positions of the two images as a moving route candidate (step S61). Next, the route search unit 205 selects one of the route candidates and calculates the distance L of the selected route (step S62). For the first time, for example, the distance L of the shortest route is calculated.

次に、ルート探索部205は、移動速度Vと撮影日時差Δtとの積が距離Lと等しいかを判定する(ステップS63)。   Next, the route search unit 205 determines whether the product of the moving speed V and the shooting date / time difference Δt is equal to the distance L (step S63).

例えば、図5の例のように2D地図画像上に距離の異なる2ルートがある場合、撮影時にユーザがルートR1を移動していた場合には、移動速度Vと撮影日時差Δtとの積がL1となる。また、ユーザがルートR2を移動していた場合には、移動速度Vで撮影日時差Δtとの積がL2となる。このような考え方によって撮影時の移動ルートを特定することが可能である。   For example, when there are two routes with different distances on the 2D map image as in the example of FIG. 5, if the user is moving along the route R1 at the time of shooting, the product of the moving speed V and the shooting date difference Δt is L1. Further, when the user is moving along the route R2, the product of the moving speed V and the photographing date difference Δt is L2. It is possible to specify a moving route at the time of shooting based on such a concept.

ステップS63の判定において、移動速度Vと撮影日時差Δtとの積が距離Lと等しい場合には、現在選択されているルートが撮影時の移動ルートであると考えられる。この場合に、ルート探索部205は、移動速度Vが5km/h未満であるかを判定する(ステップS64)。ここで、5km/hは徒歩の移動速度を示す。ステップS64の判定において、移動速度Vが5km/h未満である場合に、ルート探索部205は、撮影時の移動手段が徒歩であったと判定する(ステップS65)。そして、思い出再生時に合成されるアバターを図2の参照符号407で示すような徒歩用のものとするとともに、思い出再生時の再生スピードを徒歩に即したものとする(ステップS66)。   If it is determined in step S63 that the product of the moving speed V and the photographing date / time difference Δt is equal to the distance L, the currently selected route is considered to be the moving route at the time of photographing. In this case, the route search unit 205 determines whether the moving speed V is less than 5 km / h (step S64). Here, 5 km / h indicates the walking speed. When the moving speed V is less than 5 km / h in the determination in step S64, the route search unit 205 determines that the moving means at the time of shooting is walking (step S65). Then, it is assumed that the avatar synthesized at the time of replaying memories is for walking, as indicated by reference numeral 407 in FIG. 2, and the replay speed at the time of replaying memories is adapted to walking (step S66).

また、ステップS64の判定において、移動速度Vが5km/h以上である場合に、ルート探索部205は、移動速度Vが100km/h未満であるかを判定する(ステップS67)。ステップS67の判定において、移動速度Vが100km/h未満である場合に、ルート探索部205は、撮影時の移動手段が自動車であったと判定する(ステップS68)。そして、思い出再生時に合成されるアバターを図7の参照符号408で示すような自動車用(例えば、自動車のフロントガラスのような枠を表示させる)のものとするとともに、思い出再生時の再生スピードを移動速度Vに即したものとする。   Moreover, in the determination of step S64, when the moving speed V is 5 km / h or more, the route search unit 205 determines whether the moving speed V is less than 100 km / h (step S67). If the moving speed V is less than 100 km / h in the determination in step S67, the route search unit 205 determines that the moving means at the time of shooting is an automobile (step S68). Then, the avatar synthesized at the time of replaying the memories is for an automobile as indicated by reference numeral 408 in FIG. It is assumed that the movement speed V is met.

ここで、本実施形態では移動手段を徒歩と自動車に限定しているがそれに限るものではない。例えば、移動ルートが海上である場合には、船等をアバターとするようにしても良い。   Here, in this embodiment, the moving means is limited to walking and automobiles, but is not limited thereto. For example, when the moving route is at sea, a ship or the like may be used as an avatar.

ステップS63の判定において移動速度Vと撮影日時差Δtとの積がLに等しくない場合又はステップS67の判定において移動速度Vが100km/h以上である場合に、ルート探索部205は、次のルート候補があるかを判定する(ステップS69)。ステップS69の判定において、次のルート候補がない場合に、処理がステップS68に移行して、ルート探索部205は撮影時の移動手段が自動車であったと判定する。   When the product of the moving speed V and the photographing date difference Δt is not equal to L in the determination in step S63 or when the moving speed V is 100 km / h or more in the determination in step S67, the route search unit 205 determines the next route. It is determined whether there is a candidate (step S69). If it is determined in step S69 that there is no next route candidate, the process proceeds to step S68, and the route search unit 205 determines that the moving means at the time of shooting is an automobile.

また、ステップS69の判定において、次のルート候補がある場合に、ルート探索部205は次のルート候補を選択した後(ステップS70)、ステップS62に戻って次のルート候補に対する処理を行う。   If it is determined in step S69 that there is a next route candidate, the route search unit 205 selects the next route candidate (step S70), and then returns to step S62 to perform processing for the next route candidate.

以上のようなルート探索処理により、地図上に複数の移動ルートの候補がある場合でも正しく撮影時の移動ルートを探索でき、また撮影時の移動手段に応じたアバターを画像に合成することが可能である。   Through the route search process as described above, even when there are multiple candidate travel routes on the map, it is possible to correctly search the travel route at the time of shooting, and it is possible to combine the avatar according to the moving means at the time of shooting with the image It is.

以下、図4のフローチャートについてさらに説明する。移動ルート探索処理の終了後、制御部201は、移動ルート上の特定位置に対応した画像(複数でも良い)を3D地図画像から選択する(ステップS41)。即ち、探索された移動ルートを移動した場合に、各特定位置において見えるべき画像を仮想風景画像として3D地図画像から選択する。この際、選択した特定位置に対応する画像の仮想的な撮影日時(移動速度Vから推定)を推定して関連付けしておく。   Hereinafter, the flowchart of FIG. 4 will be further described. After the travel route search process is completed, the control unit 201 selects an image (or a plurality of images) corresponding to a specific position on the travel route from the 3D map image (step S41). That is, when the searched movement route is moved, an image to be seen at each specific position is selected from the 3D map image as a virtual landscape image. At this time, the virtual shooting date and time (estimated from the moving speed V) of the image corresponding to the selected specific position is estimated and associated.

ここで、特定位置に対応した画像を、衛星写真や航空写真等から合成して取得するようにしても良い。また、他のユーザがルート上の特定位置で撮影を行っていれば、その画像を利用するようにしても良い。   Here, an image corresponding to a specific position may be obtained by being synthesized from a satellite photograph or an aerial photograph. If another user is shooting at a specific position on the route, the image may be used.

その後、制御部201は、カメラ100から思い出再生時にアバターを合成するように要求されているかを判定する(ステップS42)。ステップS42の判定において、アバターの合成をするように要求されていない場合に、制御部201は、受信した2画像の間にルート上の特定位置に対応する画像を配置する(ステップS43)。特定位置に対応する画像が複数存在する場合には、その配置順は移動ルートの進行方向に従う。その後、制御部201は、ユーザから送信された2画像と、各特定位置に対応する画像とにより構成される画像群から1つの画像ファイルを生成する(ステップS44)。また、思い出画像を2D地図表示するように設定されている場合には、ステップS39で選択した2D地図画像も画像ファイルに含めるようにする。画像ファイルの生成後、制御部201は、生成した画像ファイルをカメラ100に送信する(ステップS45)。   Thereafter, the control unit 201 determines whether or not the camera 100 is requested to synthesize an avatar during memory playback (step S42). In the determination in step S42, when it is not requested to combine the avatars, the control unit 201 arranges an image corresponding to a specific position on the route between the two received images (step S43). When there are a plurality of images corresponding to a specific position, the arrangement order follows the traveling direction of the moving route. Thereafter, the control unit 201 generates one image file from an image group including two images transmitted from the user and images corresponding to the specific positions (step S44). If the memory image is set to be displayed in a 2D map, the 2D map image selected in step S39 is also included in the image file. After generating the image file, the control unit 201 transmits the generated image file to the camera 100 (step S45).

また、ステップS42の判定において、アバターの合成をするように要求されている場合に、制御部201は、受信した2画像のうち、撮影日時が先の画像(以下、先画像と称する)を選択する(ステップS46)。次に、制御部201は、先画像に写っている地形から、先画像の撮影時の撮影方向(視点方向)を特定し(ステップS47)、この撮影方向の情報を仮想風景作成部206に送る。仮想風景作成部206は、思い出再生時において、先画像の撮影位置に対応して表示させるべき画像を仮想風景画像として3D地図画像から作成する(ステップS48)。この仮想風景画像は、先画像の撮影位置において、ユーザがステップS40で探索された移動ルートにおける進行方向を向いたときに見えるべき画像である。なお、先画像の撮影方向が進行方向と一致している場合には、作成される仮想風景画像は先画像と同一となる。   In the determination of step S42, when it is requested to synthesize an avatar, the control unit 201 selects an image (hereinafter, referred to as a previous image) whose shooting date / time is earlier among the two received images. (Step S46). Next, the control unit 201 specifies the shooting direction (viewpoint direction) at the time of shooting the previous image from the terrain captured in the previous image (step S47), and sends this shooting direction information to the virtual landscape creation unit 206. . The virtual landscape creation unit 206 creates an image to be displayed corresponding to the shooting position of the previous image from the 3D map image at the time of memory playback (step S48). This virtual landscape image is an image that should be visible when the user faces the traveling direction in the moving route searched in step S40 at the shooting position of the previous image. When the shooting direction of the previous image matches the traveling direction, the created virtual landscape image is the same as the previous image.

その後、仮想風景作成部206は、作成した仮想風景画像の前景部にアバターを合成する(ステップS49)。作成した仮想風景画像にアバターを合成することにより、よりリアリティのある画像の再生が可能である。次に、仮想風景作成部206は、ステップS40において特定された進行方向に沿った特定位置に対応した仮想風景画像を3D地図画像から作成する(ステップS50)。さらに、仮想風景作成部206は、作成した仮想風景画像にアバターを合成する(ステップS51)。その後、移動ルートに従って3D地図画像の進行方向を切り換えて次の位置を選択する(ステップS52)。   Thereafter, the virtual landscape creation unit 206 synthesizes an avatar with the foreground portion of the created virtual landscape image (step S49). By combining an avatar with the created virtual landscape image, it is possible to reproduce a more realistic image. Next, the virtual landscape creation unit 206 creates a virtual landscape image corresponding to the specific position along the traveling direction specified in step S40 from the 3D map image (step S50). Furthermore, the virtual landscape creation unit 206 synthesizes an avatar with the created virtual landscape image (step S51). Thereafter, the traveling direction of the 3D map image is switched according to the movement route, and the next position is selected (step S52).

3D地図画像の進行方向の切り換え後、仮想風景作成部206は、選択した位置が、受信された画像のうちで撮影日が後の画像(以下、後画像と称する)に対応した位置であるかを判定する(ステップS53)。ステップS53の判定において、選択した位置が後画像に対応した位置でない場合に、処理がステップS50に戻り、仮想風景作成部206は、選択した位置に対応した仮想風景画像を作成する。一方、ステップS53の判定において、選択した位置が後画像に対応した位置である場合に、仮想風景作成部206は、後画像の位置に対応した仮想風景画像を作成する(ステップS54)。その後、仮想風景作成部206は、作成した仮想風景画像にアバターを合成する(ステップS55)。その後、処理がステップS44に移行してアバターが合成された各仮想風景画像から1つの画像ファイルが生成され、生成された画像ファイルがカメラ100に送信される。この画像ファイルをカメラ100において再生することにより図2で示したような思い出再生を行うことが可能である。   After switching the traveling direction of the 3D map image, the virtual landscape creation unit 206 determines whether the selected position corresponds to an image with a later shooting date (hereinafter referred to as a subsequent image) among the received images. Is determined (step S53). If it is determined in step S53 that the selected position is not a position corresponding to the subsequent image, the process returns to step S50, and the virtual landscape creation unit 206 creates a virtual landscape image corresponding to the selected position. On the other hand, if it is determined in step S53 that the selected position is a position corresponding to the rear image, the virtual landscape creating unit 206 creates a virtual landscape image corresponding to the position of the rear image (step S54). Thereafter, the virtual landscape creation unit 206 combines an avatar with the created virtual landscape image (step S55). Thereafter, the process proceeds to step S <b> 44, and one image file is generated from each virtual landscape image in which the avatar is synthesized, and the generated image file is transmitted to the camera 100. By reproducing this image file with the camera 100, it is possible to perform the memory reproduction as shown in FIG.

以上説明したように、本実施形態によれば、撮影時にユーザによって撮影されていなかった風景等の画像を3D地図画像から作成することにより、撮影と撮影の間の行動をも追体験することが可能である。   As described above, according to the present embodiment, it is possible to relive the action between photographing by creating an image of a landscape or the like that was not photographed by the user at the time of photographing from the 3D map image. Is possible.

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。   Although the present invention has been described above based on the embodiments, the present invention is not limited to the above-described embodiments, and various modifications and applications are naturally possible within the scope of the gist of the present invention.

例えば、上述の実施形態では、思い出再生用の画像ファイルの生成の際に、3D地図画像から生成される一連の画像を非圧縮で1つの画像ファイルとする例を示しているが、一連の画像を動画像圧縮に用いられるコマ間圧縮を用いて圧縮してから1つの画像ファイルとしても良い。このようにしたほうが、ファイルの容量を小さくできるため、通信時間を短くし、またファイルの記録に必要な容量も節約できる。   For example, in the above-described embodiment, an example in which a series of images generated from a 3D map image is uncompressed into one image file when generating an image file for replaying memories is shown. May be compressed using the inter-frame compression used for moving image compression, and then converted into one image file. In this way, the capacity of the file can be reduced, so that the communication time can be shortened and the capacity necessary for recording the file can be saved.

また、先画像と後画像については、必ずしもカメラ100からの通信によってサーバ200に入力する必要はなく、カメラ100以外の機器から入力できるようにしても良い。   Further, the front image and the rear image are not necessarily input to the server 200 by communication from the camera 100, and may be input from a device other than the camera 100.

さらに、上述の実施形態では、カメラ100とサーバ200とで構成されるシステムについて説明しているが、カメラ100の代わりにPCや携帯電話機等を用いても良い。即ち、少なくとも画像の表示機能を備える機器であれば、カメラ100の代わりに用いることが可能である。   Furthermore, in the above-described embodiment, a system including the camera 100 and the server 200 has been described. However, a PC, a mobile phone, or the like may be used instead of the camera 100. That is, any device having at least an image display function can be used instead of the camera 100.

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。   Further, the above-described embodiments include various stages of the invention, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some configuration requirements are deleted from all the configuration requirements shown in the embodiment, the above-described problem can be solved, and this configuration requirement is deleted when the above-described effects can be obtained. The configuration can also be extracted as an invention.

本発明の一実施形態に係る仮想移動表示装置を含む、仮想移動表示システムの構成を示す図である。It is a figure which shows the structure of the virtual movement display system containing the virtual movement display apparatus which concerns on one Embodiment of this invention. 仮想移動表示システムの動作の概略について示す図である。It is a figure shown about the outline | summary of operation | movement of a virtual movement display system. 図1に示す仮想移動表示システムにおけるカメラの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the camera in the virtual movement display system shown in FIG. 図1に示す仮想移動表示システムにおけるサーバの動作を示すフローチャートである。It is a flowchart which shows the operation | movement of the server in the virtual movement display system shown in FIG. 複数の移動ルートが存在する場合の例を示す図である。It is a figure showing an example in case a plurality of movement routes exist. 移動ルート探索処理について示すフローチャートである。It is a flowchart shown about a movement route search process. 移動手段が自動車である場合のアバターの例を示す図である。It is a figure which shows the example of the avatar in case a moving means is a motor vehicle.

符号の説明Explanation of symbols

100…カメラ、101…制御部、102…操作入力部、103…撮像部、104…位置検出部、105…時計部、106…記録部、107…表示部、108…通信部、200…サーバ、201…制御部、202…操作入力部、203…画像記録部、203a…位置年代記録部、204…年代別地図データベース(DB)、205…ルート探索部、206…仮想風景作成部、207…通信部、300…通信回線   DESCRIPTION OF SYMBOLS 100 ... Camera 101 ... Control part 102 ... Operation input part 103 ... Imaging part 104 ... Position detection part 105 ... Clock part 106 ... Recording part 107 ... Display part 108 ... Communication part 200 ... Server, DESCRIPTION OF SYMBOLS 201 ... Control part, 202 ... Operation input part, 203 ... Image recording part, 203a ... Position age recording part, 204 ... Map database (DB) according to age, 205 ... Route search part, 206 ... Virtual landscape creation part, 207 ... Communication Part, 300 ... communication line

Claims (2)

撮影位置情報と撮影日時情報とが付加された画像を複数記録する画像記録部と、
前記記録された画像の中から、撮影位置の異なる少なくとも2枚の画像を選択するための選択部と、
年代別の地図データと選択された前記少なくとも2枚の画像に付加されている撮影位置情報と、選択された前記少なくとも2枚の画像に付加されている撮影日時情報と、に基づき、一方の前記画像に係る撮影位置から他方の前記画像に係る撮影位置に至る移動経路を特定し、前記特定した移動経路内の移動に伴って見えるべき、前記撮影日時情報によって特定される撮影日時に相当する風景を仮想的に表示する仮想風景作成部と、
を具備することを特徴とする仮想移動表示装置。
An image recording unit for recording a plurality of images to which shooting position information and shooting date and time information are added;
A selection unit for selecting at least two images having different shooting positions from the recorded images;
And another map data ages, the photographing position information added to the at least two images that have been selected, the shooting date and time information added to the selected at least two images, based on, of the one The movement path from the shooting position related to the image to the shooting position related to the other image is specified, and corresponds to the shooting date and time specified by the shooting date and time information that should be seen along with the movement in the specified movement path. A virtual landscape creation section that virtually displays the landscape;
A virtual moving display device comprising:
前記移動経路内での視点を入力する視点入力部をさらに具備し、
前記仮想風景作成部は、前記入力された視点に応じた前記風景を仮想的に表示することを特徴とする請求項1に記載の仮想移動表示装置。
A viewpoint input unit for inputting a viewpoint in the movement route;
The virtual moving display device according to claim 1, wherein the virtual landscape creation unit virtually displays the landscape according to the input viewpoint.
JP2008025429A 2008-02-05 2008-02-05 Virtual moving display device Active JP4965475B2 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2008025429A JP4965475B2 (en) 2008-02-05 2008-02-05 Virtual moving display device
US12/364,574 US8717411B2 (en) 2008-02-05 2009-02-03 Virtual image generating apparatus, virtual image generating method, and recording medium storing virtual image generating program
CN 200910006169 CN101505376B (en) 2008-02-05 2009-02-05 Virtual image generating apparatus and virtual image generating method
US14/175,854 US9412204B2 (en) 2008-02-05 2014-02-07 Virtual image generating apparatus, virtual image generating method, and recording medium storing virtual image generating program
US15/228,927 US9807354B2 (en) 2008-02-05 2016-08-04 Virtual image generating apparatus, virtual image generating method, and recording medium storing virtual image generating program
US15/723,935 US10027931B2 (en) 2008-02-05 2017-10-03 Virtual image generating apparatus, virtual image generating method, and recording medium storing virtual image generating program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008025429A JP4965475B2 (en) 2008-02-05 2008-02-05 Virtual moving display device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012073628A Division JP5298214B2 (en) 2012-03-28 2012-03-28 Virtual moving display device

Publications (3)

Publication Number Publication Date
JP2009187210A JP2009187210A (en) 2009-08-20
JP2009187210A5 JP2009187210A5 (en) 2011-03-17
JP4965475B2 true JP4965475B2 (en) 2012-07-04

Family

ID=40977416

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008025429A Active JP4965475B2 (en) 2008-02-05 2008-02-05 Virtual moving display device

Country Status (2)

Country Link
JP (1) JP4965475B2 (en)
CN (1) CN101505376B (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120281102A1 (en) * 2010-02-01 2012-11-08 Nec Corporation Portable terminal, activity history depiction method, and activity history depiction system
JP5599037B2 (en) * 2010-04-30 2014-10-01 キヤノン株式会社 Imaging apparatus, control method thereof, and program
JP5636882B2 (en) * 2010-11-01 2014-12-10 カシオ計算機株式会社 Image processing apparatus, image processing method, and program
JP5793856B2 (en) * 2010-12-10 2015-10-14 キヤノンマーケティングジャパン株式会社 Information processing apparatus, information processing method, information processing system, program, and recording medium
JP6289047B2 (en) * 2013-11-18 2018-03-07 オリンパス株式会社 Imaging apparatus, imaging system, imaging method, and imaging program
JP2016040694A (en) * 2014-08-13 2016-03-24 株式会社Nttドコモ Image display system and image display method
CN106060676B (en) * 2016-05-17 2019-06-07 腾讯科技(深圳)有限公司 Online interaction method and apparatus based on live streaming
CN106385535A (en) * 2016-09-08 2017-02-08 深圳市金立通信设备有限公司 Shooting method and terminal
EP3616035B1 (en) * 2017-06-19 2024-04-24 Apple Inc. Augmented reality interface for interacting with displayed maps
US10777007B2 (en) 2017-09-29 2020-09-15 Apple Inc. Cooperative augmented reality map interface
CN108986062A (en) * 2018-07-23 2018-12-11 Oppo(重庆)智能科技有限公司 Image processing method and device, electronic device, storage medium and computer equipment

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3469410B2 (en) * 1996-11-25 2003-11-25 三菱電機株式会社 Wellness system
JP2000050156A (en) * 1998-08-03 2000-02-18 Nippon Telegr & Teleph Corp <Ntt> News supporting system
JP2001070473A (en) * 1999-09-09 2001-03-21 Sekisui House Ltd Method for generating/displaying cg image
JP3694663B2 (en) * 2001-10-05 2005-09-14 国新産業株式会社 Mobile simulation experience apparatus and method
JP4292878B2 (en) * 2003-06-11 2009-07-08 パナソニック株式会社 Imaging apparatus and image file creation method
JP4253562B2 (en) * 2003-10-24 2009-04-15 株式会社マイクロネット Undulation expression apparatus and method for relaying golf
JP2005277670A (en) * 2004-03-24 2005-10-06 Hiroo Iwata Omniazimuth video image generating apparatus, map interlocked omniazimuth video recording / display apparatus, and map interlocked omniazimuth video image utilizing apparatus
JP2005341064A (en) * 2004-05-25 2005-12-08 Sony Corp Information sender, information sending method, program, recording medium, display controller, and displaying method
JP4916707B2 (en) * 2005-11-14 2012-04-18 富士フイルム株式会社 Imaging position facility search system and method

Also Published As

Publication number Publication date
CN101505376B (en) 2013-04-24
JP2009187210A (en) 2009-08-20
CN101505376A (en) 2009-08-12

Similar Documents

Publication Publication Date Title
JP4965475B2 (en) Virtual moving display device
US10027931B2 (en) Virtual image generating apparatus, virtual image generating method, and recording medium storing virtual image generating program
JPH11122638A (en) Image processor, image processing method, and computer-readable information recording medium recorded with image processing program
JP5596844B2 (en) Image processing apparatus, image processing system, and image processing method
JP2005020607A (en) Composite image output device and composite image output processing program
JP2015069313A (en) Electronic album device
JP2009230635A (en) Image data generating device, image data generating method and image data generating program
JP5690376B2 (en) Image file creation device
JP5298214B2 (en) Virtual moving display device
JP3432213B2 (en) Image reproducing apparatus and method
JP4363318B2 (en) Navigation album system
JP5409852B2 (en) Virtual landscape display device and virtual landscape display method
JP2021129216A (en) Image processing apparatus and image processing method
JP5088051B2 (en) Electronic camera and program
JP5058842B2 (en) Virtual landscape display device
JP4559210B2 (en) Electronic album creation apparatus and electronic album creation system
WO2021161709A1 (en) Image generation device, image generation method, image generation program, and recording medium
JP2023125032A (en) video creation program
JP2006126953A (en) Electronic album preparing device
JP2004138474A (en) Method of guidance using portable terminal and guidance program
JP2023125031A (en) video creation program
JP2023125029A (en) video creation program
JP2023145573A (en) Image generation device, image generation method, image generation program, and recording medium
JP2024028904A (en) Video playback device, video playback method, video playback program, and recording medium
JP2023125042A (en) video creation program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120228

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120329

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150406

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250