JP5596844B2 - 画像処理装置、画像処理システム及び画像処理方法 - Google Patents

Description

本発明は、撮影された撮影位置情報付きの画像から、撮影時に被写体が見ていた風景の画像を補足して表示する画像処理装置、画像処理システム及び画像処理方法に関する。

近年、グーグル（登録商標）マップのように、３次元（３Ｄ）画像によって地図表示を行うサービスが各種提案されている。また、現実画像にＣＧ画像を重畳して表示できるシステムも各種提案されている。例えば、特許文献１においては、現実画像とＣＧ画像を合成することにより、ゴルフ中継等において、中継している映像中に写っている風景における起伏を視覚的に表示できるようにしている。

特開２０００−１２８２９８号公報

個人向けのカメラ撮影において、ユーザが自身で撮影した写真をアルバム等で見て、その撮影当時を追体験することが行われることがある。ここで、一般的には、ユーザが自身で撮影した写真に関しては記憶が残りやすく、撮影していない写真に関する記憶は残りにくいと考えられる。したがって、当時に撮影していなかった風景等に関する追体験を行うことは困難であると考えられる。

本発明は、上記の事情に鑑みてなされたもので、撮影当時に撮影されなかった風景をも想起することができる画像処理装置、画像処理システム及び画像処理方法を提供することを目的とする。

上記の目的を達成するために、本発明の第１の形態の画像処理装置は、撮影画像に付加された撮影日時情報と撮影位置情報とを利用して検索した地図画像に基づいて作成した、撮影時に被写体が見ていたはずの仮想風景画像を作成する仮想風景作成部と、上記仮想風景画像に、撮影者画像の設定情報に基づいて取得した撮影者画像を合成する画像合成部とを具備することを特徴とする。

上記の目的を達成するために、本発明の第２の形態の画像処理システムは、撮影画像に付加された撮影日時情報と撮影位置情報とを利用して検索した地図画像に基づいて作成した、撮影時に被写体が見ていたはずの仮想風景画像を作成する仮想風景作成部と、上記仮想風景画像に、撮影者画像の設定情報に基づいて取得した撮影者画像を合成する画像合成部とを具備することを特徴とする。

上記の目的を達成するために、本発明の第３の形態の画像処理方法は、撮影画像に付加された撮影日時情報と撮影位置情報とを利用して検索した地図画像に基づいて作成した、撮影時に被写体が見ていたはずの仮想風景画像を作成し、上記仮想風景画像に、撮影者画像の設定情報に基づいて取得した撮影者画像を合成することを特徴とする。

本発明によれば、撮影当時に撮影されなかった風景をも想起することができる画像処理装置、画像処理システム及び画像処理方法を提供することができる。

本発明の一実施形態に係る仮想風景表示装置を含む、仮想風景表示システムの構成を示す図である。 仮想風景表示システムの動作の概略について示す図である。 図１に示す仮想風景表示システムにおけるカメラの動作を示すフローチャートである。 図１に示す仮想風景表示システムにおけるサーバの動作を示すフローチャートである。 撮影者画像の設定処理について示すフローチャートである。 撮影者画像の設定処理の際の表示部の表示例を示すフローチャートである。 思い出再生時の処理について示すフローチャートである。 思い出再生時の画像合成処理について説明するための図である。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る仮想風景表示装置を含む、仮想風景表示システムの構成を示す図である。図１に示す仮想風景表示システムは、カメラ１００と、サーバ２００とが通信回線３００を介して通信自在に接続されて構成されている。ここで、通信回線３００はインターネット回線等の汎用の通信回線である。

カメラ１００は、制御部１０１と、操作入力部１０２と、撮像部１０３と、位置検出部１０４と、時計部１０５と、記録部１０６と、表示部１０７と、通信部１０８とを有している。

制御部１０１は、カメラ１００の全体の動作を制御する。この制御部１０１は、ユーザによる操作入力部１０２の操作状態に従って各種の処理を制御する。操作入力部１０２は、カメラ１００の電源をオンオフするための電源スイッチ、カメラ１００の撮影実行の指示を与えるためのレリーズボタン、ズーム操作を実行するためのズームボタン、画像の通常再生指示を与えるための再生ボタン、画像の思い出再生（詳細は後述）指示を与えるための思い出再生ボタン、カメラ１００における各種選択操作を行うための十字キー、カメラ１００における各種決定操作を行うためのＯＫボタン等、ユーザがカメラ１００の操作を行うための各種の操作部材を含んで構成されている。

撮像部１０３は、制御部１０１の制御の下で被写体を撮影して画像を取得する。位置検出部１０４は、例えばＧＰＳ等で構成され、撮影時のカメラ１００の位置（緯度・経度）を検出する。時計部１０５は、撮影日時を検出する。

ここで、位置検出部１０４や時計部１０５は必ずしもカメラ１００に内蔵する必要はない。例えば、ＧＰＳ内蔵の腕時計や専用のナビゲーション装置をユーザに携帯させることで、これらによって検出される位置情報や時間情報をカメラ１００において取得するようにしても良い。

記録部１０６は、例えばカメラ１００に対して着脱自在に構成されたメモリカードであり、撮像部１０３を介して取得された画像を、位置検出部１０４で検出された撮影位置及び時計部１０５で検出された撮影日時と関連付けて記録する。表示部１０７は、制御部１０１の下で記録部１０６に記録された画像等の各種画像を表示する。

通信部１０８は、制御部１０１の制御の下、サーバ２００との通信に係る各種処理を行う。

サーバ２００は、制御部２０１と、操作入力部２０２と、画像記録部２０３と、年代別地図データベース（ＤＢ）２０４と、撮影者画像ＤＢ２０５と、仮想風景作成部２０６と、通信部２０７とを有している。サーバ２００は、様々な地方の地図画像を記録できるように巨大なデータベースを有し、インターネット上の様々なサイトの情報も利用できるようにインターネットに接続されていることが望ましいが、カメラ１００にサーバ２００の機能を持たせるようにしても良い。

制御部２０１は、サーバ２００における各種処理を制御する。この制御部２０１は、操作入力部２０２が操作された場合には、その操作内容に従った処理も行う。操作入力部２０２は、サーバ２００の操作を行うための各種の操作部材を含んで構成されている。ここで、図１においては、操作入力部２０２をサーバ２００に設けているが、操作入力部２０２は、サーバ２００にネットワーク接続されたＰＣ等であっても良い。

画像記録部２０３は、カメラ１００から通信回線３００を介して送信された画像を記録する。画像記録部２０３は、カメラ１００の記録部１０６に比して大容量の記録容量を有するハードディスク等から構成されている。ここで、本実施形態における画像記録部２０３は、位置年代記録部２０３ａとしての記録領域を有している。位置年代記録部２０３ａは、画像記録部２０３に記録されている各画像の撮影位置と撮影日時（撮影年代）とを関連付けて記録しておくための記録領域である。

年代別地図ＤＢ２０４は、撮影年代毎の２Ｄ及び３Ｄ地図画像を記録したデータベースである。ここで、年代別地図ＤＢ２０４は、画像記録部２０３とは別の記録媒体内に構築しても良いし、画像記録部２０３内に構築しても良い。

撮影者画像ＤＢ２０５は、ユーザ（撮影者）の画像を記録したデータベースである。この撮影者画像ＤＢ２０５に記録される撮影者の画像は、撮影者が自身で登録した実写画像、若しくはサーバ２００に予め登録されている撮影者の分身としてのキャラクタ画像であるアバターである。ユーザは、後述する思い出再生の際に作成される仮想風景画像に合成する自身の画像を実写画像とするかアバターとするかを操作入力部２０２又はカメラ１００の操作入力部１０２によって選択することが可能である。

仮想風景作成部２０６は、思い出再生の際に入力される画像に写っている被写体が見ている風景の画像（仮想風景画像）を作成し、さらに、必要に応じて仮想風景画像に入力された画像のユーザ（撮影者）の画像を合成する。仮想風景作成部２０６は、方向検出部２０６１と、画像合成部２０６２とを有している。方向検出部２０６１は、同方向検出部２０６１ａと反対方向検出部２０６１ｂとを有している。同方向検出部２０６１ａは、入力された画像の撮影位置情報と、入力された画像に写っている風景とから、撮影方向を検出する。反対方向検出部２０６１ｂは、同方向検出部２０６１ａによって検出された撮影方向と相対する方向（１８０度の回転方向）を検出する。画像合成部２０６２は、反対方向検出部２０６１ｂによって検出された方向に存在する風景の画像を仮想風景画像として年代別地図ＤＢ２０４から取得し、必要に応じて、取得した風景の画像に、入力された画像の撮影者の画像を合成する。即ち、画像合成部２０６２によって取得される仮想風景画像は、入力された画像の撮影当時に被写体が見ていた方向、即ち撮影者が存在していた方向に写っていたと考えられる風景の画像に相当する。

通信部２０７は、制御部２０１の制御の下、カメラ１００との通信に係る各種処理を行う。

以下、図１に示す仮想風景表示システムの動作の概略について説明する。図２は、仮想風景表示システムの動作の概略について示す図である。

本実施形態においては、撮影がなされると、撮影位置と撮影日時とが関連付けられた状態で画像が記録部１０６に記録される。

そして、ユーザの操作入力部１０２の操作により、カメラ１００の動作モードが思い出画像再生モードに設定され、その後に、カメラ１００の記録部１０６に記録されている画像が選択されると、選択された画像がサーバ２００に送信される。図２の例では、１２時２０分に緯度Ａ、経度Ｂの位置で撮影された画像４０１が選択された例を示している。

画像４０１がサーバ２００において受信されると、年代別地図ＤＢ２０４から画像４０１の撮影位置を含む２Ｄ地図画像４０２及び３Ｄ地図画像が取得される。その後、仮想風景作成部２０６の同方向検出部２０６１ａにおいて、画像４０１に写っている風景から画像４０１の撮影方向が特定される。画像４０１の撮影方向の特定後、反対方向検出部２０６１ｂによって撮影方向と相対する方向（撮影方向の１８０度回転方向）が特定される。この方向が、画像４０１の撮影当時に被写体が見ていたと考えられる方向となる。

反対方向検出部２０６１ｂによって撮影方向と相対する方向が特定されると、画像合成部２０６２によって、被写体が見ていたと考えられる画像が仮想風景画像として、年代別地図ＤＢ２０４の３Ｄ地図画像をもとに作成される。さらに、作成された仮想風景画像４０３に必要に応じて撮影者の画像４０４が合成される。

以上のようにして仮想風景画像を作成することにより、実際には画像４０１しか撮影してなくとも、その撮影位置で見ることのできた他の画像をも鑑賞することが可能である。

以下、図１の仮想風景表示システムの具体的な動作について説明する。
図３は、図１に示す仮想風景表示システムにおけるカメラ１００の動作を示すフローチャートである。ユーザによる操作入力部１０２の電源スイッチの操作によってカメラ１００の電源がオンされることで図３の処理が開始される。

電源のオン後、制御部１０１は、撮像部１０３を動作させ、撮像部１０３を介して得られる画像を表示部１０７にリアルタイム表示させるスルー画表示を行う（ステップＳ１）。スルー画表示の後、制御部１０１は、ユーザによる操作入力部１０２のレリーズボタンの操作によって画像撮影指示がなされたかを判定する（ステップＳ２）。

ステップＳ２の判定において、画像撮影指示がなされた場合に、制御部１０１は、被写体の撮影を実行する（ステップＳ３）。即ち、制御部１０１は、撮像部１０３を動作させて被写体の画像を取得し、この取得した被写体の画像に対し、種々の画像処理を施す。その後、制御部１０１は、撮影実行時に時計部１０５において検出された撮影日時情報を取得するとともに（ステップＳ４）、撮影実行時に位置検出部１０４において検出された撮影位置情報を取得する（ステップＳ５）。次に、制御部１０１は、撮影によって得られた画像と撮影日時情報及び撮影位置情報とを関連付けて記録部１０６に記録する（ステップＳ６）。

また、ステップＳ２の判定において、画像撮影指示がなされていない場合に、制御部１０１は、ユーザによる操作入力部１０２の再生ボタンの操作によって通常の画像再生指示がなされたかを判定する（ステップＳ７）。ステップＳ７の判定において、通常の画像再生指示がなされた場合に、制御部１０１は、通常の画像の再生に関する処理を行う（ステップＳ８）。即ち、制御部１０１は、記録部１０６に記録されている画像のサムネイル画像を表示部１０７に表示させ、ユーザによって選択されたサムネイル画像に対応した画像を表示部１０７に表示させる。なお、サーバ２００の画像記録部２０３に記録されている画像をカメラ１００で再生できるようにしても良い。この場合には、カメラ１００からサーバ２００に対して画像の再生要求がなされる。これを受けてサーバ２００に記録されている画像のサムネイル画像が表示部１０７に表示される。何れかのサムネイル画像がユーザによって選択された場合、そのサムネイル画像に対応した画像がサーバ２００からカメラ１００に送信され、この送信された画像が表示部１０７に表示される。

また、ステップＳ７の判定において、通常の画像再生指示がなされていない場合に、制御部１０１は、ユーザによる操作入力部１０２の思い出再生ボタンの操作によって思い出再生指示がなされたかを判定する（ステップＳ９）。ステップＳ９の判定において、思い出再生指示がなされていない場合に、制御部１０１は、ユーザによる操作入力部１０２の操作により画像送信指示がなされたかを判定する（ステップＳ１０）。ステップＳ１０の判定において、画像送信指示がなされていない場合に、処理がステップＳ１に戻り、制御部１０１は、スルー画表示を再び行う。一方、ステップＳ１０の判定において、画像送信指示がなされた場合に、制御部１０１は画像送信に関する処理を行う（ステップＳ１１）。即ち、制御部１０１は、記録部１０６に記録されている画像のサムネイル画像を表示部１０７に表示させ、ユーザによって選択されたサムネイル画像に対応した画像をサーバ２００に送信する。

また、ステップＳ９の判定において、思い出再生指示がなされた場合に、制御部１０１は思い出再生に係る処理を実行する。まず、制御部１０１は、記録部１０６に記録されている画像のサムネイル画像を表示部１０７に表示させる（ステップＳ１２）。次に、制御部１０１は、ユーザによる操作入力部１０２の操作によってサムネイル画像中の何れかの画像が選択されるのを待つ（ステップＳ１３）。

ステップＳ１３において画像の選択がなされた後、制御部１０１は、撮影者の画像の設定の入力を待つ（ステップＳ１４）。この設定は、後述する思い出再生モードにおいて仮想風景画像に、撮影者画像を合成するか、また合成する場合にはどのような画像を合成するか等の設定である。この撮影者画像の設定についての処理は後述する。

その後、制御部１０１は、ユーザによる操作入力部１０２の操作によって決定指示がなされたかを判定する（ステップＳ１５）。ステップＳ１５の判定において、決定指示がなされていない場合には、処理がステップＳ１３に戻って、制御部１０１は画像の選択及び撮影者画像の設定入力の変更を待つ。一方、ステップＳ１５の判定において、決定指示がなされた場合に、制御部１０１は、ユーザによって選択された画像をサーバ２００に送信し、サーバ２００に対して思い出再生要求を送信する。この際、ステップＳ１４で設定された撮影者画像の設定情報もサーバ２００に送信する（ステップＳ１６）。この後、後述するサーバ２００の処理において、思い出再生用の画像ファイルが生成される。

その後、制御部１０１は、サーバ２００において生成された思い出再生用の画像ファイルを受信したかを判定する（ステップＳ１７）。ステップＳ１７において、サーバ２００から画像ファイルを受信するまで待機する。ステップＳ１７の判定において、サーバ２００から画像ファイルが受信された場合に、制御部１０１は、ユーザにその旨を通知する。ユーザによって思い出画像ファイルの再生指示がなされたかを判定する（ステップＳ１８）。ステップＳ１８の判定において、思い出画像ファイルの再生指示がなされた場合に、制御部１０１は、サーバ２００から送信された画像ファイルに基づき、撮影時に被写体が見ていたと考えられる風景画像を表示部１０７に表示させる思い出再生処理を行う（ステップＳ１９）。この思い出再生処理については後述する。また、ステップＳ１８の判定において、思い出画像ファイルの再生指示がなされなかった場合に、制御部１０１は、ステップＳ１９の処理をスキップする。

ステップＳ１８又はステップＳ１９の後、制御部１０１は、ユーザの操作入力部１０２の操作により画像ファイルの記録指示がなされたかを判定する（ステップＳ２０）。ステップＳ２０の判定において、画像ファイルの記録指示がなされた場合に、制御部１０１は画像ファイルを記録部１０６に記録する（ステップＳ２１）。また、ステップＳ２０の判定において、思い出画像ファイルの記録指示がなされなかった場合に、制御部１０１は、ステップＳ２１の処理をスキップする。

図４は、図１に示す仮想風景表示システムにおけるサーバ２００の動作を示すフローチャートである。制御部２０１は、思い出再生要求がなされていない状態でカメラ１００からの画像を受信したかを判定する（ステップＳ３１）。ステップＳ３１の判定において、画像を受信した場合に、制御部２０１は、受信した画像を画像記録部２０３に記録する（ステップＳ３２）。その後、制御部２０１は、カメラ１００からの画像の受信が終了したかを判定する（ステップＳ３３）。ステップＳ３３の判定において、画像の受信が終了していない場合に、処理がステップＳ３１に戻り、制御部２０１は、カメラ１００からの次の画像の受信を待つ。

また、ステップＳ３１の判定において、画像の受信がない場合に、制御部２０１は、カメラ１００から画像とともに思い出再生要求がなされたかを判定する（ステップＳ３４）。ステップＳ３４の判定において、思い出再生要求がなされていない場合に、制御部２０１は、カメラ１００から通常の画像の再生要求がなされたかを判定する（ステップＳ３５）。ステップＳ３５の判定において、通常の画像の再生要求がなされた場合に、制御部２０１はユーザによって選択された画像をカメラ１００に転送する。これにより、カメラ１００の表示部１０７において画像再生が行われる（ステップＳ３６）。

また、ステップＳ３４の判定において、思い出再生要求がなされた場合に、制御部２０１はカメラ１００から送られてきた画像を取得する（ステップＳ３７）。次に、制御部２０１は、カメラ１００から送られてきた撮影者画像の設定情報に基づいて撮影者画像を取得する（ステップＳ３８）。即ち、カメラ１００から撮影者を示す画像が送られてきた場合には、その画像を撮影者画像として取得する。また、サーバ２００の撮影者画像ＤＢ２０５に記録されている画像を合成するように要求されている場合には、その画像を撮影者画像として取得する。

その後、制御部２０１は、取得した画像に付加されている撮影日時と撮影位置の情報に基づき、年代別地図ＤＢ２０４から、カメラ１００から送られてきた画像の撮影日時と同年代で且つその画像の撮影位置を含む２Ｄ地図画像及び３Ｄ地図画像を選択し（ステップＳ３９）、選択した２Ｄ地図画像及び３Ｄ地図画像を仮想風景作成部２０６に送る。その後、仮想風景作成部２０６の同方向検出部２０６１ａは、カメラ１００から送られてきた画像に写っている風景から、カメラ１００から送られてきた画像の撮影方向を検出する（ステップＳ４０）。即ち、同方向検出部２０６１ａは、撮影者が撮影位置に立ったときに見えるはずの画像（撮影位置を中心として３６０度回転方向に沿って存在する風景画像）を３Ｄ地図画像から選択する。そして、仮想風景各選択した画像とカメラ１００から送られてきた画像とのマッチング処理を行い、マッチング処理によって最も一致度の高いと判定される風景画像が存在する方向を撮影方向として検出する。例えば、図２の位置４０２ａに存在する風景画像との一致度が高いと判定される場合には、撮影方向は矢印Ｃで示すものとなる。撮影方向の検出後、仮想風景作成部２０６の反対方向検出部２０６１ｂは、撮影方向の反対方向（撮影方向に対して１８０度回転方向。図２の例では矢印Ｄの方向）を検出する（ステップＳ４１）。

反対方向の検出終了後、制御部２０１は、撮影者画像の設定情報に基づき、撮影者画像を合成するように設定されているかを判定する（ステップＳ４２）。ステップＳ４２の判定において、撮影者画像を合成するように設定されている場合に、制御部２０１は、撮影位置の周囲３６０度の位置に対応した風景画像を仮想風景画像として選択し、選択した仮想風景画像の中で、ステップＳ４１で検出された反対方向に対応した位置（図２の例では位置４０２ｂ）に対応した仮想風景画像を選択し、選択した仮想風景画像を画像合成部２０６２に送る。画像合成部２０６２は、送られてきた仮想風景画像にステップＳ３８で取得した撮影者画像を合成する。このような画像の合成の後、制御部２０１は、合成がなされた仮想風景画像を含む撮影位置周辺の仮想風景画像を１つの画像ファイルとする（ステップＳ４３）。一方、ステップＳ４２の判定において、撮影者画像を合成するように設定されていない場合に、制御部２０１は、撮影位置の周囲３６０度の位置に対応した風景画像を仮想風景画像として選択し、選択した各仮想風景画像とステップＳ３８で取得した撮影者画像とを１つの画像ファイルとする（ステップＳ４４）。また、ここで作成される思い出画像ファイルには、ステップＳ４１で検出された反対方向の情報も含めておく。このようにして、仮想風景画像と撮影者画像とを合成せずに画像ファイルに記録しておくことにより、カメラ１００においても合成を行うことが可能となる。

図５は、図３のステップＳ１４における撮影者画像の設定処理について示すフローチャートである。ユーザ（撮影者）は、サーバ２００の撮影者画像ＤＢ２０５に記録されている画像の中から所望の撮影者画像を選択することができる。なお、撮影者画像の設定は、サーバ２００にネットワーク接続されたＰＣ上から行うことも可能である。

撮影者画像の設定の際に、制御部１０１は、サーバ２００からアバターの候補画像を受信し、受信した候補画像のサムネイル画像を図６（ａ）の参照符号１０７ａに示すようにして表示させる。そして、ユーザによるアバター候補の選択を待つ（ステップＳ５１）。この際、制御部１０１は、ユーザによりアバターの候補が選択されたかを判定し（ステップＳ５２）、選択がなされるまでステップＳ５１〜Ｓ５２の処理を繰り返す。ステップＳ５１では、アバターの性別やスタイル等のアバターの外形を選択することが可能である。即ち、ユーザは、操作入力部１０２の十字キー１０２ａとＯＫボタン１０２ｂとを操作してカーソル１０７ｂを移動させ、表示部１０７に表示された何れかのサムネイル画像を選択することにより、所望の外形のアバターを選択することが可能である。

ステップＳ５２の判定において、アバターの候補が選択された場合に、制御部１０１は、サーバ２００から、選択された外形に対応したアバターの候補画像を受信し、受信した候補画像のサムネイル画像を図６（ｂ）の参照符号１０７ｃに示すようにして表示させる。そして、ユーザによるアバター候補の選択を待つ（ステップＳ５３）。この際、制御部１０１は、ユーザによりアバターの候補が選択されたかを判定し（ステップＳ５４）、選択がなされるまでステップＳ５３〜Ｓ５４の処理を繰り返す。ステップＳ５３では、アバターのポーズを選択することが可能である。即ち、ユーザは、操作入力部１０２の十字キー１０２ａとＯＫボタン１０２ｂとを操作してカーソル１０７ｂを移動させ、表示部１０７に表示された何れかのサムネイル画像を選択することにより、ステップＳ５１で選択された外形に対応した所望のポーズのアバターを選択することが可能である。

ステップＳ５４の判定において、アバターの候補が選択された場合に、制御部１０１は、選択されたポーズに基づいてアバターの候補画像を作成し、作成したアバターの候補画像をユーザへの確認用の画像として表示部１０７に表示させる（ステップＳ５５）。その後、制御部１０１は、ユーザによってＯＫ操作がなされたかを判定する（ステップＳ５６）。ＯＫ操作は、ユーザによるＯＫボタン１０２ｂの操作である。ステップＳ５６の判定において、ＯＫ操作がなされていない場合には、処理がステップＳ５３に戻り、制御部１０１は、アバター候補の選択を再び待つ。

また、ステップＳ５６の判定において、ユーザによってＯＫ操作がなされた場合に、制御部１０１は、サーバ２００と通信してサーバ２００の撮影者画像ＤＢ２０５に撮影者であるユーザを示す実写画像（撮影者が自身で登録した画像）が記録されているかを判定する（ステップＳ５７）。ステップＳ５７の判定において、実写画像が記録されていない場合に、制御部１０１は、図５の処理を終了させる。一方、ステップＳ５７の判定において、実写画像が記録されている場合に、制御部１０１は、サーバ２００から実写画像を受信し、受信した実写画像のサムネイル画像を図６（ｃ）の参照符号１０７ｄに示すようにして表示させる。そして、ユーザによる実写画像の選択を待つ（ステップＳ５８）。この際、制御部１０１は、ユーザによりアバターの候補となる実写画像が選択されたかを判定し（ステップＳ５９）、選択がなされるまでステップＳ５８〜Ｓ５９の処理を繰り返す。

ステップＳ５９の判定において、アバターの候補となる実写画像が選択された場合に、制御部１０１は、選択された実写画像における顔部の画像をステップＳ５５で作成されたアバター候補の顔部に合成する（ステップＳ６０）。その後、制御部１０１は、図５の処理を終了させる。

以上のようにして合成されたアバターの画像は、図３のステップＳ１６の思い出再生要求の際に、サーバ２００に送信される。このアバターの画像は、思い出画像ファイルの作成時に必要に応じて仮想風景画像に合成される。これにより、ユーザ（撮影者）が自身の画像を撮影していなくとも、自身を示す画像を作成することができる。このような画像を仮想風景画像に合成することにより、ユーザは、自身が写っている画像を撮影していなくとも、撮影当時に被写体が見ていた風景を含む、その当時に撮影しなかった風景の画像を鑑賞することができる。これにより、ユーザは、撮影当時の状況を想起できる。

図７は、カメラ１００による思い出再生時の処理について示すフローチャートである。ここで、本実施形態においては、思い出再生時にも、仮想風景画像と撮影者画像とを合成することができるようになされている。

思い出画像ファイルが受信され、ユーザによって思い出再生の指示がなされた後、制御部１０１は、思い出画像ファイル内に撮影者画像が含まれているか（サーバ２００において撮影者画像の合成がなされていないか）を判定する（ステップＳ７１）。ステップＳ７１の判定において、思い出画像ファイル内に撮影者画像が含まれている場合に、制御部１０１は、ユーザ操作によって撮影者画像を仮想風景画像に合成するように指示されたかを判定する（ステップＳ７２）。ステップＳ７２の判定において、撮影者画像を合成するように指示された場合に、制御部１０１は、図８（ａ）に示すような撮影者画像を、図８（ｂ）に示すような撮影方向の反対方向に対応した仮想風景画像に合成する（ステップＳ７３）。

ステップＳ７１、Ｓ７２、又はＳ７３の後、制御部１０１は、仮想風景画像を表示部１０７に表示させることで思い出再生を実行する（ステップＳ７４）。思い出再生の際、制御部１０１は、ユーザによってＯＫ操作がなされたかを判定する（ステップＳ７５）。ステップＳ７５の判定において、ＯＫ操作がなされた場合に、制御部１０１は、図７の処理を終了させる。その後、図８（ｄ）に示すようにして作成された仮想風景画像５０１ａを含む思い出画像ファイルが、ユーザ操作に従って記録部１０６に記録される。

一方、ステップＳ７５の判定において、ＯＫ操作がなされていない場合に、制御部１０１は、ユーザによって十字キー１０２ａの左右キーの操作がなされたかを判定する（ステップＳ７６）。ステップＳ７６の判定において、十字キー１０２ａの操作がなされた場合に、制御部１０１は、十字キー１０２ａの操作方向に従って画像ファイル中の別の仮想風景画像を選択し、選択した仮想風景画像に、再度、撮影者画像を合成することにより、撮影者画像の合成位置の変更を行う（ステップＳ７７）。ユーザは、十字キー１０２ａの左右キーの操作によって図８（ｃ）の矢印Ｅ方向（撮影位置を中心とした３６０度回転方向）に沿って仮想風景画像を選択することができる。例えば、図８（ｃ）の状態で右キーが押された場合には、仮想風景画像５０１の右隣の仮想風景画像が選択され、選択された仮想風景画像の中心位置に撮影者画像５０２が合成される。また、図８（ｃ）の状態で左キーが押された場合には、仮想風景画像５０１の左隣の仮想風景画像が選択され、選択された仮想風景画像の中心位置に撮影者画像５０２が合成される。

ステップＳ７６又はＳ７７の後、制御部１０１は、ユーザによってズーム操作がなされたかを判定する（ステップＳ７８）。ステップＳ７８の判定において、ズーム操作がなされた場合に、制御部１０１は、ズームボタンの操作方向に従って撮影者画像を拡大又は縮小し、拡大又は縮小後の撮影者画像を仮想風景画像に、再度合成することにより、撮影者画像の表示範囲の変更を行う（ステップＳ７９）。ユーザは、ズームボタンの操作によって図８（ｃ）の矢印Ｆ方向に撮影画像の拡大又は縮小を行うことができる。例えば、ズームボタンのワイド側が押された場合には、撮影者画像を拡大する。また、ズームボタンのテレ側が押された場合には、撮影者画像を縮小する。

以上説明したように、本実施形態によれば、撮影時にユーザによって撮影されていなかった風景等の画像を３Ｄ地図画像から作成することにより、撮影時に被写体が見ていたはずの風景等を撮影後に鑑賞して思い出を想起することが可能となる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、上述の実施形態では、カメラ１００とサーバ２００とで構成されるシステムについて説明しているが、カメラ１００の代わりにＰＣや携帯電話機等を用いても良い。即ち、少なくとも画像の表示機能を備える機器であれば、カメラ１００の代わりに用いることが可能である。

また、仮想風景画像は、３Ｄ地図画像の他に、衛星写真や航空写真等を利用して作成するようにしても良い。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１００…カメラ、１０１…制御部、１０２…操作入力部、１０３…撮像部、１０４…位置検出部、１０５…時計部、１０６…記録部、１０７…表示部、１０８…通信部、２００…サーバ、２０１…制御部、２０２…操作入力部、２０３…画像記録部、２０３ａ…位置年代記録部、２０４…年代別地図データベース（ＤＢ）、２０５…撮影者画像ＤＢ、２０６…仮想風景作成部、２０７…通信部、３００…通信回線

Claims (6)

1. 撮影画像に付加された撮影日時情報と撮影位置情報とを利用して検索した地図画像に基づいて作成した、撮影時に被写体が見ていたはずの仮想風景画像を作成する仮想風景作成部と、
   上記仮想風景画像に、撮影者画像の設定情報に基づいて取得した撮影者画像を合成する画像合成部と、
   を具備することを特徴とする画像処理装置。
2. 上記仮想風景画像の範囲は、上記撮影位置情報によって示される撮影位置を中心に変更されることを特徴とする請求項１に記載の画像処理装置。
3. 上記撮影者画像は、上記合成の前に拡大又は縮小されることを特徴とする請求項１に記載の画像処理装置。
4. 上記撮影者画像をアバターの画像とするか実写画像とするかを選択するための操作入力部をさらに具備することを特徴とする請求項１に記載の画像処理装置。
5. 撮影画像に付加された撮影日時情報と撮影位置情報とを利用して検索した地図画像に基づいて作成した、撮影時に被写体が見ていたはずの仮想風景画像を作成する仮想風景作成部と、
   上記仮想風景画像に、撮影者画像の設定情報に基づいて取得した撮影者画像を合成する画像合成部と、
   を具備することを特徴とする画像処理システム。
6. 撮影画像に付加された撮影日時情報と撮影位置情報とを利用して検索した地図画像に基づいて作成した、撮影時に被写体が見ていたはずの仮想風景画像を作成し、
   上記仮想風景画像に、撮影者画像の設定情報に基づいて取得した撮影者画像を合成する、
   ことを特徴とする画像処理方法。