JP5231110B2 - 画像再生装置、画像再生方法、およびプログラム - Google Patents

Description

本発明は、画像再生装置、画像再生方法、およびプログラムに関し、詳しくは、一般ユーザにより撮影された画像と、事業者等の外部から提供された画像を再生表示する画像再生装置、画像再生方法、およびプログラムに関する。

旅行あるいは各種イベントがあると、持参したカメラ等の撮影装置でその記念や思い出として撮影がなされる。撮影された画像の楽しみ方として、従来は静止画であればプリントし、また動画であればテレビで再生するという限られた楽しみ方しかなかった。しかし、現在は画像がデジタル化されたことで複雑な処理が可能となり、個人の撮影画像でも、デジタル画像の技術を用いて従来になかった鑑賞方法を提供するようなサービスや画像装置が種々提案されている。

例えば、旅行の静止画であれば、帰ってきてから旅行中の得られた画像を整理するという面倒な作業をしなくても済むように、撮影された画像から自動的に旅行アルバムを作成するサービスが特許文献１に提案されている。
特開２００４−２５９００６号公報

また、旅行に行っても自分の撮影画像のみだけであると記念が少ないと感じる人のために、観光地の画像情報をデータとして提供するシステムも提案されている。例えば、観光地の文章・画像・地図の素材データが記録された記録媒体が提供され、自分の撮影画像にこれらの素材を組み合わせてオリジナルの電子アルバムを作成することのできる電子アルバム作成装置が特許文献２に提案されている。
特開２００５−１２８７８５号公報

上記目的を達成するため第１の発明に係わる画像再生装置は、一般ユーザにより撮影された第１の画像と、事業者から提供される画像であって上記第１の画像の撮影位置に対応する撮影位置で撮影された第２の画像の２種類の画像について、指示に応じていずれか一方を主画像、他方を補助画像に設定して、上記２種類の画像を組み合わせて再生する再生制御部と、上記補助画像に設定された他方の画像についてその縮小画像または識別マークを、上記主画像に設定された一方の画像に合成して合成画像を作成し、この合成画像を表示する表示制御部を備え、上記表示制御部は、上記再生制御部によって上記第２の画像が補助画像として設定されかつ当該補助画像とされる第２の画像が複数ある場合には、少なくとも２つ以上の第２の画像をそれぞれ縮小した複数の縮小画像または複数の対応する識別マークを、上記主画像に合成して上記合成画像を作成して表示し、上記再生制御部は、当該合成画面上で選択された場合には１の縮小画像または識別マークに対応する第２の画像を主画像に設定して再生し、上記再生制御部は、上記主画像に設定された上記第２の画像の再生終了時には、上記第１画像を主画像とする合成画像を切り換え表示し、上記表示制御部は、上記再生終了時後は、当該再生終了した第２の画像の縮小画像または識別マークについては上記合成画像には表示しない。

一方、特許文献１で提案されたような観光地や事業者から提供される画像は、個人の撮影した画像に比べて撮影技術の点では数段優れていることが多く、自分で撮影した動画に、このような画像を上手く組み合わせることができれば、上述したような冗長性の問題を解決でき、鑑賞性に優れた画像再生を実現できる可能性がある。

本発明は、このような事情を鑑みてなされたものであり、自己の動画に他から提供される画像を組み合わせて再生する画像再生装置、画像再生方法、およびプログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係わる画像再生装置は、一般ユーザにより撮影された第１の画像と、事業者から提供される画像であって上記第１の画像の撮影位置に対応する撮影位置で撮影された第２の画像の２種類の画像について、指示に応じていずれか一方を主画像、他方を補助画像に設定して、上記２種類の画像を組み合わせて再生する再生制御部と、上記補助画像に設定された他方の画像についてその縮小画像または識別マークを、上記主画像に設定された一方の画像に合成して合成画像を作成し、この合成画像を表示する表示制御部を備える。

第２の発明に係わる画像再生装置は、一般ユーザにより撮影された第１の画像と、事業者から提供される画像であって上記第１の画像の撮影位置に対応する撮影位置で撮影された第２の画像の２種類の画像について、指示に応じていずれか一方を主画像、他方を補助画像に設定して、上記２種類の画像を組み合わせて再生する再生制御部と、上記補助画像に設定された他方の画像についてその縮小画像または識別マークを、上記主画像に設定された一方の画像に合成して合成画像を作成し、この合成画像を表示する表示制御部と、を備え、上記再生制御部は、上記主画像としての上記第１の画像の再生が一定時間経過した場合には、上記主画像を上記第１の画像から上記第２の画像に切り換えて設定して再生する。
第３の発明に係わる画像再生装置は、上記第１または２の発明において、上記第１の画像及び第２の画像を記憶する記憶部と、上記第１の画像に対応する上記第２の画像を、上記第１の画像の撮影位置に基づいて上記記憶部から検索する検索部をさらに備える。

第４の発明に係わる画像再生方法は、一般ユーザにより撮影された第１の画像と、事業者から提供される画像であって上記第１の画像の撮影位置に対応する撮影位置で撮影された第２の画像の２種類の画像について、指示に応じていずれか一方を主画像、他方を補助画像に設定するステップと、上記補助画像に設定された他方の画像についてその縮小画像またはその識別マークを、上記主画像に設定された一方の画像に合成して合成画像を作成するステップと、この合成画像を表示して上記２種類の画像を組み合わせて再生するステップを含み、上記合成画像を作成するステップは、上記第２の画像が補助画像として設定され、かつ当該補助画像とされる第２の画像が複数ある場合には、少なくとも２つ以上の第２の画像をそれぞれ縮小した複数の縮小画像または複数の対応する識別マークを、上記主画像に合成して上記合成画像を作成して表示し、かつ、上記再生終了時後は、当該再生終了した第２の画像の縮小画像または識別マークについては上記合成画像には合成させず、上記２種類の画像を組み合わせて再生するステップは、当該合成画面上で選択された場合には１の縮小画像または識別マークに対応する第２の画像を主画像に設定して再生し、かつ、上記主画像に設定された上記第２の画像の再生終了時には、上記第１画像を主画像とする合成画像を切り換え再生する。

第５の発明に係わるプログラムは、コンピュータによる画像再生を制御するプログラムであって、一般ユーザにより撮影された第１の画像と、事業者から提供される画像であって上記第１の画像の撮影位置に対応する撮影位置で撮影された第２の画像の２種類の画像について、指示に応じていずれか一方を主画像、他方を補助画像に設定するステップと、上記補助画像に設定された一方の画像に合成して合成画像を作成するステップと、この合成画像を表示して上記２種類の画像を組み合わせて再生するステップを含み、上記２種類の画像を組み合わせて再生するステップは、上記主画像としての上記第１画像の再生が一定時間経過した場合には、上記主画像を上記第１の画像から上記第２の画像に切り換えて設定して再生することを上記コンピュータに実行させる。

本発明によれば、自己の動画に他から提供される画像を組み合わせて再生する画像再生装置、画像再生方法、およびプログラムを提供することができる。

特に、第１、第４の発明によれば事業者から提供された画像を自己の画像に加えて再生するので再生に幅がでるとともに、見ていて退屈しない再生が可能となる。また、提供が複数ある場合に、提供画像が複数あることが理解され、見たい提供画像を任意に選択することができる。さらに、見終わった提供画像を表示しないことで、見終わったことの確認にもなる。なお、途中で見ることをやめた提供画像についても、見終わったとみなして表示しないようにしても良い。

第２の発明によれば、事業者から提供された画像を自己の画像に加えて再生するので再生に幅がでるとともに、見ていて退屈しない再生が可能となる。また、一定のタイミングで自動的に主画像を切り換えるので、操作者が切り換えを行う手間を省くことができる。第３の発明によれば、第２の画像を一旦、画像再生装置内の記憶部に記憶させ、撮影位置に基づいて検索するようにしているので、直接外部のデータベースを検索するよりは時間を短縮することができる。

第５の発明によれば、事業者から提供された画像を自己の画像に加えて再生するので再生に幅がでるとともに、見ていて退屈しない再生が可能となる。また、一定のタイミングで自動的に主画像を切り換えるので、操作者が切り換えを行う手間を省くことができる。

以下、図面に従って本発明を適用した再生装置（画像再生装置）を用いて好ましい実施形態について説明する。本発明の実施形態に係わる再生装置は、インターネット等のネットワークに接続可能であり、外部データベースから素材情報を取得し、また、ユーザが個人的に撮影した動画や静止画を記憶可能である。そして、この再生装置は、画像表示部を有し、これらの画像の再生機能を有する。

図１は、本発明の第１実施形態に係わる再生装置１０の構成を示すブロック図である。この再生装置１０は、ＣＰＵ（Central Processing Unit）を含む制御部１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、データ読出部１４、記憶部１５、表示制御部１６、表示部１７、音声制御部１８、スピーカ部１９、操作部２０、記録部２１、通信部２２、データバス２３から構成される。

再生装置１０内の制御部１１、ＲＯＭ１２、ＲＡＭ１３、データ読出部１４、記憶部１５、表示制御部１６、音声制御部１８、記録部２１および通信部２２は、データバス２３によって接続されている。また、再生装置１０は、通信部２２およびネットワーク１０１等の通信網を介して提供画像のデータベース１０２に接続されている。

再生装置１０内の制御部１１は、フラッシュメモリやハードディスク等で構成されるＲＯＭ１２に記憶された制御プログラムに従って再生装置１０の全体制御を行う。制御部１１の内部には、処理機能として再生制御部１１ａ、検索部１１ｂが設けられており、これらは実質的には、制御プログラムによって実行されるが、専用ハードウエアによって構成してもよい。

検索部１１ｂは、再生開始時に選択されたユーザ画像の管理情報を記憶部１５の画像ファイルからデータ読出部１４によって読出し、その管理情報に記録された位置情報（例えば、ＧＰＳデータ）から、ユーザ画像の撮影位置を判断する。そして、ユーザ画像の撮影位置と同一または近接する位置にある事業者からの提供画像を、記憶部１５から検索する。該当する提供画像があれば、データ読出部１４がこれを伸張処理して読み出す。なお、提供画像は１つに限らず、複数あってもよい。

また、検索部１１ｂは、選択されたユーザ画像の１ファイルを単位として、提供画像を検索する。したがって、１ファイル内で撮影位置が移動した場合、同一事業者からの複数の提供画像あるいは複数の事業者の夫々の提供画像が検索される。

再生制御部１１ａは、操作部２０やタイマの指示に応じて、主画像と補助画像の切り換えを制御する。検索された補助画像の中から、主画像の撮影位置に対応する提供画像を適宜組み合わせて再生する。なお、制御部１１は、タイマ機能を内蔵している。

ＲＯＭ１２は、前述したように、ハードディスク等のメモリで構成され、制御部１１の制御プログラム等を記憶する。ＲＡＭ１３は、ＤＲＡＭ等の電気的書き換え可能な揮発性メモリで構成され、一時的な記憶部である。ここで、表示画像が生成された際の画像データの一時記憶が行われる。データ読出部１４は、記憶部１５等に記憶されたデータの読み出し部である。

記憶部１５は、ユーザが撮影したユーザ静止画やユーザ動画（第１画像）と、ネットワーク１０１を介して外部の事業者等のデータベース１０２から取得した提供静止画や提供動画（第２画像）を記憶する。ここで、記憶される第１画像のそれぞれの画像と関連付けて、撮影位置や撮影日時が記憶され、また、第２画像のそれぞれの画像と関連付けて撮影場所が記憶される。

図２に、記憶部１５に格納されている画像データの一例を示す。この例では、第１画像としては、ユーザ動画Ａ〜Ｃ・・・が格納されており、それぞれのユーザ動画Ａ〜Ｃに、撮影時間、撮影場所ＰＡ〜ＰＣと撮影日時ＴＡ〜ＴＣが関連付けられている。また、第２画像として、提供動画ａ１、ａ２、ｃ１、ｃ２〜ｃ８、・・・が格納されており、それぞれの提供動画に撮影時間、撮影場所ＰＡ、ＰＣ１、ＰＣ２〜ＰＣ８が関連付けられている。

表示制御部１６は、液晶モニタ等の表示モニタによって構成される表示部１７に接続され、再生制御部１１ａの制御の下で、ＲＡＭ１３における表示画像の作成を制御する。音声制御部１８はスピーカ１９に接続され、ユーザ動画や提供動画等に付随する音声データに基づいて、音声信号を生成し、スピーカ１９に音声出力する。

操作部２０は、キーボードやマウス等のユーザーインターフェースで構成され、種々の操作指令を制御部１１に入力する。記録部２１は、ユーザが撮影した画像情報やテキスト情報等、種々のデータを圧縮処理して記憶部１５に記録する。通信部２２は、インターネット等のネットワークを通じて提供画像のデータ１０２等と送受信を行なう。

データベース１０２は、外部の事業者等によって運営されるデータベースであり、このデータベース１０２には、撮影場所等の付随情報が併せて記録されている提供動画が記憶されている。再生装置１０はこのデータベース１０２から取得した提供動画を記憶部１５に記憶する。

本発明の第１実施形態に係わる再生装置は、再生専用機であっても良いが、通常市販されているパーソナルコンピュータであってもよく、ネットワーク１０１等を通じて外部のデータベース１０２と接続可能であればよい。

この再生装置１０は、これから説明する動作を実行するプログラムをＲＯＭ１２に記憶している。このプログラムに係わるフローチャートを説明する前に、再生装置１０における再生表示動作について、図３を用いて説明する。なお、再生装置１０の記憶部１５は、図２に示した第１及び第２画像を記憶しているとして説明を行う。

図３（Ａ）は、表示部１７に表示される主画像と補助画像のタイミングチャートを示し、図３（Ｂ）は、それぞれのタイミングにおける表示部１７での表示状態を示す。画像の鑑賞に先立って、まず、鑑賞する画像ファイルの選択を行い、撮影場所等をキーにして関連する提供画像の検索を行う。

画像の鑑賞の準備が整うと、時刻ｔ１において、操作部２０によって動画再生のスタートが指示される。最初は、ユーザが撮影したユーザ画像Ａが主画像５１、データベース１０２から取得した提供画像ａ１、ａ２が補助画像５２として、図３の（Ｔ１）に示すように、親子画面形式で、表示部１７に表示される。ここで、ユーザ動画Ａは、親画面（大画面）で動画として再生される。一方、提供画像ａ１、ａ２は子画面（小画面）に静止画で表示される。静止画としてはサムネイル表示を行う。

ユーザ動画Ａの動画再生中に、ユーザがカーソル等を提供画像ａ１に移動させ、クリックすると（時刻ｔ２）、図３の（Ｔ２）に示すように、提供動画ａ１は、主画像５１（親画面）として動画の再生が開始され、ユーザ動画Ａは補助画像５２（子画面）として静止画で表示される。ここでの静止画としては、時刻ｔ２で停止したユーザ動画Ａのサムネイル画像とする。

時刻ｔ２で提供画像ａ１の動画再生が開始され、時刻ｔ３になると、動画再生時間が完了し提供動画ａ１の再生が終了する。同時に、図３の（Ｔ３）に示すように、ユーザ画像Ａの動画再生を再開する。このときには、（Ｔ３）に示すように、補助画像５２（子画面）には提供動画ａ２のサムネイル表示は行うが、提供動画ａ１は、既に再生が終わったことから、サムネイル表示は行わない。

ユーザ画像Ａの再生中に、ユーザがカーソル等を補助画像５２（子画面）に表示されている提供画像ａ２に移動させ、クリックすると（時刻ｔ４）、図３の（Ｔ４）のように、提供画像ａ２は、主画像５１（親画面）で動画として再生が開始され、ユーザ画像Ａは補助画像５２（子画面）として静止画で表示される。ここでの静止画としては、時刻ｔ４におけるユーザ画像Ａのサムネイル画像等とする。

提供画像ａ２の再生中に、ユーザがカーソル等を補助画像５２（子画面）に表示されているユーザ画像Ａに移動させ、クリックすると（時刻ｔ５）、図３の（Ｔ５）のように、ユーザ画像Ａは、主画像５１（親画面）で動画として再生が再開される。提供画像ａ２は再生が完了していないので補助画像５２（子画面）として静止画で表示される。ここでの静止画としては、時刻ｔ５におけるサムネイル画像等とする。

ユーザ画像Ａの再生中に、ユーザがカーソル等を補助画像５２（子画面）に表示されている提供画像ａ２に移動させ、クリックすると（時刻ｔ６）、図３の（Ｔ６）のように、提供画像ａ２は、主画像５１（親画面）で動画として再生を再開し、ユーザ画像Ａは補助画像５２（子画面）として静止画で表示される。ここでの静止画としては、時刻ｔ６におけるサムネイル画像等とする。

丁度、提供画像ａ２の動画再生が終了するタイミングで、ユーザがカーソル等を子画面に表示されているユーザ画像Ａに移動させ、クリックすると（時刻ｔ７）、図３の（Ｔ７）のように、ユーザ画像Ａは、主画像５１（親画面）で動画として再生が再開される。提供画像ａ２は、再生が終了すると、表示部１７の子画面には、サムネイル表示されない。この例では、ユーザ画像Ａに関連する補助画像は提供画像ａ１、ａ２の２つのみであり、提供画像ａ２の再生が終わると、提供画像の表示はされない。

ユーザ画像Ａの動画再生が終了すると（時刻ｔ８）、図３の（Ｔ８）に示すように、ユーザ画像Ｂが主画像５１として自動的に動画再生される。この例では、ユーザ画像Ｂと撮影場所が同じ提供画像が検索されなかったことから、ユーザ画像Ｂの動画再生中には、子画面に提供画像はサムネイル表示されない。

ユーザ画像Ｂの動画再生が終了すると（時刻ｔ９）、図３の（Ｔ９）に示すように、ユーザ動画Ｃが主画像５１として自動的に動画再生される。この例では、ユーザ画像Ｃと撮影場所が同じ提供画像が８個検索されており、多数であることから、例えば、全部を表示せずに三角マーク５４を表示するようにしてもよい。ユーザが提供画像を見たい場合には、三角マーク５４をクリックすることにより、順次提供画像がサムネイル表示される。

次に、本発明の第１実施形態における動作を、図４に示すフローチャートを用いて説明する。再生モードに入ると、まず、再生するユーザ画像の選択がなされているか否かを判定する（Ｓ１１）。このステップでは、記憶部１５に記憶されている複数のユーザ画像の中から、今回、再生する画像を選択する。図２に示した例では、ユーザ動画Ａ、Ｂ、Ｃの３つのユーザ画像を選択している。

ステップＳ１１における判定において、画像選択がなされるのを待ち、ユーザ画像が選択されると、次に、ユーザ画像に対応する提供画像を検索する（Ｓ１２）。このステップでは、検索部１１ｂによって、撮影場所等が同じまたは近い場所での提供画像を、１つまたは複数の事業者が提供するデータベース１０２から検索する。検索された提供画像は記憶部１５に記憶する。もちろん、記憶部１５に提供画像が既に記憶されていれば、これを利用してもよい。

続いて、選択されたユーザ画像に対応する提供画像が有ったか否かについて判定する（Ｓ１３）。常に提供画像が検索されるとは限らないことから、この判定を行う。ステップＳ１３における判定の結果、提供画像が有った場合には、最初のユーザ画像とこれに対応する提供画像の読出しを行う（Ｓ１４）。このステップでは、図２に示した例では、記憶部１５からユーザ画像Ａ、およびユーザ画像Ａに対応する提供画像ａ１、ａ２の読出しを行う。

続いて、ユーザ画像を主画像として表示するか否かの判定を行う（Ｓ１５）。一番最初は、デフォルトとしてユーザ画像を主画像とするが、前述したように、ユーザの操作に基づいて、主画像を変更することができ、このステップでは、この操作がなされているか否かの判定を行う。

ステップＳ１５における判定の結果、ユーザ画像が主画像であった場合には、ユーザ画像を主画像５１として表示する（Ｓ１６）。続いて、ユーザ画像から提供画像の切り換え指示がなされたか否かの判定を行う（Ｓ１７）。前述の図３の例では、時刻ｔ２、ｔ４、ｔ６において、提供画像への切り換え指示がなされている。

ステップＳ１７における判定の結果、切り換え指示がなされていなかった場合には、オフ操作がなされたか否かの判定を行う（Ｓ１８）。ユーザが、強制的に再生モードの終了を行う場合には、操作部２０により、終了アイコン等をクリックするので、このステップでは、このオフ操作がなれたか否かの判定を行う。

ステップＳ１８における判定の結果、オフ操作がなされた場合には、この再生モードを終了する。一方、判定の結果、オフ操作がなされていなかった場合には、ユーザ画像再生終了か否かの判定を行う（Ｓ１９）。ステップＳ１１において、複数のユーザ画像を選択でき、このステップでは、複数のユーザ画像の内の１つのユーザ画像について再生終了か否かを判定する。前述の図３の例では、時刻ｔ８のタイミングに相当する。

ステップＳ１９における判定の結果、ユーザ画像の再生が終了していない場合には、ステップＳ１５に戻る。一方、ユーザ画像が再生終了であった場合には、次のユーザ画像の選択を行う（Ｓ２０）。前述の図３の例では、ユーザ画像Ａの再生が終了すると（時刻ｔ８）、ユーザ画像Ｂの再生に移る。次のユーザ画像の選択を行うと、ステップＳ１２に戻る。

ステップＳ１５においてユーザ画像が主画像でなかった場合や、提供画像に切り換え指示があった場合には、提供画像を主画像で表示する（Ｓ２２）。前述の図３の例では、Ｔ２、Ｔ４、Ｔ６のタイミングに対応する。続いて、ステップＳ１８と同様に、オフ操作がなされたか否かの判定を行う（Ｓ２３）。

この判定の結果、オフ操作がなされていた場合には、再生モードの終了処理を行ってこの再生モードを終了する。一方、オフ操作がなされていなかった場合には、提供画像からユーザ画像の切り換え指示が有ったか否かの判定を行う（Ｓ２４）。

ステップＳ２４における判定の結果、切り換え指示がなかった場合には、提供画像の再生が終了したか否かの判定を行う（Ｓ２５）。この判定の結果、提供画像の再生が終了していなかった場合には、ステップＳ２２に戻り、提供画像の再生を続行する。

ステップＳ２４における判定の結果、ユーザ画像への切り換え指示がなされていた場合、またはステップＳ２５における判定の結果、提供画像の再生が終了した場合には、ユーザ画像の再生を行うために、ステップＳ１６にジャンプする。ステップＳ２５において提供画像の再生が終了した場合には、前述の図３の例では、時刻ｔ３のタイミングにあたり、主画像の再生を再開している。

ステップＳ１３における判定の結果、選択されたユーザ画像に対応する提供画像がなかった場合には、提供画像なしでの画像の再生を行う。まず、選択されたユーザ画像の読出しを行い（Ｓ３０）、この読み出されたユーザ画像の再生を行う（Ｓ３１）。

続いて、ステップＳ１８、Ｓ２３と同様に、オフ操作がなされたか否かの判定を行う（Ｓ３２）。この判定の結果、オフ操作がなされていた場合には、再生モードを終了するための処理を行った後、再生モードを終了する。一方、判定の結果、オフ操作がなされていなかった場合には、撮影位置が移動したか否かの判定を行う（Ｓ３３）。この判定は、ユーザ画像と一緒に記録されている撮影位置情報に基づいて行う。

ステップＳ３３における判定の結果、撮影位置が移動していた場合にはステップＳ１２に戻る。撮影位置が変わると、提供画像が存在する可能もあることから、ステップＳ１２に戻り、提供画像の検索を行う。一方、ステップＳ３３における判定の結果、撮影位置が移動していなかった場合には、ステップＳ１９と同様に、ユーザ画像の再生が終了したか否かを判定する（Ｓ３４）。

ステップＳ３４における判定の結果、ユーザ画像の再生が終了していなかった場合には、ステップＳ３０に戻り、ユーザ画像の再生を続行する。一方、判定の結果、ユーザ画像の再生が終了した場合には、ステップＳ２０と同様に、次のユーザ画像の選択を行う（Ｓ３５）。次のユーザ画像を選択すると、ステップＳ１２に戻る。

このように、再生モードのフローでは、ユーザ画像と提供画像をユーザの切り換え指示に基づいて、切り換えて表示することができる。なお、ステップＳ２０、Ｓ３５において次のユーザ画像を選択する際に、最後のユーザ画像について再生が終了していた場合には、再生モードの終了処理を行って、再生モードを終えるようにしても良い。

以上説明したように、本実施形態においては、ユーザが撮影した撮影位置と同じ位置（特に断らない場合には、同じ位置の近傍も含む）で撮影した提供画像を検索し、この提供画像を記憶部１５に記憶し、ユーザ画像を再生するにあたって、ユーザの指示に応じて、いずれか一方を主画像５１、他方を補助画像５２に設定して、両画像を組み合わせて再生する表示するようにしている。また、再生表示するにあたって、補助画像５２に設定された他方の画像についてその縮小画像を、主画像５１に設定された一方の画像に合成して表示している。

このため、ユーザ画像だけの場合に比較して、冗長となることはなく、鑑賞性に優れた画像再生を実現できる可能性がある。また、補助画像に設定された画像は、縮小画像で表示されることから、補助画像の内容を直感的に分かる。

次に本発明の第２実施形態について、図５及び図６に基づいて説明する。第１実施形態では、撮影位置が不連続であったが、第２実施形態では撮影位置が連続的に変化する場合である。例えば、デパートや建物等内において、各エリアを探索しながら撮影した動画を再生表示する場合である。

この第２実施形態の構成は、図１に示した再生装置１０と同様であることから、詳細な説明は省略する。

図５は、ユーザが建物内での移動した様子を示しており、この建物内はエリアＥ１〜エリアＥ８に分割され、ユーザは移動ルートＲ１〜Ｒ９に沿って移動したとする。このとき、ユーザはユーザ動画Ｃを撮影し、これが再生装置１０に記憶されている。また、この建物内の映像（動画）については、外部のデータベース１０２に格納されており、再生装置１０はこれを取得して、提供動画ｃ１〜ｃ５として記憶している。この提供動画ｃ１〜ｃ５は、第１実施形態と同様、撮影位置情報が付与されている。

再生を始めると、エリアＥ１内の順路Ｒ１においては、ユーザ動画Ｃが主画像５１として、また提供動画ｃ１が補助画像５２として、表示部１７に表示される（図６のＴ１１）。続いて、エリアＥ２内の順路Ｒ２になっても、ユーザ動画Ｃが主画像５１として、また提供動画ｃ２が補助画像５２として表示される（図６のＴ１２）。同様に、エリアＥ５、順路Ｒ３においても、ユーザ動画Ｃが主画像５１として、また提供動画ｃ５が補助画像５２として表示される（図６のＴ１３）。

提供動画ｃ５の再生中に、この提供動画ｃ５が操作部２０によってクリックされると、提供動画ｃ５が主画像５１に、またユーザ動画Ｃが補助画像５２に切り換えられて再生表示される（図６のＴ１４）。続いて、エリアＥ５内の順路Ｒ７に移ると、提供画像ｃ５の再生表示は終了していることから、ユーザ動画ｃ５は再生終了し、ユーザ動画Ｃが主画像５１として再生表示される（図６のＴ１５）。このとき提供動画ｃ５の再生が終了していることから、提供動画ｃ５のサムネイルは非表示とされる。

続いて、エリアＥ１内の順路Ｒ９に移ると、主画像５１としてユーザ動画Ｃが、補助画像５２として提供動画ｃ１が表示される（図６のＴ１６）。前述のＴ１１において、提供動画ｃ１の再生が終了していれば、サムネイルの表示は行わない。

本実施形態におけるフローチャートは、図４に示したフローチャートを兼用する。ただし、図４に示したフローチャートにおいては、ステップＳ１５〜Ｓ１９において、撮影位置が移動したことを検出していない。撮影位置が移動した場合には、ステップＳ３３と同様に、ステップＳ１２に戻り、提供画像を検索するようにすればよい。

このように、本実施形態においては、再生中のユーザ画像の撮影位置に応じて、提供画像を切り換えるようにしている。このため、撮影位置に沿って、順次、提供画像が切り換わり冗長でなくなり、鑑賞性に優れた動画となる。

次に、本発明の第３実施形態について、図７を用いて説明する。本発明の第１及び第２実施形態においては、ユーザ画像と提供画像とは、補助画像５２をクリック等の操作を行うことにより切り換えていた。第３実施形態においては、ユーザ画像と提供画像は、予め設定しておいた時間間隔で自動的に切り換えるようにしている。

この第３実施形態の構成は、図１に示した再生装置１０と同様であることから、詳細な説明は省略する。

図７は、再生開始からの時間変化と、そのときの表示部１７における再生表示を示す。ここでは、ユーザ動画と提供動画の切り換えを３分間隔で行う例である。再生モードに入り再生を開始すると、まず、ユーザ動画Ａの再生を開始する（図７のＴ２１）。このとき、主画像５１はユーザ動画Ａであり、補助画像５２としては提供動画ａ１である。

再生を開始してから、３分が経過すると、自動的に提供動画ａ１の再生を開始する（Ｔ２１）。このときは、提供動画ａ１が主画像５１となり、ユーザ動画Ａは補助画像５２となって、静止画でサムネイル表示される。提供動画ａ１の再生が終わると、ユーザ動画Ａの再生を再開する（図７のＴ２３）。このときには、ユーザ動画Ａが主画像５１になると共に、提供画像ａ２が補助画像５２として静止画でサムネイル表示される。

提供動画ｃ１とユーザ動画Ａを合わせて３分間の再生を行うと（つまり、最初から６分経過時）、提供動画ａ２の再生を行う（図７のＴ２４）。このときは、提供動画ａ２が主画像５１となり、ユーザ動画Ａが補助画像５２となる。

このように、第３実施形態においては、所定時間間隔（図７の例では、３分間隔）で、ユーザ画像に提供画像が割り込みを行い、画像の切り換えを自動的に行うようにしている。このため、ユーザがわざわざ、提供画像とユーザ画像の切り換えを行わなくても、自動的に切り換わるので、手間が省け便利である。

なお、本実施形態においては、所定時間の中で提供画像を再生し、残った時間でユーザ動画を再生していたが（Ｔ２２、Ｔ２４）、これに限らず、ユーザ動画を一定時間の間、再生し、その後、提供動画を再生させるなど、時間配分については、種々変形しても良い。

第３実施形態を実行するためのフローチャートは、ステップＳ１７における切り換え指示の判定の変わりに、再生装置１０内のタイマによって所定時間が経過したかを判定するようにする等、図４に示したフローチャートに、適宜、修正・変更すればよい。

次に、本発明の第１乃至第３実施形態における補助画像の変形例について、図８を用いて説明する。第１乃至第３実施形態においては、補助画像として、主画像または提供画像の静止画（サムネイル）を表示するようにしていた。

しかし、サムネイル表示以外にも、例えば、図８（ａ）に示すように、提供動画のアイコン３１、３２を表示しても良く、また、図８（ｂ）に示すように、個人動画のアイコン３３を表示するようにしても良い。また、アイコンでなくても、識別できるようなマークであっても良い。

次に、本発明の第４実施形態について、図９を用いて説明する。第１乃至第３実施形態においては、主画像５１と補助画像５２を親子画面で同時に表示していた。第４実施形態は、ユーザ動画の再生が終了してから自動的に提供画像が表示部１７に表示されるようにしている。

図９は、再生開始からの時間変化と、そのときの表示部１７における再生表示を示す。図に示すように、まず、ユーザ動画Ａが再生表示され（Ｔ３１）、このユーザ動画Ａの再生が終了すると、撮影場所Ａに対応する提供動画ａ１の再生を開始する（Ｔ３２）。提供動画ａ１の再生が終了すると、同じく撮影場所Ａに対応する提供動画ａ２の再生を行う（Ｔ３３）。この提供動画ａ２の再生が終了すると、ユーザ動画Ａの撮影場所Ａに対応する提供動画は全て再生終了したことから、ユーザ動画Ｂの再生を開始する（Ｔ３４）。

図９に示す動作を実行するフローチャートは、ステップＳ１７における切り換え指示の判定の変わりに、ユーザ画像の再生が終了したかを判定するようにする等、図４に示したフローチャートに、適宜、修正・変更すればよい。

このように、本実施形態においては、まず、ユーザ画像を再生し、このユーザ画像の再生が終了すると、提供画像の再生を順次行い、提供画像の再生が終わると、次のユーザ画像の再生に移る。

したがって、本実施形態においては、順次、ユーザ画像と提供画像が再生されることから、ユーザ動画が冗長とならず、画像を楽しんで鑑賞することができる。また、本実施形態においては、全ユーザ画像と全提供画像をシリアルに全部、鑑賞することができ、見逃すことがない。

なお、本実施形態においては、ユーザ動画を再生した後、提供動画を再生するようにしていたが、この順番は逆にしても良い。

以上、説明したように、本発明の各実施形態においては、個人で撮影したユーザ動画をそのまま再生するのではなく、撮影場所等の情報に基づいて、外部より提供画像を検索し、この提供画像を織り込みながら、ユーザ画像を再生している。このため、ユーザ動画のみを再生する場合に比較し、冗長とならず、鑑賞を楽しむことができる。

前述した第１および第２実施形態においては、提供画像を補助画像として表示し、ユーザの好みに応じて適宜、主画像として再生表示することができる。また、第３実施形態及び第４実施形態においては、自動的にユーザ画像と提供画像を切り換えて再生表示することができ、いちいち画像の切り換えを手動で行わなくても良い。

なお、本発明の各実施形態においては、ユーザ画像は、ユーザが自ら撮影したものに限っていたが、一緒に旅行に行った友人等、個人的に撮影された画像も含めるようにしても勿論かまわない。

また、各実施形態においては、動画再生について説明したが、これに限らず、静止画をスライドショーのように連続的に再生する場合にも本発明を適用できる。この場合には、ユーザの静止画の撮影場所や撮影日時等の情報に基づいて、静止画での提供画像を検索し、ユーザの静止画をスライドショーで再生する間に第１乃至第４実施形態のように提供画像を再生するようにしても良い。

さらに、本発明の各実施形態においては、提供画像は、ネットワーク１０１を介して外部のデータベース１０２から取得していた。しかし、これに限らず、本実施形態に係わる再生装置１０以外の各種外部装置、例えば、カメラ、パーソナルコンピュータ、画像編集装置、ＣＤやＤＶＤ等の外部メモリ等から入手するようにしても良い。

さらに、制御部１１の各処理は、画像再生プログラム等のソフトウエアによって実現するに限らず、一部または全てをハードウエアで構成するようにしても良い。また、ハードウエアとして説明した表示制御部１６等をソフトウエアにより構成しても良い。これらの構成は設計事項である。

さらに、記録媒体としては、フラッシュメモリと以外にも、ＣＤ−ＲＯＭ、ＤＶＤ等の光学記録媒体、ＭＤ等の磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。さらに、本発明の各実施形態においては、画像再生装置に適用した例を説明したが、これに限らず、例えば、デジタルカメラ、携帯電話、ＰＤＡ等に適用しても良い。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１実施形態に係わる再生装置の構成を示すブロック図である。 本発明の第１実施形態に係わる再生装置の記憶部１５に格納されている画像データを示す図である。 本発明の第１実施形態において、画像再生の動作を説明する図であって、（Ａ）は主画像と補助画像の表示のタイムチャートであり、（Ｂ）は表示部における再生表示状態を示す図である。 本発明の第１実施形態に係わる再生装置の再生モードの動作を示すフローチャートである。 本発明の第２実施形態において、画像再生の動作を説明する図であって、ユーザの移動ルートを示す図である。 本発明の第２実施形態において、表示部における再生表示状態を示す図である。 本発明の第３実施形態において、画像再生の動作を説明する図であって、主画像と補助画像の表示のタイムチャートと、表示部における再生表示状態を示す図である。 本発明の第１乃至第３実施形態において、補助画像の変形例を示し、（Ａ）は提供動画のアイコンを示し、（Ｂ）は個人動画のアイコンを示す図である。 本発明の第４実施形態において、画像再生の動作を説明する図であって、主画像と補助画像の表示のタイムチャートと、表示部における再生表示状態を示す図である。

符号の説明

１０・・・再生装置、１１・・・制御部、１１ａ・・・再生制御部、１１ｂ・・・検索部、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・データ読出部、１５・・・記憶部、１６・・・表示制御部、１７・・・表示部、１８・・・音声制御部、１９・・・スピーカ、２０・・・操作部、２１・・・記録部、２２・・・通信部、３１〜３３・・・アイコン、５１・・・主画像、５２・・・補助画像、５４・・・三角マーク、１０１・・・ネットワーク、１０２・・・データベース

Claims (5)

1. 一般ユーザにより撮影された第１の画像と、事業者から提供される画像であって上記第１の画像の撮影位置に対応する撮影位置で撮影された第２の画像の２種類の画像について、指示に応じていずれか一方を主画像、他方を補助画像に設定して、上記２種類の画像を組み合わせて再生する再生制御部と、
   上記補助画像に設定された他方の画像についてその縮小画像または識別マークを、上記主画像に設定された一方の画像に合成して合成画像を作成し、この合成画像を表示する表示制御部と、
   を備え、
   上記表示制御部は、上記再生制御部によって上記第２の画像が補助画像として設定されかつ当該補助画像とされる第２の画像が複数ある場合には、少なくとも２つ以上の第２の画像をそれぞれ縮小した複数の縮小画像または複数の対応する識別マークを、上記主画像に合成して上記合成画像を作成して表示し、
   上記再生制御部は、当該合成画面上で選択された場合には１の縮小画像または識別マークに対応する第２の画像を主画像に設定して再生し、
   上記再生制御部は、上記主画像に設定された上記第２の画像の再生終了時には、上記第１画像を主画像とする合成画像を切り換え表示し、
   上記表示制御部は、上記再生終了時後は、当該再生終了した第２の画像の縮小画像または識別マークについては上記合成画像には表示しない、
   ことを特徴とする画像再生装置。
2. 一般ユーザにより撮影された第１の画像と、事業者から提供される画像であって上記第１の画像の撮影位置に対応する撮影位置で撮影された第２の画像の２種類の画像について、指示に応じていずれか一方を主画像、他方を補助画像に設定して、上記２種類の画像を組み合わせて再生する再生制御部と、
   上記補助画像に設定された他方の画像についてその縮小画像または識別マークを、上記主画像に設定された一方の画像に合成して合成画像を作成し、この合成画像を表示する表示制御部と、
   を備え、
   上記再生制御部は、上記主画像としての上記第１の画像の再生が一定時間経過した場合には、上記主画像を上記第１の画像から上記第２の画像に切り換えて設定して再生することを特徴とする画像再生装置。
3. 上記第１の画像及び第２の画像を記憶する記憶部と、
   上記第１の画像に対応する上記第２の画像を、上記第１の画像の撮影位置に基づいて上記記憶部から検索する検索部と、
   をさらに備えることを特徴とする請求項１または２に記載の画像再生装置。
4. 一般ユーザにより撮影された第１の画像と、事業者から提供される画像であって上記第１の画像の撮影位置に対応する撮影位置で撮影された第２の画像の２種類の画像について、指示に応じていずれか一方を主画像、他方を補助画像に設定するステップと、
   上記補助画像に設定された他方の画像についてその縮小画像またはその識別マークを、上記主画像に設定された一方の画像に合成して合成画像を作成するステップと、
   この合成画像を表示して上記２種類の画像を組み合わせて再生するステップを
   含み、
   上記合成画像を作成するステップは、
   上記第２の画像が補助画像として設定され、かつ当該補助画像とされる第２の画像が複数ある場合には、少なくとも２つ以上の第２の画像をそれぞれ縮小した複数の縮小画像または複数の対応する識別マークを、上記主画像に合成して上記合成画像を作成して表示し、
   かつ、上記再生終了時後は、当該再生終了した第２の画像の縮小画像または識別マークについては上記合成画像には合成させず、
   上記２種類の画像を組み合わせて再生するステップは、
   当該合成画面上で選択された場合には１の縮小画像または識別マークに対応する第２の画像を主画像に設定して再生し、
   かつ、上記主画像に設定された上記第２の画像の再生終了時には、上記第１画像を主画像とする合成画像を切り換え再生する、
   ことを特徴とする画像再生方法。
5. コンピュータによる画像再生を制御するプログラムにおいて、
   一般ユーザにより撮影された第１の画像と、事業者から提供される画像であって上記第１の画像の撮影位置に対応する撮影位置で撮影された第２の画像の２種類の画像について、指示に応じていずれか一方を主画像、他方を補助画像に設定するステップと、
   上記補助画像に設定された一方の画像に合成して合成画像を作成するステップと、
   この合成画像を表示して上記２種類の画像を組み合わせて再生するステップと、
   を含み、
   上記２種類の画像を組み合わせて再生するステップは、
   上記主画像としての上記第１画像の再生が一定時間経過した場合には、上記主画像を上記第１の画像から上記第２の画像に切り換えて設定して再生する、
   ことを上記コンピュータに実行させるプログラム。