JP5292399B2 - コンテンツ編集装置 - Google Patents

Description

本発明は、関連する動画や静止画等の複数のコンテンツが、同一画面上に同時に表示されるように編集するコンテンツ編集装置に関する。

近年、デジタルビデオカメラやデジタルスチルカメラなどの撮影装置の普及は目覚しく、１つの被写体を複数の撮影装置で同時刻に撮影するような状況が増えている。このような状況の具体的な例としては、例えば小学校の運動会の徒競走において、少し離れた場所から父親がビデオカメラでスタートからゴールまでの動画を撮影するのと同時に、スタート地点付近に設置された一般観覧席で母親がスチルカメラでスタート時の静止画を直近で連写し、またゴール前に設置された養老席で祖父母が携帯電話に内蔵されたカメラでゴールの瞬間を撮影するような状況である。

一方、フィルム式のカメラでは、撮影に失敗したときにフィルムが無駄になるので、ユーザは撮影のタイミングを厳選してシャッターを切ることが多いが、デジタルカメラによる撮影では、撮影に失敗してもデータを削除すればよいだけなので、フィルム式のカメラと較べて撮影に失敗したときの損失がほとんどない。また最近のデジタルカメラは、数百枚位はメモリカード等の記憶媒体を交換することなく連続して撮影が可能なものも多く、連写機能などを利用して同じシーンを一度に大量に撮影することも一般的になってきている。そこでユーザは躊躇することなく、同じシーンを何枚も重複して撮影し、後で気に入ったデータを選択することができる。

以上のような撮影を行った場合、同じ場面を撮影した動画や静止画のコンテンツが大量に保存されることになる。これらは大抵の場合、撮影装置毎に各々の撮影者により気に入ったデータが選択されて整理され、プリントアウトしたり、繰り返し視聴できるようにタイトル等を付けて永久保存用として管理される。
ところが同じ場面を撮影した撮影装置が何台もあるような場合には、撮影装置毎に整理されたコンテンツが複数並存することになり、このままでは後で視聴する際にそれぞれのコンテンツを別々に再生しなければならず甚だ使い勝手が悪い。そこで、効率よく複数のコンテンツを取捨選択したり、関連する複数のコンテンツを効率的に視聴するための技術の登場が、多くのユーザから望まれている。

関連する複数のコンテンツを効率的に表示する従来技術としては、ＴＶ放送の視聴中にＴＶ装置にＤＶＣ装置とメモリカードとを接続すると、それぞれに記録されている画像の中に同一時間内で撮影され関連したシーンがあるか否かを撮影時間を比較することにより判断し、関連したシーンがある場合に、ＴＶ放送再生中の画面に「結んだ紐アイコン」を表示して、ＴＶ視聴者に２つの接続装置の内容に関連があることを認識させる画像表示システムが開示されている（特許文献１、段落０１２６を参照）。またこの画像表示システムにおいて、ＴＶ視聴者が「結んだ紐アイコン」を選択すると、ＤＶＣ装置に記録されている動画を示すビデオシーンアイコンに、メモリカードに記録されている静止画のサムネイル画面を対応付けて一覧表示する連携サムネイル画像表示画面を表示する（特許文献１、段落０１２８〜０１３１を参照）。

特開２００２−１５８９４８号公報

しかしながら、特許文献１の画像表示システムは、ユーザによる視聴対象の選択操作を補助するだけのものでしかないので、個々のコンテンツをそれぞれ別々に再生しなければならない点においては従来と何ら変わりはない。また、特許文献１の画像表示システムにおいては、視聴対象の各コンテンツは、予め撮影装置毎の各々の撮影者により取捨選択されていなければならず、効率よく複数のコンテンツを取捨選択して整理する点については何ら考慮されていない。
例えば、関連する複数のコンテンツを効率的に表示するには、関連する複数のコンテンツをまとめて一つのコンテンツとして同時に視聴できるように、複数のコンテンツをそれぞれ取捨選択しつつ、選択したコンテンツ同士を適切に対応付けて、同時に再生されるように編集する方法が考えられる。
それ故に、本発明の目的は、被写体が同一のコンテンツは、まとめて一つのコンテンツとして同時に視聴できるように、複数のコンテンツをそれぞれ取捨選択しつつ、選択したコンテンツ同士を適切に対応付けて同時に再生されるように編集するコンテンツ編集装置、コンテンツ編集方法、及びコンテンツ編集プログラムを提供することである。

本発明は、コンテンツ編集装置に向けられている。そして上記課題を解決するために、本発明のコンテンツ編集装置は、動画コンテンツを通常再生する際に他のコンテンツが連携表示されるように、予め編集処理において当該動画コンテンツに当該他のコンテンツを関連づけるコンテンツ編集装置であって、編集処理用に、前記動画コンテンツが撮影された時刻を少なくとも特定する動画撮影情報、連携表示候補の他の複数のコンテンツがそれぞれ撮影された時刻を少なくとも示す個別撮影情報、及び当該動画コンテンツを取得する取得部と、編集処理用に、前記取得部により取得された前記動画コンテンツを再生して外部に接続されたあるいは内蔵する表示装置に表示させる動画再生制御部と、前記取得部により取得された動画撮影情報に基づいて前記動画再生制御部により再生される動画コンテンツに対応する動画撮影時刻を出力する時刻出力部と、前記取得部により取得された個別撮影情報のうち当該個別撮影情報により示される個々の時刻が前記時刻出力部により出力される動画撮影時刻を含む所定の時間内に含まれるものを検索する検索部と、前記検索部により１個又は複数個の個別撮影情報が検索された場合に前記動画再生制御部による動画コンテンツの再生を連携表示すべきタイミングで一時停止させ、当該検索された１個又は複数個の個別撮影情報に対応する各々の他のコンテンツに対し前記動画コンテンツが通常再生されるときに連携表示させるか否かをユーザに選択させ、前記検索部により検索された個別時刻情報に対応する他のコンテンツの全てに対して連携表示させるか否かが決定された後に、前記一時停止を解除する選択要請部と、前記選択要請部において連携表示させると選択された他のコンテンツを取得して、当該他のコンテンツを前記連携表示すべきタイミングを示す情報とともに、前記動画コンテンツと関連付けて記憶する記憶部とを備えることを特徴とする。

好ましくは、前記検索部は、１つの所定の時間内に対する検索において検索する個別撮影情報の数が規定数に達した場合はそこで検索を終了し、それまでに検索した範囲に相当する時間を前記所定の時間とし、以後の検索を続行する。

好ましくは、前記他のコンテンツを記録し独自に表示部を備える外部機器が当該コンテンツ編集装置と通信可能に接続されており、前記取得部は前記個別撮影情報を前記外部機器から取得し、前記選択要請部は連携表示させるか否かの選択を要請する画像と対応する他のコンテンツとを前記外部機器が備える表示部に表示させる制御情報を当該外部機器へ送信し、当該外部機器のユーザが当該制御情報に基づいてする連携表示させるか否かの選択の結果を示す選択情報を当該外部機器から受信し、前記記憶部は、連携表示させると選択された他のコンテンツを前記外部機器から取得する。

好ましくは、前記取得部は、さらに、通常再生用に前記他のコンテンツが連携表示すべきタイミングを示す情報とともに関連付けられた動画コンテンツを取得し、前記動画再生制御部は、さらに、通常再生用に前記動画コンテンツを再生して前記表示装置に表示させ、当該コンテンツ編集装置は、さらに、前記動画再生制御部により通常再生中の動画コンテンツの再生時間をカウントしながら取得した連携表示すべきタイミングを示す情報に基づいて連携表示すべきタイミングを検出するタイミング検出部と、前記タイミング検出部により検出されたタイミングで対応する動画撮影時刻に関連付けて記憶されている他のコンテンツを前記動画再生制御部により通常再生される動画コンテンツと合成して、前記表示装置の同一画面上に所定の期間連携表示する画像合成部とを備える。

好ましくは、前記画像合成部は、合成すべき通常再生中の動画コンテンツにおいて背景領域を推定し、当該背景領域に合成すべき前記他のコンテンツを嵌め込む。

好ましくは、前記画像合成部は、前記背景領域のサイズを超えないように、合成すべき前記他のコンテンツのサイズを調整して嵌め込む。

好ましくは、前記画像合成部は、合成すべき他のコンテンツが同時に複数個ある場合に、前記背景領域のサイズを超えないように一定時間間隔で切り替えながら時分割で、当該合成すべき前記他のコンテンツを嵌め込む。

好ましくは、前記画像合成部は、合成すべき他のコンテンツが同時に複数個ある場合に、前記背景領域を当該合成すべき前記他のコンテンツの個数に分割して、分割した各領域に当該合成すべき前記他のコンテンツをそれぞれ嵌め込む。

また上記課題を解決するために、本発明のコンテンツ編集方法は、動画コンテンツを通常再生する際に他のコンテンツが連携表示されるように、予め編集処理において当該動画コンテンツに当該他のコンテンツを関連づけるコンテンツ編集装置におけるコンテンツ編集方法であって、編集処理用に、前記動画コンテンツが撮影された時刻を少なくとも特定する動画撮影情報、連携表示候補の他の複数のコンテンツがそれぞれ撮影された時刻を少なくとも示す個別撮影情報、及び当該動画コンテンツを取得する取得ステップと、編集処理用に、前記取得ステップにより取得された前記動画コンテンツを再生して外部に接続されたあるいは内蔵する表示装置に表示させる動画再生制御ステップと、前記取得ステップにより取得された動画撮影情報に基づいて前記動画再生制御ステップにより再生される動画コンテンツに対応する動画撮影時刻を出力する時刻出力ステップと、前記取得ステップにより取得された個別撮影情報のうち当該個別撮影情報により示される個々の時刻が前記時刻出力ステップにより出力される動画撮影時刻を含む所定の時間内に含まれるものを検索する検索ステップと、前記検索ステップにより１個又は複数個の個別撮影情報が検索された場合、前記動画再生制御ステップによる動画コンテンツの再生を連携表示すべきタイミングで一時停止させ、当該検索された１個又は複数個の個別撮影情報に対応する各々の他のコンテンツに対し前記動画コンテンツが通常再生されるときに連携表示させるか否かをユーザに選択させ、前記検索ステップにより検索された個別時刻情報に対応する他のコンテンツの全てに対して連携表示させるか否かが決定された後、前記一時停止を解除する選択要請ステップと、前記選択要請ステップにおいて連携表示させると選択された他のコンテンツを取得して当該他のコンテンツを前記連携表示すべきタイミングを示す情報とともに、前記動画コンテンツと関連付けて記憶する記憶ステップとを含むことを特徴とする。

また上記課題を解決するために、本発明のコンテンツ編集プログラムは、動画コンテンツを通常再生する際に他のコンテンツが連携表示されるように、予め編集処理において当該動画コンテンツに当該他のコンテンツを関連づけるコンテンツ編集装置により実行されるコンテンツ編集プログラムであって、前記コンテンツ編集装置に、編集処理用に、前記動画コンテンツが撮影された時刻を少なくとも特定する動画撮影情報、連携表示候補の他の複数のコンテンツがそれぞれ撮影された時刻を少なくとも示す個別撮影情報、及び当該動画コンテンツを取得する取得ステップと、編集処理用に、前記取得ステップにより取得された前記動画コンテンツを再生して外部に接続されたあるいは内蔵する表示装置に表示させる動画再生制御ステップと、前記取得ステップにより取得された動画撮影情報に基づいて前記動画再生制御ステップにより再生される動画コンテンツに対応する動画撮影時刻を出力する時刻出力ステップと、前記取得ステップにより取得された個別撮影情報のうち当該個別撮影情報により示される個々の時刻が前記時刻出力ステップにより出力される動画撮影時刻を含む所定の時間内に含まれるものを検索する検索ステップと、前記検索ステップにより１個又は複数個の個別撮影情報が検索された場合、前記動画再生制御ステップによる動画コンテンツの再生を連携表示すべきタイミングで一時停止させ、当該検索された１個又は複数個の個別撮影情報に対応する各々の他のコンテンツに対し前記動画コンテンツが通常再生されるときに連携表示させるか否かをユーザに選択させ、前記検索ステップにより検索された個別時刻情報に対応する他のコンテンツの全てに対して連携表示させるか否かが決定された後、前記一時停止を解除する選択要請ステップと、前記選択要請ステップにおいて連携表示させると選択された他のコンテンツを取得して当該他のコンテンツを前記連携表示すべきタイミングを示す情報とともに、前記動画コンテンツと関連付けて記憶する記憶ステップと、を実行させることを特徴とする。

以上のように、本発明においては、被写体が同一のコンテンツは、まとめて一つのコンテンツとして同時に視聴できるように、複数のコンテンツをそれぞれ取捨選択しつつ、選択したコンテンツ同士を適切に対応付けて同時に再生されるように編集することができるので、複数のコンテンツを効率的に編集して効率的に視聴することが可能となり、大変使い勝手がよい。
また、第１の実施形態に係るコンテンツ編集装置は、連携表示の可否の問い合わせを外部機器に対して行い、外部機器から許可しない限り編集装置本体に連携表示候補のコンテンツを表示しないので、各個人のプライバシーにも配慮しながら、安心して編集作業を行うことができる。例えば撮影者が撮影に失敗した下手な写真を見られて皆に笑われたくないとか、被写体が異なるコンテンツを同時刻に撮影しているとか、人に見られると都合が悪い秘匿性の高いコンテンツを管理しているような場合であっても、撮影者や権利者等の管理者が最終的に責任を持って、連携表示の可否を決定することができるため、大変有用である。
また、本発明においては、動画撮影時刻を含む所定の時間内に撮影された複数のコンテンツを全て検索し、動画コンテンツを一時停止させて、まとめて編集するので、再生している動画コンテンツの停止を頻繁に行うことなく、複数のコンテンツの中から適したコンテンツを効率よく選択して連携表示することができる。
また、連携タイミングにおける再生コンテンツの表示内容を解析し、連携表示パターンを決定することにより、複数のコンテンツの連携表示による再生処理時に、最適な連携表示パターンを用いることが可能となり、ユーザにとって視聴困難な表示方法を回避することができる。

本発明に係るコンテンツ編集システム１０の全体構成を示す概略図 動画撮影情報の一例を示す図 個別撮影情報の一例を示す図 複数の人数でコンテンツ表示手段１０１に表示された動画（一時停止中）を見ながら、撮影装置２００の操作者が撮影装置２００から選択操作を行い、同様に、撮影装置３００の操作者が撮影装置３００から選択操作を行う場面を示す図 記憶制御手段１０９によりコンテンツ記憶手段１１１に記憶されたマッシュアップコンテンツの制御データの一例を示す図 背景領域の例を示す図 各表示パターンを示す図 編集処理時に背景領域を抽出し、表示パターンを決定した場合の、マッシュアップコンテンツの制御データの一例を示す図 第１の実施形態における編集処理の動作手順を示す図 第１の実施形態における通常再生処理の動作手順を示す図

［第１の実施形態］
＜概要＞
本実施形態は、関連する複数のコンテンツを、後で効率的に視聴表示することができるように、複数のコンテンツをそれぞれ取捨選択しつつ、選択したコンテンツ同士を適切に対応付けて同時に再生されるように編集するものである。より具体的には、画像合成の主体となるメインの動画コンテンツを再生しながら、撮影された時刻をモニタし、動画コンテンツと同時刻に撮影された静止画や短い動画等のサブコンテンツがあれば、撮影時間が近い複数のサブコンテンツを一緒に編集処理の対象とし、メインの動画コンテンツの再生を一時停止して、画像合成の要否を、サブコンテンツの提供元の端末において選択させるという動作を繰り返す。また、メインの動画コンテンツに対応付けられたサブコンテンツは、通常再生の際に、メインの動画コンテンツの背景領域に嵌め込まれる。
＜構成＞
図１は、本発明に係るコンテンツ編集システム１０の全体構成を示す概略図である。
図１に示すように、コンテンツ編集システム１０は、コンテンツ編集装置１００、撮影装置２００、及び撮影装置３００からなる。ここで、撮影装置２００、及び撮影装置３００は本来コンテンツ編集装置１００とは別々に使用されるものであり、編集作業の際にのみ、コンテンツ編集装置１００と撮影装置２００、及びコンテンツ編集装置１００と撮影装置３００とが通信可能に接続される。なお、これらは有線で直接ローカルに接続してもよいし、無線ＬＡＮ等のローカル無線通信や、インターネット等のグローバルな通信等により接続してもよい。また、撮影情報やコンテンツを保持しているメモリカードを、直接コンテンツ編集装置１００に接続することで、データの送受信を実現してもよい。

コンテンツ編集装置１００は、動画コンテンツの通常再生中に他のコンテンツが連携表示されるように、予め動画コンテンツに他のコンテンツを関連づける一連の操作を実現するコンテンツ編集機能と、この関連づけに基づいて動画コンテンツに他のコンテンツを合成して表示する連携表示制御機能とを併せ持つ装置であり、コンテンツ表示手段１０１、受け付け手段１０２、撮影情報取得手段１０３、コンテンツ取得手段１０４、動画再生制御手段１０５、時刻出力手段１０６、検索手段１０７、選択要請手段１０８、記憶制御手段１０９、撮影情報記憶手段１１０、コンテンツ記憶手段１１１、連携タイミング判定手段１１２、画像合成手段１１３を備える。なお、コンテンツ編集装置１００は、携帯性がさほど必要ではないので、現実的な形状は、据え置き型の装置とモニタとのセットを想定しているが、特にこれに限られるわけではなく、例えばこれらはテレビやセットトップボックス等の他の機器に組み込むことで、さらにテレビ放送の受像機能を備えてもよいし、コンテンツ表示手段１０１は別構成の独立した表示装置であってもよい。また、本装置の機能を実現するソフトウェアが、汎用のコンピュータ等に格納され実行されることにより実現されてもよい。

撮影装置２００は、動画や静止画を撮影して保存する撮影機能と、撮影機能等により得られたコンテンツ（静止画像や動画像）を、コンテンツ編集装置１００からの要請に応じて、提供して連携表示させるか否かを選択する編集機能の一部とを併せ持つ、デジタルスチルカメラ、デジタルビデオカメラ、及びカメラ付き携帯電話などの携帯型の装置であり、連携処理制御手段２０１、撮影情報記憶手段２０２、表示手段２０３、コンテンツ記憶手段２０４、及び、撮影手段２０５を備える。なお、撮影装置２００は、撮影機能を備える専用の携帯機器を想定しているが、特にこれに限られるわけではなく、例えば、なんらかのコンテンツを記憶するものであればよいので、撮影手段２０５はなくてもよい。また、本装置の機能を実現するソフトウェアが、既存の携帯電話機、携帯ゲーム機、電子ノート、あるいはノートパソコン等に格納され実行されることにより実現されてもよい。

撮影装置３００は、撮影装置２００と同様の特徴を持つ装置であり、連携処理制御手段３０１、撮影情報記憶手段３０２、表示手段３０３、コンテンツ記憶手段３０４、及び、撮影手段３０５を備える。なお、撮影装置３００の各構成要素は、撮影装置２００の同一名称の各構成要素と同様なので、それらの説明を省略する。
また、以下の説明では、主にコンテンツ編集装置１００と撮影装置２００との間で送受信する場面について説明しているが、撮影装置２００と撮影装置３００との間に優劣はなく、これらは撮影装置識別情報により特定され同様に機能する。ここで撮影装置識別情報とは、例えば、撮影装置の装置名、識別番号などのＩＤなどである。

また各コンテンツにはコンテンツを一意に特定するコンテンツ識別情報が付され、各情報には、対応するコンテンツの識別情報が含まれているため、それぞれの対応関係が明確に判断される。ここでコンテンツ識別情報とは、例えば、コンテンツのファイル名（撮影画像名や撮影動画名）、識別番号などのＩＤなどである。
コンテンツ表示手段１０１は、液晶表示パネル等の表示装置であり、動画再生制御手段１０５等による制御に従って、動画コンテンツや静止画コンテンツを表示するだけでなく、操作メニューや警告表示等のあらゆる画像を表示する。
受け付け手段１０２は、コンテンツ編集装置１００の操作者から、任意の動画コンテンツに対するコンテンツ識別情報付きの編集指示や通常再生指示等を受け付けて、各処理を開始する。

まず先に、受け付け手段１０２において編集指示が受け付けられた場合における各構成の働きを説明する。
撮影情報取得手段１０３は、受け付け手段１０２により、ある動画コンテンツに対する編集指示が受け付けられると、編集指示に添付されたコンテンツ識別情報に基づいて、その動画コンテンツの撮影状況を特定可能な動画撮影情報を撮影情報記憶手段１１０から取得し、また、連携表示候補の他の複数のコンテンツに関するそれぞれの撮影状況を特定可能な個別撮影情報を、撮影装置２００の連携処理制御手段２０１を介して撮影情報記憶手段２０２から取得し、同様に撮影装置３００の連携処理制御手段３０１を介して撮影情報記憶手段３０２からも取得する。

なお、撮影情報取得手段１０３が、動画撮影情報や個別撮影情報を取得する処理は、必ずしも編集指示や通常再生指示等が受け付けられた際に実施する必要はなく、あらかじめ取得して保持しておいてもよいし、動画コンテンツの再生中に並行して取得してもよい。
ここで、動画撮影情報や、個別撮影情報は、同一シーンを判別可能な情報である。
図２は、動画撮影情報の一例を示す図である。
図２に示すように、動画撮影情報は、コンテンツ識別情報（図中の「撮影動画名」に相当）、それぞれのコンテンツが撮影された撮影時刻（図中の「撮影開始日時」、「撮影終了日時」に相当）、及び、ＧＰＳなどの手段により撮影時に取得した撮影位置（図中の「撮影場所」に相当）を含む。

図３は、個別撮影情報の一例を示す図である。
図３に示すように、個別撮影情報は、コンテンツ識別情報（図中の「撮影画像名」に相当）、それぞれのコンテンツが撮影された撮影時刻（図中の「撮影日時」に相当）、ＧＰＳなどの手段により撮影時に取得した撮影位置（図中の「撮影場所」に相当）、及び、対応するコンテンツの格納場所（図中「撮影機器」に相当）を含む。
なお、ここで取得対象となるコンテンツは、静止画でも動画でもよい。

コンテンツ取得手段１０４は、受け付け手段１０２により、ある動画コンテンツに対する編集指示が受け付けられると、編集指示に添付されたコンテンツ識別情報に基づいて、その動画コンテンツをコンテンツ記憶手段１１１から取得する。
動画再生制御手段１０５は、編集処理用に、コンテンツ取得手段１０４により取得された動画コンテンツを再生して、コンテンツ表示手段１０１に表示させる。
時刻出力手段１０６は、撮影情報取得手段１０３により取得された動画撮影情報に基づいて、動画再生制御手段１０５により再生される動画コンテンツに対応する動画撮影時刻を適宜、あるいは所定の時間間隔で出力する。
検索手段１０７は、撮影情報取得手段１０３により取得された個別撮影情報のうち、当該個別撮影情報により示される個々の時刻が、時刻出力手段１０６により適宜あるいは所定の時間間隔で出力される動画撮影時刻を含む所定の時間内に含まれるものを検索することにより、同一シーンであると推測されるコンテンツを探す。

なお、ここでは、時刻情報のみに基づいて同一シーンであると推測されるコンテンツを探しているが、このような判断方法に加えて、それぞれの位置情報により示される撮影位置が、例えば直線距離で５００ｍ以上離れているものを対象外とするなど、撮影時間が近いだけでなく、さらに撮影場所が近いコンテンツに限り同一シーンであると推測してもよい。ここで、直線距離の計算方法は、それぞれの位置情報が緯度と経度を表しているので、それぞれの差分から、南北方向と東西方向の直線距離を求め、これらを二乗平均することにより容易に求めることができる。
また検索手段１０７は、１つの所定の時間内に対する検索において検索した個別撮影情報の数が規定数に達した場合は、そこで検索を終了し、それまでに検索した範囲に相当する時間を、所定の時間とし、以後の検索を続行するようにしてもよい。例えば、標準的に所定の時間を５分に設定している場合に、再生される動画コンテンツの撮影時刻がある日の１０時ちょうどであったとすると、動画撮影時刻が１０時ちょうどを示すので、同日の１０時から１０時４分５９秒までの時間内に撮影された他のコンテンツの個別撮影情報が検索される。ここで、規定数を６とすると、時間が早いほうから検索を開始し、検索された他のコンテンツが５以下である場合には、検索された個別撮影情報の全てに対して次の処理を続行するが、６個目が検索された時点で検索を終了する。そして、６個目のコンテンツの撮影時刻が１０時３分２９秒であったとすると、所定の時間を５分から３分３０秒に変更し、次回の検索では、１０時３分３０秒から１０時７分までを検索対象とする。
このように、検索の単位となる所定の時間は、常に同じ長さである必要はない。例えば検索されたコンテンツ数が多い場合には、動画の停止回数が多くなることを防ぐために、基準となる所定の時間を長くする等のように動的に変化させてもよいし、編集者が任意に設定できるようにしてもよい。

選択要請手段１０８は、検索手段１０７により１個又は複数個の個別撮影情報が検索された場合に、まず、連携表示させるタイミング（以下「連携タイミング」という）を判定し、動画再生制御手段１０５に連携タイミングを通知して、動画再生制御手段１０５による動画コンテンツの再生を一時停止させる。
ここで、連携タイミングは、検索した個別撮影情報の数が１個の場合には、その個別撮影情報により示される撮影時刻が連携タイミングとなる。また検索した個別撮影情報が複数個ある場合には、基本的に、検索した複数個の個別撮影情報の中で、撮影された時間が最も早い個別撮影情報により示される撮影時刻を連携タイミングとするが、これに限られるわけではなく、検索された全ての撮影時刻の平均や中間の時刻を算出して連携タイミングとしてもよい。

続いて、選択要請手段１０８は、検索した１個又は複数個の個別撮影情報に対応する各々の他のコンテンツに対し、連携表示させるか否かの選択を要請し、かつ、対応する他のコンテンツを表示させるためのコンテンツ識別情報を含む選択要請制御情報を、個々の個別撮影情報に含まれる格納場所により示される装置へ送信して、動画コンテンツが通常再生されるときに連携表示させるか否かをユーザに選択させる。ここでは撮影装置２００へ送信する例を示す。
連携処理制御手段２０１は、選択要請手段１０８から上記選択要請制御情報を受信すると、選択要請制御情報に含まれるコンテンツ識別情報に対応する他のコンテンツをコンテンツ記憶手段２０４から抽出して、表示手段２０３に表示すると供に、このコンテンツを連携表示させるか否かの選択を催促するポップアップウィンドゥを開く。

図４は、家族全員等、複数の人数でコンテンツ表示手段１０１に表示された動画（一時停止中）を見ながら、撮影装置２００の操作者が撮影装置２００から選択操作を行い、同様に、撮影装置３００の操作者が撮影装置３００から選択操作を行う場面を示す図である。
ここで撮影装置２００の操作者は、連携処理制御手段２０１により表示手段２０３に表示された画面を参照して、画像毎に、連携表示させるか否かを選択する。
同様に、撮影装置３００の操作者は、連携処理制御手段３０１により表示手段３０３に表示された画面を参照して、画像毎に、連携表示させるか否かを選択する。
撮影装置２００及び撮影装置３００の各操作者が、連携表示させると選択したコンテンツは、その旨の結果を示す選択情報と供にコンテンツ編集装置１００へ返送され、連携表示させないと選択したコンテンツは返送されず、その旨の結果を示す選択情報のみがコンテンツ編集装置１００へ送信される。
また、選択要請手段１０８は、撮影装置２００及び撮影装置３００の操作者が、選択要請制御情報に基づいてする連携表示させるか否かの選択の結果を示す選択情報を、撮影装置２００及び撮影装置３００から受信し、検索手段１０７により検索された個別時刻情報に対応する他のコンテンツの全てに対して選択がなされた後に、一時停止を解除して、編集処理を継続させる。
なお、長い時間選択がなされないコンテンツがあると編集作業が停滞してしまうので、一定時間経過しても選択がなされないコンテンツに対しては、連携表示させない選択がなされたものと決定して、コンテンツの全てに対して選択がなされたものとして編集処理を継続させてもよい。

記憶制御手段１０９は、連携表示させると選択された他のコンテンツを撮影装置２００及び撮影装置３００のいずれかから取得して、連携表示すべきタイミングを示す情報とともに動画コンテンツと関連付けて、マッシュアップコンテンツとしてコンテンツ記憶手段１１１に記憶させる。ここで連携表示すべきタイミングを示す情報は、例えば、一時停止した動画コンテンツの再生開始から一時停止までの相対時間か、あるいは個々の個別撮影情報により示される時刻を、動画撮影情報から得られる動画時刻を用いて、動画コンテンツの再生開始からの相対時間に変換したものである。
図５は、記憶制御手段１０９によりコンテンツ記憶手段１１１に記憶されたマッシュアップコンテンツの制御データの一例を示す図である。
撮影情報記憶手段１１０は、動画コンテンツ動画撮影情報を記憶している。
コンテンツ記憶手段１１１は、動画コンテンツを記憶している。

なお、本実施形態では連携表示させる他のコンテンツを、そのコンテンツが記憶された撮影装置から許可を受けた後で、その撮影装置からダウンロードしているが、許可を受ける装置とダウンロードを受ける装置とは必ずしも一致していなくてもよい。例えば、連携表示の対象となるコンテンツをメモリカードに記憶し、このメモリカードをコンテンツ編集装置１００のカードスロットに挿入しておき、連携表示させる許可を外部の装置から受け付けた場合に限り、メモリカード内のコンテンツを読み出して連携表示させることもできる。また例えば、連携表示の対象となるコンテンツをコンテンツ記憶手段１１１に記憶し、特にこのコンテンツを使用するための許可を必要としないようなときには、連携表示させる許可をコンテンツ編集装置１００の操作者が行い、連携表示させる指示をした場合に、普通にコンテンツ記憶手段１１１からコンテンツを読み出して連携表示させることもできる。

続いて、受け付け手段１０２において通常再生指示が受け付けられた場合についての、各構成の機能を説明する。
コンテンツ取得手段１０４は、受け付け手段１０２により、ある動画コンテンツに対する通常再生指示が受け付けられると、その動画コンテンツをコンテンツ記憶手段１１１から取得する。
ここでは、図５に示したマッシュアップコンテンツの制御データにより再生されるマッシュアップコンテンツを通常再生するものとする。
動画再生制御手段１０５は、さらに、通常再生用に、コンテンツ取得手段１０４により取得されたマッシュアップコンテンツ中の動画コンテンツを再生して、コンテンツ表示手段１０１に表示させる。
時刻出力手段１０６は、さらに、動画再生制御手段１０５により通常再生中の動画コンテンツの再生開始からの累積時間を適宜出力する。

連携タイミング判定手段１１２は、図５に示したマッシュアップコンテンツの制御データに記載された情報により示される連携表示すべきタイミングが、時刻出力手段１０６より適宜出力される累積時間と略一致するタイミングを判定する。
画像合成手段１１３は、連携タイミング判定手段１１２により略一致すると判定されたタイミングで、対応する他のコンテンツを、通常再生されている動画コンテンツと合成して、コンテンツ表示手段１０１の同一画面上に、所定の期間、連携表示するものであり、画像解析手段１１４、及び表示パターン判定手段１１５を含む。
画像解析手段１１４は、編集対象の動画コンテンツの連携タイミングにおける画像を解析し、例えば人物と認識される部分以外の領域や、動きベクトルが小さい領域を背景領域と推定し、人物が表示されていない領域については他のコンテンツを重ねて表示しても支障がないと判断して、背景領域に他のコンテンツを嵌め込む。

図６は、背景領域の例を示す図である。
表示パターン判定手段１１５は、合成すべき他のコンテンツを、どのように連携表示するかを判定する。
図７は各表示パターンを示す図である。
合成パターンとしては、例えば、単純に背景領域内に表示する第１の方法（図７中の７０１）、合成すべき他のコンテンツのサイズを調整して背景領域に嵌め込む第２の方法（図７中の７０２）、関連するコンテンツが同時に複数存在する場合に一定時間間隔（図７では１秒間隔）で切り替えながら時分割で背景領域内に表示する第３の方法（図７中の７０３）、及び合成すべき他のコンテンツの個数に背景領域を分割して、分割した各領域に、合成すべき他のコンテンツをそれぞれ嵌め込む第４の方法などがある（図７中の７０４）。例えば、一つの連携タイミングに１個の他のコンテンツを合成する場合に、他のコンテンツのサイズが背景領域よりも小さければ原則的に第１の方法を用い、他のコンテンツのサイズが背景領域よりも大きければ第２の方法を用いる。また合成すべき他のコンテンツのサイズが極端に小さい場合は、第２の方法を用いて他のコンテンツを拡大することもできる。また一つの連携タイミングに複数の他のコンテンツを合成する場合に、全ての他のコンテンツの合計サイズが背景領域に較べて１．５倍程度を超えると第３の方法を用い、１．５倍以下なら第４の方法を用いる。

撮影情報記憶手段２０２は、連携表示候補の他の複数のコンテンツに関する個別撮影情報を記憶する。
表示手段２０３は、液晶画面等の小型の表示器であり、連携処理制御手段２０１等による制御に従って、動画コンテンツや静止画コンテンツを表示し、コンテンツを連携表示させるか否かの選択を催促するポップアップウィンドゥが開かれ、また操作メニューや警告表示等の操作用の画像を表示する。
コンテンツ記憶手段２０４は、連携表示候補の他の複数のコンテンツを記憶する。
撮影手段２０５は、静止画撮影や連続撮影、あるいは動画撮影等を行う機能を備え、各撮影と同時に、撮影時刻と撮影位置とを記録して、個別撮影情報を生成する。

なお、本実施形態では、通常再生時に背景領域を抽出し、表示パターンを決定しているが、これらの作業は編集処理時に行ってもよい。このようにすると、マッシュアップコンテンツの制御データに、背景領域を示す情報と、表示パターンを示す情報とが追加され、編集者は、後から任意に背景領域の大きさを変更したり、表示パターンを指定することができる。
図８は、編集処理時に背景領域を抽出し、表示パターンを決定した場合の、マッシュアップコンテンツの制御データの一例を示す図である。
図８では、連携を許可するか否かを示す欄が追加されている。この欄を利用して、編集者は、コンテンツ単位で任意に連携表示の要否を切り替えることができる。

＜動作＞
図９は、第１の実施形態における編集処理の動作手順を示す図である。
（１）受け付け手段１０２が、コンテンツ編集装置１００の操作者から、任意の動画コンテンツに対する編集指示、又は通常再生指示を受け付けるまで待つ（ステップＳ１〜Ｓ２）。
（２）通常再生指示が受け付けられた場合に（ステップＳ１：ＹＥＳ）、図１０のステップＳ２３へ飛ぶ。
（３）編集指示が受け付けられた場合に（ステップＳ２：ＹＥＳ）、撮影情報取得手段１０３が、編集指示に添付されたコンテンツ識別情報に基づいて、図２に示すような動画撮影情報を撮影情報記憶手段１１０から取得し、また、図３に示すような個別撮影情報を撮影装置２００と撮影装置３００から取得する（ステップＳ３）。ここでは、図２中の「動画１」に対する編集指示が受け付けられたものとして説明する。

（４）コンテンツ取得手段１０４が、編集指示に添付されたコンテンツ識別情報に基づいて、その動画コンテンツをコンテンツ記憶手段１１１から取得する（ステップＳ４）。ここでは撮影動画名「動画１」のコンテンツを取得する。
（５）時刻出力手段１０６が、撮影情報取得手段１０３により取得された動画撮影情報に基づいて、再生される動画コンテンツに対応する動画撮影時刻を所定の時間間隔で出力する（ステップＳ５）。ここでまず最初に図２中の「動画１」の撮影開始日時が２００９年４月１日１０時２０分５秒であることを示す「０９．４．１／１０：２０：０５」を出力する。

（６）検索手段１０７が、撮影情報取得手段１０３により取得された個別撮影情報のうち、当該個別撮影情報により示される個々の時刻が、時刻出力手段１０６により適宜出力される動画撮影時刻を含む所定の時間内に含まれるものを検索することにより、同一シーンであると推測されるコンテンツを探す（ステップＳ６）。ここでは、標準的に所定の時間を５分に設定しているものとし、５分間隔で検索作業を行うこととする。従って、１回目は２００９年４月１日１０時２０分５秒から２００９年４月１日１０時２５分４秒までの５分間に撮影されたコンテンツを探す。また２回目の検索範囲は、２００９年４月１日１０時２５分５秒から２００９年４月１日１０時３０分４秒までの５分間、３回目の検索範囲は、２００９年４月１日１０時３０分５秒から２００９年４月１日１０時３５分４秒までの５分間、４回目の検索範囲は、２００９年４月１日１０時３５分５秒から２００９年４月１日１０時４０分４秒までの５分間、５回目の検索範囲は、２００９年４月１日１０時４０分５秒から２００９年４月１日１０時４５分４秒までの５分間、６回目の検索範囲は、２００９年４月１日１０時４５分５秒から２００９年４月１日１０時５０分４秒までの５分間、７回目の検索範囲は、２００９年４月１日１０時５０分５秒から２００９年４月１日１０時５５分４秒までの５分間であり、これを撮影終了時間である２００９年４月１日１１時３０分３２秒まで繰り返し行う。

（７）コンテンツが見つかったか否かを判断する（ステップＳ７）。
（８）コンテンツが見つからなかった場合には（ステップＳ７：ＮＯ）、動画再生制御手段１０５が、編集処理用に、コンテンツ取得手段１０４により取得された動画コンテンツについて、現在の検索範囲の再生を許可して再生を開始又は再生中であれば継続させ、コンテンツ表示手段１０１に表示させる（ステップＳ８）。ここでは１回目と７回目の検索範囲以外において、「動画１」のコンテンツの再生を開始する。
（９）コンテンツが見つかった場合には（ステップＳ７：ＹＥＳ）、選択要請手段１０８が、現在の検索範囲内で、複数のコンテンツが検索されたか否かを判定する（ステップＳ９）。

（１０）１個のコンテンツが検索された場合には（ステップＳ９：ＮＯ）、選択要請手段１０８が、検索されたコンテンツの撮影時刻を連携タイミングに決定する（ステップＳ１０）。ここでは、図３中の「静止画１」の撮影日時が２００９年４月１日１０時２２分１０秒であることを示し、これは１回目の検索範囲に入っている。また１回目の検索範囲に入っているのは、このコンテンツだけなので、２００９年４月１日１０時２２分１０秒を連携タイミングに決定する。
（１１）複数のコンテンツが検索された場合には（ステップＳ９：ＹＥＳ）、選択要請手段１０８が、検索された複数のコンテンツの撮影時刻のうち、最も早い時刻を、連携タイミングに決定する（ステップＳ１１）。ここでは、図３中の「静止画２」の撮影日時が２００９年４月１日１０時５１分１５秒であることを示し、これは７回目の検索範囲に入っている。また図３中の「静止画３」の撮影日時が２００９年４月１日１０時５１分１６秒であることを示し、これも７回目の検索範囲に入っている。そこで、最も早い時刻である２００９年４月１日１０時５１分１５秒を連携タイミングに決定する。

（１２）動画再生制御手段１０５が、編集処理用に、コンテンツ取得手段１０４により取得された動画コンテンツについて、現在の検索範囲の再生を許可して再生を開始又は再生中であれば継続させ、コンテンツ表示手段１０１に表示させる（ステップＳ１２）。ここでは１回目の検索範囲において「動画１」のコンテンツの２００９年４月１日１０時２０分５秒に撮影されたコンテンツから再生を開始する。また７回目の検索範囲において「動画１」のコンテンツの２００９年４月１日１０時５０分５秒に撮影されたコンテンツから再生を開始する。
（１３）時刻出力手段１０６が、撮影情報取得手段１０３により取得された動画撮影情報に基づいて、動画再生制御手段１０５により再生中の動画コンテンツに対応する動画撮影時刻を適宜出力する（ステップＳ１３）。
（１４）時刻出力手段１０６のより出力される動画撮影時刻をモニタして、連携タイミングに相当する撮影時間になるまで待つ（ステップＳ１４）。ここでは１回目の検索範囲において動画撮影時刻が２００９年４月１日１０時２２分１０秒になるまで待つ。また７回目の検索範囲において動画撮影時刻が２００９年４月１日１０時５１分１５秒になるまで待つ。

（１５）動画再生制御手段１０５が、連携タイミングに相当する撮影時間に動画コンテンツの再生を一時停止させる（ステップＳ１５）。ここでは、１回目の検索範囲において、「動画１」のコンテンツを２００９年４月１日１０時２２分１０秒に撮影された画像で一時停止させる。また７回目の検索範囲において、「動画１」のコンテンツを２００９年４月１日１０時５１分１５秒に撮影された画像で一時停止させる。
（１６）選択要請手段１０８が、検索した各々のコンテンツに対し、選択要請制御情報を、個々の個別撮影情報中の格納場所により示される対応する装置へ送信する（ステップＳ１６）。ここでは１回目の検索範囲において、図３中の「静止画１」の格納場所を示す撮影機器の欄に記載された「撮影装置２００」へ、「静止画１」に対する選択要請制御情報を送信する。また７回目の検索範囲において、図３中の「静止画２」の格納場所を示す撮影機器の欄に記載された「撮影装置３００」へ、「静止画２」に対する選択要請制御情報を送信すると同時に、図３中の「静止画３」の格納場所を示す撮影機器の欄に記載された「撮影装置３００」へ、「静止画３」に対する選択要請制御情報を送信する。

（１７）選択要請制御情報を受信した撮影装置の連携処理制御手段が、操作者に対してコンテンツを連携表示させるか否かの選択を催促する。詳細には、連携処理制御手段２０１が、選択要請手段１０８から選択要請制御情報を受信すると、選択要請制御情報に含まれるコンテンツ識別情報に対応する他のコンテンツをコンテンツ記憶手段２０４から抽出して、表示手段２０３に表示すると供に、このコンテンツを連携表示させるか否かの選択を催促するポップアップウィンドゥを開く。同様に、連携処理制御手段３０１が、選択要請手段１０８から選択要請制御情報を受信すると、選択要請制御情報に含まれるコンテンツ識別情報に対応する他のコンテンツをコンテンツ記憶手段３０４から抽出して、表示手段３０３に表示すると供に、このコンテンツを連携表示させるか否かの選択を催促するポップアップウィンドゥを開く（ステップＳ１７）。ここでは、１回目の検索範囲において、連携処理制御手段２０１が「静止画１」に対する選択要請制御情報を受信して、「静止画１」のコンテンツをコンテンツ記憶手段２０４から抽出して、図４に示すように「静止画１」のコンテンツを表示手段２０３に表示すると供に、「アップロードしますか？」と表示するポップアップウィンドゥを開く。また７回目の検索範囲において、連携処理制御手段３０１が、「静止画２」に対する選択要請制御情報を受信して、「静止画２」のコンテンツをコンテンツ記憶手段３０４から抽出し、同時に、「静止画３」に対する選択要請制御情報を受信して、「静止画３」のコンテンツをコンテンツ記憶手段３０４から抽出して、図４に示すように「静止画２」のコンテンツと「静止画３」のコンテンツとを表示手段３０３に表示すると供に、「アップロードしますか？」と表示するポップアップウィンドゥを「静止画２」及び「静止画３」用に順に開く。

（１８）連携処理制御手段２０１、及び、連携処理制御手段３０１において、各々の操作者により、連携表示させるか否かの選択がなされ、操作者による選択の結果を示す選択情報が送信され、これを選択要請手段１０８が受信する。また連携表示させると選択された選択情報には、連携表示させると選択したコンテンツが供に送信される（ステップＳ１８）。ここで撮影装置２００、及び、撮影装置３００の各々の操作者は、アップロードを許可する操作を行うだけで、適切な連携タイミングで連携表示対象となる画像データのみをアップロードすることができる。また、各々の操作者は、写りの良い方を選択するなど連携表示させたいコンテンツに対してのみアップロードを許可すればよい。
ここでは、１回目の検索範囲において、撮影装置２００の操作者が、「静止画１」のコンテンツを連携表示させると選択して「静止画１」のコンテンツを供に送信するものとする。また７回目の検索範囲において、撮影装置３００の操作者が、「静止画２」と「静止画３」の両方のコンテンツを連携表示させると選択して「静止画２」と「静止画３」の両方のコンテンツを供に送信するものとする。
なお、撮影装置２００と撮影装置３００の両方に、同時に画像データのアップロードを要求してもよい。
（１９）選択要請手段１０８が、１回分の検索範囲において、検索された個別時刻情報に対応する他のコンテンツの全てに対して選択が行われ、選択情報が受信されるまで待つ（ステップＳ１９）。

（２０）選択されるべき全てのコンテンツに対しての選択がなされ、選択情報が受信された場合に（ステップＳ１９：ＹＥＳ）、動画再生制御手段１０５が一時停止を解除して、再生を再開させる（ステップＳ２０）。ここでは１回目と７回目の検索範囲において、一時停止を解除して、再生を再開させる。
（２１）撮影終了日時に基づいて、現在の検索範囲が最後の検索範囲であるか否かを判断する（ステップＳ２１）最後の検索範囲でない場合には、次の検索範囲を検索するために戻る。
（２２）最後の検索範囲である場合には、記憶制御手段１０９が、連携表示させると選択された他のコンテンツを、撮影装置２００及び撮影装置３００から取得して、連携表示すべきタイミングを示す情報とともに動画コンテンツと関連付けて、マッシュアップコンテンツとしてコンテンツ記憶手段１１１に記憶させ、コンテンツ編集装置１００の操作者からの指示待ち状態へ戻る（ステップＳ２２）。

図１０は、第１の実施形態における通常再生処理の動作手順を示す図である。
ステップＳ２３以降は通常再生処理の動作手順に関する。
（２３）通常再生指示を受け付けられた場合に（ステップＳ１：ＹＥＳ）
コンテンツ取得手段１０４が、動画コンテンツをコンテンツ記憶手段１１１から取得する（ステップＳ２３）。ここでは、図５に示したマッシュアップコンテンツの制御データにより再生されるマッシュアップコンテンツを通常再生するものとする。
（２４）動画再生制御手段１０５が、通常再生用に、撮影情報取得手段１０３により取得されたマッシュアップコンテンツ中の動画コンテンツを再生して、コンテンツ表示手段１０１に表示させる（ステップＳ２４）。
（２５）時刻出力手段１０６が、動画再生制御手段１０５により通常再生中の動画コンテンツの再生開始からの累積時間を適宜出力する（ステップＳ２５）。

（２６）連携タイミングの所定時間前になるまで待つ（ステップＳ２６）。詳細には連携タイミング判定手段１１２が、図５に示したマッシュアップコンテンツの制御データに記載された情報により示される連携タイミングが、時刻出力手段１０６より適宜出力される累積時間と略一致するタイミングを判定し、処理による遅延時間を考慮して、連携タイミングの所定時間前に出力信号を出す。ここでは図５中の連携タイミングの欄の最上段の記載「００：０２：０５」が、「動画１」の再生開始から２分５秒後のタイミングを示すものなので、このときの連携タイミングは「開始から２分５秒後」となる。そして所定時間を５秒前とすると、再生開始から２分０秒に処理開始用に出力を出す。また図５中の連携タイミングの欄の２段目及び３段目の記載「００：３１：１０」が、「動画１」の再生開始から３１分１０秒後のタイミングを示すものなので、このときの連携タイミングは「開始から３１分１０秒後」となる。そして所定時間を５秒前とすると、再生開始から３１分５秒に処理開始用に出力を出す。

（２７）連携タイミングの所定時間前になると（ステップＳ２６：ＹＥＳ）、画像解析手段１１４が、編集対象の動画コンテンツの連携タイミングにおける画像を解析し、背景領域を検出する（ステップＳ２７）。
（２８）表示パターン判定手段１１５が、合成すべき他のコンテンツの個数、背景領域のサイズ、及び合成すべき他のコンテンツの合計サイズ等に基づいて、合成すべき他のコンテンツを、どのように連携表示するかを判定する（ステップＳ２８）。ここでは、例えば「開始から２分５秒後」の連携タイミングに合成すべきコンテンツが「静止画１」だけなので、図７中の７０１に示したように、単純に背景領域内に表示する第１の方法に決定する。また「開始から３１分１０秒後」の連携タイミングに合成すべきコンテンツが「静止画２」と「静止画３」の２つであり、背景領域のサイズが「静止画２」と「静止画３」とを合計したサイスよりも多少小さいと判断すると、図７中の７０２に示したように、合成すべき他のコンテンツのサイズを調整して背景領域に嵌め込む第２の方法に決定する。

（２９）画像合成手段１１３が、連携タイミングに、対応する他のコンテンツを、画像解析手段１１４により検出された背景領域に、表示パターン判定手段１１５により判定された表示パターンで嵌め込む（ステップＳ２９）。
（３０）通常再生が終了したか否かを判定する（ステップＳ３０）。終了していなければ、通常再生処理を継続し、終了していればコンテンツ編集装置１００の操作者からの指示待ち状態へ戻る。
なお、本実施形態では、連携タイミングを判定する処理を、動画コンテンツの撮影時間における所定の時間単位で行い、処理が終了した動画コンテンツを順次再生させながら、平行して後の連携タイミングを判定することにより、見かけ上の処理時間を短縮しているが、処理手順は特にこれに限られるものではなく、例えば動画コンテンツの再生中に、完全に並行して連携タイミングの判定を実行してもよいし、動画コンテンツの再生開始前に連携タイミングの判定を全て完了させてもよい。

また、本実施形態では、動画再生中に、他の撮影装置が保持している静止画を連携表示する場合について説明したが、対象となるコンテンツを限定するものではなく、動画再生中に動画を連携表示する場合にも本発明を適用することができる。
また、本実施形態では、コンテンツ編集装置内に保持している動画と、撮影装置が保持しているコンテンツとの連携表示について説明しているが、コンテンツが保持されている装置を限定するものではなく、撮影装置から取得した動画を再生中に、コンテンツ編集装置内や別の撮影装置から取得したコンテンツを連携表示する場合にも本発明を適用することができる。

またコンピュータに本実施形態のような動作を実行させることができるプログラムがコンピュータ読み取り可能な記録媒体に記録され、この記録媒体が流通し取り引きの対象となり得る。また、当該プログラムは、例えばネットワーク等を介して流通して取り引きの対象となり得、また、表示装置に表示されたり印刷されて、利用者に提示されることもあり得る。
ここでコンピュータ読み取り可能な記録媒体とは、例えば、フレキシブルディスク、ＣＤ、ＭＯ、ＤＶＤ、メモリカード等の着脱可能な記録媒体、及び、ハードディスク、半導体メモリ等の固定記録媒体等であり、特に限定されるものではない。

＜まとめ＞
以上のように、第１の実施形態に係るコンテンツ編集装置によれば、被写体が同一のコンテンツは、まとめて一つのコンテンツとして同時に視聴できるように、複数のコンテンツをそれぞれ取捨選択しつつ、選択したコンテンツ同士を適切に対応付けて同時に再生されるように編集することができる。
また、第１の実施形態に係るコンテンツ編集装置は、連携表示の可否の問い合わせを外部機器に対して行い、外部機器から許可しない限り編集装置本体に連携表示候補のコンテンツを表示しない。例えば撮影者が撮影に失敗した下手な写真を見られて皆に笑われたくないとか、被写体が異なるコンテンツを同時刻に撮影しているとか、人に見られると都合が悪い秘匿性の高いコンテンツを管理しているような場合であっても、撮影者や権利者等の管理者が最終的に責任を持って、連携表示の可否を決定することができる。
また、第１の実施形態に係るコンテンツ編集装置においては、動画撮影時刻を含む所定の時間内に撮影された複数のコンテンツを全て検索し、動画コンテンツを一時停止させて、まとめて編集することができる。
また、連携タイミングにおける再生コンテンツの表示内容を解析し、連携表示パターンを決定することにより、複数のコンテンツの連携表示による再生処理時に、最適な連携表示パターンを用いることが可能となる。

本発明のコンテンツ編集装置は、関連する複数のコンテンツを合成して同時に同一画面に表示することが比較的容易にできるので、特に家庭用のコンテンツ編集機器として利用可能であり、また、大変使い勝手がよいことから、テレビやセットトップボックスなどの受像装置や録画再生装置などに内蔵して、これらの拡張機能としての利用にも適している。

１０ コンテンツ編集システム
１００ コンテンツ編集装置
１０１ コンテンツ表示手段
１０２ 受け付け手段
１０３ 撮影情報取得手段
１０４ コンテンツ取得手段
１０５ 動画再生制御手段
１０６ 時刻出力手段
１０７ 検索手段
１０８ 選択要請手段
１０９ 記憶制御手段
１１０ 撮影情報記憶手段
１１１ コンテンツ記憶手段
１１２ 連携タイミング判定手段
１１３ 画像合成手段
１１４ 画像解析手段
１１５ 表示パターン判定手段
２００ 撮影装置
２０１ 連携処理制御手段
２０２ 撮影情報記憶手段
２０３ 表示手段
２０４ コンテンツ記憶手段
２０５ 撮影手段
３００ 撮影装置
３０１ 連携処理制御手段
３０２ 撮影情報記憶手段
３０３ 表示手段
３０４ コンテンツ記憶手段
３０５ 撮影手段

Claims (9)

1. 動画コンテンツを通常再生する際に、他のコンテンツが連携表示されるように、予め編集処理において、当該動画コンテンツに当該他のコンテンツを関連づけるコンテンツ編集装置であって、
   編集処理用に、前記動画コンテンツが撮影された時刻を少なくとも特定する動画撮影情報、連携表示候補の他の複数のコンテンツがそれぞれ撮影された時刻を少なくとも示す個別撮影情報、及び、当該動画コンテンツを取得する取得部と、
   編集処理用に、前記取得部により取得された前記動画コンテンツを再生して、外部に接続された、あるいは内蔵する表示装置に表示させる動画再生制御部と、
   前記取得部により取得された動画撮影情報に基づいて、前記動画再生制御部により再生される動画コンテンツに対応する動画撮影時刻を出力する時刻出力部と、
   前記取得部により取得された個別撮影情報のうち、当該個別撮影情報により示される個々の時刻が、前記時刻出力部により出力される動画撮影時刻を含む所定の時間内に含まれるものを検索する検索部と、
   前記検索部により１個又は複数個の個別撮影情報が検索された場合に、前記動画再生制御部による動画コンテンツの再生を、連携表示すべきタイミングで一時停止させ、当該検索された１個又は複数個の個別撮影情報に対応する各々の他のコンテンツに対し、前記動画コンテンツが通常再生されるときに連携表示させるか否かをユーザに選択させ、前記検索部により検索された個別時刻情報に対応する他のコンテンツの全てに対して、連携表示させるか否かが決定された後に、前記一時停止を解除する選択要請部と、
   前記選択要請部において連携表示させると選択された他のコンテンツを取得して、当該他のコンテンツを、前記連携表示すべきタイミングを示す情報とともに、前記動画コンテンツと関連付けて記憶する記憶部とを備え、
   前記他のコンテンツを記録し、独自に表示部を備える外部機器が、当該コンテンツ編集装置と通信可能に接続されており、
   前記取得部は、前記個別撮影情報を前記外部機器から取得し、
   前記選択要請部は、
   連携表示させるか否かの選択を要請する画像と、対応する他のコンテンツとを、前記外部機器が備える表示部に表示させる制御情報を、当該外部機器へ送信し、当該外部機器のユーザが、当該制御情報に基づいてする連携表示させるか否かの選択の結果を示す選択情報を、当該外部機器から受信し、
   前記記憶部は、
   連携表示させると選択された他のコンテンツを、前記外部機器から取得することを特徴とする、コンテンツ編集装置。
2. 前記検索部は、
   １つの所定の時間内に対する検索において検索する個別撮影情報の数が規定数に達した場合は、そこで検索を終了し、それまでに検索した範囲に相当する時間を、前記所定の時間とし、以後の検索を続行することを特徴とする、請求項１に記載のコンテンツ編集装置。
3. 前記取得部は、さらに、
   通常再生用に、前記他のコンテンツが、連携表示すべきタイミングを示す情報とともに関連付けられた動画コンテンツを取得し、
   前記動画再生制御部は、さらに、
   通常再生用に前記動画コンテンツを再生して、前記表示装置に表示させ、
   当該コンテンツ編集装置は、さらに、
   前記動画再生制御部により通常再生中の動画コンテンツの再生時間をカウントしながら、取得した連携表示すべきタイミングを示す情報に基づいて、連携表示すべきタイミングを検出するタイミング検出部と、前記タイミング検出部により検出されたタイミングで、対応する動画撮影時刻に関連付けて記憶されている他のコンテンツを、前記動画再生制御部により通常再生される動画コンテンツと合成して、前記表示装置の同一画面上に、所定の期間、連携表示する画像合成部とを備えることを特徴とする、請求項１に記載のコンテンツ編集装置。
4. 前記画像合成部は、
   合成すべき通常再生中の動画コンテンツにおいて、背景領域を推定し、当該背景領域に、合成すべき前記他のコンテンツを嵌め込むことを特徴とする、請求項３に記載のコンテンツ編集装置。
5. 前記画像合成部は、
   前記背景領域のサイズを超えないように、合成すべき前記他のコンテンツのサイズを調整して嵌め込むことを特徴とする、請求項４に記載のコンテンツ編集装置。
6. 前記画像合成部は、
   合成すべき他のコンテンツが、同時に複数個ある場合に、前記背景領域のサイズを超えないように、一定時間間隔で切り替えながら時分割で、当該合成すべき前記他のコンテンツを嵌め込むことを特徴とする、請求項４に記載のコンテンツ編集装置。
7. 前記画像合成部は、
   合成すべき他のコンテンツが、同時に複数個ある場合に、前記背景領域を、当該合成すべき前記他のコンテンツの個数に分割して、分割した各領域に、当該合成すべき前記他のコンテンツをそれぞれ嵌め込むことを特徴とする、請求項４に記載のコンテンツ編集装置。
8. 動画コンテンツを通常再生する際に、他のコンテンツが連携表示されるように、予め編集処理において、当該動画コンテンツに当該他のコンテンツを関連づけるコンテンツ編集装置におけるコンテンツ編集方法であって、
   編集処理用に、前記動画コンテンツが撮影された時刻を少なくとも特定する動画撮影情報、連携表示候補の他の複数のコンテンツがそれぞれ撮影された時刻を少なくとも示す個別撮影情報、及び、当該動画コンテンツを取得する取得ステップと、
   編集処理用に、前記取得ステップにより取得された前記動画コンテンツを再生して、外部に接続された、あるいは内蔵する表示装置に表示させる動画再生制御ステップと、
   前記取得ステップにより取得された動画撮影情報に基づいて、前記動画再生制御ステップにより再生される動画コンテンツに対応する動画撮影時刻を出力する時刻出力ステップと、
   前記取得ステップにより取得された個別撮影情報のうち、当該個別撮影情報により示される個々の時刻が、前記時刻出力ステップにより出力される動画撮影時刻を含む所定の時間内に含まれるものを検索する検索ステップと、
   前記検索ステップにより１個又は複数個の個別撮影情報が検索された場合に、前記動画再生制御ステップによる動画コンテンツの再生を、連携表示すべきタイミングで一時停止させ、当該検索された１個又は複数個の個別撮影情報に対応する各々の他のコンテンツに対し、前記動画コンテンツが通常再生されるときに連携表示させるか否かをユーザに選択させ、前記検索ステップにより検索された個別時刻情報に対応する他のコンテンツの全てに対して、連携表示させるか否かが決定された後に、前記一時停止を解除する選択要請ステップと、
   前記選択要請ステップにおいて連携表示させると選択された他のコンテンツを取得して、当該他のコンテンツを、前記連携表示すべきタイミングを示す情報とともに、前記動画コンテンツと関連付けて記憶する記憶ステップとを含み、
   前記他のコンテンツを記録し、独自に表示部を備える外部機器が、当該コンテンツ編集装置と通信可能に接続されており、
   前記取得ステップは、前記個別撮影情報を前記外部機器から取得し、
   前記選択要請ステップは、
   連携表示させるか否かの選択を要請する画像と、対応する他のコンテンツとを、前記外部機器が備える表示部に表示させる制御情報を、当該外部機器へ送信し、当該外部機器のユーザが、当該制御情報に基づいてする連携表示させるか否かの選択の結果を示す選択情報を、当該外部機器から受信し、
   前記記憶ステップは、
   連携表示させると選択された他のコンテンツを、前記外部機器から取得することを特徴とする、コンテンツ編集方法。
9. 動画コンテンツを通常再生する際に、他のコンテンツが連携表示されるように、予め編集処理において、当該動画コンテンツに当該他のコンテンツを関連づけるコンテンツ編集装置により実行されるコンテンツ編集プログラムであって、
   前記コンテンツ編集装置に、
   編集処理用に、前記動画コンテンツが撮影された時刻を少なくとも特定する動画撮影情報、連携表示候補の他の複数のコンテンツがそれぞれ撮影された時刻を少なくとも示す個別撮影情報、及び、当該動画コンテンツを取得する取得ステップと、
   編集処理用に、前記取得ステップにより取得された前記動画コンテンツを再生して、外部に接続された、あるいは内蔵する表示装置に表示させる動画再生制御ステップと、
   前記取得ステップにより取得された動画撮影情報に基づいて、前記動画再生制御ステップにより再生される動画コンテンツに対応する動画撮影時刻を出力する時刻出力ステップと、
   前記取得ステップにより取得された個別撮影情報のうち、当該個別撮影情報により示される個々の時刻が、前記時刻出力ステップにより出力される動画撮影時刻を含む所定の時間内に含まれるものを検索する検索ステップと、
   前記検索ステップにより１個又は複数個の個別撮影情報が検索された場合に、前記動画再生制御ステップによる動画コンテンツの再生を、連携表示すべきタイミングで一時停止させ、当該検索された１個又は複数個の個別撮影情報に対応する各々の他のコンテンツに対し、前記動画コンテンツが通常再生されるときに連携表示させるか否かをユーザに選択させ、前記検索ステップにより検索された個別時刻情報に対応する他のコンテンツの全てに対して、連携表示させるか否かが決定された後に、前記一時停止を解除する選択要請ステップと、
   前記選択要請ステップにおいて連携表示させると選択された他のコンテンツを取得して、当該他のコンテンツを、前記連携表示すべきタイミングを示す情報とともに、前記動画コンテンツと関連付けて記憶する記憶ステップとを実行させ、
   前記他のコンテンツを記録し、独自に表示部を備える外部機器が、当該コンテンツ編集装置と通信可能に接続されており、
   前記取得ステップは、前記個別撮影情報を前記外部機器から取得し、
   前記選択要請ステップは、
   連携表示させるか否かの選択を要請する画像と、対応する他のコンテンツとを、前記外部機器が備える表示部に表示させる制御情報を、当該外部機器へ送信し、当該外部機器のユーザが、当該制御情報に基づいてする連携表示させるか否かの選択の結果を示す選択情報を、当該外部機器から受信し、
   前記記憶ステップは、
   連携表示させると選択された他のコンテンツを、前記外部機器から取得することを特徴とする、コンテンツ編集プログラム。

Images