JPWO2010055638A1 - 映像データ作成装置、映像データ作成方法、および、映像データ作成用のプログラムとその記録媒体、集積回路 - Google Patents

Abstract

マルチアングル再生可能な映像データを作成する際に、複数の映像データを一括で扱って多大な労力を要する編集作業を行うことなく、マルチアングル再生可能な映像データを簡単に作成できる映像データ作成装置を提供する。そのために本発明の映像データ作成装置は、映像データに含まれる映像情報に基づいて映像ストリームからマルチアングル再生すべきブロックの組を検出し、検出したブロックの組がマルチアングル再生可能となるように再生経路情報を作成する。

Description

本発明は、マルチアングル再生可能な映像データの作成に関する。

デジタルビデオカメラの普及により、一般の人々でも簡単に動画を撮影できるようになった。更に、携帯電話やデジタルスチルカメラなどにも、動画を撮影する機能が付加されるようになり、動画を撮影できる機器はますます身近になっている。

運動会や結婚式などのイベントでは、多数の人がデジタルビデオカメラやデジタルスチルカメラなどを持参し、各自が動画の撮影を行うので、同じ時刻に同じ場所で様々なアングルで撮影が行われる。このようにして、同じ時刻に同じ場所で様々なアングルで撮影された動画の映像データの活用例として、マルチアングル再生可能な動画の映像データの作成がある。

マルチアングル再生可能な動画の映像データは、再生機で再生中に、ある再生区間においては、ボタンで切り替えるなどして、その場面を様々なアングルから見ることが可能な映像データである。

特許文献1 には、マルチアングル再生可能な映像データを作成する技術が開示されている。

特開 2005-107968 号公報

しかしながら、上記の従来技術では、主にトランスポートストリームで送信される複数の映像データをマルチアングル再生可能な映像データとして記録することを前提としており、マルチアングル再生可能な映像データを複数の映像データから一括で作成するものとなっている。そのため、多数の人が撮影した映像データを集めて一括で編集する場合には、それらの多数の映像データを記録するために大容量の記録媒体が必要となり、また、集めた多数の映像データから必要な部分を探し出して編集しなければならないので、マルチアングル再生可能な映像データを作成するには、多大な労力が必要となるという課題がある。

本発明は、多大な労力を要する編集作業を行うことなく、マルチアングル再生可能な映像データを簡単に作成できる映像データ作成装置を提供することを目的とする。

上記課題を解決するために、本発明の映像データ作成装置は、第1の記録媒体に記録され、第1の映像ストリームと、前記第1の映像ストリームの再生経路を示す第1の再生経路情報と、前記第1の映像ストリームにおけるブロックごとに、当該ブロックに含まれる映像が撮影された撮影時刻を含む撮影情報を対応付けた第1の映像情報とを含む第1の映像データと、前記第1の記録媒体とは異なる第2の記録媒体に記録され、第2の映像ストリームと、前記第2の映像ストリームの再生経路を示す再生経路情報と、前記第2の映像ストリームにおけるブロックごとに、当該ブロックに含まれる映像が撮影された撮影時刻を含む撮影情報を対応付けた第2の映像情報とを含む第2の映像データとから第3の映像データを作成する映像データ作成装置であって、前記第1の映像データと、前記第2の映像データと、前記第1の記録媒体に記録され、前記第1の映像ストリームにおけるブロックと、前記第2の映像ストリームにおけるブロックとを、照合するための基準となる撮影情報の要素を示す照合基準情報とを取得する取得部と、前記第1の映像ストリームにおける各ブロックと、前記第2の映像ストリームにおける各ブロックとから、各ブロックに対応付けられた撮影情報のうち、前記照合基準情報が示す撮影情報の要素が適合するブロックの組を検出する検出部と、前記検出部が適合するブロックの組を検出した場合に、当該ブロックの組が同期するように、前記第1の映像ストリーム、および、前記第2の映像ストリームのうちの前記検出部が適合したと検出したブロックを再生可能な再生経路を示す再生経路情報と、前記第1の映像ストリームと、前記第2の映像ストリームのうちの前記検出部が適合したと検出したブロックと、前記第1の映像ストリームの映像情報とを含む前記第3の映像データを作成する作成部とを備えることを特徴とする。

上記の映像データ作成装置によると、映像情報に含まれる撮影情報を照合することにより、映像ストリームからマルチアングル再生すべきブロックが検出されるので、多大な労力を要する編集作業を行わなくても簡単にマルチアングル再生可能な映像データを作成することができる。

ここで、前記映像データ作成装置は、更に、前記第3の映像データを前記第1の記録媒体に上書きする書込部を備える としてもよい。

作成した映像データを第1の記録媒体に上書きすることにより、例えば、同じ運動会を撮影した人の間で、第1の記録媒体を次々と手渡し、各自が撮影した映像データを追加してもらうと、最終的に第1の記録媒体には、最初に映像データを第1の記録媒体に書き込んだ人が設定した照合基準情報に基づいて、多数の人が撮影した映像データから適合するブロックを抽出したマルチアングル再生可能な映像データが手に入る。

ここで、前記再生経路情報は、当該再生経路情報が示す再生経路で再生すべき映像ストリームを示す映像ストリーム識別子と、当該再生経路情報が示す再生経路で再生すべき映像ストリームが複数あるかどうかを示すマルチストリームフラグとを含み、前記作成部は、前記第1の映像データまたは前記第2の映像データに含まれる再生経路情報が示す再生経路のうち、前記検出部が検出したブロックの組に含まれるブロックを含む再生経路を示す再生経路情報に、前記第2の映像ストリームを示す映像ストリーム識別子を追加し、かつ、当該再生経路情報に含まれるマルチストリームフラグをオンにすることで、前記第3の映像データに含まれる再生経路情報を作成する としてもよい。

第1の記録媒体に記録されている映像データに含まれる再生経路情報を変更することで、その再生経路で再生すべき映像ストリームが再生経路情報に追加されるので、マルチアングル再生可能な映像データを作成するのに、映像ストリーム自体を変更する必要はない。

ここで、前記照合基準情報は、撮影情報に含まれる複数の要素を示し、前記検出部が前記適合するブロックの組を検出するのは、当該ブロックの組の各ブロックに対応する撮影情報の要素のうち、前記照合基準情報が示すすべての撮影情報の要素が適合する場合である としてもよい。

撮影情報に含まれる複数の要素を照合し、各ブロックが適合するかどうか判定するので、よりマルチアングル再生に適したブロックを検出することができる。これは、同じ時刻に別の人物を撮影した場面をマルチアングル再生するよりも、同じ時刻に同じ人物を撮影した場面をマルチアングル再生する方が、マルチアングル再生に適していると考えに基づく。

ここで、前記検出部は、前記照合基準情報が、撮影情報に含まれる複数の要素を示し、前記照合基準情報が示す撮影情報の要素の中に前記撮影時刻情報がある場合、前記撮影時刻情報を優先して適合するかどうかを判定する としてもよい。

撮影時刻を優先してブロックが適合するかどうかを判定することで、同じ時刻に撮影した異なる映像データに含まれる映像ストリームから、撮影情報に含まれる他の要素も適合するブロックを検出するので、撮影時刻が同期したマルチアングル映像を作成することができる。

ここで、前記撮影情報は、前記ブロックの映像が撮影された撮影場所を示す撮影場所情報を要素にもち、前記検出部が前記適合するブロックの組を検出するのは、当該ブロックの組の各ブロックに対応する撮影情報の要素のうち、撮影場所情報が適合する場合である としてもよい。

撮影場所を照合してブロックが適合するかどうかを判定することで、異なる映像データに含まれる映像ストリームから、同じ場所を撮影したブロックを検出するので、例えば、異なる時刻に同じ場所を撮影した場面を切り替えて見ることのできるマルチアングル映像を作成することができる。

ここで、前記撮影情報は、前記ブロックの映像に撮影されている人物を示す被撮影人物情報を要素にもち、前記検出部が前記適合するブロックの組を検出するのは、当該ブロックの組の各ブロックに対応する撮影情報の要素のうち、被撮影人物情報が適合する場合である としてもよい。

被撮影人物を照合してブロックが適合するかどうかを判定することで、異なる映像データに含まれる映像ストリームから、同じ人物を撮影したブロックを検出するので、例えば、異なる時刻に異なる場所で特定の人物を撮影した場面を切り替えて見ることのできるマルチアングル映像を作成することができる。

ここで、前記映像データ作成装置は、更に、前記第3の映像データと前記照合基準情報とを第1の記録媒体とは異なる第3の記録媒体に書き込む書込部を備える としてもよい。

例えば、同じ運動会を撮影した人の間で、映像データの記録された記録媒体を手渡し、各自が撮影した映像データからマルチアングル再生可能な映像データを作成する場合、第1の記録媒体が追記可能でなくても、作成した映像データと照合基準情報とを第1の記録媒体とは異なる第3の記録媒体に書き込むことにより、最初に映像データを第1の記録媒体に書き込んだ人が設定した照合基準情報に基づいて作成したマルチアングル映像データを別の第3の記録媒体に記録して次々に手渡していくことができる。

実施形態1 における映像データ作成装置の利用例を示す図。 実施形態1 における映像データ作成装置の構成を示す図。 実施形態1 における映像ストリームとブロックとの関係を示す図。 実施形態1 における再生経路情報の構造を示す図。 実施形態1 における映像情報の構造を示す図。 実施形態1 における再生経路情報の作成処理を説明する図。 実施形態1 における映像データ作成装置が作成した再生経路情報の構造を示す図。 実施形態1 における映像データ作成処理の動作を示すフローチャート。 実施形態1 における映像情報照合処理の動作を示すフローチャート。 実施形態1 における再生経路情報作成処理の動作を示すフローチャート。 実施形態2 における映像データ作成装置の構成を示す図。 実施形態2 における画像情報の構造を示す図。 実施形態2 における画像ストリーム作成処理の動作を示すフローチャート。

《実施形態1》
本実施形態では、光ディスクに記録された映像データと、メモリーカードに記録された映像データとを読み出し、マルチアングル再生可能な映像データを作成し、光ディスクに記録された映像データを消して、作成したマルチアングル再生可能な映像データを元の光ディスクに書き込むことで、光ディスクに記録された映像データに、メモリーカードに記録された映像データを追記する映像データ作成装置について説明する。

まず、本実施形態の映像データ作成装置が利用される状況の例について、図1を用いて説明する。

本実施形態の映像データ作成装置は、運動会などのイベントにおいて、複数のユーザが同じ時刻に同じ場所で様々なアングルで映像データが撮影される場合に、あるユーザが自分の撮影した映像データを光ディスクに記録し、その光ディスクを映像データ作成装置の所有する他のユーザに手渡しすると、受けとったユーザは、光ディスクに記録されている映像データに、自分が撮影した映像データを追記するというようにして、複数のユーザが撮影した映像データから、マルチアングル再生可能な映像データを作成するという利用を想定している。

図1は、映像データ作成装置の利用状況を説明する図である。ユーザ U1, U2, U3 は、同じ運動会においてそれぞれ自分の子供を主として撮影した映像データ1,2,4 をもっているとする。

(1) まず、ユーザ U1 が、自分の撮影した映像データ1 と、どのような条件でマルチアングル映像を作成するのかを示した照合基準情報とを光ディスクに書き込み、その光ディスクをユーザ U2 に手渡しする。ここで、照合基準情報とは、マルチアングル映像を作成する際に、撮影時刻、撮影場所、被撮影人物などの撮影された映像のどの特徴に着眼するかを示す。例えば、運動会を撮影した場合なら、照合基準情報として、被撮影人物の名前がユーザ U1 自身の子供の名前であるという条件を設定しておくことで、他人が撮影した映像データから、自分の子供が映った場面を抽出してマルチアングル映像を作成することが後述の流れによりできる。

(2) 光ディスクを受け取ったユーザ U2 は、当該ユーザ U2 が所有する映像データ作成装置を用いて、光ディスクに記録されている照合基準情報に基づいて、光ディスクに記録されている映像データ1 と、自分が撮影した映像データ2 とを読み出し、映像データ1 と映像データ2 の一部とからなるマルチアングル再生可能な映像データ3 を作成する。ユーザ U2 は、作成した映像データ3 を光ディスクに書き込みその光ディスクをユーザ U3 に手渡しする。

(3) 光ディスクを受け取ったユーザ U3 は、同様にして、当該ユーザ U3 が所有する映像データ作成装置を用いて、光ディスクに記録されている照合基準情報に基づいて、光ディスクに記録されている映像データ3 と、自分が撮影した映像データ4 とを読み出し、映像データ3 と映像データ4 の一部とからなるマルチアングル再生可能な映像データ5 を作成する。

以上のように、光ディスクに記録された映像データと、映像データ作成装置の所有者がもつ映像データとから、マルチアングル再生可能な映像データを作成し、作成した映像データを記録した光ディスクを手渡ししていくという手順を繰り返していくと、最終的にユーザ U1 が光ディスクを返却してもらったときには、光ディスクには、多数の人が撮影した映像データから、照合基準情報に基づいて場面を抽出したマルチアングル映像が手に入る。

つまり、ユーザ U1 は、自分が撮影した映像データと、被撮影人物の名前がユーザ U1 自身の子供の名前であるという条件を示した照合基準情報とを光ディスクに記録し、その光ディスクをユーザ U2,U3,... と順に手渡しして、各ユーザの撮影した映像データから、照合基準情報に基づいてマルチアングル再生可能な映像データを作成していくことで、ユーザ U1 自身の子供を様々なアングルから見ることができるマルチアングル再生可能な映像データを手に入れることができる。
〈構成〉
次に、本実施形態の映像データ作成装置の構成について、図2を用いて説明する。

本実施形態の映像データ作成装置 100は、光ディスク 160に記録された映像データ1と照合基準情報、および、メモリーカード 170に記録された映像データ2を、それぞれ光ディスクドライブ 161およびメモリーカードスロット 171を介して取得し、照合基準情報に基づいて映像データ1と映像データ2とからマルチアングル再生可能な映像データ3を作成する。また、映像データ作成装置 100は、作成した映像データ3を、光ディスク 160に光ディスクドライブ 161を介して上書きする。ここで、上書きとは、光ディスク 160に記録されている映像データ1を消して、映像データ3を書き込むことであり、光ディスク 160に記録されている映像データ1以外のデータ、すなわち、照合基準情報は変更されない。

映像データ作成装置 100は、取得部 101、作成部 102、検出部 103、記憶部 105、書込部 104を含む構成となっている。

取得部 101は、光ディスク 160に記録された映像データ1と照合基準情報を光ディスクドライブ 161を介して取得する機能、および、メモリーカード 170に記録された映像データ2をメモリーカードスロット 171を介して取得する機能を有する。取得部 101は、取得した映像データ1、映像データ2、照合基準情報を、作成部 102に出力する機能を有する。

作成部 102は、取得部 101が取得した映像データ1、映像データ2、照合基準情報に基づいて、マルチアングル再生可能な 映像データ3 を作成する機能を有する。作成部 102は、作成した映像データ3、および、映像データ3の作成中に用いられるデータを記憶するために記憶部 105にアクセスする。作成部 102は、照合基準情報に基いて映像データ1および映像データ2からマルチアングル再生すべき部分を検出するように検出部 103に指示し、検出部 103が検出した結果に基づいて、映像データ3 を作成する。作成部 102は、映像データ3の作成が完了すると、作成した映像データ3を光ディスク 160に書き込むように書込部 104に指示する。

検出部 103は、作成部 102からの指示を受けて、映像データ1に含まれる映像ストリームと、映像データ2に含まれる映像ストリームとを、照合基準情報に基づいて照合し、各映像ストリームを構成するブロックの中から、照合基準情報に示される撮影情報の要素が適合するブロックの組を検出する機能を有する。

記憶部 105は、作成部 102が作成した映像データ3、および、映像データ3の作成中に用いられるデータを記憶する記憶媒体である。

書込部 104は、作成部 102からの指示を受け、作成部 102が作成した映像データ3を、光ディスク 160に光ディスクドライブ 161を介して上書きする機能を有する。
〈映像データ〉
次に、映像データ作成装置 100が取り扱う映像データの構造について説明する。

映像データとは、1つ以上の再生経路情報と、1つ以上の映像ストリームと、映像ストリームごとに対応付けられた映像情報との集合である。
・映像ストリーム
映像ストリームとは、撮影した映像を含んだデータの実体である。映像ストリームには、映像ストリーム上の位置を示すPTS (Presentation Time Stamp) が含まれており、PTS ごとに対応する映像ストリームの範囲をブロックと呼ぶ。映像ストリームは映像ストリーム識別子によって識別される。映像ストリーム識別子は、例えば、映像ストリームを記録したファイルのファイル名である。

映像データ1は、唯1つの映像ストリームを含み、その映像ストリームを示す映像ストリーム識別子を ST1 とする。

映像データ2は、唯1つの映像ストリームを含み、その映像ストリームを示す映像ストリーム識別子を ST2 とする。

図3に、映像データ1に含まれる映像ストリーム識別子 ST1 で示される映像ストリームと、映像データ2に含まれる映像ストリーム識別子 ST2 で示される映像ストリームとの例を示す。

映像ストリーム識別子 ST1 で示される映像ストリームは、図3(a) に示すように、PTS が 0 から 80 までの 9 個のブロックからなる。

映像ストリーム識別子 ST2 で示される映像ストリームは、図3(b) に示すように、PTS が 0 から 20 までの 3 個のブロックからなる。

以下では、混乱のない限り、映像ストリーム識別子 ST で示される映像ストリームのことを単に映像ストリーム ST と呼ぶ。
・再生経路情報
再生経路情報とは、映像ストリームを再生するための経路を示す情報であり、再生すべき映像ストリームを示す映像ストリーム識別子と、再生すべき映像ストリームの再生開始PTS と再生終了PTS、再生開始PTS と再生終了PTS とで示される範囲において、マルチアングル再生可能かどうかを示すマルチアングルフラグを含んでいる。

図4に、映像データ1 および 映像データ2 に含まれる再生経路情報の例を示す
映像データ1は、図4(a) に示すように、映像データ1における再生経路情報番号が 1 の唯1つの再生経路情報を含んでおり、その再生経路情報は、映像ストリーム ST1 の全範囲を示している。すなわち、再生開始PTS 0 から再生終了PTS 80 までの範囲を再生することを示している。更に、この再生経路情報のマルチアングルフラグは OFF なので、マルチアングル再生は不可能であることを示している。

映像データ2は、図4(b) に示すように、映像データ2における再生経路情報番号が 1 の唯1つの再生経路情報を含んでおり、その再生経路情報は、映像ストリーム ST2 の全範囲を示している。すなわち、再生開始PTS 0 から再生終了PTS 20 までの範囲を再生することを示している。更に、この再生経路情報のマルチアングルフラグは OFF なので、マルチアングル再生は不可能であることを示している。
・映像情報
映像情報とは、映像ストリームごとに対応付けられ、映像ストリームを構成するブロックごとに、当該ブロックに含まれる映像に関する撮影情報を示した情報である。

撮影情報とは、当該ブロックに含まれる映像を撮影した時刻を示す撮影時刻、当該ブロックに含まれる映像を撮影した場所を経度と緯度により示す撮影場所、当該ブロックに含まれる映像に撮影されている人物の人物名を示す被撮影人物などの情報である。

図5(a)(b)に、映像ストリーム ST1 に対応する映像情報 M1 、および、映像ストリーム ST2 に対応する映像情報 M2 の例を示す。

映像ストリーム ST1 に対応する映像情報 M1 は、図5(a) に示すように、映像ストリーム ST1 の 9個のブロックごとに、映像ストリーム識別子、PTS、撮影情報を対応付けたテーブルである。

映像ストリーム ST2 に対応する映像情報 M2 は、図5(b) に示すように、映像ストリーム ST2 の 3個のブロックごとに、映像ストリーム識別子、PTS、撮影情報を対応付けたテーブルである。

映像情報は、撮影時に映像ストリームを記録すると同時に作成される。すなわち、撮影時刻は時計によって取得され、撮影場所は GPS(Global Positioning System) によって取得され、被撮影人物は顔認識機能によって取得される。但し、被撮影人物を顔認識機能による取得については、予め顔認識に必要な顔認識データと人物名との対応付けをデータベースに登録しておく必要がある。
〈照合基準情報〉
照合基準情報とは、映像情報の各エントリに含まれる撮影情報のうち、どの要素を照合の基準としてマルチアングル再生可能な映像データを作成するのかを示した情報である。すなわち、照合基準情報は、撮影時刻、撮影場所、被撮影人物のうちのいずれか、もしくは、これらの組み合わせを示している。以下では、照合基準情報が示す撮影情報の要素は撮影時刻のみであるとして説明を行う。
〈動作〉
次に、映像データ作成装置 100によるマルチアングル再生可能な映像データの作成動作の概要について説明する。

映像データ作成装置 100は、映像データ1および映像データ2、照合基準情報を取得すると、映像データ1に含まれる映像情報 M1 に対して、映像データ2に含まれる映像情報 M2 を照合し、照合基準情報に示される撮影情報の要素が適合するブロックの組を検出する。適合するブロックの組が検出されれば、映像データ作成装置 100は、それらのブロックの PTS が一致するように、映像情報 M2 および対応する映像ストリーム ST2 の PTS を変更する。続いて、映像データ作成装置 100は、映像情報 M1 および対応する映像ストリーム ST1 と、変更後の映像情報 M2 および対応する映像ストリーム ST2 に基づいて再生経路情報を作成する。映像データ作成装置 100は、このようにして、作成した再生経路情報と、映像情報 M1 および映像ストリーム ST1 と、変更後の映像情報 M2 および映像ストリーム ST2 との集合が、作成すべきマルチアングル再生可能な映像データ3である。

ここで、照合するとは、撮影情報の要素を比較して適合するどうかどうかを判定することである。適合するとは、一致または近い値であることであり、撮影時にどの程度の精度の単位で撮影情報を記録したかに依存して設定される許容範囲内であることを意味する。例えば、図5の例では、撮影時刻は 1分の単位で記録されているので、1分未満の差の時刻の違いは区別できない。よって、照合において 1分未満の差は適合すると判定される。また、撮影場所については、0'0'001 の単位で記録されているので、0'0'001 未満の差の場所の違いは区別できない。よって、照合において 0'0'001 未満の差は適合すると判定される。被撮影人物については、登録されている人物名が一致するときに適合すると判定される。

具体的に、図5(a)に示した映像情報 M1 に対して、図5(b)に示した映像情報 M2 を照合し、照合基準情報が示す撮影情報の要素、つまり、撮影時刻が適合するブロックの組を検出する例を説明する。図5(a)に示した映像情報 M1 のPTS が 40 から 60 のエントリの撮影時刻が、図5(b)に示した映像情報 M2 のPTS が 0 から 20 のエントリの撮影時刻に適合することがわかる。撮影時刻が適合するブロックが検出されると、それらのエントリの PTS が一致するように、映像情報 M2 に含まれる検出されたエントリの PTS を映像情報 M1 に含まれる対応するエントリの PTS と一致するように変更する。その結果、映像情報 M2 は、図5(c) のようになる。映像データ作成装置 100は、変更後の映像情報 M2 の PTS に合わせて、映像情報 M2 に対応する映像ストリーム ST2 の PTS を変更する。

次に、映像データ作成装置 100は、映像データ3 の再生経路情報を作成する。

図6は、映像データ3 の再生経路情報がどのように作成されるかを示した図である。

図6は、映像情報 M1 の PTS が 40 から 60 の範囲のブロックと、映像情報 M2 の PTS が 0 から 20 の範囲のブロックとの、撮影時刻がそれぞれ適合しているので、映像情報 M1 に対応する映像ストリーム ST1 と、映像情報 M1 に対応する映像ストリーム ST1 の PTS が 40 から 60 の範囲のブロックに合わせて、映像情報 M2 に対応する映像ストリーム ST2 の PTS が 0 から 20 の範囲のブロックのPTS を変更した映像ストリームとが、映像データ3 に含まれることを示している。

映像データ作成装置 100は、PTS で示されるブロックを順に再生する場合に、再生すべき映像ストリームの組が変化しない間は、同一の再生経路情報で再生経路を指定し、再生すべき映像ストリームの組が変化するごとに、異なる再生経路情報で再生経路を指定するように、映像データ3 の再生経路情報を作成する。

すなわち、図6の場合、まず、PTS が 0 から 30 の範囲では、再生すべき映像ストリームは、映像ストリーム ST1 だけであるので、再生開始PTS が 0、再生終了PTS が 30、再生すべき映像ストリームを示す映像ストリーム識別子が ST1、マルチアングルフラグが OFF となる再生経路情報を作成し、この再生経路情報に再生経路情報番号 1 を割り振る。

次に、PTS が 40 から 60 の範囲では、再生すべき映像ストリームが、映像ストリーム ST1 と ST2 との 2個に変化するので、再生開始PTS が 40、再生終了PTS が 60、再生すべき映像ストリームを示す映像ストリーム識別子が ST1 と ST2、マルチアングルフラグが ON となる再生経路情報を作成し、この再生経路情報に再生経路情報番号 2 を割り振る。

更に、PTS が 70 から 80 の範囲では、再生すべき映像ストリームは、映像ストリーム ST1 だけに変化するので、再生開始PTS が 70、再生終了PTS が 80、再生すべき映像ストリームを示す映像ストリーム識別子が ST1、マルチアングルフラグが OFF となる再生経路情報を作成し、この再生経路情報に再生経路情報番号 3 を割り振る。

このようにして作成した映像データ3 の再生経路情報は、図7 のようになる。
〈映像データ作成処理〉
次に、映像データ作成装置 100による映像データ作成処理について図8のフローチャートを用いて説明する。

まず、取得部 101が、光ディスク 160に記録されている映像データ1と照合基準情報とを取得する(S801)。続いて、取得部 101は、メモリーカード 170に記録されている映像データ2を取得する(S802)。

作成部 102は、取得部 101が取得した映像データ1 に含まれている映像情報の数を数え、その数を映像データ1 に含まれている映像情報の数を格納する変数 N1 に代入する(S803)。続いて、作成部 102は、取得部 101が取得した映像データ2 に含まれている映像情報の数を数え、その数を映像データ2 に含まれている映像情報の数を格納する変数 N2 に代入する(S804)。

次に、変数 i を 1 に初期化し(S805)、変数 i が N1 になるまで(S812)、1 ずつ増やしながら(S813)、映像データ1のi 番目の映像情報 M1(i) を取得し(S806)、以下の処理を繰り返す。

更に、変数 j を 1 に初期化し(S807)、変数 j が N2 になるまで(S810)、1 ずつ増やしながら(S811)、映像データ2のj 番目の映像情報 M2(j) を取得し(S808)、以下の処理を繰り返す。

映像情報 A と映像情報 B との照合処理を繰り返す(S809)。ここで、映像情報 A とは 映像情報 M1(i) であり、映像情報 B とは 映像情報 M2(j) である。

以上の繰り返し処理を抜けると、映像データ3 の再生経路情報作成処理を行う(S814)。

以上のようにして、映像データ3 が作成される。
〈照合処理〉
次に、映像情報 A と映像情報 B との照合処理について、図9のフローチャートを用いて説明する。

まず、映像情報 A のエントリ数を数え、その数を映像情報 A のエントリ数を格納する変数 NA に代入する(S901)。続いて、映像情報 B のエントリ数を数え、その数を映像情報 B のエントリ数を格納する変数 NB に代入する(S902)。

NB個の要素をもつ適合フラグ配列 C のすべての要素を OFF に初期化する(S920)。

次に、変数 i を 1 に初期化し(S903)、変数 i が NA になるまで(S914)、1 ずつ増やしながら(S915)、以下の処理を繰り返す。

まず、映像情報 Aの i 番目のエントリ A(i) を取得する(S904)。続いて、エントリ A(i) から照合基準情報が示す撮影情報の要素 RA(i) を取得する(S905)。

更に、変数 j を 1 に初期化し(S906)、変数 j が NB になるまで(S912)、1 ずつ増やしながら(S913)、以下の処理を繰り返す。

まず、映像情報 Bの j 番目のエントリ B(j) を取得する(S907)。続いて、エントリ B(j) から照合基準情報が示す撮影情報の要素 RB(j) を取得する(S908)。

次に、撮影情報の要素 RA(i) と RB(j) とを照合する(S909)。

撮影情報の要素 RA(i) と RB(j) とが適合した場合(S909 Y)、エントリ A(i) の PTS とエントリ B(j) の PTS との差分 Δ を算出し(S910)、エントリ B(j) の PTS に差分 Δ を加算して更新したあと(S911)、適合フラグ C の j番目の要素 C(j) を ON にする(S921)。

以上の繰り返し処理を抜けると、映像情報 B に対応する映像ストリームの PTS を映像情報 B の PTS に合わせて変更する(S916)。

以上で、映像情報 A と映像情報 B との照合処理が終了する。
〈再生経路情報作成処理〉
次に、映像データ3の再生経路情報作成処理について、図10のフローチャートを用いて説明する。

まず、映像データ1 に含まれる映像ストリームのうちの PTS の最小値を変数 t に代入する(S1001)。続いて、映像データ1 に含まれる映像ストリームのうちの PTS の最大値を Tmax に代入する(S1002)。

更に、映像ストリームの組 M を空にする(S1003)。

次に、変数 i を 1 に初期化し(S1004)、変数 i を 1 ずつ増やしながら(S1022)、以下の処理を繰り返す。

まず、変数 Tbeg に変数 t を代入する(S1005)。続いて、変数 Tend に変数 t を代入する(S1006)。

変数 t が Tmax よりも大きくなるまで、以下の処理を繰り返す(S1007)。

まず、PTS が t であるブロックを含む映像データ1 の映像ストリーム、または、PTS が t であり、かつ、対応する適合フラグ C が ON であるブロックを含む映像データ2 の映像ストリームの組 N を取得する(S1008)。

映像ストリームの組 N が空ならば(S1009 Y)、変数 t を 1 だけ増加し(S1010)、映像ストリームの組 N が空でなくなるまで繰り返す。

空でない映像ストリームの組 N が見つかったら(S1009 N)、前の映像ストリームの組 M と、映像ストリームの組 N とを比較する(S1011)。

映像ストリームの組 M と N とが一致すれば(S1011 Y)、変数 Tend を変数 t に更新し(S1012)、変数 t を 1 だけ増加し(S1013)、増加した変数 t について、上記処理を繰り返す。

映像ストリームの組 M と N とが一致しなければ(S1011 N)、i 番目の再生経路情報 P(i) の再生開始PTS を Tbeg にし(S1014)、再生終了PTS を Tend にする(S1015)。更に、再生経路情報 P(i) に映像ストリームの組 N の要素を追加する(S1016)。

続いて、映像ストリームの組 N の要素の数 n を取得し(S1017)、要素の数 n が 1 より大きければ(S1018 Y)、再生経路情報 P(i) のマルチアングルフラグを ON にする(S1019)。要素の数 n が 1 より大きくなければ(S1018 N)、再生経路情報 P(i) のマルチアングルフラグを OFF にする(S1020)。

以上で、i番目の再生経路情報の作成が終了する。

次に、映像ストリームの組 M を映像ストリームの組 N にして(S1021)、再生経路情報番号 i を 1 だけ増加し(S1022)、次の再生経路情報の作成を行う。

変数 t が Tmax よりも大きくなったら、再生経路情報作成処理を終了する。
〈具体例〉
以上のようにして、映像データ1を使って作成したマルチアングル再生可能な映像データを光ディスク 160に上書きしてその光ディスク 160を手渡ししていくと、光ディスク 160を受け取った人は、光ディスク 160に記録されている照合基準情報に基づいて、光ディスク 160に記録されている映像データに、自分の撮影した映像データを追加した映像データを作成し、光ディスク 160に上書きして次の人に手渡しするというようにして、多数の人の撮影した映像データからマルチアングル再生可能な映像データを作成できる。
〈再生動作〉
ここでは、映像データ作成装置 100が作成したマルチアングル再生可能な映像データを、再生装置がどのように再生するかについて説明する。

再生装置は、映像データに含まれる再生経路情報に従って、再生経路情報番号の順に再生する。各再生経路情報に従った再生では、再生経路情報に含まれる映像ストリームを再生開始PTSから再生終了PTSまで再生する。再生経路情報に含まれるマルチアングルフラグが ON の場合は、再生経路情報に含まれる映像ストリームが複数あるので、そのうちの 1つの映像ストリームを再生し、ユーザによるリモコンのボタン操作などを受け付けると、他の映像ストリームに切り替えて再生する。
《実施形態2》
実施形態1 では、2つの映像データに含まれる 2つ以上の映像ストリームから、マルチアングル再生可能な映像データを作成する映像データ作成装置について説明したが、本実施形態では、映像データに含まれる映像ストリームと、画像データとから、マルチアングル再生可能な映像データを作成する映像データ作成装置について説明する。

これは、画像データから、それらの画像データを撮影時刻順にスライドショー表示する画像ストリームを作成し、作成した画像ストリームに対して、実施形態1 の映像データ作成装置と同様にして、マルチアングル再生可能な映像データを作成することで実現する。そのために、実施形態1 では、取得部 101が取得した映像データ2を作成部 102に出力するのに対して、本実施形態では、取得部 101が取得した画像データを画像ストリーム作成部 106に出力し、画像ストリーム作成部 106が作成した画像ストリームとその映像情報を作成部 102に出力する。
〈構成〉
次に、本実施形態の映像データ作成装置の構成について、図11を用いて説明する。

本実施形態の映像データ作成装置 100は、光ディスク 160に記録された映像データ1と照合基準情報、および、メモリーカード 170に記録された画像データを、それぞれ光ディスクドライブ 161およびメモリーカードスロット 171を介して取得し、映像データ3を作成する。また、映像データ作成装置 100は、作成した映像データ3を、光ディスク 160に光ディスクドライブ 161を介して上書きする。

本実施形態の 映像データ作成装置 100 は、実施形態1 の 映像データ作成装置 100 と比較して、画像ストリーム作成部 106 を追加した構成となっている。

画像ストリーム作成部 106 は、取得部 101が取得した、画像データから、映像データ1 に含まれる映像ストリームを構成するブロックと、照合基準情報が示す撮影情報の要素が適合する画像データを検出し、検出された画像データをスライドショー表示する画像ストリームを作成する機能、および、作成した画像ストリームの映像情報を作成する機能を有する。

画像ストリーム作成部 106 が、画像ストリームとその映像情報を作成したあとは、作成部 102が、映像データ1、および、画像ストリーム作成部 106 が作成した画像ストリームと映像情報とに対して、マルチアングル再生可能な映像データを作成する処理は、実施形態1 と同様である。
〈画像データ〉
次に、画像ストリーム作成部 106が画像ストリームを作成する元となる画像データの構造について説明する。

画像データとは、撮影された写真等のデータそのものに、画像情報を付加したものである。

画像情報とは、その画像データが撮影されたときの、撮影時刻、撮影場所、被撮影人物などの情報である。画像情報は、撮影時に生成され、例えば、Exif規格により画像データごとに関連付けられている。Exif規格によると、画像データとともに、画像の解像度や、圧縮形式、撮影したカメラの機種、撮影時のカメラの設定、撮影時刻といった情報がタグ付けされて 1つのファイルに格納されるので、撮影場所、被撮影人物といった情報を画像データに関連付けて格納することも容易にできる。

図12(a) に、画像データに含まれる画像情報の例を示す。ここで、メモリーカード 170には 5個の画像データが記録されており、それぞれを示す画像データ識別子を PICT1〜PICT5 とする。

今、照合基準情報 が示す撮影情報の要素は、撮影時刻であるとして、図12(a) の画像情報と、図5(a) の映像データ1 に含まれる映像情報 M1 とを比較すると、映像情報 M1 の PTS が 40 から 60 の範囲のエントリと、画像データ PICT2 から PICT4 の画像情報とが、撮影時刻が適合しているので、画像ストリーム作成部 106は、図12(b) で示される映像情報をもつ画像ストリーム ST2 を作成する。
〈画像ストリーム作成処理〉
次に、画像ストリーム作成処理について、図13を用いて説明する。画像ストリーム作成処理では、画像ストリームの作成と同時に、画像ストリームの映像情報も作成する。

まず、光ディスク 160に記録されている映像データ1 と照合基準情報とを取得する(S1301)。続いて、メモリーカード 170に記録されている画像データを取得する(S1302)。

次に、NV を映像データ1に含まれる照合対象の映像情報 V のエントリ数にする(S1303)。続いて、NI を画像データの数にする(S1304)。

次に、画像ストリームの映像情報を空にし(S1305)、画像ストリームの映像情報の何番目のエントリを作成する処理中であるかを示す変数 n を 1 に初期化する(S1306)。

次に、変数 i を 1 に初期化し(S1307)、変数 i が NV になるまで(S1321)、1 ずつ増やしながら(S1322)、以下の処理を繰り返す。

まず、i 番目の画像データに含まれる画像情報 I(i) から照合基準情報が示す撮影情報の要素 RI(i) を取得する(S1308)。

次に、変数 j を 1 に初期化し(S1309)、変数 j が NI になるまで(S1319)、1 ずつ増やしながら(S1320)、以下の処理を繰り返す。

まず、映像情報 V の j 番目のエントリ V(j) を取得する(S1310)。続いて、エントリ V(j) から照合基準情報が示す撮影情報の要素 RV(j) を取得する(S1311)。

次に、撮影情報の要素 RI(i) と RV(j) とを照合する(S1312)。

撮影情報の要素 RI(i) と RV(j) とが適合した場合(S1312 Y)、画像ストリームの映像情報に画像情報 I(i) の撮影情報を追加する(S1313)。

次に、変数 n が 1 の場合(S1314 Y)、すなわち、画像ストリームの映像情報の 1番目のエントリを処理中である場合、当該エントリの PTS を 0 にする(S1315)。

変数 n が 1 でない場合は(S1314 N)、画像ストリームの映像情報の (n-1) 番目のエントリの撮影時刻と PTSとから当該 n 番目のエントリの PTS を算出し、算出した PTS を当該エントリの PTS に設定する(S1316)。ここで、PTS の算出は次のようにして行う。例えば、図5(a) の映像情報 M1 を見るとわかるように、時間と PTS とは、1分ごとに PTS が 10 だけ増大するという関係がある。従って、この関係と、1番目のエントリの PTS が 0 であることと、(n-1)番目のエントリとの撮影時刻の差分とからn番目のエントリの PTS を算出することができる。

画像ストリームの映像情報の当該エントリの PTS を設定すると、画像ストリームにおいて、同じ PTS で示される位置に、再生される画像が画像情報 I(i) に対応する画像となるブロックを追加する(S1317)。こうすることで、当該ブロックを再生中には、画像情報 I(i) に対応する画像をマルチアングル映像として表示できる。

画像情報の処理中のエントリを示す変数 n を 1 ずつ増大しながら(S1318)、以上の処理を繰り返すことで、画像ストリームおよびその映像情報が作成される。

以上のようにして、画像ストリームとその映像情報とを作成すると、実施形態1 における映像データ2に含まれる映像ストリームとその映像情報とに代わって、作成した画像ストリームとその映像情報とを適用することにより、マルチアングル再生可能な映像データを作成することができる。
《補足》
上述の実施形態を以下のように変形してもよい。

(1) 上述の実施形態では、照合基準情報が示す撮影情報の要素として撮影時刻を例に説明したが、本発明は必ずしもこれに限定されるわけではない。照合基準情報が示す撮影情報の要素は、撮影時刻に限らず、映像ストリームにおけるブロックの内容を示す情報であればよく、撮影場所や被撮影人物であってもよい。これは、上述の実施形態において、映像情報から撮影時刻を取得する代わりに、照合基準情報が示す撮影情報の要素を取得するようにすることで実現できる。但し、照合基準情報が示す撮影情報の要素は、撮影場所なら GPS を用いて、被撮影人物なら顔認識機能を用いるなどして取得し、予め映像情報が生成されている必要がある。

(2) 上述の実施形態では、照合基準情報が示す撮影情報の要素が撮影時刻だけであるとして説明したが、本発明は必ずしもこれに限定されるわけではない。照合基準情報が示す撮影情報の要素は複数であってもよい。この場合、上述の実施形態におけるブロックごとの照合において、照合基準情報が示す撮影情報の複数の要素のすべてを照合し、照合したすべての要素が適合した場合に、対応するブロックが適合すると判定する。ここで、照合基準情報が示す撮影情報の複数の要素のすべてを照合するとは、例えば、照合基準情報が示す撮影情報の要素が、撮影時刻と撮影場所である場合、撮影時刻が適合し、かつ、撮影場所も適合するかどうか判定することである。

また、このとき照合基準情報が示す撮影情報の要素に撮影時刻が含まれていれば、撮影時刻を優先的に照合するようにしてもよい。すなわち、2つの映像情報に基づいて適合するブロックの組を検出する際に、まず、撮影時刻が適合するブロックの組を検出し、検出されたブロックの組に対して、照合基準情報が示す撮影時刻以外の撮影情報の要素が適合するかどうか判定する。このように、撮影時刻を優先的に照合することで、同じ時刻において異なるアングルから撮影された映像データを組み合わせるという、本来の意味でのマルチアングル映像を作成することができる。

(3) 上述の実施形態では、映像データを記録した光ディスク 160を手渡しして、他の人が撮影した映像データを取得する例を説明したが、本発明は必ずしもこれに限定されるわけではない。光ディスク 160を手渡ししなくても、他の記録媒体を手渡しするようにしてもよいし、郵送等の手段で渡してもよい。また、デジタルスチルカメラや携帯電話などの動画撮影機能で撮影した映像データを、ネットワーク経由で送受信して、送受信した映像データからマルチアングル再生可能な映像データを作成するようにしてもよい。

(4) 上述の実施形態では、映像データ1は光ディスク 160に記録され、映像データ2はメモリーカード 170に記録されるとしたが、本発明は必ずしもこれに限定されるわけではない。映像データ1が記録される記録媒体は、上述のようにネットワーク経由で映像データを送受信するのでない限り、映像データ作成装置 100が読出可能で手渡し可能な記録媒体であればよい。映像データ2が記録される記録媒体は、映像データ作成装置 100が読出可能な記録媒体であればよい。

(5) 上述の実施形態では、映像データ作成装置 100が作成した映像データ3は光ディスク 160に上書きされるとしたが、本発明は必ずしもこれに限定されるわけではない。映像データ3を、映像データ1が記録される記録媒体とは別の記録媒体に記録して、次々と手渡しするようにしてもよい。

(6) 上述の実施形態では、照合処理において撮影情報の要素が適合するかどうかを判定する際に、撮影時にどの程度の精度の単位で撮影情報を記録したかに依存して許容範囲内を適宜設定とするとしたが、本発明は必ずしもこれに限定されるわけではない。すなわち、撮影情報を記録した精度の単位よりも粗い精度の単位を許容範囲と設定してもよい。例えば、撮影時刻は 1分の単位で記録されている場合、5分未満の差を適合すると判定するようにしてもよい。

本発明の映像データ作成装置は、パソコンや DVDレコーダ、BDレコーダ、デジタルビデオカメラなど、映像データを記録媒体に記録する機器に利用できる。また、デジタルスチルカメラや携帯電話など、映像データを撮影できる機器、かつ、外部機器との通信が可能な機器に対しても、外部機器を経由して映像データを記録媒体に記録する際に利用できる。

100：映像データ作成装置
101：取得部
102：作成部
103：検出部
104：書込部
105：記憶部
106：画像ストリーム作成部
160：光ディスク
161：光ディスクドライブ
170：メモリーカード
171：メモリーカードスロット

本発明は、マルチアングル再生可能な映像データの作成に関する。

デジタルビデオカメラの普及により、一般の人々でも簡単に動画を撮影できるようになった。更に、携帯電話やデジタルスチルカメラなどにも、動画を撮影する機能が付加されるようになり、動画を撮影できる機器はますます身近になっている。

運動会や結婚式などのイベントでは、多数の人がデジタルビデオカメラやデジタルスチルカメラなどを持参し、各自が動画の撮影を行うので、同じ時刻に同じ場所で様々なアングルで撮影が行われる。このようにして、同じ時刻に同じ場所で様々なアングルで撮影された動画の映像データの活用例として、マルチアングル再生可能な動画の映像データの作成がある。

マルチアングル再生可能な動画の映像データは、再生機で再生中に、ある再生区間においては、ボタンで切り替えるなどして、その場面を様々なアングルから見ることが可能な映像データである。

特許文献1 には、マルチアングル再生可能な映像データを作成する技術が開示されている。

特開 2005-107968 号公報

しかしながら、上記の従来技術では、主にトランスポートストリームで送信される複数の映像データをマルチアングル再生可能な映像データとして記録することを前提としており、マルチアングル再生可能な映像データを複数の映像データから一括で作成するものとなっている。そのため、多数の人が撮影した映像データを集めて一括で編集する場合には、それらの多数の映像データを記録するために大容量の記録媒体が必要となり、また、集めた多数の映像データから必要な部分を探し出して編集しなければならないので、マルチアングル再生可能な映像データを作成するには、多大な労力が必要となるという課題がある。

本発明は、多大な労力を要する編集作業を行うことなく、マルチアングル再生可能な映像データを簡単に作成できる映像データ作成装置を提供することを目的とする。

上記課題を解決するために、本発明の映像データ作成装置は、第1の記録媒体に記録され、第1の映像ストリームと、前記第1の映像ストリームの再生経路を示す第1の再生経路情報と、前記第1の映像ストリームにおけるブロックごとに、当該ブロックに含まれる映像が撮影された撮影時刻を含む撮影情報を対応付けた第1の映像情報とを含む第1の映像データと、前記第1の記録媒体とは異なる第2の記録媒体に記録され、第2の映像ストリームと、前記第2の映像ストリームの再生経路を示す再生経路情報と、前記第2の映像ストリームにおけるブロックごとに、当該ブロックに含まれる映像が撮影された撮影時刻を含む撮影情報を対応付けた第2の映像情報とを含む第2の映像データとから第3の映像データを作成する映像データ作成装置であって、前記第1の映像データと、前記第2の映像データと、前記第1の記録媒体に記録され、前記第1の映像ストリームにおけるブロックと、前記第2の映像ストリームにおけるブロックとを、照合するための基準となる撮影情報の要素を示す照合基準情報とを取得する取得部と、前記第1の映像ストリームにおける各ブロックと、前記第2の映像ストリームにおける各ブロックとから、各ブロックに対応付けられた撮影情報のうち、前記照合基準情報が示す撮影情報の要素が適合するブロックの組を検出する検出部と、前記検出部が適合するブロックの組を検出した場合に、当該ブロックの組が同期するように、前記第1の映像ストリーム、および、前記第2の映像ストリームのうちの前記検出部が適合したと検出したブロックを再生可能な再生経路を示す再生経路情報と、前記第1の映像ストリームと、前記第2の映像ストリームのうちの前記検出部が適合したと検出したブロックと、前記第1の映像ストリームの映像情報とを含む前記第3の映像データを作成する作成部とを備えることを特徴とする。

上記の映像データ作成装置によると、映像情報に含まれる撮影情報を照合することにより、映像ストリームからマルチアングル再生すべきブロックが検出されるので、多大な労力を要する編集作業を行わなくても簡単にマルチアングル再生可能な映像データを作成することができる。

ここで、前記映像データ作成装置は、更に、前記第3の映像データを前記第1の記録媒体に上書きする書込部を備える としてもよい。
作成した映像データを第1の記録媒体に上書きすることにより、例えば、同じ運動会を撮影した人の間で、第1の記録媒体を次々と手渡し、各自が撮影した映像データを追加してもらうと、最終的に第1の記録媒体には、最初に映像データを第1の記録媒体に書き込んだ人が設定した照合基準情報に基づいて、多数の人が撮影した映像データから適合するブロックを抽出したマルチアングル再生可能な映像データが手に入る。

ここで、前記再生経路情報は、当該再生経路情報が示す再生経路で再生すべき映像ストリームを示す映像ストリーム識別子と、当該再生経路情報が示す再生経路で再生すべき映像ストリームが複数あるかどうかを示すマルチストリームフラグとを含み、前記作成部は、前記第1の映像データまたは前記第2の映像データに含まれる再生経路情報が示す再生経路のうち、前記検出部が検出したブロックの組に含まれるブロックを含む再生経路を示す再生経路情報に、前記第2の映像ストリームを示す映像ストリーム識別子を追加し、かつ、当該再生経路情報に含まれるマルチストリームフラグをオンにすることで、前記第3の映像データに含まれる再生経路情報を作成する としてもよい。

第1の記録媒体に記録されている映像データに含まれる再生経路情報を変更することで、その再生経路で再生すべき映像ストリームが再生経路情報に追加されるので、マルチアングル再生可能な映像データを作成するのに、映像ストリーム自体を変更する必要はない。

ここで、前記照合基準情報は、撮影情報に含まれる複数の要素を示し、前記検出部が前記適合するブロックの組を検出するのは、当該ブロックの組の各ブロックに対応する撮影情報の要素のうち、前記照合基準情報が示すすべての撮影情報の要素が適合する場合である としてもよい。

撮影情報に含まれる複数の要素を照合し、各ブロックが適合するかどうか判定するので、よりマルチアングル再生に適したブロックを検出することができる。これは、同じ時刻に別の人物を撮影した場面をマルチアングル再生するよりも、同じ時刻に同じ人物を撮影した場面をマルチアングル再生する方が、マルチアングル再生に適していると考えに基づく。

ここで、前記検出部は、前記照合基準情報が、撮影情報に含まれる複数の要素を示し、前記照合基準情報が示す撮影情報の要素の中に前記撮影時刻情報がある場合、前記撮影時刻情報を優先して適合するかどうかを判定する としてもよい。

撮影時刻を優先してブロックが適合するかどうかを判定することで、同じ時刻に撮影した異なる映像データに含まれる映像ストリームから、撮影情報に含まれる他の要素も適合するブロックを検出するので、撮影時刻が同期したマルチアングル映像を作成することができる。

ここで、前記撮影情報は、前記ブロックの映像が撮影された撮影場所を示す撮影場所情報を要素にもち、前記検出部が前記適合するブロックの組を検出するのは、当該ブロックの組の各ブロックに対応する撮影情報の要素のうち、撮影場所情報が適合する場合である としてもよい。

撮影場所を照合してブロックが適合するかどうかを判定することで、異なる映像データに含まれる映像ストリームから、同じ場所を撮影したブロックを検出するので、例えば、異なる時刻に同じ場所を撮影した場面を切り替えて見ることのできるマルチアングル映像を作成することができる。

ここで、前記撮影情報は、前記ブロックの映像に撮影されている人物を示す被撮影人物情報を要素にもち、前記検出部が前記適合するブロックの組を検出するのは、当該ブロックの組の各ブロックに対応する撮影情報の要素のうち、被撮影人物情報が適合する場合である としてもよい。

被撮影人物を照合してブロックが適合するかどうかを判定することで、異なる映像データに含まれる映像ストリームから、同じ人物を撮影したブロックを検出するので、例えば、異なる時刻に異なる場所で特定の人物を撮影した場面を切り替えて見ることのできるマルチアングル映像を作成することができる。

ここで、前記映像データ作成装置は、更に、前記第3の映像データと前記照合基準情報とを第1の記録媒体とは異なる第3の記録媒体に書き込む書込部を備える としてもよい。
例えば、同じ運動会を撮影した人の間で、映像データの記録された記録媒体を手渡し、各自が撮影した映像データからマルチアングル再生可能な映像データを作成する場合、第1の記録媒体が追記可能でなくても、作成した映像データと照合基準情報とを第1の記録媒体とは異なる第3の記録媒体に書き込むことにより、最初に映像データを第1の記録媒体に書き込んだ人が設定した照合基準情報に基づいて作成したマルチアングル映像データを別の第3の記録媒体に記録して次々に手渡していくことができる。

実施形態1 における映像データ作成装置の利用例を示す図。 実施形態1 における映像データ作成装置の構成を示す図。 実施形態1 における映像ストリームとブロックとの関係を示す図。 実施形態1 における再生経路情報の構造を示す図。 実施形態1 における映像情報の構造を示す図。 実施形態1 における再生経路情報の作成処理を説明する図。 実施形態1 における映像データ作成装置が作成した再生経路情報の構造を示す図。 実施形態1 における映像データ作成処理の動作を示すフローチャート。 実施形態1 における映像情報照合処理の動作を示すフローチャート。 実施形態1 における再生経路情報作成処理の動作を示すフローチャート。 実施形態2 における映像データ作成装置の構成を示す図。 実施形態2 における画像情報の構造を示す図。 実施形態2 における画像ストリーム作成処理の動作を示すフローチャート。

《実施形態1》
本実施形態では、光ディスクに記録された映像データと、メモリーカードに記録された映像データとを読み出し、マルチアングル再生可能な映像データを作成し、光ディスクに記録された映像データを消して、作成したマルチアングル再生可能な映像データを元の光ディスクに書き込むことで、光ディスクに記録された映像データに、メモリーカードに記録された映像データを追記する映像データ作成装置について説明する。

まず、本実施形態の映像データ作成装置が利用される状況の例について、図1を用いて説明する。
本実施形態の映像データ作成装置は、運動会などのイベントにおいて、複数のユーザが同じ時刻に同じ場所で様々なアングルで映像データが撮影される場合に、あるユーザが自分の撮影した映像データを光ディスクに記録し、その光ディスクを映像データ作成装置の所有する他のユーザに手渡しすると、受けとったユーザは、光ディスクに記録されている映像データに、自分が撮影した映像データを追記するというようにして、複数のユーザが撮影した映像データから、マルチアングル再生可能な映像データを作成するという利用を想定している。

図1は、映像データ作成装置の利用状況を説明する図である。ユーザ U1, U2, U3 は、同じ運動会においてそれぞれ自分の子供を主として撮影した映像データ1,2,4 をもっているとする。

(1) まず、ユーザ U1 が、自分の撮影した映像データ1 と、どのような条件でマルチアングル映像を作成するのかを示した照合基準情報とを光ディスクに書き込み、その光ディスクをユーザ U2 に手渡しする。ここで、照合基準情報とは、マルチアングル映像を作成する際に、撮影時刻、撮影場所、被撮影人物などの撮影された映像のどの特徴に着眼するかを示す。例えば、運動会を撮影した場合なら、照合基準情報として、被撮影人物の名前がユーザ U1 自身の子供の名前であるという条件を設定しておくことで、他人が撮影した映像データから、自分の子供が映った場面を抽出してマルチアングル映像を作成することが後述の流れによりできる。

(2) 光ディスクを受け取ったユーザ U2 は、当該ユーザ U2 が所有する映像データ作成装置を用いて、光ディスクに記録されている照合基準情報に基づいて、光ディスクに記録されている映像データ1 と、自分が撮影した映像データ2 とを読み出し、映像データ1 と映像データ2 の一部とからなるマルチアングル再生可能な映像データ3 を作成する。ユーザ U2 は、作成した映像データ3 を光ディスクに書き込みその光ディスクをユーザ U3 に手渡しする。

(3) 光ディスクを受け取ったユーザ U3 は、同様にして、当該ユーザ U3 が所有する映像データ作成装置を用いて、光ディスクに記録されている照合基準情報に基づいて、光ディスクに記録されている映像データ3 と、自分が撮影した映像データ4 とを読み出し、映像データ3 と映像データ4 の一部とからなるマルチアングル再生可能な映像データ5 を作成する。

以上のように、光ディスクに記録された映像データと、映像データ作成装置の所有者がもつ映像データとから、マルチアングル再生可能な映像データを作成し、作成した映像データを記録した光ディスクを手渡ししていくという手順を繰り返していくと、最終的にユーザ U1 が光ディスクを返却してもらったときには、光ディスクには、多数の人が撮影した映像データから、照合基準情報に基づいて場面を抽出したマルチアングル映像が手に入る。

つまり、ユーザ U1 は、自分が撮影した映像データと、被撮影人物の名前がユーザ U1 自身の子供の名前であるという条件を示した照合基準情報とを光ディスクに記録し、その光ディスクをユーザ U2,U3,... と順に手渡しして、各ユーザの撮影した映像データから、照合基準情報に基づいてマルチアングル再生可能な映像データを作成していくことで、ユーザ U1 自身の子供を様々なアングルから見ることができるマルチアングル再生可能な映像データを手に入れることができる。
〈構成〉
次に、本実施形態の映像データ作成装置の構成について、図2を用いて説明する。

本実施形態の映像データ作成装置 100は、光ディスク 160に記録された映像データ1と照合基準情報、および、メモリーカード 170に記録された映像データ2を、それぞれ光ディスクドライブ 161およびメモリーカードスロット 171を介して取得し、照合基準情報に基づいて映像データ1と映像データ2とからマルチアングル再生可能な映像データ3を作成する。また、映像データ作成装置 100は、作成した映像データ3を、光ディスク 160に光ディスクドライブ 161を介して上書きする。ここで、上書きとは、光ディスク 160に記録されている映像データ1を消して、映像データ3を書き込むことであり、光ディスク 160に記録されている映像データ1以外のデータ、すなわち、照合基準情報は変更されない。

映像データ作成装置 100は、取得部 101、作成部 102、検出部 103、記憶部 105、書込部 104を含む構成となっている。
取得部 101は、光ディスク 160に記録された映像データ1と照合基準情報を光ディスクドライブ 161を介して取得する機能、および、メモリーカード 170に記録された映像データ2をメモリーカードスロット 171を介して取得する機能を有する。取得部 101は、取得した映像データ1、映像データ2、照合基準情報を、作成部 102に出力する機能を有する。

作成部 102は、取得部 101が取得した映像データ1、映像データ2、照合基準情報に基づいて、マルチアングル再生可能な 映像データ3 を作成する機能を有する。作成部 102は、作成した映像データ3、および、映像データ3の作成中に用いられるデータを記憶するために記憶部 105にアクセスする。作成部 102は、照合基準情報に基いて映像データ1および映像データ2からマルチアングル再生すべき部分を検出するように検出部 103に指示し、検出部 103が検出した結果に基づいて、映像データ3 を作成する。作成部 102は、映像データ3の作成が完了すると、作成した映像データ3を光ディスク 160に書き込むように書込部 104に指示する。

検出部 103は、作成部 102からの指示を受けて、映像データ1に含まれる映像ストリームと、映像データ2に含まれる映像ストリームとを、照合基準情報に基づいて照合し、各映像ストリームを構成するブロックの中から、照合基準情報に示される撮影情報の要素が適合するブロックの組を検出する機能を有する。

記憶部 105は、作成部 102が作成した映像データ3、および、映像データ3の作成中に用いられるデータを記憶する記憶媒体である。
書込部 104は、作成部 102からの指示を受け、作成部 102が作成した映像データ3を、光ディスク 160に光ディスクドライブ 161を介して上書きする機能を有する。
〈映像データ〉
次に、映像データ作成装置 100が取り扱う映像データの構造について説明する。

映像データとは、1つ以上の再生経路情報と、1つ以上の映像ストリームと、映像ストリームごとに対応付けられた映像情報との集合である。
・映像ストリーム
映像ストリームとは、撮影した映像を含んだデータの実体である。映像ストリームには、映像ストリーム上の位置を示すPTS (Presentation Time Stamp) が含まれており、PTS ごとに対応する映像ストリームの範囲をブロックと呼ぶ。映像ストリームは映像ストリーム識別子によって識別される。映像ストリーム識別子は、例えば、映像ストリームを記録したファイルのファイル名である。

映像データ1は、唯1つの映像ストリームを含み、その映像ストリームを示す映像ストリーム識別子を ST1 とする。
映像データ2は、唯1つの映像ストリームを含み、その映像ストリームを示す映像ストリーム識別子を ST2 とする。

図3に、映像データ1に含まれる映像ストリーム識別子 ST1 で示される映像ストリームと、映像データ2に含まれる映像ストリーム識別子 ST2 で示される映像ストリームとの例を示す。

映像ストリーム識別子 ST1 で示される映像ストリームは、図3(a) に示すように、PTS が 0 から 80 までの 9 個のブロックからなる。
映像ストリーム識別子 ST2 で示される映像ストリームは、図3(b) に示すように、PTS が 0 から 20 までの 3 個のブロックからなる。

以下では、混乱のない限り、映像ストリーム識別子 ST で示される映像ストリームのことを単に映像ストリーム ST と呼ぶ。
・再生経路情報
再生経路情報とは、映像ストリームを再生するための経路を示す情報であり、再生すべき映像ストリームを示す映像ストリーム識別子と、再生すべき映像ストリームの再生開始PTS と再生終了PTS、再生開始PTS と再生終了PTS とで示される範囲において、マルチアングル再生可能かどうかを示すマルチアングルフラグを含んでいる。

図4に、映像データ1 および 映像データ2 に含まれる再生経路情報の例を示す
映像データ1は、図4(a) に示すように、映像データ1における再生経路情報番号が 1 の唯1つの再生経路情報を含んでおり、その再生経路情報は、映像ストリーム ST1 の全範囲を示している。すなわち、再生開始PTS 0 から再生終了PTS 80 までの範囲を再生することを示している。更に、この再生経路情報のマルチアングルフラグは OFF なので、マルチアングル再生は不可能であることを示している。

映像データ2は、図4(b) に示すように、映像データ2における再生経路情報番号が 1 の唯1つの再生経路情報を含んでおり、その再生経路情報は、映像ストリーム ST2 の全範囲を示している。すなわち、再生開始PTS 0 から再生終了PTS 20 までの範囲を再生することを示している。更に、この再生経路情報のマルチアングルフラグは OFF なので、マルチアングル再生は不可能であることを示している。
・映像情報
映像情報とは、映像ストリームごとに対応付けられ、映像ストリームを構成するブロックごとに、当該ブロックに含まれる映像に関する撮影情報を示した情報である。

撮影情報とは、当該ブロックに含まれる映像を撮影した時刻を示す撮影時刻、当該ブロックに含まれる映像を撮影した場所を経度と緯度により示す撮影場所、当該ブロックに含まれる映像に撮影されている人物の人物名を示す被撮影人物などの情報である。

図5(a)(b)に、映像ストリーム ST1 に対応する映像情報 M1 、および、映像ストリーム ST2 に対応する映像情報 M2 の例を示す。
映像ストリーム ST1 に対応する映像情報 M1 は、図5(a) に示すように、映像ストリーム ST1 の 9個のブロックごとに、映像ストリーム識別子、PTS、撮影情報を対応付けたテーブルである。

映像ストリーム ST2 に対応する映像情報 M2 は、図5(b) に示すように、映像ストリーム ST2 の 3個のブロックごとに、映像ストリーム識別子、PTS、撮影情報を対応付けたテーブルである。

映像情報は、撮影時に映像ストリームを記録すると同時に作成される。すなわち、撮影時刻は時計によって取得され、撮影場所は GPS(Global Positioning System) によって取得され、被撮影人物は顔認識機能によって取得される。但し、被撮影人物を顔認識機能による取得については、予め顔認識に必要な顔認識データと人物名との対応付けをデータベースに登録しておく必要がある。
〈照合基準情報〉
照合基準情報とは、映像情報の各エントリに含まれる撮影情報のうち、どの要素を照合の基準としてマルチアングル再生可能な映像データを作成するのかを示した情報である。すなわち、照合基準情報は、撮影時刻、撮影場所、被撮影人物のうちのいずれか、もしくは、これらの組み合わせを示している。以下では、照合基準情報が示す撮影情報の要素は撮影時刻のみであるとして説明を行う。
〈動作〉
次に、映像データ作成装置 100によるマルチアングル再生可能な映像データの作成動作の概要について説明する。

映像データ作成装置 100は、映像データ1および映像データ2、照合基準情報を取得すると、映像データ1に含まれる映像情報 M1 に対して、映像データ2に含まれる映像情報 M2 を照合し、照合基準情報に示される撮影情報の要素が適合するブロックの組を検出する。適合するブロックの組が検出されれば、映像データ作成装置 100は、それらのブロックの PTS が一致するように、映像情報 M2 および対応する映像ストリーム ST2 の PTS を変更する。続いて、映像データ作成装置 100は、映像情報 M1 および対応する映像ストリーム ST1 と、変更後の映像情報 M2 および対応する映像ストリーム ST2 に基づいて再生経路情報を作成する。映像データ作成装置 100は、このようにして、作成した再生経路情報と、映像情報 M1 および映像ストリーム ST1 と、変更後の映像情報 M2 および映像ストリーム ST2 との集合が、作成すべきマルチアングル再生可能な映像データ3である。

ここで、照合するとは、撮影情報の要素を比較して適合するどうかどうかを判定することである。適合するとは、一致または近い値であることであり、撮影時にどの程度の精度の単位で撮影情報を記録したかに依存して設定される許容範囲内であることを意味する。例えば、図5の例では、撮影時刻は 1分の単位で記録されているので、1分未満の差の時刻の違いは区別できない。よって、照合において 1分未満の差は適合すると判定される。また、撮影場所については、0'0'001 の単位で記録されているので、0'0'001 未満の差の場所の違いは区別できない。よって、照合において 0'0'001 未満の差は適合すると判定される。被撮影人物については、登録されている人物名が一致するときに適合すると判定される。

具体的に、図5(a)に示した映像情報 M1 に対して、図5(b)に示した映像情報 M2 を照合し、照合基準情報が示す撮影情報の要素、つまり、撮影時刻が適合するブロックの組を検出する例を説明する。図5(a)に示した映像情報 M1 のPTS が 40 から 60 のエントリの撮影時刻が、図5(b)に示した映像情報 M2 のPTS が 0 から 20 のエントリの撮影時刻に適合することがわかる。撮影時刻が適合するブロックが検出されると、それらのエントリの PTS が一致するように、映像情報 M2 に含まれる検出されたエントリの PTS を映像情報 M1 に含まれる対応するエントリの PTS と一致するように変更する。その結果、映像情報 M2 は、図5(c) のようになる。映像データ作成装置 100は、変更後の映像情報 M2 の PTS に合わせて、映像情報 M2 に対応する映像ストリーム ST2 の PTS を変更する。

次に、映像データ作成装置 100は、映像データ3 の再生経路情報を作成する。
図6は、映像データ3 の再生経路情報がどのように作成されるかを示した図である。
図6は、映像情報 M1 の PTS が 40 から 60 の範囲のブロックと、映像情報 M2 の PTS が 0 から 20 の範囲のブロックとの、撮影時刻がそれぞれ適合しているので、映像情報 M1 に対応する映像ストリーム ST1 と、映像情報 M1 に対応する映像ストリーム ST1 の PTS が 40 から 60 の範囲のブロックに合わせて、映像情報 M2 に対応する映像ストリーム ST2 の PTS が 0 から 20 の範囲のブロックのPTS を変更した映像ストリームとが、映像データ3 に含まれることを示している。

映像データ作成装置 100は、PTS で示されるブロックを順に再生する場合に、再生すべき映像ストリームの組が変化しない間は、同一の再生経路情報で再生経路を指定し、再生すべき映像ストリームの組が変化するごとに、異なる再生経路情報で再生経路を指定するように、映像データ3 の再生経路情報を作成する。

すなわち、図6の場合、まず、PTS が 0 から 30 の範囲では、再生すべき映像ストリームは、映像ストリーム ST1 だけであるので、再生開始PTS が 0、再生終了PTS が 30、再生すべき映像ストリームを示す映像ストリーム識別子が ST1、マルチアングルフラグが OFF となる再生経路情報を作成し、この再生経路情報に再生経路情報番号 1 を割り振る。

次に、PTS が 40 から 60 の範囲では、再生すべき映像ストリームが、映像ストリーム ST1 と ST2 との 2個に変化するので、再生開始PTS が 40、再生終了PTS が 60、再生すべき映像ストリームを示す映像ストリーム識別子が ST1 と ST2、マルチアングルフラグが ON となる再生経路情報を作成し、この再生経路情報に再生経路情報番号 2 を割り振る。

更に、PTS が 70 から 80 の範囲では、再生すべき映像ストリームは、映像ストリーム ST1 だけに変化するので、再生開始PTS が 70、再生終了PTS が 80、再生すべき映像ストリームを示す映像ストリーム識別子が ST1、マルチアングルフラグが OFF となる再生経路情報を作成し、この再生経路情報に再生経路情報番号 3 を割り振る。

このようにして作成した映像データ3 の再生経路情報は、図7 のようになる。
〈映像データ作成処理〉
次に、映像データ作成装置 100による映像データ作成処理について図8のフローチャートを用いて説明する。

まず、取得部 101が、光ディスク 160に記録されている映像データ1と照合基準情報とを取得する(S801)。続いて、取得部 101は、メモリーカード 170に記録されている映像データ2を取得する(S802)。

作成部 102は、取得部 101が取得した映像データ1 に含まれている映像情報の数を数え、その数を映像データ1 に含まれている映像情報の数を格納する変数 N1 に代入する(S803)。続いて、作成部 102は、取得部 101が取得した映像データ2 に含まれている映像情報の数を数え、その数を映像データ2 に含まれている映像情報の数を格納する変数 N2 に代入する(S804)。

次に、変数 i を 1 に初期化し(S805)、変数 i が N1 になるまで(S812)、1 ずつ増やしながら(S813)、映像データ1のi 番目の映像情報 M1(i) を取得し(S806)、以下の処理を繰り返す。

更に、変数 j を 1 に初期化し(S807)、変数 j が N2 になるまで(S810)、1 ずつ増やしながら(S811)、映像データ2のj 番目の映像情報 M2(j) を取得し(S808)、以下の処理を繰り返す。

映像情報 A と映像情報 B との照合処理を繰り返す(S809)。ここで、映像情報 A とは 映像情報 M1(i) であり、映像情報 B とは 映像情報 M2(j) である。
以上の繰り返し処理を抜けると、映像データ3 の再生経路情報作成処理を行う(S814)。

以上のようにして、映像データ3 が作成される。
〈照合処理〉
次に、映像情報 A と映像情報 B との照合処理について、図9のフローチャートを用いて説明する。

まず、映像情報 A のエントリ数を数え、その数を映像情報 A のエントリ数を格納する変数 NA に代入する(S901)。続いて、映像情報 B のエントリ数を数え、その数を映像情報 B のエントリ数を格納する変数 NB に代入する(S902)。

NB個の要素をもつ適合フラグ配列 C のすべての要素を OFF に初期化する(S920)。
次に、変数 i を 1 に初期化し(S903)、変数 i が NA になるまで(S914)、1 ずつ増やしながら(S915)、以下の処理を繰り返す。

まず、映像情報 Aの i 番目のエントリ A(i) を取得する(S904)。続いて、エントリ A(i) から照合基準情報が示す撮影情報の要素 RA(i) を取得する(S905)。
更に、変数 j を 1 に初期化し(S906)、変数 j が NB になるまで(S912)、1 ずつ増やしながら(S913)、以下の処理を繰り返す。

まず、映像情報 Bの j 番目のエントリ B(j) を取得する(S907)。続いて、エントリ B(j) から照合基準情報が示す撮影情報の要素 RB(j) を取得する(S908)。
次に、撮影情報の要素 RA(i) と RB(j) とを照合する(S909)。

撮影情報の要素 RA(i) と RB(j) とが適合した場合(S909 Y)、エントリ A(i) の PTS とエントリ B(j) の PTS との差分 Δ を算出し(S910)、エントリ B(j) の PTS に差分 Δ を加算して更新したあと(S911)、適合フラグ C の j番目の要素 C(j) を ON にする(S921)。

以上の繰り返し処理を抜けると、映像情報 B に対応する映像ストリームの PTS を映像情報 B の PTS に合わせて変更する(S916)。
以上で、映像情報 A と映像情報 B との照合処理が終了する。
〈再生経路情報作成処理〉
次に、映像データ3の再生経路情報作成処理について、図10のフローチャートを用いて説明する。

まず、映像データ1 に含まれる映像ストリームのうちの PTS の最小値を変数 t に代入する(S1001)。続いて、映像データ1 に含まれる映像ストリームのうちの PTS の最大値を Tmax に代入する(S1002)。

更に、映像ストリームの組 M を空にする(S1003)。
次に、変数 i を 1 に初期化し(S1004)、変数 i を 1 ずつ増やしながら(S1022)、以下の処理を繰り返す。

まず、変数 Tbeg に変数 t を代入する(S1005)。続いて、変数 Tend に変数 t を代入する(S1006)。
変数 t が Tmax よりも大きくなるまで、以下の処理を繰り返す(S1007)。

まず、PTS が t であるブロックを含む映像データ1 の映像ストリーム、または、PTS が t であり、かつ、対応する適合フラグ C が ON であるブロックを含む映像データ2 の映像ストリームの組 N を取得する(S1008)。

映像ストリームの組 N が空ならば(S1009 Y)、変数 t を 1 だけ増加し(S1010)、映像ストリームの組 N が空でなくなるまで繰り返す。
空でない映像ストリームの組 N が見つかったら(S1009 N)、前の映像ストリームの組 M と、映像ストリームの組 N とを比較する(S1011)。

映像ストリームの組 M と N とが一致すれば(S1011 Y)、変数 Tend を変数 t に更新し(S1012)、変数 t を 1 だけ増加し(S1013)、増加した変数 t について、上記処理を繰り返す。

映像ストリームの組 M と N とが一致しなければ(S1011 N)、i 番目の再生経路情報 P(i) の再生開始PTS を Tbeg にし(S1014)、再生終了PTS を Tend にする(S1015)。更に、再生経路情報 P(i) に映像ストリームの組 N の要素を追加する(S1016)。

続いて、映像ストリームの組 N の要素の数 n を取得し(S1017)、要素の数 n が 1 より大きければ(S1018 Y)、再生経路情報 P(i) のマルチアングルフラグを ON にする(S1019)。要素の数 n が 1 より大きくなければ(S1018 N)、再生経路情報 P(i) のマルチアングルフラグを OFF にする(S1020)。

以上で、i番目の再生経路情報の作成が終了する。
次に、映像ストリームの組 M を映像ストリームの組 N にして(S1021)、再生経路情報番号 i を 1 だけ増加し(S1022)、次の再生経路情報の作成を行う。

変数 t が Tmax よりも大きくなったら、再生経路情報作成処理を終了する。
〈具体例〉
以上のようにして、映像データ1を使って作成したマルチアングル再生可能な映像データを光ディスク 160に上書きしてその光ディスク 160を手渡ししていくと、光ディスク 160を受け取った人は、光ディスク 160に記録されている照合基準情報に基づいて、光ディスク 160に記録されている映像データに、自分の撮影した映像データを追加した映像データを作成し、光ディスク 160に上書きして次の人に手渡しするというようにして、多数の人の撮影した映像データからマルチアングル再生可能な映像データを作成できる。
〈再生動作〉
ここでは、映像データ作成装置 100が作成したマルチアングル再生可能な映像データを、再生装置がどのように再生するかについて説明する。

再生装置は、映像データに含まれる再生経路情報に従って、再生経路情報番号の順に再生する。各再生経路情報に従った再生では、再生経路情報に含まれる映像ストリームを再生開始PTSから再生終了PTSまで再生する。再生経路情報に含まれるマルチアングルフラグが ON の場合は、再生経路情報に含まれる映像ストリームが複数あるので、そのうちの 1つの映像ストリームを再生し、ユーザによるリモコンのボタン操作などを受け付けると、他の映像ストリームに切り替えて再生する。
《実施形態2》
実施形態1 では、2つの映像データに含まれる 2つ以上の映像ストリームから、マルチアングル再生可能な映像データを作成する映像データ作成装置について説明したが、本実施形態では、映像データに含まれる映像ストリームと、画像データとから、マルチアングル再生可能な映像データを作成する映像データ作成装置について説明する。

これは、画像データから、それらの画像データを撮影時刻順にスライドショー表示する画像ストリームを作成し、作成した画像ストリームに対して、実施形態1 の映像データ作成装置と同様にして、マルチアングル再生可能な映像データを作成することで実現する。そのために、実施形態1 では、取得部 101が取得した映像データ2を作成部 102に出力するのに対して、本実施形態では、取得部 101が取得した画像データを画像ストリーム作成部 106に出力し、画像ストリーム作成部 106が作成した画像ストリームとその映像情報を作成部 102に出力する。
〈構成〉
次に、本実施形態の映像データ作成装置の構成について、図11を用いて説明する。

本実施形態の映像データ作成装置 100は、光ディスク 160に記録された映像データ1と照合基準情報、および、メモリーカード 170に記録された画像データを、それぞれ光ディスクドライブ 161およびメモリーカードスロット 171を介して取得し、映像データ3を作成する。また、映像データ作成装置 100は、作成した映像データ3を、光ディスク 160に光ディスクドライブ 161を介して上書きする。

本実施形態の 映像データ作成装置 100 は、実施形態1 の 映像データ作成装置 100 と比較して、画像ストリーム作成部 106 を追加した構成となっている。
画像ストリーム作成部 106 は、取得部 101が取得した、画像データから、映像データ1 に含まれる映像ストリームを構成するブロックと、照合基準情報が示す撮影情報の要素が適合する画像データを検出し、検出された画像データをスライドショー表示する画像ストリームを作成する機能、および、作成した画像ストリームの映像情報を作成する機能を有する。

画像ストリーム作成部 106 が、画像ストリームとその映像情報を作成したあとは、作成部 102が、映像データ1、および、画像ストリーム作成部 106 が作成した画像ストリームと映像情報とに対して、マルチアングル再生可能な映像データを作成する処理は、実施形態1 と同様である。
〈画像データ〉
次に、画像ストリーム作成部 106が画像ストリームを作成する元となる画像データの構造について説明する。

画像データとは、撮影された写真等のデータそのものに、画像情報を付加したものである。
画像情報とは、その画像データが撮影されたときの、撮影時刻、撮影場所、被撮影人物などの情報である。画像情報は、撮影時に生成され、例えば、Exif規格により画像データごとに関連付けられている。Exif規格によると、画像データとともに、画像の解像度や、圧縮形式、撮影したカメラの機種、撮影時のカメラの設定、撮影時刻といった情報がタグ付けされて 1つのファイルに格納されるので、撮影場所、被撮影人物といった情報を画像データに関連付けて格納することも容易にできる。

図12(a) に、画像データに含まれる画像情報の例を示す。ここで、メモリーカード 170には 5個の画像データが記録されており、それぞれを示す画像データ識別子を PICT1〜PICT5 とする。

今、照合基準情報 が示す撮影情報の要素は、撮影時刻であるとして、図12(a) の画像情報と、図5(a) の映像データ1 に含まれる映像情報 M1 とを比較すると、映像情報 M1 の PTS が 40 から 60 の範囲のエントリと、画像データ PICT2 から PICT4 の画像情報とが、撮影時刻が適合しているので、画像ストリーム作成部 106は、図12(b) で示される映像情報をもつ画像ストリーム ST2 を作成する。
〈画像ストリーム作成処理〉
次に、画像ストリーム作成処理について、図13を用いて説明する。画像ストリーム作成処理では、画像ストリームの作成と同時に、画像ストリームの映像情報も作成する。

まず、光ディスク 160に記録されている映像データ1 と照合基準情報とを取得する(S1301)。続いて、メモリーカード 170に記録されている画像データを取得する(S1302)。
次に、NV を映像データ1に含まれる照合対象の映像情報 V のエントリ数にする(S1303)。続いて、NI を画像データの数にする(S1304)。

次に、画像ストリームの映像情報を空にし(S1305)、画像ストリームの映像情報の何番目のエントリを作成する処理中であるかを示す変数 n を 1 に初期化する(S1306)。
次に、変数 i を 1 に初期化し(S1307)、変数 i が NV になるまで(S1321)、1 ずつ増やしながら(S1322)、以下の処理を繰り返す。

まず、i 番目の画像データに含まれる画像情報 I(i) から照合基準情報が示す撮影情報の要素 RI(i) を取得する(S1308)。
次に、変数 j を 1 に初期化し(S1309)、変数 j が NI になるまで(S1319)、1 ずつ増やしながら(S1320)、以下の処理を繰り返す。

まず、映像情報 V の j 番目のエントリ V(j) を取得する(S1310)。続いて、エントリ V(j) から照合基準情報が示す撮影情報の要素 RV(j) を取得する(S1311)。
次に、撮影情報の要素 RI(i) と RV(j) とを照合する(S1312)。

撮影情報の要素 RI(i) と RV(j) とが適合した場合(S1312 Y)、画像ストリームの映像情報に画像情報 I(i) の撮影情報を追加する(S1313)。
次に、変数 n が 1 の場合(S1314 Y)、すなわち、画像ストリームの映像情報の 1番目のエントリを処理中である場合、当該エントリの PTS を 0 にする(S1315)。

変数 n が 1 でない場合は(S1314 N)、画像ストリームの映像情報の (n-1) 番目のエントリの撮影時刻と PTSとから当該 n 番目のエントリの PTS を算出し、算出した PTS を当該エントリの PTS に設定する(S1316)。ここで、PTS の算出は次のようにして行う。例えば、図5(a) の映像情報 M1 を見るとわかるように、時間と PTS とは、1分ごとに PTS が 10 だけ増大するという関係がある。従って、この関係と、1番目のエントリの PTS が 0 であることと、(n-1)番目のエントリとの撮影時刻の差分とからn番目のエントリの PTS を算出することができる。

画像ストリームの映像情報の当該エントリの PTS を設定すると、画像ストリームにおいて、同じ PTS で示される位置に、再生される画像が画像情報 I(i) に対応する画像となるブロックを追加する(S1317)。こうすることで、当該ブロックを再生中には、画像情報 I(i) に対応する画像をマルチアングル映像として表示できる。

画像情報の処理中のエントリを示す変数 n を 1 ずつ増大しながら(S1318)、以上の処理を繰り返すことで、画像ストリームおよびその映像情報が作成される。
以上のようにして、画像ストリームとその映像情報とを作成すると、実施形態1 における映像データ2に含まれる映像ストリームとその映像情報とに代わって、作成した画像ストリームとその映像情報とを適用することにより、マルチアングル再生可能な映像データを作成することができる。
《補足》
上述の実施形態を以下のように変形してもよい。

(1) 上述の実施形態では、照合基準情報が示す撮影情報の要素として撮影時刻を例に説明したが、本発明は必ずしもこれに限定されるわけではない。照合基準情報が示す撮影情報の要素は、撮影時刻に限らず、映像ストリームにおけるブロックの内容を示す情報であればよく、撮影場所や被撮影人物であってもよい。これは、上述の実施形態において、映像情報から撮影時刻を取得する代わりに、照合基準情報が示す撮影情報の要素を取得するようにすることで実現できる。但し、照合基準情報が示す撮影情報の要素は、撮影場所なら GPS を用いて、被撮影人物なら顔認識機能を用いるなどして取得し、予め映像情報が生成されている必要がある。

(2) 上述の実施形態では、照合基準情報が示す撮影情報の要素が撮影時刻だけであるとして説明したが、本発明は必ずしもこれに限定されるわけではない。照合基準情報が示す撮影情報の要素は複数であってもよい。この場合、上述の実施形態におけるブロックごとの照合において、照合基準情報が示す撮影情報の複数の要素のすべてを照合し、照合したすべての要素が適合した場合に、対応するブロックが適合すると判定する。ここで、照合基準情報が示す撮影情報の複数の要素のすべてを照合するとは、例えば、照合基準情報が示す撮影情報の要素が、撮影時刻と撮影場所である場合、撮影時刻が適合し、かつ、撮影場所も適合するかどうか判定することである。

また、このとき照合基準情報が示す撮影情報の要素に撮影時刻が含まれていれば、撮影時刻を優先的に照合するようにしてもよい。すなわち、2つの映像情報に基づいて適合するブロックの組を検出する際に、まず、撮影時刻が適合するブロックの組を検出し、検出されたブロックの組に対して、照合基準情報が示す撮影時刻以外の撮影情報の要素が適合するかどうか判定する。このように、撮影時刻を優先的に照合することで、同じ時刻において異なるアングルから撮影された映像データを組み合わせるという、本来の意味でのマルチアングル映像を作成することができる。

(3) 上述の実施形態では、映像データを記録した光ディスク 160を手渡しして、他の人が撮影した映像データを取得する例を説明したが、本発明は必ずしもこれに限定されるわけではない。光ディスク 160を手渡ししなくても、他の記録媒体を手渡しするようにしてもよいし、郵送等の手段で渡してもよい。また、デジタルスチルカメラや携帯電話などの動画撮影機能で撮影した映像データを、ネットワーク経由で送受信して、送受信した映像データからマルチアングル再生可能な映像データを作成するようにしてもよい。

(4) 上述の実施形態では、映像データ1は光ディスク 160に記録され、映像データ2はメモリーカード 170に記録されるとしたが、本発明は必ずしもこれに限定されるわけではない。映像データ1が記録される記録媒体は、上述のようにネットワーク経由で映像データを送受信するのでない限り、映像データ作成装置 100が読出可能で手渡し可能な記録媒体であればよい。映像データ2が記録される記録媒体は、映像データ作成装置 100が読出可能な記録媒体であればよい。

(5) 上述の実施形態では、映像データ作成装置 100が作成した映像データ3は光ディスク 160に上書きされるとしたが、本発明は必ずしもこれに限定されるわけではない。映像データ3を、映像データ1が記録される記録媒体とは別の記録媒体に記録して、次々と手渡しするようにしてもよい。

(6) 上述の実施形態では、照合処理において撮影情報の要素が適合するかどうかを判定する際に、撮影時にどの程度の精度の単位で撮影情報を記録したかに依存して許容範囲内を適宜設定とするとしたが、本発明は必ずしもこれに限定されるわけではない。すなわち、撮影情報を記録した精度の単位よりも粗い精度の単位を許容範囲と設定してもよい。例えば、撮影時刻は 1分の単位で記録されている場合、5分未満の差を適合すると判定するようにしてもよい。

本発明の映像データ作成装置は、パソコンや DVDレコーダ、BDレコーダ、デジタルビデオカメラなど、映像データを記録媒体に記録する機器に利用できる。また、デジタルスチルカメラや携帯電話など、映像データを撮影できる機器、かつ、外部機器との通信が可能な機器に対しても、外部機器を経由して映像データを記録媒体に記録する際に利用できる。

100：映像データ作成装置
101：取得部
102：作成部
103：検出部
104：書込部
105：記憶部
106：画像ストリーム作成部
160：光ディスク
161：光ディスクドライブ
170：メモリーカード
171：メモリーカードスロット

Claims (12)

1. 第1の記録媒体に記録され、第1の映像ストリームと、前記第1の映像ストリームの再生経路を示す第1の再生経路情報と、前記第1の映像ストリームにおけるブロックごとに、当該ブロックに含まれる映像が撮影された撮影時刻を含む撮影情報を対応付けた第1の映像情報とを含む第1の映像データと、
   前記第1の記録媒体とは異なる第2の記録媒体に記録され、第2の映像ストリームと、前記第2の映像ストリームの再生経路を示す再生経路情報と、前記第2の映像ストリームにおけるブロックごとに、当該ブロックに含まれる映像が撮影された撮影時刻を含む撮影情報を対応付けた第2の映像情報とを含む第2の映像データとから
   第3の映像データを作成する映像データ作成装置であって、
   前記第1の映像データと、前記第2の映像データと、前記第1の記録媒体に記録され、前記第1の映像ストリームにおけるブロックと、前記第2の映像ストリームにおけるブロックとを、照合するための基準となる撮影情報の要素を示す照合基準情報とを取得する取得部と、
   前記第1の映像ストリームにおける各ブロックと、前記第2の映像ストリームにおける各ブロックとから、各ブロックに対応付けられた撮影情報のうち、前記照合基準情報が示す撮影情報の要素が適合するブロックの組を検出する検出部と、
   前記検出部が適合するブロックの組を検出した場合に、当該ブロックの組が同期するように、前記第1の映像ストリーム、および、前記第2の映像ストリームのうちの前記検出部が適合したと検出したブロックを再生可能な再生経路を示す再生経路情報と、前記第1の映像ストリームと、前記第2の映像ストリームのうちの前記検出部が適合したと検出したブロックと、前記第1の映像ストリームの映像情報とを含む前記第3の映像データを作成する作成部とを備える
   ことを特徴とする映像データ作成装置。
2. 前記映像データ作成装置は、更に、
   前記第3の映像データを前記第1の記録媒体に上書きする書込部を備える
   ことを特徴とする請求項1に記載の映像データ作成装置。
3. 前記再生経路情報は、
   当該再生経路情報が示す再生経路で再生すべき映像ストリームを示す映像ストリーム識別子と、
   当該再生経路情報が示す再生経路で再生すべき映像ストリームが複数あるかどうかを示すマルチストリームフラグとを含み、
   前記作成部は、
   前記第1の映像データまたは前記第2の映像データに含まれる再生経路情報が示す再生経路のうち、前記検出部が検出したブロックの組に含まれるブロックを含む再生経路を示す再生経路情報に、前記第2の映像ストリームを示す映像ストリーム識別子を追加し、かつ、当該再生経路情報に含まれるマルチストリームフラグをオンにすることで、前記第3の映像データに含まれる再生経路情報を作成する
   ことを特徴とする請求項2に記載の映像データ作成装置。
4. 前記照合基準情報は、撮影情報に含まれる複数の要素を示し、
   前記検出部が前記適合するブロックの組を検出するのは、当該ブロックの組の各ブロックに対応する撮影情報の要素のうち、前記照合基準情報が示すすべての撮影情報の要素が適合する場合である
   ことを特徴とする請求項3に記載の映像データ作成装置。
5. 前記検出部は、
   前記照合基準情報が、撮影情報に含まれる複数の要素を示し、前記照合基準情報が示す撮影情報の要素の中に前記撮影時刻情報がある場合、前記撮影時刻情報を優先して適合するかどうかを判定する
   ことを特徴とする請求項4に記載の映像データ作成装置。
6. 前記撮影情報は、
   前記ブロックの映像が撮影された撮影場所を示す撮影場所情報を要素にもち、
   前記検出部が前記適合するブロックの組を検出するのは、当該ブロックの組の各ブロックに対応する撮影情報の要素のうち、撮影場所情報が適合する場合である
   ことを特徴とする請求項4に記載の映像データ作成装置。
7. 前記撮影情報は、
   前記ブロックの映像に撮影されている人物を示す被撮影人物情報を要素にもち、
   前記検出部が前記適合するブロックの組を検出するのは、当該ブロックの組の各ブロックに対応する撮影情報の要素のうち、被撮影人物情報が適合する場合である
   ことを特徴とする請求項4に記載の映像データ作成装置。
8. 前記映像データ作成装置は、更に、
   前記第3の映像データと前記照合基準情報とを第1の記録媒体とは異なる第3の記録媒体に書き込む書込部を備える
   ことを特徴とする請求項1に記載の映像データ作成装置。
9. 第1の記録媒体に記録され、第1の映像ストリームと、前記第1の映像ストリームの再生経路を示す第1の再生経路情報と、前記第1の映像ストリームにおけるブロックごとに、当該ブロックに含まれる映像が撮影された撮影時刻を含む撮影情報を対応付けた第1の映像情報とを含む第1の映像データと、
   前記第1の記録媒体とは異なる第2の記録媒体に記録され、第2の映像ストリームと、前記第2の映像ストリームの再生経路を示す再生経路情報と、前記第2の映像ストリームにおけるブロックごとに、当該ブロックに含まれる映像が撮影された撮影時刻を含む撮影情報を対応付けた第2の映像情報とを含む第2の映像データとから
   第3の映像データを作成する映像データ作成方法であって、
   前記第1の映像データと、前記第2の映像データと、前記第1の記録媒体に記録され、前記第1の映像ストリームにおけるブロックと、前記第2の映像ストリームにおけるブロックとを、照合するための基準となる撮影情報の要素を示す照合基準情報とを取得する取得ステップと、
   前記第1の映像ストリームにおける各ブロックと、前記第2の映像ストリームにおける各ブロックとから、各ブロックに対応付けられた撮影情報のうち、前記照合基準情報が示す撮影情報の要素が適合するブロックの組を検出する検出ステップと、
   前記検出ステップが適合するブロックの組を検出した場合に、当該ブロックの組が同期するように、前記第1の映像ストリーム、および、前記第2の映像ストリームのうちの前記検出ステップが適合したと検出したブロックを再生可能な再生経路を示す再生経路情報と、前記第1の映像ストリームと、前記第2の映像ストリームのうちの前記検出ステップが適合したと検出したブロックと、前記第1の映像ストリームの映像情報とを含む前記第3の映像データを作成する作成ステップとを含む
   ことを特徴とする映像データ作成方法。
10. 第1の記録媒体に記録され、第1の映像ストリームと、前記第1の映像ストリームの再生経路を示す第1の再生経路情報と、前記第1の映像ストリームにおけるブロックごとに、当該ブロックに含まれる映像が撮影された撮影時刻を含む撮影情報を対応付けた第1の映像情報とを含む第1の映像データと、
    前記第1の記録媒体とは異なる第2の記録媒体に記録され、第2の映像ストリームと、前記第2の映像ストリームの再生経路を示す再生経路情報と、前記第2の映像ストリームにおけるブロックごとに、当該ブロックに含まれる映像が撮影された撮影時刻を含む撮影情報を対応付けた第2の映像情報とを含む第2の映像データとから
    第3の映像データを作成する映像データ作成処理をコンピュータに実行させる映像データ作成用のプログラムであって、
    前記第1の映像データと、前記第2の映像データと、前記第1の記録媒体に記録され、前記第1の映像ストリームにおけるブロックと、前記第2の映像ストリームにおけるブロックとを、照合するための基準となる撮影情報の要素を示す照合基準情報とを取得する取得ステップと、
    前記第1の映像ストリームにおける各ブロックと、前記第2の映像ストリームにおける各ブロックとから、各ブロックに対応付けられた撮影情報のうち、前記照合基準情報が示す撮影情報の要素が適合するブロックの組を検出する検出ステップと、
    前記検出ステップが適合するブロックの組を検出した場合に、当該ブロックの組が同期するように、前記第1の映像ストリーム、および、前記第2の映像ストリームのうちの前記検出ステップが適合したと検出したブロックを再生可能な再生経路を示す再生経路情報と、前記第1の映像ストリームと、前記第2の映像ストリームのうちの前記検出ステップが適合したと検出したブロックと、前記第1の映像ストリームの映像情報とを含む前記第3の映像データを作成する作成ステップとを含む
    ことを特徴とする映像データ作成処理をコンピュータに実行させる映像データ作成用のプログラム。
11. 第1の記録媒体に記録され、第1の映像ストリームと、前記第1の映像ストリームの再生経路を示す第1の再生経路情報と、前記第1の映像ストリームにおけるブロックごとに、当該ブロックに含まれる映像が撮影された撮影時刻を含む撮影情報を対応付けた第1の映像情報とを含む第1の映像データと、
    前記第1の記録媒体とは異なる第2の記録媒体に記録され、第2の映像ストリームと、前記第2の映像ストリームの再生経路を示す再生経路情報と、前記第2の映像ストリームにおけるブロックごとに、当該ブロックに含まれる映像が撮影された撮影時刻を含む撮影情報を対応付けた第2の映像情報とを含む第2の映像データとから
    第3の映像データを作成する映像データ作成処理をコンピュータに実行させる映像データ作成用のプログラムを記録した記録媒体であって、
    前記第1の映像データと、前記第2の映像データと、前記第1の記録媒体に記録され、前記第1の映像ストリームにおけるブロックと、前記第2の映像ストリームにおけるブロックとを、照合するための基準となる撮影情報の要素を示す照合基準情報とを取得する取得ステップと、
    前記第1の映像ストリームにおける各ブロックと、前記第2の映像ストリームにおける各ブロックとから、各ブロックに対応付けられた撮影情報のうち、前記照合基準情報が示す撮影情報の要素が適合するブロックの組を検出する検出ステップと、
    前記検出ステップが適合するブロックの組を検出した場合に、当該ブロックの組が同期するように、前記第1の映像ストリーム、および、前記第2の映像ストリームのうちの前記検出ステップが適合したと検出したブロックを再生可能な再生経路を示す再生経路情報と、前記第1の映像ストリームと、前記第2の映像ストリームのうちの前記検出ステップが適合したと検出したブロックと、前記第1の映像ストリームの映像情報とを含む前記第3の映像データを作成する作成ステップとを含む
    ことを特徴とする映像データ作成処理をコンピュータに実行させる映像データ作成用のプログラムを記録した記録媒体。
12. 第1の記録媒体に記録され、第1の映像ストリームと、前記第1の映像ストリームの再生経路を示す第1の再生経路情報と、前記第1の映像ストリームにおけるブロックごとに、当該ブロックに含まれる映像が撮影された撮影時刻を含む撮影情報を対応付けた第1の映像情報とを含む第1の映像データと、
    前記第1の記録媒体とは異なる第2の記録媒体に記録され、第2の映像ストリームと、前記第2の映像ストリームの再生経路を示す再生経路情報と、前記第2の映像ストリームにおけるブロックごとに、当該ブロックに含まれる映像が撮影された撮影時刻を含む撮影情報を対応付けた第2の映像情報とを含む第2の映像データとから
    第3の映像データを作成する映像データ作成用の集積回路であって、
    前記第1の映像データと、前記第2の映像データと、前記第1の記録媒体に記録され、前記第1の映像ストリームにおけるブロックと、前記第2の映像ストリームにおけるブロックとを、照合するための基準となる撮影情報の要素を示す照合基準情報とを取得する取得部と、
    前記第1の映像ストリームにおける各ブロックと、前記第2の映像ストリームにおける各ブロックとから、各ブロックに対応付けられた撮影情報のうち、前記照合基準情報が示す撮影情報の要素が適合するブロックの組を検出する検出部と、
    前記検出部が適合するブロックの組を検出した場合に、当該ブロックの組が同期するように、前記第1の映像ストリーム、および、前記第2の映像ストリームのうちの前記検出部が適合したと検出したブロックを再生可能な再生経路を示す再生経路情報と、前記第1の映像ストリームと、前記第2の映像ストリームのうちの前記検出部が適合したと検出したブロックと、前記第1の映像ストリームの映像情報とを含む前記第3の映像データを作成する作成部とを備える
    ことを特徴とする映像データ作成用の集積回路。

Images