JP4420897B2 - マルチアングルを支援するデータ構造で記録された情報保存媒体及びその装置 - Google Patents

Description

本発明は、マルチアングルを支援するデータ構造で記録された情報保存媒体及びその装置に関する。

従来の情報保存媒体のうち、マルチアングルデータが記録されている代表例としては、ＤＶＤを挙げられる。ＤＶＤには、データが一定の単位に分けられて、互いに交互に記録されるインターリービング方式でマルチアングルデータが記録されている。

従来のマルチメディア再生装置であるＤＶＤビデオのデータ構造を説明すれば、次の通りである。

図１は、ＤＶＤのデータ構造を示す。図１を参照するに、マルチメディア保存媒体の一つであるＤＶＤは、ディスクをＶＭＧ領域と複数個のＶＴＳ領域とに分けて、タイトル情報及びタイトルメニューに関する情報をＶＭＧ領域に、タイトルに関する情報を複数個のＶＴＳ領域に保存する。通常、ＶＭＧ領域は２〜３個のファイルで構成されており、各ＶＴＳ領域は３〜１２個のファイルで構成されている。

図２は、ＶＭＧ領域のデータ構造を示す。図２を参照するに、ＶＭＧ領域には、ＶＭＧ領域に関する付加情報を保存するＶＭＧＩ領域と、メニューに関する動画情報を保存するＶＯＢＳ領域、そして、ＶＭＧＩのバックアップ領域がある。それらそれぞれの区間は一つのファイルで存在するが、このうちＶＯＢＳ領域は必ずしも存在すべきものではなく、場合によって保存されていない。

ＶＴＳ領域には、再生単位であるタイトルに関する情報と、動画情報であるＶＯＢＳとが保存されている。一つのＶＴＳには、複数のタイトルが記録されている。

図３は、ＶＴＳ領域のデータ構造を示す。図３を参照するに、ＶＴＳ領域には、ビデオタイトルセット情報ＶＴＳＩ（Ｖｉｄｅｏ Ｔｉｔｌｅ Ｓｅｔ Ｉｎｆｏｒｍａｔｉｏｎ）、メニュー画面用動画データであるＶＯＢＳ、ビデオタイトルセットの動画情報であるＶＯＢＳ、及びＶＴＳＩのバックアップデータが記録される。メニュー画面を表示するためのＶＯＢＳの存否は選択的である。各ＶＯＢＳはまた、記録単位であるＶＯＢとＣＥＬＬとに区分される。一つのＶＯＢは、複数のＣＥＬＬで構成される。本発明で取り扱われる記録単位のうち最も小さな単位はＣＥＬＬである。

ＤＶＤにおいて再生単位は階層化されている。最上層にはタイトルが存在する。タイトルは一つあるいは複数のＰＧＣに連結して構成される。複数個のＰＣＧのうち最初に再生されるＰＧＣをＥｎｔｒｙ ＰＧＣという。図４は、一つのＰＧＣ、すなわち、Ｅｎｔｒｙ ＰＧＣのみよりなるタイトルを表したものであり、図５は、複数個のＰＧＣの連結からなるタイトルを表したものである。図５で分かるように、一つのＰＧＣの再生を終えて次のＰＧＣを再生する場合、いくつかのＰＧＣのうち一つを選択して再生できる場合、いかなるＰＧＣを選択するかは、ＤＶＤにコマンドとして保存できる。このように再生の順序を制御することをナビゲーションという。再生順序を決定するコマンドはＰＧＣＩに保存される。

図６は、ＰＧＣのデータ構造を示す。図６を参照するに、ＰＧＣは、ＰＧＣＩという情報構造で保存される。ＰＧＣＩは、ナビゲーションコマンドが保存されたプリコマンド（Ｐｒｅ ｃｏｍｍａｎｄ）、ポストコマンド（Ｐｏｓｔ ｃｏｍｍａｎｄ）、及び複数のプログラム情報で構成される。プリコマンドは、該当ＰＧＣの再生前に行われるコマンドであり、ポストコマンドは、該当ＰＧＣの再生後に行われるコマンドである。各プログラムは複数のセル情報で構成される。このセルは、記録単位であるＶＯＢ内のＣｅｌｌと一対一に連結される。各再生単位のセルは、セルの再生が終わった後に行われるセルコマンドを持っている。このようにＰＧＣＩ情報は、再生単位であるＰＧＣを階層的に記述し、最下位再生単位であるセルを、記録単位の最下位単位のセルと連結させる情報構造を持つ。

特に、ＰＧＣは、再生単位である複数個のセルの連結からなる。この時、複数個のセルがアングルブロックをなしうる。

図７は、アングルブロックを示す。図７に示されたように、複数個のセルが並列に配置されて、そのうち一つのセルを再生するようになっている部分をアングルブロックという。アングルブロックをなすセルは同じ再生時間を持って各アングルに対応する。再生単位であるセルがアングルブロックをなす場合、記録単位であるＶＯＢと記録単位であるＣｅｌｌとには、一定単位のインターリーブドユニット（ＩｎｔｅｒＬｅａｖｅｄ Ｕｎｉｔ；ＩＬＶＵ）に分けられた各アングルデータが互いにインターリービングされて記録される。

図８は、マルチアングルを持っていない場合の記録単位であるＶＯＢとＣｅｌｌとを示す。図８を参照するに、各ＶＯＢは情報保存媒体の連続した記録空間である連続ブロック（Ｃｏｎｔｉｇｕｏｕｓ Ｂｌｏｃｋ）に保存されて順次に記録される。しかし、マルチアングルの場合には、図９に示されたように、各アングルに該当する各ＶＯＢ及びその下位単位のセルがＩＬＶＵ単位でインターリービングされるインターリーブドブロックに記録される。したがって、一つのアングルデータは、連続した記録空間に保存されなくなる。各アングルデータは、順次にインターリービングされて記録されねばならない。

図９は、２つのアングルデータが順にインターリービングされて記録された例を示す。図９を参照するに、各ＩＬＶＵは同じ再生時間を持つ必要がある。データの記録長さは、圧縮された結果によってその量が変わりうる。インターリービングされたデータを再生するためには、一つのアングルを再生するか、あるいはアングルを変更して再生する場合いずれもＩＬＶＵデータ単位でジャンピングする必要がある。たとえば、アングル１のデータを再生するためには、アングル１に該当するＩＬＶＵデータのみを探して再生せねばならない。そのために、動画ビットストリーム中には、図１１に示されたように、ＮＸＴ＿ＩＬＶＵ＿ＳＡ、ＮＸＴ＿ＩＬＶＵ＿ＳＺデータが保存されているが、これは、該当ビットストリームが属するＩＬＶＵデータに次いで連結されねばならないＩＬＶＵデータの位置及び大きさを知らせる情報である。したがって、該当ビットストリームが属するＩＬＶＵデータの再生が終わった後、この情報を利用して次のＩＬＶＵデータにジャンピングする。再生中にアングルを変化させようとする時には、変化されたアングルに該当する特定位置にジャンピングせねばならない。この時のジャンピング位置もＩＬＶＵ単位で決定される。

図１０は、選択されたアングルで再生するためのジャンピングを、再生順序であるセルの立場で示す。図１０を参照するに、画像の切れ目なく再生するシームレスチェンジのためには、特定位置でユーザーのアングルチェンジ命令を受けても、該当ＩＬＶＵデータの再生が終わった後に他のアングルのその次につながるＩＬＶＵデータにジャンプして再生する。ＩＬＶＵデータの位置情報は、インターリービングされて記録された動画データのビットストリーム中にマックシングされて入っている。図１２に示されたように、動画ビットストリーム中には、ＤＶＤで支援する最大数である９個のアングルに対するＩＬＶＵデータの位置及び大きさ情報であるＳＭＬ＿ＡＧＬ＿Ｃｎ＿ＤＳＴＡが記録されている。それらは、現在再生しているＩＬＶＵデータと連結されるアングルｎのＩＬＶＵデータを探すための情報である。現在のＩＬＶＵデータの再生が終わった後には、この情報を利用して所望のアングルに変更して再生できる。

マルチアングルのためのＤＶＤのオーサリング（ａｕｔｈｏｒｉｎｇ）過程を説明すれば、まず多様な角度で撮影した画像をそれぞれ圧縮して同じ再生長さを持つビットストリームデータに作る。一つのビットストリームをインターリービングして構成し、またそれぞれビットストリーム内に他のアングルを参照できる情報を挿入して、再生中にもアングル転換が可能に記録する。

マルチアングルデータを一定の単位で細かく分けた後、インターリービングして保存する場合、一つのアングルを連続して再生する場合にも該当データが連続的に記録されていないので、データを読み取るための再生位置の変更が発生し続ける。この時、光ディスクやハードディスクのように位置変更のためには、一定の時間が要求される場合、それを補償するために圧縮されたビットストリームのビットレートが制限される問題点がある。

したがって、本発明の目的は、マルチアングルデータが保存される位置制約をなくしてランダムアクセスが可能なデータ構造で記録された情報保存媒体及びその装置を提供することである。

前述した目的は、本発明によって、ビデオ再生装置を制御するための、マルチアングルのための動画データが記録された情報保存媒体において、各アングルのための動画データが保存される記録単位として、少なくとも一つのクリップを含み、所定アングルのための少なくとも一つの前記クリップは、情報保存媒体の連続した記録空間に記録されることを特徴とする情報保存媒体により達成される。

各アングルのための動画データは、相異なるアングルへの連結再生のためのアクセス地点である複数個のジャンプポイントと、ジャンプポイントに関する付加情報と、を含むことが望ましい。

ジャンプポイントに関する情報は、クリップの各ジャンプポイントの開始位置を指定し、それらがクリップインフォメーション内にテーブル状に保存されていることが望ましい。

クリップインフォメーションには、ランダムアクセスが可能なポイントに関する情報であるエントリーポイント情報が記録されており、前記ジャンプポイントに関する情報は、前記エントリーポイント情報に付加されて、該当エントリーポイントがジャンプポイントを兼ねているかどうかを表す情報の形で保存されていることが望ましい。

ジャンプポイントに関する付加情報は、動画データの少なくとも一つのクリップに共通的に記録され、各クリップに対するジャンプポイントの位置に関する情報が、前記共通ジャンプポイント情報に順次に記録されていることが望ましい。

一つの特定アングル用クリップ再生中に他のアングルへの変更再生時、ジャンプポイントで再生位置変更を実施する場合、連続再生可能に、各ジャンプポイントの位置と隣接したジャンプポイントとの間隔を定めることが望ましい。

それぞれ一つのクリップに対応するプレイアイテムと、複数のプレイアイテムとからなるプレイリスト情報が、再生単位の情報として記録され、一つのアングルブロックをなす複数のプレイアイテムに関する情報が、複数のアングルのための情報として記録されることが望ましい。

それぞれ一つのクリップに対応するプレイアイテムと、複数のプレイアイテムとからなるプレイリスト情報が、再生単位の情報として記録されており、複数のプレイアイテムを持つ一つのプレイリストが、一つのアングルに対応するように記録されており、各プレーアイテムは、各アングルのための各クリップに対応して記録されていることが望ましい。

各プレイリストに特定アングルに関する付加情報が記録されることが望ましい。

あらゆるエントリーポイントは、ジャンプポイントと設定されることが望ましい。

前記クリップについて、ジャンピングが起きない区間が決定され、ジャンピングが起きない区間の大きさは、バッファのアンダーフローが起きないように決定されることが望ましい。

クリップインフォメーションには、クリップについて、再生直後またはジャンピング直後からジャンピングが起きないように決定された区間に関する情報が記録されることが望ましい。

一方、本発明の他の分野によれば、前述した目的は、マルチアングルのための動画データが各アングルのためのクリップ単位で記録され、各クリップは、動画データの記録単位であり、クリップは、連続した保存空間に分離されて記録され、相異なるアングルのクリップを連続して再生するための情報を含んでいる情報保存媒体に記録されたデータを再生する装置において、各アングルに対応するクリップを探索する探索部と、情報保存媒体の連続した記録空間で探索された各アングルに対応するクリップを再生する再生部とを含むことを特徴とする再生装置により達成される。

一方、本発明の他の分野によれば、前述した目的は、ランダムアクセス機能を持つ情報保存媒体にマルチアングルのための動画データを記録する記録装置において、各アングルに該当する動画データの記録単位であるクリップを情報保存媒体の連続した空間に記録し、各アングル用動画データをインターリービングせずに互いに分離して、情報保存媒体に記録するようにプログラムされたプロセッサーを含むことを特徴とする記録装置によって達成される。

一方、本発明の他の分野によれば、前述した目的は、マルチアングルのためのデータを所定のアングルユニットに分け、所定のアングルユニットは、所定のアングルユニットを連結するために使われるジャンプポイントにより指定され、各アングルユニットは、情報保存媒体の連続した空間にジャンプポイントを含むことを特徴とする記録装置により達成される。

本発明は、インターリービング方式ではない分離記録方式で各アングルデータを記録してマルチアングルを具現する。すなわち、各アングルごとに対応するビットストリームを連続した記録空間に分離記録してマルチアングルを具現する。他のアングルへの変更のためには、各アングルデータをジャンピングユニット（ＪＰＵ）に区分し、ジャンピングユニットの開始アドレスをジャンピングポイントと指定した後、各アングルデータのジャンピングポイントを別途の付加情報として記録する。ただし、エントリーポイントとジャンピングポイントとがいずれも同じ場合には、エントリーポイントを知らせる情報を参照してジャンピングポイントが分かるようにする。

そのための本発明の構成要素を説明すると、次の通りである。

１）各アングルに対する圧縮符号化されたＡＶストリーム（クリップ）
２）該当ＡＶストリーム符号化属性情報などを持っているクリップインフォメーションファイル
３）１）と２）とからなるクリップで、ＩＮ＿ｔｉｍｅとＯＵＴ＿ｔｉｍｅ間の再生区間に基づいて時間を指定しているプレイアイテム
４）一つあるいはそれ以上のプレイアイテムからなるプレイリスト
５）ジャンピングポイントの位置をテーブル化して記録したジャンピングポイントマップ
本発明でマルチアングルとは、特定の時間に該当する動画データが一つではなく複数個の再生単位で構成されていることを意味する。すなわち、複数のカメラで同時に撮影したデータをそれぞれ動画に作ったものである。オーディオデータは同じ場合が一般的であるが、各アングルごとに異なって構成できる。整理すれば、同一時間帯域に再生できる動画データをマルチアングルデータといい、このように製作されたコンテンツをマルチアングルコンテンツという。

動画データは、その量がぼう大で圧縮を行った後に圧縮されたビットストリームとして保存されるか、伝送される。本発明では、記録単位として、クリップ（Ｃｌｉｐ）、再生単位としてプレイリスト（ＰｌａｙＬｉｓｔ）及びプレイアイテム（ＰｌａｙＩｔｅｍ）という用語を使用する。この時、Ｃｌｉｐは、ＤＶＤでの記録単位であるＣｅｌｌに該当し、ＰｌａｙＬｉｓｔ及びＰｌａｙＩｔｅｍは、ＤＶＤでの再生単位であるプログラム及びセルと同じ概念である。

すなわち、本発明による情報保存媒体には、ＡＶストリームがＣｌｉｐ単位で記録されている。通常の場合、Ｃｌｉｐは連続的な空間に記録される。ＡＶストリームは、容量を減らすために圧縮して記録する。記録されたクリップを再生するためには、圧縮された動画データの特性情報が分かる必要がある。したがって、各ＣｌｉｐごとにＣｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎを記録する。Ｃｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎは、各Ｃｌｉｐのオーディオ及びビデオ属性及び一定の区間単位でランダムアクセスが可能なＥｎｔｒｙ Ｐｏｉｎｔの位置情報を記録したＥｎｔｒｙ Ｐｏｉｎｔ Ｍａｐなどが記録されている。動画圧縮技術で多く使われるＭＰＥＧの場合、Ｅｎｔｒｙ Ｐｏｉｎｔは、イントラ画像を圧縮するＩピクチャーの位置となる。Ｅｎｔｒｙ Ｐｏｉｎｔ Ｍａｐは、再生開始後にある程度の時間が経過した地点を探す時間探索に主に利用される。

図１３は、ＰｌａｙＬｉｓｔ、ＰｌａｙＩｔｅｍ、Ｃｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎ、Ｃｌｉｐの相関関係を示す。図１３を参照するに、ＰｌａｙＬｉｓｔは再生の基本単位である。本発明による情報保存媒体には、複数のＰｌａｙＬｉｓｔが保存されている。一つのＰｌａｙＬｉｓｔは、複数のＰｌａｙＩｔｅｍの連結よりなっている。ＰｌａｙＩｔｅｍは、Ｃｌｉｐの一部分に該当し、具体的には、クリップ内での再生開始時間及び終了時間を指定する形で使われる。したがって、Ｃｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎを利用して実際Ｃｌｉｐ内の該当部分位置を探す。

以下では、マルチアングルのためのデータ構造及び記録位置について説明する。

図１４は、ジャンピングユニットとジャンピングポイントとを示す。図１４を参照するに、一つのクリップがマルチアングルのうち一つのアングルに該当する動画データならば、クリップは複数個のジャンピングユニットに分けられる。各ジャンピングユニットの開始点はジャンピングポイントとなる。ジャンピングポイントは、該当クリップの再生中に他のアングルの動画に該当するクリップにジャンプアウトするか、他のクリップの再生中に該当クリップにジャンプインする位置となる。したがって、通常的にジャンピングポイントはＥｎｔｒｙ Ｐｏｉｎｔと一致することが望ましい。しかし、Ｅｎｔｒｙ Ｐｏｉｎｔは約０．５秒の時間間隔ごとに存在するので、シームレス再生のためにあらゆるＥｎｔｒｙ Ｐｏｉｎｔをジャンピングポイントとすることは望ましくない。

図１５は、マルチアングルのための複数個のクリップを示す。図１５を参照するに、複数個のクリップが同等な数のジャンピングポイントを持って互いに仮想的に連結されている。各クリップは、それぞれ連続した空間に分離されて記録されるが、互いに同じ再生時間位置を表すジャンピングポイントに連結される。したがって、一つのクリップを再生している途中で他のクリップを再生する場合には、該当ジャンピングユニットの再生を終えて、他のクリップのその次のジャンピングユニットに該当するジャンピングポイントを探して再生することによって、連続的な再生が可能である。図１５には、アングル３を再生している途中でアングル１を再生し、再びアングルｎを再生する順序が矢印で表示されている。ユーザーのアングル変更についての入力は、ジャンピングユニット単位で行われる。

ランダムアクセスが可能な情報保存媒体は、連続した空間ではない場合にも一定の時間内に位置を変更させて連続再生が可能である。本発明では、このような位置変更をジャンプと表現する。通常的な場合、メモリのような電子的情報保存媒体はジャンプ時間が必要でないが、光ディスクのようにピックアップを動かしてデータを読み取る情報保存媒体の場合には、ジャンプに一定の時間が必要である。また、情報保存媒体から動画データを読み取る速度と読み取った動画データを再生する速度とが相異なる場合、連続空間を読み取って再生する場合にも読み取り速度と再生速度との差を補償するための装置が必要である。このような装置には動画バッファが利用される。すなわち、一定の大きさの動画バッファを準備しておき、一定の速度でデータを読み取ってバッファを満たした後に再生する。この動画バッファのオーバーフローやアンダーフローを防止するように、データの読み取り速度を調節する。バッファを使用すれば、たとえ動画データが変動ビットレート（ＶＢＲ）で記録された場合であっても、切れのない再生が可能である。

ジャンピングユニットサイズは、図１６に示したように一つのジャンプユニットを再生し、他のアングルのための動画データが保存されたクリップにジャンプしても、そのジャンプ時間中に動画データが切れ目なく再生されるように、動画バッファに保存されたデータが再生され、このバッファが、アンダーフローが発生する前にジャンプ動作が終わって、次のアングルのジャンプユニットの再生が始まるようにせねばならない。ジャンプ時間が必要な再生装置の場合、最悪のジャンプ時間をＴ＿ＪＵＭＰといい、データ読み取り速度をＶ＿Ｒ、動画データの再生速度をＶ＿Ｏというならば、ジャンプユニットサイズは下のような条件を満たさねばならない。

ジャンプユニットのサイズ＞Ｖ＿Ｒ＊Ｖ＿Ｏ＊Ｔ＿ＪＵＭＰ／（Ｖ＿Ｒ−Ｖ＿Ｏ）
またバッファは、少なくとも下の条件を満足するほど大きくなければならない。

バッファサイズ（Ｂ）＞Ｖ＿Ｏ＊Ｔ＿ＪＵＭＰ
図１７は、本発明によるマルチアングル構造を持つＰｌａｙＬｉｓｔを示す。図１７を参照するに、一つのＰｌａｙＬｉｓｔを構成するＰｌａｙＩｔｅｍは通常的に順次の構造を持つが、第２のＰｌａｙＩｔｅｍに例示されたように、マルチアングルをなす場合には複数個のＰｌａｙＩｔｅｍがアングルブロックを構成する。アングルブロックとは、再生時にこのブロックに属する一つのＰｌａｙＩｔｅｍが再生されるということを意味する。アングルブロックに属する各ＰｌａｙＩｔｅｍの間には、再生中のアングル変更によって再生対象が変更できる。アングルブロックをなすＰｌａｙＩｔｅｍは、再生時間が同一であることが通常的である。この時、本発明では、アングルブロックをなすＰｌａｙＩｔｅｍに指定されたＣｌｉｐがインターリービングされず、それぞれ連続した空間に分離されて記録されることを特徴とする。すなわち、Ｃｌｉｐ２、Ｃｌｉｐ３、Ｃｌｉｐ４は、それぞれ連続した空間に記録される。したがって、これらＣｌｉｐは、アングルブロックをなしていない他のＣｌｉｐと差がない。但し、アングルブロックをなすＣｌｉｐは、ジャンプポイントに関する情報を持っている。

ジャンプポイントについての望ましいデータ構造は次の３つを挙げられる。

図１８は、ジャンプポイントについてのデータ構造の第１実施例である。図１８に示された第１実施例は、Ｃｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎに該当するクリップがアングル用Ｃｌｉｐである場合に限って、従来のＧｅｎｅｒａｌ ＩｎｆｏｒｍａｔｉｏｎとＥｎｔｒｙ Ｐｏｉｎｔ Ｍａｐに加えて、Ｊｕｍｐ Ｐｏｉｎｔ Ｍａｐ情報を作って記録することである。ジャンプポイント情報は、動画データと密接な関係にあるので、記録単位であるクリップに関する付加情報であるクリップインフォメーションデータ内に記録することが望ましい。Ｇｅｎｅｒａｌ Ｉｎｆｏｒｍａｔｉｏｎには、下のような情報が主要情報として記録されている。

−ｖｅｒｓｉｏｎ＿ｎｕｍｂｅｒ：クリップインフォメーションファイルのバージョン。

−ＥＰ Ｍａｐ＿ｓｔａｒｔ＿ａｄｄｒｅｓｓ：クリップインフォメーションファイルの最初のバイトから相対的なバイトナンバーでＥｎｔｒｙ Ｐｏｉｎｔ Ｍａｐの開始アドレスを示す。

−ＪＰＭａｐ＿ｓｔａｒｔ＿ａｄｄｒｅｓｓ：クリップインフォメーションファイルの最初のバイトから相対的なバイトナンバーでＪｕｍｐ Ｐｏｉｎｔ Ｍａｐの開始アドレスを示す。このアドレスの値が０である場合はアングル用Ｃｌｉｐではない場合であって、Ｊｕｍｐ Ｐｏｉｎｔ Ｍａｐ情報なし。

−ＣｌｉｐＩｎｆｏ：このクリップインフォメーションファイルと関連したＡＶストリームファイルの属性を保存する。

Ｅｎｔｒｙ Ｐｏｉｎｔ Ｍａｐには、ランダムアクセスが可能なＥｎｔｒｙ Ｐｏｉｎｔの時間及び位置情報が記録されている。Ｊｕｍｐ Ｐｏｉｎｔ Ｍａｐには、該当クリップがアングル用クリップである場合、他のアングルに該当するクリップとの仮想的な連結のためのジャンプポイントに関する情報が記録されている。望ましい実施例として、Ｊｕｍｐ Ｐｏｉｎｔ ＭａｐのＪｕｍｐ Ｍａｎａｇｅｒ Ｉｎｆｏｒｍａｔｉｏｎにはジャンプポイントの数が記録されており、その後に該当数ほどのＪｕｍｐ Ｐｏｉｎｔ Ｉｎｆｏｒｍａｔｉｏｎが記録されている。このＪｕｍｐ Ｐｏｉｎｔ Ｉｎｆｏｒｍａｔｉｏｎは、該当クリップの開始位置から該当ジャンプポイントの位置を探すための情報が記録されている。望ましい実施例として、この位置情報は、バイト数であるか、セクター数であるか、動画情報がＭＰＥＧ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍとして符号化された場合、ＭＰＥＧ−ＴＳパケット数である。

図１９は、ジャンプポイントに対するデータ構造の第２実施例である。図１９に示された第２実施例は、従来のＥＰ Ｍａｐ情報にジャンプポイント情報を挿入することである。これは、別途の保存空間を必要としない長所がある。前述したように、ジャンプポイントは、ＭＰＥＧなどのように時空間圧縮を実施して動画を符号化した場合、ランダムアクセスポイントであるＥｎｔｒｙ Ｐｏｉｎｔと一致させることが望ましい。したがって、各Ｅｎｔｒｙ Ｐｏｉｎｔに関する情報に、該当Ｅｎｔｒｙ Ｐｏｉｎｔがジャンプポイントも兼ねているかどうかに関する情報を挿入することによって、簡単にジャンプポイントに関する情報を記録できる。

図２０は、ジャンプポイントについてのデータ構造の第３実施例である。図２０に示された第３実施例は、アングルブロックをなすＣｌｉｐについてのジャンプポイント情報を集めて、別途の付加情報構造を作るものである。すなわち、Ｊｕｍｐ Ｍａｎａｇｅｒ Ｉｎｆｏｒｍａｔｉｏｎに、アングルブロックをなすクリップ数及び一つのクリップに存在するジャンプポイント数を記録した後、順次に各クリップ別にジャンプポイントに関する情報を記録する。この情報構造は容易に各アングルの該当位置を探し得る長所がある。

図２１は、アングルブロックをなすＰｌａｙＩｔｅｍを持っているＰｌａｙＬｉｓｔ情報の例を示す。図２１を参照するに、通常のＰｌａｙＩｔｅｍ情報に加えて、各ＰｌａｙＩｔｅｍ情報はアングルブロック情報を持っている。このアングルブロック情報には、該当ＰｌａｙＩｔｅｍがアングルブロックをなしているかどうかに関する情報が基本的に入っている。アングルブロックをなすＰｌａｙＩｔｅｍ情報は順次に記録されねばならない。ＰｌａｙＬｉｓｔを構成するＰｌａｙＩｔｅｍのうちアングルブロックをなす複数のＰｌａｙＩｔｅｍの再生時、そのうち一つのＰｌａｙＩｔｅｍを基本的に再生する。再生中にアングルブロックに属する他のＰｌａｙＩｔｅｍに変更して再生できる。

図２２は、再生単位であるＰｌａｙＬｉｓｔを各アングル別に構成した例を示す。図２２を参照するに、ＰｌａｙＬｉｓｔに属するＰｌａｙＩｔｅｍはアングルブロックをなしていない。その代わりに、各ＰｌａｙＬｉｓｔがそれぞれ一つのアングルに対応して構成される。したがって、図２３に示されたように、該当ＰｌａｙＬｉｓｔがどのアングルを表すかに関する情報が別途に記録される。ユーザーのアングル選択やアングル変更によって、該当ＰｌａｙＬｉｓｔが再生される。

このようにマルチアングルをなす動画データの記録単位が、情報保存媒体の連続した空間に分離されて記録されており、各アングルを表す動画データの連結位置をジャンプポイントとして付加データとして管理し、該当記録単位を連結して再生する再生単位情報を、マルチアングルに関する情報に付加して構成すれば、これを再生する再生装置は、次のような動作でマルチアングルについてのデータを再生できる。

まず、マルチアングル用動画データであってもアングル変更がなされていない場合は、連続した空間でデータを読み取って再生できるので、マルチアングルではない動画データと差別なしに符号化が可能である。したがって、インターリービングの場合のように、一つのアングルを連続再生するための別途のデータや符号化制約が消える。

また、各記録単位であるクリップには、アングルブロックをなす他のアングル用動画データへの連結情報がジャンプポイント情報として付加されているので、ある時点でアングル変更が必要な場合には、その次のジャンプポイントまで再生した後、変更される動画データの該当ジャンプポイント以後の動画情報から再生すればよい。

再生単位の情報構造として、マルチアングルを表示する情報がプレイリストに属する複数のプレイアイテムがアングルブロックをなして記録された場合（図２１の場合）、アングルブロックに属する一つのプレイアイテムを再生する途中でアングル変更が必要な時、該当アングルに対応するクリップの現在位置と最も近いジャンプポイントまでの再生を終えた後、変更するアングルに対応するクリップの該当ジャンプポイントの次から再生を実施する。図２２のように、各アングル別に独立したプレイリストが記録された場合には、該当プレイリストを再生する途中でアングル変更が発生する時に該当プレイリストを再生する。

本発明の対象である記録装置の場合は、前記説明されたクリップデータ及びジャンプポイント情報、再生単位情報を情報保存媒体に記録する装置である。望ましい実施例は、次の通りである。

まず再生装置の読み取り速度Ｖ＿Ｒ及びジャンプ時間Ｔ＿ＪＵＭＰ時間、動画データの最高ビットレートＶ＿Ｏを考慮して、ジャンプユニットサイズを定める。この時の考慮する式については、前述した通りである。このように定められたジャンプユニットを再生時間に換算する。さらに、この再生時間より長いか、または同じ単位でランダムアクセスポイントがなるように各動画データを符号化する。この時、この単位の境界位置がジャンプポイントとなる。一般的に、ＭＰＥＧのような時空間圧縮符号化方法で、ランダムアクセスポイントはＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）の開始ポイントになり、したがって、前記ジャンプユニットは複数個のＧＯＰで構成される。各動画ごとに同じ再生時間帯にジャンプポイントが作られねばならない。

符号化された動画データを、各アングル別に情報保存媒体の連続した空間に記録する。決定されたジャンプポイントの位置情報は付加情報として記録する。この時、望ましい実施例として、各クリップ別に該当ジャンプポイントの情報をクリップインフォメーションに記録できる。

次いで、マルチアングルを構成する再生単位に関する情報を構成して記録する。この時、各クリップに対応する各プレイアイテムを複数で構成してアングルブロックで構成した後、これらを連結してプレイリストに作る。または、各アングル別に独立したプレイリストを作る。

図２４ないし図２６は、本発明のさらに他の実施例による情報保存媒体のデータ構造及びその装置を説明するための参考図である。

本発明は、さらに他の望ましい実施例による情報保存媒体には、マルチアングル用動画の記録単位であるクリップに属するあらゆるエントリーポイント（Ｅｎｔｒｙ Ｐｏｉｎｔ）がジャンピングポイント（Ｊｕｍｐｉｎｇ Ｐｏｉｎｔ）になるデータ構造を持つ。

記録装置は、動画データを情報保存媒体に記録するに当って、マルチアングル用動画の記録単位であるクリップに属するあらゆるエントリーポイントがジャンピングポイントになるデータ構造を持つように記録する。

再生装置は、一つのアングルに該当するクリップを再生する途中でユーザーがアングル変更を所望する場合、現在再生している位置から最も近いエントリーポイントまで再生した後、次のアングル用クリップの該当エントリーポイントにジャンプして再生する。この時、あらゆるアングルのエントリーポイントは、同じ時間帯の該当クリップ内の位置を指定せねばならない。すなわち、図２４に表したように、物理的には独立的な空間に記録された画像データが、論理的には各エントリーポイントによって連結されている。

図２５を参照するに、通常エントリーポイントは０．５〜１秒の再生時間を持つ記録単位であり、ランダムアクセスが可能な位置に存在する。もし、動画符号化方法としてＭＰＥＧを使用したならば、これは複数のＧＯＰからなる。複数のＧＯＰで構成された動画データのあらゆるエントリーポイントが、アングル変更時のジャンピングポイントとして使われるためには、ＧＯＰ内のあらゆる画像が該当ＧＯＰ内の画像のみを利用して符号化されるＣｌｏｓｅｄ ＧＯＰからならねばならない。

あらゆるエントリーポイントがジャンピングポイントになる構造では、ジャンピングポイントのための別途の情報が要らない。しかし、この構造では、アングル変更のためのジャンピング時、再生装置の再生バッファにアンダーフローが発生する恐れがあるので、再生開始後にある程度の区間や、ジャンピング直後ある程度の区間では、ジャンピングを発生させてはならない。ジャンピングが発生しない区間は、Ｎｏ Ｊｕｍｐｉｎｇ Ｂｌｏｃｋ（ＮＪＢ）と呼ぶ。

図２６を参照するに、再生直後やジャンピング直後には、バッファにデータがジャンピングする時、ジャンピング時間であるＪＵＭＰ＿Ｔの間に画像を切れ目なく再生可能なデータ量であるＢより少量が存在する場合、アングル変更を禁止する。一旦、ＮＪＢ長さを経過して再生が進まれる場合には、常にＢより多量のデータがバッファに存在するので、あらゆるエントリーポイントでジャンピングが可能である。ＮＪＢのサイズは、前記説明したＪＰＵサイズと同じく計算できるところ、整理すれば次の通りである。

ジャンプ時間が必要な再生装置の場合、最悪のジャンプ時間をＴ＿ＪＵＭＰとし、データ読み取り速度をＶ＿Ｒ、動画データの再生速度をＶ＿Ｏとすれば、ＮＪＢサイズは下のような条件を満たせねばならない。

ＮＪＢサイズ＞Ｖ＿Ｒ＊Ｖ＿Ｏ＊Ｔ＿ＪＵＭＰ／（Ｖ＿Ｒ−Ｖ＿Ｏ）
またバッファは、少なくとも下の条件を満足するほど大きい必要がある。

バッファサイズ（Ｂ）＞Ｖ＿Ｏ＊Ｔ＿ＪＵＭＰ
図２７ないし図３１は、本発明によるマルチアングル用動画データの構造及び特徴を整理した図である。図２７ないし図３１を参照するに、本発明によるマルチアングル用動画データの構造及びその特徴が分かる。

前述したように、本発明によれば、マルチアングルを表す動画データをインターリービングせずに、連続した空間に分離記録することによって、容易な記録空間配置が可能であり、ランダムアクセスが可能であってマルチアングルを表す動画データをさらに効率的に読み取ることができる。

ＤＶＤのデータ構造図である。 ＶＭＧ領域のデータ構造図である。 ＶＴＳ領域のデータ構造図である。 一つのＰＧＣ、すなわち、Ｅｎｔｒｙ ＰＧＣのみよりなるタイトルの例を示す図である。 複数個のＰＧＣの連結からなるタイトルの例を示す図である。 ＰＧＣのデータ構造図である。 アングルブロックの構成図である。 マルチアングルを持っていない場合の記録単位であるＶＯＢとＣｅｌｌとの構造図である。 ２つのアングルデータが順にインターリービングされて記録された例を示す図である。 選択されたアングルで再生するためのジャンピングを、再生順序であるセルの立場で示す参考図である。 アングル１に該当するＩＬＶＵデータが含まれた動画ビットストリームに含まれた情報構造図である。 複数個のアングルを支援する動画ビットストリームに含まれた情報構造図である。 ＰｌａｙＬｉｓｔ、ＰｌａｙＩｔｅｍ、Ｃｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎ、クリップの相関関係を示す参考図である。 ジャンピングユニットとジャンピングポイントとのデータ構造図である。 マルチアングルのための複数個のクリップの構造図である。 動画データが切れ目なく再生されるためのジャンプ動作とバッファとの関係図である。 本発明によるマルチアングル構造を持つＰｌａｙＬｉｓｔの構造図である。 ジャンプポイントについてのデータ構造の第１実施例を示す図である。 ジャンプポイントについてのデータ構造の第２実施例を示す図である。 ジャンプポイントについてのデータ構造の第３実施例を示す図である。 アングルブロックをなすＰｌａｙＩｔｅｍを持っているＰｌａｙＬｉｓｔ情報の例を示す図である。 再生単位であるＰｌａｙＬｉｓｔを各アングル別に構成した例を示す図である。 該当ＰｌａｙＬｉｓｔがいかなるアングルを表すかについて別途に記録された情報の構造図である。 本発明のさらに他の実施例による情報保存媒体及びその装置を説明するための参考図である。 本発明のさらに他の実施例による情報保存媒体及びその装置を説明するための参考図である。 本発明のさらに他の実施例による情報保存媒体及びその装置を説明するための参考図である。 本発明によるマルチアングル用動画データの構造及び特徴を整理した図である。 本発明によるマルチアングル用動画データの構造及び特徴を整理した図である。 本発明によるマルチアングル用動画データの構造及び特徴を整理した図である。 本発明によるマルチアングル用動画データの構造及び特徴を整理した図である。 本発明によるマルチアングル用動画データの構造及び特徴を整理した図である。

Claims (8)

1. 動画に対応するマルチアングル動画データを格納するためのコンピュータ可読情報保存媒体であって：
   異なるアングルのための動画データに対応するクリップオーディオビデオ（ＡＶ）のストリーム；および
   ＡＶストリームに対応するクリップ情報であって、該クリップ情報の各々が、ランダムアクセスのための一つのクリップＡＶストリームに対応するエントリポイントに関する情報を含むエントリポイントマップ、および前記エントリポイントの各々は、前記動画が１つのアングルから他のアングルに移って再生されるアングル変更ポイントであるか否かに関する情報を含むところのクリップ情報
   を有するコンピュータ可読情報保存媒体。
2. 前記エントリポイントに関する情報が、前記ＡＶストリームの中の前記エントリポイントの位置情報を有する、請求項１に記載の媒体。
3. 異なるアングルのための動画データに対応する複数のクリップを含むクリップＡＶ（オーディオビデオ）のストリームは、一つ以上のクリップユニットについて、各々に関してインタリーブされる、請求項１に記載の媒体。
4. 前記クリップＡＶストリームに対応する少なくとも一つのプレイアイテムを含むプレイリスト情報を更に有する請求項１に記載の媒体。
5. アングルブロック情報を有する少なくとも一つのプレイアイテムを含むプレイリスト情報であって、前記プレイアイテムが異なるアングルのための前記動画データか否かに関する情報を前記アングルブロック情報が含むところのプレイリスト情報、を更に有する請求項１に記載の媒体。
6. 前記アングルブロック情報が、前記動画のための異なるアングルの数に関する情報を更に有する、請求項５に記載の媒体。
7. 情報保存媒体から動画に対応する異なるアングルのための動画データを再生する装置であって：
   前記情報保存媒体から異なるアングルの前記動画データに対応するクリップＡＶストリームを読み出す読出ユニットであって、前記クリップＡＶストリームは、各々に関してインタリーブされているところの読出ユニット；および
   前記クリップＡＶストリームに対応するクリップ情報に従って前記クリップＡＶストリームを再生する再生ユニットであって、各クリップ情報が、ランダムアクセスのための一つの前記クリップＡＶストリームに対応するエントリポイントに関する情報を含むエントリポイントマップと、前記エントリポイントの各々がアングル変更ポイントであるか否かに関する情報とを含み、かつ前記アングル変更ポイントは、前記動画が１つのアングルから他のアングルに移って再生される位置である、ところの再生ユニット；
   を有する装置。
8. エントリポイントに関する前記情報が、前記ＡＶストリームの中の前記エントリポイントの位置情報を有する請求項７に記載の装置。

Images