JP6440034B2 - ビデオデータを再生する方法及び装置 - Google Patents

Description

本発明は、ビデオデータを再生する方法及び装置に関し、特にビデオデータの時間階層の拡張についてのアクセス位置情報を記録し、前記位置情報を用いて、ビデオデータを再生する方法及び装置に関する。

ビデオ圧縮技術の進歩により、現在、高効率ビデオ圧縮技術（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）が開発され、国際標準機構のＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）において、高効率ビデオ圧縮技術の標準化が進行している。これに従い、ＭＰＥＧでは、また圧縮されたビデオデータを格納する形式であるファイルフォーマットの標準化も進行中である。

一般のメディアファイルフォーマットは、基本的に、ヘッダ部分と映像データ部分とを含む。ヘッダ部分は、当該メディアの情報を記述する部分であり、映像データ部分は、圧縮されたメディアデータを格納する部分である。一般のメディアファイルフォーマットの場合、国際標準機構のＭＰＥＧは、多様なアプリケーションに共通に適用され得るＩＳＯＦＦ（ＩＳＯ ｂａｓｅ ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）を定義した。ＩＳＯＦＦは、圧縮されたメディアストリーム、及び該圧縮されたメディアストリームに関連した構成情報などのデータを、複数のコンテナ（ｃｏｎｔａｉｎｅｒ）ボックスに階層的に格納できるように設計されている。

一方、従来の高効率ビデオ圧縮技術では、時間階層アクセス（Ｔｅｍｐｏｒａｌ Ｌａｙｅｒ Ａｃｃｅｓｓ）についてのピクチャー（ｐｉｃｔｕｒｅ）を、ネットワーク抽象化層（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ： ＮＡＬ）単位型（ｕｎｉｔ ｔｙｐｅ）のうちの一つとして定義し、ネットワーク抽象化層のヘッダにその情報を含ませる。当該情報を通じて、時間階層アクセスが可能なピクチャーを認知することができ、これに基づいて、時間階層の拡張が可能となる。

高効率ビデオ圧縮技術によるビデオファイルフォーマットにおいては、前記時間階層に関する階層情報を示す時間階層識別値（ｔｅｍｐｏｒａｌ ｌａｙｅｒ ＩＤ）を、サンプルグループ記述ボックス（ｓａｍｐｌｅ ｇｒｏｕｐ ｄｅｓｃｒｉｐｔｉｏｎ ｂｏｘ）の内で定義している。かかる時間階層識別値を通じて、当該サンプルに関する階層情報の表現が可能である。

しかし、時間階層識別値を用いた当該サンプルの階層情報の表現のみでは、時間階層の拡張が可能なサンプルの時間階層アクセス位置情報を示し難い。これは、時間階層アクセス位置情報を認知するためには、各サンプルに該当するネットワーク抽象化層のヘッダ情報を解析する必要があるためである。

したがって、時間階層を効率よく拡張するためには、従来の高効率ビデオ圧縮ファイルフォーマットに、時間階層アクセスが可能なサンプルについての時間階層アクセス位置情報を格納する必要がある。

本発明が解決しようとする課題は、時間階層を効率よく拡張するために、時間階層アクセスが可能なサンプルについての時間階層アクセス位置情報を格納できるＩＳＯＦＦ（ＩＳＯ ｂａｓｅ ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）に基づいた格納ファイルフォーマットを提供することである。

本発明の一実施形態によれば、ビデオデータを再生する方法が提供される。前記方法は、ビデオファイルが受信されると、受信されたビデオファイルを、格納フォーマットに格納する過程と、前記格納されたビデオファイルから、符号化されたビデオデータストリームと、ビデオデータ属性情報とを抽出する過程と、前記ビデオデータ属性情報に含まれた時間階層アクセスが可能なサンプルの位置情報に基づき、前記抽出されたビデオデータストリームから、拡張された時間階層に該当するサンプルを抽出する過程と、前記抽出されたサンプルを復元して再生する過程とを含む。

さらに、本発明の他の実施形態によれば、ビデオデータを再生する装置が提供される。前記装置は、ビデオファイルを受信する受信部と、前記受信されたビデオファイルを格納フォーマットに格納する格納部と、前記格納されたビデオファイルから、符号化されたビデオデータストリームを抽出するビデオデータ抽出部と、前記格納されたビデオファイルから、ビデオデータ属性情報を抽出するビデオ属性抽出部と、前記ビデオデータ属性情報に含まれた時間階層アクセスが可能なサンプルの位置情報に基づいて、前記抽出されたビデオデータストリームから、拡張された時間階層に該当するサンプルを抽出する時間階層抽出部と、前記抽出されたサンプルを復元して再生する再生部とを含む。

本発明は、時間階層の拡張のための時間階層アクセス位置情報を、ファイルフォーマットのボックスを介して提供することにより、高効率ビデオ符号化ファイルフォーマット形式で格納されたビデオデータを復元する際、時間階層アクセス位置情報を認知するために、各サンプルに該当するネットワーク抽象化層のヘッダ情報を解析せず、時間階層の拡張が可能な位置のサンプルから選択的にサンプルを抽出し、復元器へ伝達することができる。

本発明の実施形態によるメディアデータ再生装置を示しているブロック図である。 本発明の実施形態によるメディアデータの再生過程を示しているフローチャートである。 本発明の実施形態により時間階層アクセスが可能なサンプルの位置情報を示すシンタックスである。 本発明の一実施形態による時間階層アクセスのサンプル情報を含んで格納されたＩＳＯＦＦ（ＩＳＯ ｂａｓｅ ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）に基づいたビデオファイルのボックス構造を示す図面である。 本発明の実施形態により選択的にサンプルが抽出される場面を示した図面である。

以下、添付の図面を参照して、本発明の好適な実施形態を詳細に説明する。そして、本発明を説明するにあたって、関連した公知の機能或いは構成についての具体的な説明は、本発明の要旨を不要に曖昧にすることを避けるために省略してもよい。また、後述の用語は、本発明における機能を考慮して定義された用語であって、これは、ユーザ、オペレータの意図又は慣例などによって異なってもよい。したがって、それらの定義は、本明細書の全般に渡る内容に基づいて定められるべきである。

以下に説明される本発明の実施形態において、ファイルフォーマットは、ＩＳＯＦＦに定義された階層的なボックスを含み、各ボックスは、符号化されたメディアデータ及びメディアデータの属性情報を格納している形態から構成される。

本発明の実施形態は、高効率ビデオ符号化技術において、時間階層アクセスピクチャーに該当するサンプルの番号を示すボックスを、ファイルフォーマットに追加することにより、時間階層の拡張が可能な位置の情報が、ファイル格納フォーマットを通じて提供されるようにする。

図１は、本発明の実施形態による高効率ビデオ符号化圧縮技術に基づき、メディアデータを受信し、格納及び抽出して復元される一連の過程を示しているブロック図である。

受信部１１０は、ネットワークストリーミングを通じて、メディアデータを受信して、格納フォーマットの形態で格納部１２０に格納する。格納部１２０は、ＩＳＯＦＦに定義された基本のボックス構造から構成されたメディアデータを格納する。格納部１２０に格納されたメディアデータに含まれたビデオファイルは、高効率ビデオ符号化圧縮技術を用いて符号化されたビデオデータストリームを含む。本発明の実施形態では、ＩＳＯＦＦに基づいた高効率ビデオ符号化ファイルフォーマット（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｆｉｌｅ Ｆｏｒｍａｔ）形態のファイルであると仮定する。

ビデオデータ抽出部１３０は、高効率ビデオ符号化ファイルフォーマットの形態で格納部１２０に格納されたビデオファイルの「ｍｄａｔ」ボックスから、符号化されたビデオデータストリームを抽出する。ビデオ属性抽出部１４０は、高効率ビデオ符号化ファイルフォーマットの形態で格納されたビデオファイルの「ｍｏｏｖ」ボックスから、ビデオデータ属性情報を抽出する。ｍｏｏｖボックスから抽出されたビデオデータ属性情報には、「ｓｔｂｌ（ｓａｍｐｌｅ ｔａｂｌｅ）」ボックスより提供されるサンプルの番号の情報、及び本発明の実施形態による時間階層アクセスが可能なサンプルの時間階層アクセス位置情報が含まれている。

時間階層抽出部１５０は、ビデオファイルを再生する間に、時間階層の拡張が要求される時点で、ビデオ属性抽出部１４０により抽出された時間階層の拡張が可能なサンプルの番号の情報に基づき、ビデオデータ抽出部１３０で抽出されたビデオデータストリームから、拡張された時間階層についてのサンプルを抽出する。このように、本発明の実施形態では、前記時間階層の拡張が可能なサンプルの番号の情報を提供することにより、復元部１６０でのビデオデータストリームの復元過程から獲得できる時間階層アクセス情報を、復元過程の前に認知してもよい。

時間階層抽出部１５０を通じて抽出された、拡張された時間階層のサンプルは、復元部１６０に伝達され、復元された後、再生部１７０を通じて再生される。

図２は、本発明の実施形態による高効率ビデオ符号化圧縮技術に基づき、メディアデータを受信し、格納及び抽出して復元される一連の過程を示すフローチャートである。

ステップ２１０において、ビデオファイルを含むメディアデータが受信されると、ステップ２２０では、前記受信されたビデオファイルを、ＩＳＯＦＦに基づいた格納フォーマットとして格納部に格納される。ステップ２３０では、高効率ビデオ符号化ファイルフォーマット形態のビデオファイルから、符号化されたビデオファイルのｍｄａｔボックスでビデオデータストリームを抽出する。ステップ２４０では、高効率ビデオ符号化ファイルフォーマット形態のビデオファイルのｍｏｏｖボックスから、ビデオデータ属性情報を抽出する。本発明の一実施形態により抽出されたビデオデータ属性情報には、ビデオファイルについての時間階層アクセスが可能なサンプルの時間階層アクセス位置情報が含まれる。ステップ２５０においては、ステップ２４０で抽出された時間階層アクセスが可能なサンプルの時間階層アクセス位置情報に基づいて、当該サンプルの後から基本の時間階層に該当するサンプルと、拡張された時間階層に該当するサンプルとを抽出する。ステップ２６０においては、抽出されたサンプルを復元して再生する。

図３は、本発明の実施形態により時間階層アクセスが可能なサンプルの時間階層アクセス位置情報を提供する時間階層アクセスサンプル（Ｔｅｍｐｏｒａｌ ｌａｙｅｒ ａｃｃｅｓｓ ｓａｍｐｌｅ：「ｔｌａｓ」）ボックスに含まれたサンプル情報のシンタックスを示す。

本発明の一実施形態によるｔｌａｓボックスは、ＩＳＯＦＦに基づいたサンプルテーブル（「ｓｔｂｌ」）ボックスに含まれ、ビデオデータストリーム内の時間階層の拡張のための時間階層アクセスが可能なサンプルの番号を提供する。図３のシンタックスを参照すると、本発明の実施形態による時間階層アクセス位置情報は、ビデオデータストリームの内で時間階層アクセスが可能なサンプルの総数の情報を示す「ｅｎｔｒｙ＿ｃｏｕｎｔ」と、前記ｅｎｔｒｙ＿ｃｏｕｎｔの数によって、時間階層アクセスが可能なサンプルの番号を示す「ｓａｍｐｌｅ＿ｎｕｍｂｅｒ」とを含む。受信器は、ｓａｍｐｌｅ＿ｎｕｍｂｅｒの値を通じて時間階層の拡張が可能なサンプルの番号に関する情報を認知することができ、前記認知したサンプルの番号に基づいて、ファイルフォーマットの形態で格納されたビデオファイルにおける時間階層の拡張に従って、拡張された時間階層サンプルの抽出の開始点からサンプルの抽出が可能である。

図４は、本発明の一実施形態による時間階層アクセスサンプル情報を含んで格納されたＩＳＯＦＦに基づいたビデオファイルのボックス構造を示している。

図４を参照すると、本発明の実施形態によるビデオファイルのボックス構造は、ファイルタイプの情報を示すｆｔｙｐボックス４１０と、ビデオデータ属性情報を格納しているｍｏｏｖボックス４２０と、符号化されたビデオデータを格納しているｍｄａｔボックス４３０とを含んでなる。

ｍｏｏｖボックス４２０に含まれるｔｒａｋボックス４２１は、オーディオと結合できる一つ以上のモーションシーケンスであるプレゼンテーション（ｐｒｅｓｅｎｔａｔｉｏｎ）のうちから、相互関連のサンプルの集合を示す一つのトラック（ｔｒａｃｋ）を検索するための情報を含む。ｔｒａｋボックス４２１に含まれるｔｋｈｄ（ｔｒａｃｋ ｈｅａｄｅｒ）ボックス４２２は、現在のトラックについての全ての情報を含む。

ｍｄｉａボックス４２３は、現在のトラックのメディアについての宣言情報を含む。ｍｄｉａボックス４２３に含まれるｍｉｎｆボックス４２４は、現在のトラックのメディアについての特性情報を含み、ｍｉｎｆボックス４２４の中には、トラック内のサンプルの時間、データ、及び位置についてのインデックシング情報を含むｓｔｂｌボックス４２５が含まれている。本発明の実施形態によるｔｌａｓボックス４２６は、ｓｔｂｌボックス４２５の中に位置して、時間階層アクセスが可能なサンプルのインデックシング情報を提供する。

図５は、本発明の実施形態により時間階層アクセスポイントを示す時間階層アクセスピクチャー（ｔｅｍｐｏｒａｌ ｌａｙｅｒ ａｃｃｅｓｓ ｐｉｃｔｕｒｅ）に該当するサンプルの番号を通じて、選択的にサンプルが抽出される場面を示している。

図５を参照すると、ビデオトラックに含まれた時間階層アクセスサンプル（ＴＬＡ ｓａｍｐｌｅ）５０１を開始点（ｔｅｍｐｏｒａｌ ｓｗｉｔｃｈｉｎｇ ｐｏｉｎｔ）として、時間階層アクセスサンプル５０１の時間階層の時間階層識別値（ｔｅｍｐｏｒａｌ＿ｉｄ＝１）より時間階層識別値が大きなサンプル（図５では、ｔｅｍｐｏｒａｌ＿ｉｄ＝２のサンプル）を抽出することができ、これを通じて時間階層アクセスサンプル５０１の後からはフレームレート（ｆｒａｍｅ ｒａｔｅ）が増加する。

一方、本発明の詳細な説明では、具体的な実施形態について説明したが、本発明の範囲から逸脱しない範囲内で様々な変形が可能である。従って、本発明の範囲は、説明された実施形態に限って定められてはいけず、後述の特許請求の範囲のみならず、この特許請求の範囲と均等なものにより定めるべきである。

１１０ 受信部
１２０ 格納部
１３０ ビデオデータ抽出部
１４０ ビデオ属性抽出部
１５０ 時間階層抽出部
１６０ 復元部
１７０ 再生部
４１０ ｆｔｙｐボックス
４２０ ｍｏｏｖボックス
４２１ ｔｒａｋボックス
４２２ ｔｋｈｄボックス
４２３ ｍｄｉａボックス
４２４ ｍｉｎｆボックス
４２５ ｓｔｂｌボックス
４２６ ｔｌａｓボックス
４３０ ｍｄａｔボックス
５０１ 時間階層アクセスサンプル

Claims (8)

1. ビデオデータを再生する方法であって、
   ビデオデータストリームと前記ビデオデータストリームの属性情報とを含むビデオファイルを受信する過程と、
   前記ビデオデータストリームから、基本時間階層に対応する時間階層識別値を有する少なくとも一つのサンプルを抽出し、前記抽出された少なくとも一つのサンプルを再生する過程と、
   前記抽出された少なくとも一つのサンプルを再生する間に時間階層の拡張が要求されると、前記属性情報に含まれる時間階層アクセスが可能なサンプルについての時間階層アクセス位置情報に基づいて、前記時間階層の拡張が可能なサンプルを抽出する過程と、
   前記時間階層の拡張が可能なサンプルを時間スイッチングポイントとして、前記時間スイッチングポイント以後に、前記ビデオデータストリームから、前記時間階層の拡張が可能なサンプルより大きい時間階層識別値を有する少なくとも一つのサンプルを抽出する過程と、
   前記時間階層の拡張が可能なサンプルとともに、前記時間階層の拡張が可能なサンプルより大きい時間階層識別値を有する少なくとも一つのサンプルを再生する過程と
   を含む方法。
2. 前記属性情報は、前記時間階層の拡張が可能な少なくとも一つのサンプルの総数を含む、請求項１に記載の方法。
3. 前記受信されたビデオファイルは、ＩＳＯＦＦ（ＩＳＯ ｂａｓｅ ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）に格納され、前記属性情報は、前記ＩＳＯＦＦのｓｔｂｌ（ｓａｍｐｌｅ ｔａｂｌｅ）ボックスに含まれる、請求項１に記載の方法。
4. 前記属性情報は、前記ｓｔｂｌボックスの内に含まれる新たなボックスに挿入される、請求項３に記載の方法。
5. ビデオデータを再生する装置であって、
   再生部と、
   ビデオデータストリームと前記ビデオデータストリームの属性情報とを含むビデオファイルを受信する受信部と、
   前記ビデオデータストリームから、基本時間階層に対応する時間階層識別値を有する少なくとも一つのサンプルを抽出し、前記抽出された少なくとも一つのサンプルを再生し、前記抽出された少なくとも一つのサンプルを再生する間に時間階層の拡張が要求されると、前記属性情報に含まれる時間階層アクセスが可能なサンプルについての時間階層アクセス位置情報に基づいて、前記時間階層の拡張が可能なサンプルを抽出し、前記抽出された時間階層の拡張可能なサンプルを時間スイッチングポイントとして、前記時間スイッチングポイント以後に、前記ビデオデータストリームから、前記時間階層の拡張が可能なサンプルより大きい時間階層識別値を有する少なくとも一つのサンプルを抽出し、前記時間階層の拡張が可能なサンプルとともに、前記時間階層の拡張が可能なサンプルより大きい時間階層識別値を有する少なくとも一つのサンプルを再生するように制御する制御部と、
   を含む装置。
6. 前記属性情報は、前記時間階層の拡張が可能な少なくとも一つのサンプルの総数を含む、請求項５に記載の装置。
7. 前記受信されたビデオファイルは、ＩＳＯＦＦ（ＩＳＯ ｂａｓｅ ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）に格納され、前記属性情報は、前記ＩＳＯＦＦのｓｔｂｌボックスに含まれる、請求項５に記載の装置。
8. 前記属性情報は、前記ｓｔｂｌボックスの内に含まれる新たなボックスに挿入される、請求項７に記載の装置。

Images