JP5304539B2 - メディア品質変換装置、メディア品質変換方法およびメディア品質変換プログラム - Google Patents

Description

本発明は、符号化されたメディアデータの品質変換に関し、特にスケーラブルコーデックで符号化されたメディアデータからの所望のレイヤのエキストラクト（抽出）処理に関する。

メディア配信サービスにおいて、受信端末性能に応じた映像品質でのメディア配信や、変動するネットワーク帯域に動的に対応した映像品質でのメディア配信を行う場合、かつては１つのコンテンツに対して複数種類の映像品質でエンコード済のデータを用意しておく必要があった。

たとえば映像配信において、受信端末性能として解像度に着目した場合、携帯端末からハイビジョンテレビに至るまで、端末の種類に応じて様々な解像度が要求される。このような場合、かつては携帯端末向けにＱＶＧＡ画質（Quarter Video Graphics Array、３２０×２４０ピクセル）、パーソナルコンピュータ向けにＶＧＡ画質（Video Graphics Array、６４０×４８０ピクセル）などというように、各々の映像品質でエンコード済のデータをそれぞれ別個に配信サーバ側で用意しておく必要があった。

また、ネットワーク帯域の変動への適応に着目すると、ネットワークの混雑や伝送経路上のノイズなどの理由で利用可能帯域が狭くなったときに、解像度やフレームレートを下げて必要なコンテンツビットレートが小さくすむ品質に落として送信したり、反対に利用可能帯域が広くなったときには上げたりする制御を行う場合、あらかじめ決めておいた映像品質でエンコード済のデータを配信サーバ側でそれぞれ用意しておく必要があった。

この問題を解決するのが、Ｈ．２６４／ＳＶＣ（Scalable Video Coding）のようなスケーラブルコーデックである。これを利用すれば、配信サーバ側で単一のメディアデータを用意するだけで、受信端末の側で各々の端末種類や利用可能帯域幅に適した映像品質の映像データを取り出すデータ抽出（エキストラクト）処理を行うことができ、これによって携帯端末からハイビジョンテレビに至るまで多くの種類の端末に応じた映像品質に対応することができる。

ところで、スケーラブルコーデックを利用した符号化の場合、複数の階層方法でデータを階層化しているものがある。たとえばＨ．２６４／ＳＶＣでは、空間スケーラビリティ（解像度）、時間スケーラビリティ（フレームレート）、ＳＮＲ（Signal to Noise ratio、Ｓ／Ｎ比）スケーラビリティの３種類の階層方法がある。本発明ではそれぞれの階層を、空間レイヤ、時間レイヤ、ＳＮＲレイヤと呼ぶ。

エキストラクト処理を行うために、あるデータがどのレイヤのどの階層に属するかをエンコードデータから読み取る必要がある。たとえば、Ｈ．２６４／ＳＶＣでエンコードされた符号化列はＮＡＬ（Network Abstruction Layer）ユニットに分割して格納される。Ｈ．２６４／ＳＶＣではＮＡＬユニットの先頭につけられるＮＡＬユニットヘッダが拡張され、拡張ＮＡＬヘッダが付与される。当該データの各レイヤの値はこの拡張ＮＡＬヘッダの中に格納されている。

したがって、エキストラクト処理では、エンコードデータの中からＮＡＬユニットヘッダ（拡張ＮＡＬユニットヘッダを含む）を読み出し、それぞれのＮＡＬユニットヘッダ中に含まれる各スケーラビリティの値をチェックし、この値に基づいてどのデータが必要であるかを判断して必要なデータを抽出し、不要なデータを破棄する。

これに関連する先行技術として、次の各文献がある。特許文献１には、ＰＩＤ（Packet Identifyer）範囲を計数とするフィルタを直列接続してデジタル放送信号の伝送ブロックを抽出するという技術が記載されている。特許文献２には、遅延時間の調節を容易に行うことを可能とするというスケーラブルコーデックの方法が記載されている。特許文献３および４には、異なるネットワーク環境などで利用可能なスケーラブルコーデックについての既存の技術が記載されている。

特開２００４−１１２３１６号公報 特開２００６−３３３５１９号公報 特表２００９−５０８４５４号公報 特表２００９−５１０９６６号公報

しかしながら、データ伝送のために利用する下位システムの種類によっては、レイヤを読み出す処理に必要な計算量が過大である場合がある。たとえば、映像配信での伝送システムとして多く使用されるＭＰＥＧ２（Moving Picture Experts Group phase 2） ＴＳ（Transport Stream）をＨ．２６４／ＳＶＣの下位システムとして使用する場合、ＮＡＬユニットの区切りを判定するためには、データのビット列の中からスタートコード（0x000001）を検出する必要がある。即ち、ＮＡＬユニットヘッダを読み出すには、すべてのビット列を検索する必要があるので、この処理にかかる計算量が大きくなる。

ＭＰＥＧ２ ＴＳの仕様によれば、Ｈ．２６４／ＳＶＣの３つのスケーラビリティのうち、空間スケーラビリティに関しては、空間レイヤごとにＭＰＥＧ２ ＴＳのヘッダで指定されるＰＩＤ（Packet Identifyer）を付与する。したがって、ＰＩＤをつかってデータを抽出すれば、空間レイヤの抽出を比較的少ない計算量で行うことができる。ＰＩＤを使ったデータの抽出に関する技術としては、たとえば特許文献１に記載の技術がある。

ＭＰＥＧ２ ＴＳではすべてのデータが一列になって伝送される。データの抽出にはランダムに並んだＰＩＤの中から抽出すべきＰＩＤかどうかを毎回チェックする必要がある。特許文献１に記載の技術では、ＰＩＤとは別に品質階層を設定し、階層ごとに必要となるＰＩＤをＴＳ内にまとめて配置して、デコード側でのデータ抽出時に処理負荷が軽減されるようにデータを配列したものである。

しかしながら、この技術では、ＭＰＥＧ２ ＴＳのＰＩＤのチェックのみを実施しているため、Ｈ．２６４／ＳＶＣの３種類のスケーラビリティのうち空間レイヤの抽出のみにしか対応できず、時間レイヤ、ＳＮＲレイヤに対応した抽出ができない。したがって、時間レイヤ、ＳＮＲレイヤを抽出するには、そのたびごとにＮＡＬユニットヘッダを検索する必要がある。

また、この技術ではピクチャ参照構造の境界を考慮していないため、映像視聴中にネットワーク帯域幅の変動等により動的に品質を変更する場合、ピクチャ参照境界以外の場所で品質変更が行われる可能性がある。ピクチャ参照境界以外の場所で品質が変更されると、受信側でのデコード処理でエラーが発生し、映像に乱れが生じる。

ここで、ピクチャとは１画面を構成するデータをさし、ピクチャ参照構造とはあるピクチャのデコード時に別のピクチャの情報を参照することをいう。たとえばＢピクチャのデコードにはＩピクチャとＰピクチャ（場合によってはほかのＢピクチャも）が必要である。なお、ピクチャ参照境界とはその境界を越えてピクチャ参照を行わないという境界を意味する。

また、特許文献２〜４も、スケーラブルコーデックのビットストリームから必要なメディア品質に応じたレイヤを抽出する技術が記載されてはいるが、これらの技術もまたピクチャ参照構造の境界を考慮していないので、上記の問題を解決していない。

本発明の目的は、スケーラブルコーデックを利用したメディア配信サービスで利用可能な、少ない計算量で迅速にレイヤの読み出し処理を行うことを可能とするメディア品質変換装置、メディア品質変換方法およびメディア品質変換プログラムを提供することにある。

上記目的を達成するため、本発明に係るメディア品質変換装置は、ネットワークを通じて伝送される、複数の異なるメディア品質で階層化されたメディアデータ群を含むビットストリームの中から、必要な階層のメディアデータを抽出して再生装置に出力するメディア品質変換装置であって、ビットストリームの中からメディアデータ群の先頭であるメディア境界を検出するメディア境界検出部と、再生装置で再生可能なメディア品質に基づいてメディアデータ群のうちいずれの階層に属するメディアデータを抽出するかを選択する抽出選択部と、メディアデータ群のうちいずれの階層に属するメディアデータを破棄すべきかを記憶する破棄対象データベースと、メディア境界が検出された場合にのみ、ビットストリームに含まれる個々のメディアデータ群の属する各々の階層に対して当該階層に属するメディアデータを破棄すべきか否かを判定してその判定結果を破棄対象データベースに記憶し、メディア境界が検出されない場合には当該メディアデータ群がどのレイヤに属するかの判定を省略する破棄判定部と、破棄対象データベースに記憶された内容に基づいて破棄すべき階層に属するメディアデータを破棄してその他のメディアデータを再生装置に出力するデータ破棄部とを備えることを特徴とする。

上記目的を達成するため、本発明に係るメディア品質変換方法は、ネットワークを通じて伝送される、複数の異なるメディア品質で階層化されたメディアデータ群を含むビットストリームの中から、必要な階層のメディアデータを抽出して再生装置に出力するメディア品質変換方法であって、ビットストリームの中からある一定条件のメディアデータ群の先頭であるメディア境界を検出し、再生装置で再生可能なメディア品質に基づいてメディアデータ群のうちいずれの階層に属するメディアデータを抽出するかを選択し、メディア境界が検出された場合にのみ、ビットストリームに含まれる個々のメディアデータ群の属する各々の階層に対して当該階層に属するメディアデータを破棄すべきか否かを判定してその判定結果を予め備えられた破棄対象データベースに記憶すると共にメディア境界が検出されない場合には当該メディアデータ群がどのレイヤに属するかの判定を省略し、破棄対象データベースに記憶された内容に基づいて破棄すべき階層に属するメディアデータを破棄してその他のメディアデータを再生装置に出力することを特徴とする。

上記目的を達成するため、本発明に係るメディア品質変換プログラムは、ネットワークを通じて伝送される、複数の異なるメディア品質で階層化されたメディアデータ群を含むビットストリームの中から、必要な階層のメディアデータを抽出して再生装置に出力するメディア品質変換装置にあって、メディア品質変換装置が備えるコンピュータに、ビットストリームの中からある一定条件のメディアデータ群の先頭であるメディア境界を検出する処理と、再生装置で再生可能なメディア品質に基づいてメディアデータ群のうちいずれの階層に属するメディアデータを抽出するかを選択する処理と、メディア境界が検出された場合にのみ、ビットストリームに含まれる個々のメディアデータ群の属する各々の階層に対して当該階層に属するメディアデータを破棄すべきか否かを判定してその判定結果を予め備えられた破棄対象データベースに記憶すると共にメディア境界が検出されない場合には当該メディアデータ群がどのレイヤに属するかの判定を省略する処理と、破棄対象データベースに記憶された内容に基づいて破棄すべき階層に属するメディアデータを破棄してその他のメディアデータを再生装置に出力する処理とを実行させることを特徴とする。

本発明は上述したように、メディア境界が検出された場合にのみ各々の階層に対して破棄すべきか否かを判定するように構成したので、レイヤの読み出し処理にかかる計算量を大幅に削減することができる。これによって、スケーラブルコーデックを利用したメディア配信サービスで利用可能な、少ない計算量で迅速にレイヤの読み出し処理を行うことが可能であるという、優れた特徴を持つメディア品質変換装置、メディア品質変換方法およびメディア品質変換プログラムを提供することができる。

図２で示したユーザＰＣの構成を示す説明図である。 本発明の第１の実施形態に係る映像配信システムの構成を示す説明図である。 図１に示した品質変換手段が実行する、ＭＰＥＧ２ ＴＳデータから各レイヤの構成情報を読み出す動作を示すフローチャートである。 図３のステップＳ１０１〜１０２で品質変換手段が映像データストリームから取得するＰＡＴおよびＰＭＴの情報の内容について示す説明図である。 図１で示した破棄対象レイヤ情報ＤＢの記憶内容についてさらに説明する説明図である。 図３のステップＳ１０４で示した、品質変換手段が行う時間レイヤの抽出処理の詳細について示すフローチャートである。 図６の続きである。 本発明の第２の実施形態に係るユーザＰＣの構成を示す説明図である。 図８に示した品質変換手段が実行する、ＭＰＥＧ２ ＴＳデータから各レイヤの構成情報を読み出す動作を示すフローチャートである。 本発明の第３の実施形態に係る映像配信システムの構成を示す説明図である。

（第１の実施形態）
以下、本発明の第１の実施形態の構成について添付図１〜３に基づいて説明する。
最初に、本実施形態の基本的な内容について説明し、その後でより具体的な内容について説明する。
本実施形態に係るメディア品質変換装置（ユーザＰＣ１０の品質変換手段２０）は、ネットワークを通じて伝送される、複数の異なるメディア品質で階層化されたメディアデータ群を含むビットストリームの中から、必要な階層のメディアデータを抽出して再生装置（ユーザＰＣ１０の再生手段４０）に出力するメディア品質変換装置であって、ビットストリームの中からメディアデータ群の先頭であるメディア境界を検出するメディア境界検出部（ピクチャ境界検出部２１）と、再生装置で再生可能なメディア品質に基づいてメディアデータ群のうちいずれの階層に属するメディアデータを抽出するかを選択する抽出選択部（レイヤ選択部２８）と、メディアデータ群のうちいずれの階層に属するメディアデータを破棄すべきかを記憶する破棄対象データベース（破棄対象レイヤ情報ＤＢ３１）と、メディア境界が検出された場合に、ビットストリームに含まれる個々のメディアデータ群の属する各々の階層に対して当該階層に属するメディアデータを破棄すべきか否かを判定してその判定結果を破棄対象データベースに記憶する破棄判定部２４と、破棄対象データベースに記憶された内容に基づいて破棄すべき階層に属するメディアデータを破棄してその他のメディアデータを前記装置に出力するデータ破棄部２５とを備える。

また、メディアデータ群に含まれる複数の前記メディアデータ間の前後間で通常存在する相互参照関係が当該部分を境として無関係となる部分を検出する参照関係リセット判定部（ＩＤＲ検出部２２）と、該部分で抽出選択部で選択された破棄対象となるレイヤが変更されたか否かを判定する破棄対象決定部（破棄対象レイヤ決定部２６）と、破棄対象となるレイヤが変更された場合に破棄対象データベースの内容を更新する破棄対象設定変更部（破棄対象レイヤ設定変更部２３）とを備える。

ここでいうメディアデータ群は、映像に関するメディアデータ群である。そして、メディア境界検出部は、同一時間に表示されるべきメディアデータ群の先頭を判定する。

この構成を備えることにより、本実施形態に係るメディア品質変換装置は、少ない計算量で迅速にレイヤの読み出し処理を行うことが可能となる。
以下、これをより詳細に説明する。

図２は、本発明の第１の実施形態に係る映像配信システム１の構成を示す説明図である。映像配信システム１は、メディア品質変換装置であり再生装置でもあるユーザＰＣ（Personal Computer）１０と映像配信サーバ５０とがインターネット６０を介して相互に接続されて構成される。映像配信サーバ５０は映像データストリームを送出し、ユーザＰＣ１０はこの映像データストリームをインターネット６０を介して受信して、品質変換手段２０を通じて映像品質をユーザＰＣ１０に適したものに変換して、再生手段４０で再生する。

図１は、図２で示したユーザＰＣ１０の構成を示す説明図である。ユーザＰＣ１０は通常のコンピュータ装置であり、コンピュータプログラムを実行する主体となるプロセッサ１１と、コンピュータプログラムおよびデータを記憶する記憶手段１２と、データの入出力を行う入出力手段１３と、インターネット６０を介して他のコンピュータ装置とのデータ通信を行う通信手段１４とを備える。

ここでいう再生装置は、ユーザＰＣ１０でなくても、たとえば携帯電話やゲーム機などのような可搬型の小型端末でもよいし、また品質変換手段２０および再生手段４０がコンピュータプログラムではなくハードウェアによって実現されるようにしてもよい。さらに、再生手段４０を品質変換手段２０とは物理的に別個の装置としてもよい。

プロセッサ１１で実行されるコンピュータプログラムである品質変換手段２０は、ピクチャ境界検出部２１、ＩＤＲ（Instantaneous Decoding Refresh、デコーダ復号動作の瞬時リフレッシュ）検出部２２、破棄対象レイヤ設定変更部２３、破棄判定部２４、データ破棄部２５、破棄対象レイヤ決定部２６、利用可能帯域計測部２７、レイヤ選択部２８といった各々の機能手段を備える。これらの各部の動作については後述する。

品質変換手段２０から出力された映像データストリームを入出力手段１３に表示して再生する、たとえばWindows Media Player（登録商標）やRealPlayer（登録商標）などのような再生手段４０もまた、コンピュータプログラムとしてプロセッサ１１で実行される。さらに、記憶手段１２には後述する破棄対象レイヤ情報ＤＢ（データベース）３１が記憶されている。

品質変換手段２０には、インターネット６０からＭＰＥＧ２ ＴＳ方式でパケット化されたＨ．２６４／ＳＶＣストリームがＴＳパケットの形で入力される。なお、データストリームがユーザＰＣ１０の品質変換手段２０に入力される以前に、ＭＰＥＧ２ ＴＳのＰＩＤ情報を用いて、不要な空間レイヤをあらかじめ破棄する手段を設けることもできるが、これは本発明の範囲ではない。

ピクチャ境界検出部２１は、入力されたＴＳパケットのＨ．２６４／ＳＶＣデータにピクチャとピクチャの境界が存在するか否かを検出する。ここで、１ピクチャとは、画像の表示時刻情報が同一なデータを指すこととする。したがって、ここでのピクチャはＨ．２６４／ＳＶＣ符号化方式でのＩピクチャ、Ｐピクチャ、Ｂピクチャのどの種類のピクチャでもよい。ピクチャ境界が存在する場合はＩＤＲ検出部２２へ、存在しない場合は破棄判定部２４へデータを出力する。

ＩＤＲ検出部２２は、ピクチャ境界検出部２１で検出されたピクチャ境界がＩＤＲ境界であるか否かを検出する。ＩＤＲ境界である場合には、破棄対象レイヤ設定変更部２３が破棄対象レイヤ決定部２６を参照し、破棄対象レイヤ情報が変更されている場合は、破棄対象レイヤ情報ＤＢ３１の内容を変更する。ＩＤＲ境界でない場合、破棄対象レイヤ情報が変更されていない場合は破棄判定部２４にデータを出力する。ＩＤＲ境界の意味については後述する。

破棄判定部２４は、破棄対象レイヤ情報ＤＢ３１の内容を参照し、当該データの破棄を行うかどうかを判定する。判定結果とともにデータ破棄部２５へデータを出力する。データ破棄部２５は、破棄判定部２４での判定結果をもとにデータの破棄を行う。レイヤ選択部２８は、再生手段４０で再生可能な画質などに応じて映像データストリームの中で利用するレイヤを決定する。

次に品質変換手段２０の動作について説明する。品質変換手段２０が映像品質の変換を始めるに当たって、そのシステムでの各レイヤの構成を把握する必要がある。各レイヤの構成は、ユーザがユーザＰＣ１０に入力してもよいが、ユーザＰＣ１０が受信したＭＰＥＧ２ ＴＳデータから自動的に読み出すようにしてもよい。ここでは後者の方法を説明する。

図３は、図１に示した品質変換手段２０が実行する、ＭＰＥＧ２ ＴＳデータから各レイヤの構成情報を読み出す動作を示すフローチャートである。品質変換手段２０は、インターネット６０からＭＰＥＧ２ ＴＳデータである映像データストリームを受信し、ＴＳデータの中からＰＩＤ＝０であるＴＳパケットを取得する（ステップＳ１０１）。ＰＩＤ＝０であるＴＳパケットはＰＡＴ（Program Association Table）と呼ばれ、ＰＭＴ（Program Map Table）のＰＩＤを含んでおり、ＴＳストリーム中にどのようなプログラム（番組）があるかを示す。

品質変換手段２０はさらに、ステップＳ１０１で取得したＰＡＴの情報をもとに、映像データストリームからＰＭＴを取得する（ステップＳ１０２）。図４は、図３のステップＳ１０１〜１０２で品質変換手段２０が映像データストリームから取得するＰＡＴおよびＰＭＴの情報の内容について示す説明図である。

ステップＳ１０１の処理で取得されるＰＡＴ５１は、ＴＳストリーム中のＰＭＴ５１ａとＰＩＤ５１ｂとの間の対応を示す。ステップＳ１０２の処理で取得されるＰＭＴ５２は、各々のＰＩＤ５２ａに対応するディペンデンシーＩＤ（dependency_id）５２ｂと、当該映像の解像度５２ｃ（pixel×pixel）、平均ビットレート５２ｄ、最高ビットレート５２ｅ、テンポラルＩＤの開始点５２ｆと終了点５２ｇの各データを含む。

前述のように、Ｈ．２６４／ＳＶＣでは空間レイヤごとにＰＩＤが異なる。したがって、ＰＩＤと空間レイヤは一対一に対応する。Ｈ．２６４／ＳＶＣの仕様により、空間レイヤはディペンデンシーＩＤ５２ｂによって識別可能である。また、ＳＶＣ拡張ディスクリプタには、当該映像の解像度５２ｃ、平均ビットレート５２ｄ、最高ビットレート５２ｅなどのような情報が含まれている。さらに、時間レイヤの階層数は、テンポラルＩＤの開始点５２ｆと終了点５２ｇの差によって示される。

品質変換手段２０は、取得したＰＭＴから、そのプログラム中に含まれる各エレメンタリーストリーム（音声・映像などのデータ）の種類やＴＳパケットのＰＩＤを読み取る（ステップＳ１０３）。Ｈ．２６４／ＳＶＣの場合は、図４に示したように、ＰＭＴ内のＳＶＣ拡張ディスクリプタ（SVC extension descriptor）が、ＳＶＣでのレイヤとＰＩＤとの間の対応を示している。

上述のステップＳ１０１〜１０３の処理と並行して、再生手段４０で再生可能な画質などに基づいて、この映像データストリームの中で再生に使用するレイヤをレイヤ選択部２８が選択する（ステップＳ１０６）。

その後品質変換手段２０は、エキストラクト処理を行って、ステップＳ１０６で選択されたレイヤを抽出する（ステップＳ１０４）。エキストラクト処理は、空間レイヤ、時間レイヤ、ＳＮＲレイヤの３つのレイヤでそれぞれ行うことができるが、本実施形態では時間レイヤの抽出を行う。

空間レイヤの抽出は前述のようにＰＩＤ５１ｂに基づいて可能である。また、ＳＮＲレイヤの抽出は、Ｈ．２６４／ＳＶＣのデータが格納されているＮＡＬユニット中のＮＡＬユニットヘッダを参照して行うことができる。ここでは、あらかじめ空間レイヤの抽出はＰＩＤによってなされたあとであり、不要な空間レイヤは既に排除されてからデータストリームが品質変換手段２０に入力されているものとする。さらに、ＳＮＲレイヤの抽出は時間レイヤの抽出後に行われるものとする。

図５は、図１で示した破棄対象レイヤ情報ＤＢ３１の記憶内容についてさらに説明する説明図である。破棄対象レイヤ情報ＤＢ３１には、各々のレイヤのＰＩＤ３１ａと、該レイヤが破棄対象であるか否かを示す破棄フラグ３１ｂ、および該レイヤの中で破棄すべきテンポラルＩＤ３１ｃとが対応づけられて記憶されている。破棄フラグ３１ｂは１（＝破棄すべき）と０（＝破棄すべきでない）の２値を持つデータである。破棄すべきテンポラルＩＤ３１ｃについては後述する。

図６〜７は、図３のステップＳ１０４で示した、品質変換手段２０が行う時間レイヤの抽出処理の詳細について示すフローチャートである。紙面の錯綜を回避するため、ここでは２枚に分けてフローチャートを描いている。処理フローへのデータがピクチャ境界検出部２１に、ＭＰＥＧ２ ＴＳのＴＳパケットの形で入力される。ここで、当該パケットのＰＩＤが読み出されていない場合は、ＰＩＤの読み出しを行う。入力されるＭＰＥＧ２ ＴＳパケットはパケットの欠落はなく、順番通りに入力されるものとする。

この入力されたＴＳパケット内に、ＰＥＳ（Packetized Elementary Stream）ヘッダが存在するかどうかをピクチャ境界検出部２１が確認する（ステップＳ２０１）。ＴＳヘッダのPayload_unit_start_indicatorが１であれば、当該ＴＳパケットにＰＥＳ先頭が入っていることを意味するので、ピクチャ境界検出部２１はこれを確認する。

ここで、ＰＥＳパケットとはＭＰＥＧ２ ＴＳシステムにおいて、符号化された映像データ（ＥＳ：Elementary Stream）を一定のまとまりでパケット化したものであり、ＰＥＳパケットの先頭には必ずＰＥＳヘッダが付く。ＥＳがＨ．２６４／ＳＶＣの符号化ストリームの場合、１つのピクチャは１つ以上のＰＥＳパケットに分割される。ＰＥＳの先頭はピクチャの先頭でない場合もあるが、ピクチャの先頭は必ずＰＥＳパケットの先頭になる。

ＰＥＳヘッダが存在する場合は、ピクチャ境界検出部２１がＰＥＳの先頭を読み出し（ステップＳ２０２）、さらに当該ＰＥＳがピクチャの先頭であるか否かをピクチャ境界検出部２１が確認する（ステップＳ２０３）。ピクチャの先頭であるか否かはＰＥＳパケットヘッダ内のＰＴＳ（Presentation Time Stamp）またはＤＴＳ（Decoding Time Stamp）の値で判断できる。ＰＴＳやＤＴＳが前のＰＥＳパケットのそれらと同じであれば先頭ではなく、異なっていればピクチャの先頭である。

前述のように、品質変換手段２０はここでは時間レイヤを抽出する。同一ピクチャ内では必ず同一の時間レイヤであるので、ピクチャの先頭で、当該ピクチャは抽出すべきレイヤか破棄すべきレイヤかを判断すれば、次のピクチャの先頭が来るまでの間は抽出／破棄のどちらを行うかを判断する必要はない。そこで、破棄対象レイヤ情報ＤＢ３１で、ピクチャ先頭での判断が抽出すべきレイヤのピクチャであれば破棄フラグ３１ｂを０（＝破棄しない）にし、破棄すべきピクチャであれば破棄フラグ３１ｂを１（＝破棄する）にする。

入力されたＴＳパケットがピクチャ先頭を含んだパケットである場合、ＩＤＲ検出部２２が破棄対象レイヤ情報ＤＢ３１の当該ＰＩＤ３１ａの破棄フラグ３１ｂを０（＝破棄しない）に設定する（ステップＳ２１１）。なお、後述するステップＳ２１４での処理（抽出すべき時間レイヤか）で抽出すべき時間レイヤである場合に、破棄フラグ３１ｂを０に設定する処理を追加するのであれば、ステップＳ２１１の処理は省略可能である。

ＩＤＲ検出部２２は次に、当該ピクチャがＩＤＲピクチャであるかどうかを確認する（ステップＳ２１２）。ＩＤＲピクチャとは、Ｈ．２６４／ＳＶＣのＩ、Ｐ、Ｂピクチャの相互参照状態の情報がリセットされ、その前後間で無関係となるピクチャである。したがって、破棄すべきレイヤを変更する場合はＩＤＲピクチャの境界で変更しないと、デコードの際参照しているピクチャが存在しないといった状況が発生し、映像の乱れにつながる。

ステップＳ２１２でＩＤＲピクチャであった場合、図７に飛んで、破棄対象レイヤ決定部２６が、破棄すべきレイヤの変更があるか否かをレイヤ選択部２８に問い合わせる（ステップＳ２２１）。破棄すべきレイヤに変更がある場合（ステップＳ２２２：ＹＥＳ）には、破棄対象レイヤ設定変更部２３が、その内容に基づいて破棄対象レイヤ情報ＤＢ３１の破棄すべきテンポラルＩＤ３１ｃの内容を更新する（ステップＳ２２３）。破棄すべきテンポラルＩＤ３１ｃは、ＰＩＤ３１ａに対してどのテンポラルＩＤを破棄するかを示すものである。破棄すべきテンポラルＩＤ３１ｃのデータは空欄である場合もありうるし、また複数のテンポラルＩＤを含む場合もありうる。

図４のＰＭＴ５２で示した例では、各々のＰＩＤ５２ａは、たとえばＱＱＶＧＡ（Quarter Quarter Video Graphics Array、１６０×１２０ピクセル）、ＱＶＧＡ（３２０×２４０ピクセル）、ＶＧＡ（６４０×４８０ピクセル）などのような映像の解像度５２ｃに対応している。これに対してテンポラルＩＤ５２ｆおよび５２ｇは０〜３の４レベルあり、このテンポラルＩＤ０〜３がそれぞれ３．２５ｆｐｓ（Frame Per Second）、７．５ｆｐｓ、１５ｆｐｓ、３０ｆｐｓという動画の滑らかさを示す各レイヤに対応している。

このとき、ＰＩＤ５２ａ＝１００であるＱＱＶＧＡの映像のみ３０ｆｐｓを抽出し、ＰＩＤ５２ａ＝１０１のＱＶＧＡ、ＰＩＤ５２ａ＝１０２のＶＧＡは１５ｆｐｓまでを抽出するものとすると、図５に示されているようにＰＩＤ５２ａ＝１００の場合は破棄すべきテンポラルＩＤ３１ｃは存在せず、ＰＩＤ５２ａ＝１０１もしくは１０２の場合は破棄すべきテンポラルＩＤ３１ｃは３（レイヤ３）のみである。

ステップＳ２２３に示した破棄対象レイヤ情報ＤＢ３１の更新後、ステップＳ２１４の処理へ進む。また、ステップＳ２２２で破棄すべきレイヤに変更がない場合は、やはりステップＳ２１４の処理へ進む。

一方、ステップＳ２１２でＩＤＲピクチャでない場合は、そのピクチャが破棄すべき時間レイヤのピクチャかどうか判断するため、破棄対象レイヤ設定変更部２３が、ＰＥＳパケットの先頭に入っているＮＡＬユニットヘッダ内のＳＶＣ拡張ヘッダから当該ピクチャがどの時間レイヤに属するかを示すテンポラルＩＤを読み出す（ステップＳ２１３）。そしてこのテンポラルＩＤが、破棄すべきレイヤのデータに該当するか否かを破棄対象レイヤ設定変更部２３が確認する（ステップＳ２１４）。

ステップＳ２１４で破棄すべき時間レイヤのデータだった場合は、破棄対象レイヤ設定変更部２３が破棄対象レイヤ情報ＤＢ３１の当該ＰＩＤ３１ａの破棄フラグ３１ｂを１（＝破棄する）に変更し（ステップＳ２１５）、ステップＳ２０５のデータ破棄の処理へ進む。

ステップＳ２１４で破棄しない時間レイヤのデータだった場合は、当該パケットは必要なデータなので、時間レイヤの抽出処理を終了し、これに続くＳＮＲレイヤの抽出などの処理に進む（ステップＳ２１６）。本発明ではこの後の処理には特に言及しない。なお、抽出されたデータはＭＰＥＧ２ ＴＳデータとして再構成され、品質変換手段２０から再生手段４０に出力される。

また、ステップＳ２０１で当該ＴＳパケット中にＰＥＳパケットの先頭が存在しない場合、およびステップＳ２０３で当該データがピクチャの先頭ではない場合には、破棄判定部２４が破棄対象レイヤ情報ＤＢ３１を参照して当該ＰＩＤ３１ａの破棄フラグ３１ｂが１（＝破棄する）であるかどうかを確認し（ステップＳ２０４）、その破棄フラグ３１ｂが１であればデータ破棄部２５がそのＰＩＤ３１ａに該当するＴＳパケットを破棄する（ステップＳ２０５）。破棄フラグ３１ｂが０であれば（ステップＳ２０４：ＮＯ）、このＴＳパケットは抽出すべきデータであるので、破棄せずに出力して次の処理へ進む（ステップＳ２１６）。

（第１の実施形態の全体的な動作）
次に、上記の実施形態の全体的な動作について説明する。本実施形態に係るメディア品質変換方法は、ネットワークを通じて伝送される、複数の異なるメディア品質で階層化されたメディアデータ群を含むビットストリームの中から、必要な階層のメディアデータを抽出するメディア品質変換方法であって、ビットストリームの中からある一定条件のメディアデータ群の先頭であるメディア境界を検出し（図６：ステップＳ２０１〜２０３）、再生装置で再生可能なメディア品質に基づいてメディアデータ群のうちいずれの階層に属するメディアデータを抽出するかを選択し、メディア境界が検出された場合にのみ、ビットストリームに含まれる個々のメディアデータ群の属する各々の階層に対して当該階層に属するメディアデータを破棄すべきか否かを判定してその判定結果を予め備えられた破棄対象データベースに記憶し（図６：ステップＳ２１３〜２１４）、破棄対象データベースに記憶された内容に基づいて破棄すべき階層に属するメディアデータを破棄してその他のメディアデータを再生装置に出力する（図６：ステップＳ２０４〜２０５）。

そして、メディアデータ群に含まれる複数のメディアデータの前後間で通常存在する相互参照関係が当該部分を境として無関係となる部分を検出し（図６：ステップＳ２１２）、該部分で破棄対象となるレイヤが変更されたか否かを判定し（図７：ステップＳ２２１〜２２２）、破棄対象となるレイヤが変更された場合に破棄対象データベースの内容を更新する（図７：ステップＳ２２３）。

ここで、上記各動作ステップについては、これをコンピュータで実行可能にプログラム化し、これらを前記各ステップを直接実行するコンピュータであるユーザＰＣ１０に実行させるようにしてもよい。
この構成および動作により、本実施形態は以下のような効果を奏する。

本実施形態に係るメディア品質変換装置は、ある一定条件のメディアデータ群（映像や音声など）の先頭でのみ当該データ群が所望のレイヤに属するデータかどうかを判定し、データ群の先頭以外のデータの処理時には当該データがどのレイヤに属するかを判定しない。このため、レイヤの読み出し処理にかかる計算量を大幅に削減し、この処理を迅速に行うことが可能である。

またこのメディア品質変換装置は、図６〜７のステップＳ２２１〜２２３で示したように、メディアデータの参照関係がリセットされた場合にのみ、いずれのレイヤを抽出するかという抽出条件を変更する。このため、運用中のシステムにおいて各スケーラビリティを動的に変更した場合であっても、抽出条件はピクチャ参照境界においてのみ変更されるので、デコードエラーが発生することはない。

（第１の実施形態の拡張）
上記で説明した第１の実施形態では、空間レイヤ、時間レイヤ、ＳＮＲレイヤの順にエキストラクト処理を行う例を述べたが、空間レイヤのエキストラクト処理を時間レイヤのエキストラクト処理と同時に行ってもよい。

すなわち、図６〜７に示した処理で、品質変換手段２０にすべての受信ＭＰＥＧ２ ＴＳパケットが入力され、図６のステップＳ２０１で各パケットのＴＳヘッダを確認する際に、ＰＩＤも同時に確認するようにする。このＰＩＤが破棄対象レイヤ情報ＤＢ３１の破棄すべきテンポラルＩＤ３１ｃに該当していれば、破棄すべき空間レイヤであるので、即座にステップＳ２０５に飛んでパケットを破棄する。そうでない場合は、ステップＳ２１６に飛んで時間レイヤ抽出に必要な次の処理へ進む。

このようにすることで、前述の第１の実施形態では空間レイヤのエキストラクト処理時と時間レイヤのエキストラクト処理時にそれぞれ１度ずつ、計２回ＴＳヘッダの読み出しを行っていたものを、１回の読み出しで済ませることができるので、さらなる処理の簡略化につなげることができる。

（第２の実施形態）
本発明の第２の実施形態では、前述の第１の実施形態に係るメディア品質変換装置に、ビットストリームの伝送に利用可能なネットワーク（インターネット６０）の帯域幅を測定する利用可能帯域測定部３２７を追加し、抽出選択部は再生装置で再生可能なメディア品質およびこの帯域幅の測定結果に基づいてメディアデータ群のうちいずれの階層に属するメディアデータを抽出するかを選択する構成としている。

図８は、本実施形態に係るメディア品質変換装置であり再生装置でもあるユーザＰＣ３１０の構成を示す説明図である。ユーザＰＣ３１０は、前述の第１の実施形態に係るユーザＰＣ１０と同一のハードウェア構成を備える。そして、ユーザＰＣ３１０のプロセッサ１１で動作する品質変換手段３２０は、前述の第１の実施形態に係る品質変換手段２０に、さらに利用可能帯域計測部３２７を追加した構成となっている。

利用可能帯域計測部３２７は、インターネット６０で映像データストリームの伝送に利用可能な帯域幅を測定する機能を持つ。そしてレイヤ選択部２８は、その利用可能な帯域幅の測定結果と、再生手段４０で再生可能な画質などに応じて、映像データストリームの中で利用するレイヤを決定する。これ以外の構成および各部の機能は、前述の第１の実施形態に係るユーザＰＣ１０の構成と同一であるので、名称および参照番号を同一とする。

図９は、図８に示した品質変換手段３２０が実行する、ＭＰＥＧ２ ＴＳデータから各レイヤの構成情報を読み出す動作を示すフローチャートである。この動作は、図３で示した品質変換手段２０が行う動作のステップＳ１０１〜１０３と並行して、利用可能帯域計測部３２７が入力された映像データストリームの伝送に利用可能なインターネット６０の帯域幅を測定する（ステップＳ４０５）動作を付加し、その後でステップＳ１０６の再生レイヤの選択を行うようにしている。

これによって、たとえばネットワークの混雑や伝送経路上のノイズなどの原因で利用可能帯域が狭くなった場合にも、その状態に適した画質のデータをデータストリームから抽出して再生することができる。

（第３の実施形態）
本発明の第３の実施形態では、メディア品質変換装置および再生装置を物理的に別個の装置とし、複数のネットワーク間の接続部にこのメディア品質変換装置を設置するようにしている。

図１０は、本発明の第３の実施形態に係る映像配信システム５０１の構成を示す説明図である。映像配信システム５０１は、第１のネットワーク５０２と第２のネットワーク５０３が接続されて構成され、その第１のネットワーク５０２と第２のネットワーク５０３との間の接続点にメディア品質変換装置５２０が設置されている。第１のネットワーク５０２には映像配信サーバ５５０が接続され、第２のネットワークには再生装置５４０が接続されている。映像配信サーバ５５０が送信するビットストリームを、再生装置５４０が再生する。

たとえば第１のネットワーク５０２が一般的なインターネットで、第２のネットワーク５０３が携帯端末の公衆無線通信網である場合などのように、複数のネットワークの間で伝送および再生が可能なメディアデータの品質が異なる場合がある。その場合、映像配信サーバ５５０が送信するビットストリームのうち、第２のネットワーク５０３で伝送できない、もしくは第２のネットワーク５０３に属する再生装置５４０で再生できない高品質のレイヤに属するデータは必要ではない場合がある。

その場合に、メディア品質変換装置５２０は映像配信サーバ５５０から受信したビットストリームの、第２のネットワーク５０３で必要とされない品質のレイヤのデータをあらかじめ破棄してから、その処理済みのデータストリームを改めて第２のネットワーク５０３に流し、再生装置５４０はこれを受信して再生する。ここでメディア品質変換装置５２０が行う動作は、第１の実施形態で説明した品質変換手段２０の動作と同一である。また、映像配信サーバ５５０および再生装置５４０の動作も、第１の実施形態で説明した映像配信サーバ５０および再生手段４０の動作と同一である。

さらに、映像配信サーバ５５０と第１のネットワーク５０２の間にメディア品質変換装置５２０を設けて、映像配信サーバ５５０から送信されるビットストリームを直接メディア品質変換装置５２０に入力して、第１のネットワーク５０２で必要とされない品質のレイヤのデータをあらかじめ破棄してから、処理済みのデータストリームを第１および第２のネットワーク５０２および５０３に流すようにしてもよい。これは、映像配信サーバ５５０が持つ映像データがネットワークでの配信に向かない高画質の映像データである場合に、これをメディア品質変換装置５２０によって配信可能なデータに変換してから配信するという用途で利用可能である。

これまで本発明について図面に示した特定の実施形態をもって説明してきたが、本発明は図面に示した実施形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができる。

本発明は、スケーラブルコーデックを利用した映像や音声などのメディア配信において利用できる。

１、５０１ 映像配信システム
１０、３１０ ユーザＰＣ
１１ プロセッサ
１２ 記憶手段
１３ 入出力手段
１４ 通信手段
２０、３２０ 品質変換手段
２１ ピクチャ境界検出部
２２ ＩＤＲ検出部
２３ 破棄対象レイヤ設定変更部
２４ 破棄判定部
２５ データ破棄部
２６ 破棄対象レイヤ決定部
２８ レイヤ選択部
３１ 破棄対象レイヤ情報ＤＢ
４０ 再生手段
５０、５５０ 映像配信サーバ
５１ ＰＡＴ
６０ インターネット
３２７ 利用可能帯域計測部
５０２ 第１のネットワーク
５０３ 第２のネットワーク
５２０ メディア品質変換装置
５４０ 再生装置

Claims (9)

1. ネットワークを通じて伝送される、複数の異なるメディア品質で階層化されたメディアデータ群を含むビットストリームの中から、必要な階層のメディアデータを抽出して再生装置に出力するメディア品質変換装置であって、
   前記ビットストリームの中から前記メディアデータ群の先頭であるメディア境界を検出するメディア境界検出部と、
   前記再生装置で再生可能なメディア品質に基づいて前記メディアデータ群のうちいずれの階層に属するメディアデータを抽出するかを選択する抽出選択部と、
   前記メディアデータ群のうちいずれの階層に属するメディアデータを破棄すべきかを記憶する破棄対象データベースと、
   前記メディア境界が検出された場合にのみ、前記ビットストリームに含まれる個々の前記メディアデータ群の属する各々の階層に対して当該階層に属するメディアデータを破棄すべきか否かを判定してその判定結果を前記破棄対象データベースに記憶し、前記メディア境界が検出されない場合には当該メディアデータ群がどのレイヤに属するかの判定を省略する破棄判定部と、
   前記破棄対象データベースに記憶された内容に基づいて前記破棄すべき階層に属するメディアデータを破棄してその他の前記メディアデータを前記再生装置に出力するデータ破棄部と
   を備えることを特徴とするメディア品質変換装置。
2. 前記メディアデータ群に含まれる複数の前記メディアデータの前後間で通常存在する相互参照関係が当該部分を境として無関係となる部分を検出する参照関係リセット判定部と、
   該部分で前記抽出選択部で選択された破棄対象となるレイヤが変更されたか否かを判定する破棄対象決定部と、
   前記破棄対象となるレイヤが変更された場合に前記破棄対象データベースの内容を更新する破棄対象設定変更部と
   を備えることを特徴とする、請求項１に記載のメディア品質変換装置。
3. 前記メディアデータ群が、映像に関するメディアデータ群であることを特徴とする、請求項１もしくは請求項２に記載のメディア品質変換装置。
4. 前記メディア境界検出部が、同一時間に同時に表示されるべきメディアデータ群の先頭を検出することを特徴とする、請求項１ないし３のうちいずれか一項に記載のメディア品質変換装置。
5. 前記ビットストリームの伝送に利用可能な前記ネットワークの帯域幅を測定する利用可能帯域測定部を有し、
   前記抽出選択部が前記再生装置で再生可能なメディア品質および前記帯域幅の測定結果に基づいて前記メディアデータ群のうちいずれの階層に属するメディアデータを抽出するかを選択することを特徴とする、請求項１ないし４のうちいずれか一項に記載のメディア品質変換装置。
6. ネットワークを通じて伝送される、複数の異なるメディア品質で階層化されたメディアデータ群を含むビットストリームの中から、必要な階層のメディアデータを抽出して再生装置に出力するメディア品質変換方法であって、
   前記ビットストリームの中からある一定条件のメディアデータ群の先頭であるメディア境界を検出し、
   前記再生装置で再生可能なメディア品質に基づいて前記メディアデータ群のうちいずれの階層に属するメディアデータを抽出するかを選択し、
   前記メディア境界が検出された場合にのみ、前記ビットストリームに含まれる個々の前記メディアデータ群の属する各々の階層に対して当該階層に属するメディアデータを破棄すべきか否かを判定してその判定結果を予め備えられた破棄対象データベースに記憶すると共に前記メディア境界が検出されない場合には当該メディアデータ群がどのレイヤに属するかの判定を省略し、
   前記破棄対象データベースに記憶された内容に基づいて前記破棄すべき階層に属するメディアデータを破棄してその他の前記メディアデータを前記再生装置に出力することを特徴とするメディア品質変換方法。
7. 前記メディアデータ群に含まれる複数の前記メディアデータの前後間で通常存在する相互参照関係が無関係となる部分を検出し、
   該部分で前記破棄対象となるレイヤが変更されたか否かを判定し、
   前記破棄対象となるレイヤが変更された場合に前記破棄対象データベースの内容を更新することを特徴とする、請求項６に記載のメディア品質変換方法。
8. ネットワークを通じて伝送される、複数の異なるメディア品質で階層化されたメディアデータ群を含むビットストリームの中から、必要な階層のメディアデータを抽出して再生装置に出力するメディア品質変換装置にあって、
   前記メディア品質変換装置が備えるコンピュータに、
   前記ビットストリームの中からある一定条件のメディアデータ群の先頭であるメディア境界を検出する処理と、
   前記再生装置で再生可能なメディア品質に基づいて前記メディアデータ群のうちいずれの階層に属するメディアデータを抽出するかを選択する処理と、
   前記メディア境界が検出された場合にのみ、前記ビットストリームに含まれる個々の前記メディアデータ群の属する各々の階層に対して当該階層に属するメディアデータを破棄すべきか否かを判定してその判定結果を予め備えられた破棄対象データベースに記憶すると共に前記メディア境界が検出されない場合には当該メディアデータ群がどのレイヤに属するかの判定を省略する処理と、
   前記破棄対象データベースに記憶された内容に基づいて前記破棄すべき階層に属するメディアデータを破棄してその他の前記メディアデータを前記再生装置に出力する処理と
   を実行させることを特徴とするメディア品質変換プログラム。
9. 前記メディア品質変換装置が備えるコンピュータに、
   前記メディアデータ群に含まれる複数の前記メディアデータの前後間で通常存在する相互参照関係が無関係となる部分を検出する処理と、
   該部分で前記破棄対象となるレイヤが変更されたか否かを判定する処理と、
   前記破棄対象となるレイヤが変更された場合に前記破棄対象データベースの内容を更新する処理とを実行させることを特徴とする、請求項８に記載のメディア品質変換プログラム。

Images