JP5296245B2 - 受信機におけるビデオ復号 - Google Patents

Description

本開示は、一般にテレコミュニケーションシステムに関し、特に、受信機におけるビデオ復号のための概念及び技術に関する。

帯域幅がプレミアムに達したテレコミュニケーション界において、ビデオ符号化は重要な役割を果たす。ビデオ符号化は、受信機でビデオ画像を再生するために送信媒体を介して送らなければならない情報の量を劇的に低減することができる。これは、ビデオシーケンス内の隣接する２つのフレーム間にほとんど差異がないという事実を利用することによって達成される。唯一の差異はしばしば、画像のある部分がフレーム間で微かに移動することである。ビデオ符号化は、この差異を表す情報を生成し、その情報を圧縮する処理である。

受信機において、圧縮された情報は画像を復元するために復号される。各フレームを復号するためにかかる時間は、そのフレーム内の情報量に依存する。リアルタイムで動作する場合、ビデオ復号器は、

未満である平均復号時間を維持しなければならない。しかし、高性能ビデオ符号化技術であっても、もし与えられた数のフレームが高レベルの情報コンテンツを有していれば、システムのリアルタイム制約が満たされないであろう可能性が未だにある。これは特に、ビデオ復号が、他の受信機能と共有される中央処理装置（ＣＰＵ）によって実行される場合に起こりうる。もしリアルタイム制約が満たされなければ、ビデオ画像は、オーディオとの同期化を停止又は喪失しているように見える。加えて、全てのビデオフレームを復号するために十分な時間がないために、ビデオフレームは失われるであろう。

従って当該技術において、ビデオフレームが高レベルの情報コンテンツを含む場合、画像品質の低減を最小限にしながら、同時に受信機の計算リソースを最適に利用するために、ビデオシーケンス内のフレームを選択的にドロップする技法へのニーズがある。

受信機の１つの局面が開示される。受信機は、ビデオ復号器と、複数のビデオフレームを備えるビデオシーケンスを受信するように構成されたフレームスロットルとを含み、フレームスロットルは更に、ビデオ復号器へビデオシーケンスを提供する前に、ビデオシーケンスからビデオフレームのうちの１つ又は複数をドロップするように構成される。

ビデオフレームを復号する方法の１つの局面が開示される。方法は、複数のビデオフレームを備えるビデオシーケンスを受信することと、ビデオシーケンスを復号することと、ビデオシーケンスを復号する前に、ビデオシーケンスからビデオフレームのうちの1つ又は複数をドロップすることを含む。

受信機の別の局面が開示される。受信機は、複数のビデオフレームを備えるビデオシーケンスを受信する手段と、ビデオシーケンスを復号する手段と、復号する手段へビデオシーケンスを提供する前に、ビデオシーケンスからビデオフレームのうちの1つ又は複数をドロップする手段とを含む。

図１は、マルチメディアブロードキャストシステムの例を示す概念ブロック図である。 図２は、マルチメディアブロードキャストシステムにおける送信機及び受信機の例を示す概念ブロック図である。 図３Ａは、ビデオ復号器の例を示す概念ブロック図である。 図３Ｂは、フレームスロットルを備えるビデオ復号器の例を示す概念ブロック図である。 図４は、受信機のハードウェア実装の例を示す概念ブロック図である。 図５は、ビデオ復号器内のフレームスロットルによって実現されるフレームドロップポリシーの例を示すフローチャートである。 図６は、受信機の例を示す機能ブロック図である。

無線通信システムの様々な局面が、添付図面において、限定ではなく例として示される。

添付図面と関連する以下の詳細な説明は、本発明の様々な構成の説明として意図されており、本発明が実現される構成のみを表すようには意図されていない。詳細な説明は、本発明の全体的な理解を提供する目的のために、特定の詳細を含む。しかし、本発明がこれら特定の詳細なしにも実現されうることが当業者には明らかであるだろう。いくつかの例において、周知の構成及び構成要素が、本発明の概念を不明瞭にすることを避けるためにブロック図形式で示される。

本明細書に開示された概念及び技術は、様々な有線及び無線通信システムにおいて用いられうる。有線システムの例は、イーサネット（登録商標）システム、デジタル加入者線（ＤＳＬ）、ケーブルモデム、光ファイバー、標準的な電話線、及びその他を含む。無線システムの例は、セルラーシステム、ブロードキャストシステム、無線ローカルエリアネットワーク（ＷＬＡＮ）システム、及びその他を含む。セルラーシステムは、符号分割多元接続（ＣＤＭＡ）システム、時分割多元接続（ＴＤＭＡ）システム、周波数分割多元接続（ＦＤＭＡ）システム、直交周波数分割多元接続（ＯＦＤＭＡ）システム、単一キャリアＦＤＭＡ（ＳＣ−ＦＤＭＡ）システム、及びその他の多元接続システムでありうる。ブロードキャストシステムは、メディアフローシステム、デジタル・ビデオ・ブロードキャスティング・フォー・ハンドヘルド（ＤＶＢ−Ｈ）システム、地上テレビジョンブロードキャスティングのための統合サービスデジタルブロードキャスティング（ＩＳＤＢ−Ｔ）システム、及びその他のブロードキャストシステムでありうる。ＷＬＡＮシステムは、ＩＥＥＥ ８０２．１１システム、Ｗｉ−Ｆｉシステム、及びその他でありうる。これらシステムは、当該技術において周知である。

本明細書に開示された概念及び技術は、多数のサブキャリアを備えるシステムと同様に、単一サブキャリアを備えるシステムに適している。多数のサブキャリアは、ＯＦＤＭ、ＳＣ―ＦＤＭＡ、又はその他いくつかの変調技法を用いて獲得されうる。ＯＦＤＭ及びＳＣ−ＦＤＭＡは、周波数帯域（例えば、システム帯域幅）を、トーン、ビン等とも称される多数の直交サブキャリアに分割する。各サブキャリアは、データを用いて変調されうる。一般に変調記号は、ＯＦＤＭの場合は周波数領域内であり、ＳＣ−ＦＤＭＡの場合は時間領域内でサブキャリア上で送られる。ＯＦＤＭは、例えばメディアフロー、ＤＶＢ−Ｈブロードキャストシステム及びＩＳＤＢ−Ｔブロードキャストシステム、ＩＥＥＥ ８０２．１１ａ／ｇ ＷＬＡＮシステム、及びその他のセルラーシステムのような様々なシステムにおいて用いられる。受信機のある局面及び構成が、例えばメディアフローシステムのようなＯＦＤＭを用いるブロードキャストシステムに関して以下で説明される。

図１は、マルチメディアブロードキャストシステムの例を示す概念ブロック図である。多数の無線加入者ユニット１０６へワイドエリアコンテンツ及びローカルエリアコンテンツを配信するために、ナショナルコンテンツプロバイダ及びローカルコンテンツプロバイダのためのアクセスポイントとなる配信センター１０２とともに、ブロードキャストシステム１００が示される。いくつかの地理的領域において、ワイドエリアコンテンツ及び／又はローカルエリアコンテンツは、送信機ユニット１０８のネットワークによって無線加入者ユニット１０６へ直接配信される。ワイドエリアコンテンツ及び／又はローカルエリアコンテンツは、セルラーネットワーク１１０によって無線加入者ユニット１０６へ配信されることもできる。

無線加入者ユニットは、固定式又は移動式であることができ、アクセス端末、ハンドセット、無線加入者、無線ユニット、無線デバイス、無線通信デバイス、無線テレコミュニケーションデバイス、無線電話、セルラー電話、ユーザ端末、ユーザ装置、モバイル局、モバイルユニット、加入者局、無線局、モバイルラジオ、ラジオ電話、又はその他いくつかの用語で称されることもできる。無線加入者ユニット１０６は、モバイル電話、携帯情報端末（ＰＤＡ）、パーソナルコンピュータ又はラップトップコンピュータ、ゲーム機、又は、ワイドエリアコンテンツ及び／又はローカルエリアコンテンツを受信できるその他のデバイスであることができる。

図２は、マルチメディアブロードキャストシステム２００内の送信機２０２及び受信機２０４を示す概念ブロック図である。この構成において、送信機２０２は、送信機ユニット又は基地局の一部であり、受信機２０４は無線加入者ユニットの一部であることができる。あるいは、送信機２０２が無線加入者ユニットの一部であり、受信機２０４が基地局の一部であることができる。一般に、送信機２０２及び受信機２０４は、送信媒体を介して通信する任意の適切なデバイスの一部でありうる。

送信機２０２において、ビデオ符号器２０６がビデオシーケンスのフレームを符号化する。ビデオ符号化器２０６の１つの構成において、各フレームは、Ｉフレーム、Ｐフレーム、又はＢフレームの何れかとして符号化される。Ｉフレーム（又は「イントラフレーム」）は、ビデオシーケンス内の他のフレームから独立してビデオ符号化器２０４によって処理されるデータのフレームである。Ｐフレーム（又は「予測フレーム」）は、Ｉフレームに後続し、ビデオシーケンス内の先行するＩフレームからの変化を表すデータのみを含む。Ｂフレーム（又は「双方向フレーム」）は、先行フレームからの変化、又はビデオシーケンス内の次のフレームとのコンテンツ内の差異の何れかを表すデータのみを含む。

符号化処理は、各フレーム内のデータを離散空間周波数係数に変換することと、変換係数を量子化することとを含む。１つの構成において、ビデオ符号化器２０６は、ビデオシーケンスをベースチャネルとエンハンストチャネルとの２つのチャネルに分割する。ベースチャネルは、エンハンストチャネルよりも高度な量子化を有する。

量子化された変換係数は、適切なアルゴリズムを用いて圧縮される。一般的な圧縮アルゴリズムは、エントロピー符号化を用いるＨ．２６４である。エントロピーは、頻繁に起こる係数を置換するために短コードが用いられ、より頻繁でない係数を置換するために長コードが用いられる技法である。その結果は、同期化及び制御情報と結合すると、圧縮されたビデオビットストリームを生成する可変長バイナリコードのシーケンスである。

送信（ＴＸ）データプロセッサ２０８は、データ記号を生成するために圧縮されたビデオビットストリームを処理（例えばターボ符号化、インタリーブ、及び記号マップ）する。変調器２１０は、ＯＦＤＭ記号を生成するために、データ記号にＯＦＤＭ変調を行う。アナログ・フロント・エンド（ＡＦＥ）２１２は、ＯＦＤＭ記号を処理（例えばアナログ変換、増幅、フィルタ、及び周波数アップコンバート）し、アンテナ２１４を経由して送信される変調信号を生成する。

受信機２０４において、アンテナ２１６が送信機２０２から変調信号を受信し、それをＡＦＥ２１８へ提供する。ＡＦＥ２１８は、ＯＦＤＭ記号を復元するために変調信号を処理（例えばフィルタ、増幅、及び周波数ダウンコンバート）する。復調器２２０は、送信機２０２から送られたデータ記号の推定値であるデータ記号推定値を生成するために、ＯＦＤＭ記号にＯＦＤＭ復調を行う。復調器２２０は、データ記号推定値を受信（ＲＸ）データプロセッサ２２２へ提供する。ＲＸデータプロセッサ２２２は、圧縮されたビデオビットストリームを復元するために、データ記号推定値を処理（例えば記号デマップ、デインタリーブ、及びターボ復号）する。ビデオ復号器２２４は、ディスプレイ２２６に表示する一連のビデオフレームを生成するために、圧縮されたビデオビットストリームを復号する。

図３Ａは、ビデオ復号器の概念ブロック図である。ビデオ復号器２２４は、ＲＸデータプロセッサ２２２（図２に示す）から出力された圧縮されたビデオビットストリームをバッファするフレームバッファ３０２を含む。フレームバッファ３０２は、例えばフロー制御、ハンドシェイク、及び誤り検出／復元のようなトランスポート層機能を実行することもできる。第１の復号器３０４は、ベースチャネル及びエンハンストチャネル内の各ビデオフレームについて量子化された変換係数を復元するために、エントロピー復号を実行する。量子化された変換係数は、完全に再構築されたビデオフレームを生成するためのチャネル結合、逆量子化、及び逆変換のために、第２の復号器３０６へ提供される。Ｐフレーム及びＢフレームの場合には、第２の復号器３０６の動作は、１つ又は複数の隣接したビデオフレームに関連して実行される。ビデオレンダラ３０８は、ビデオフレームをオーディオとともに同期化し、適切なフレームレートで、適切なシーケンスでビデオフレームをディスプレイ２２６（図２に示す）へ表示する。

上述したように、システムのリアルタイム制約は、ビデオフレームを復号する平均時間が

を超えないことを必要とする。これは、復号するために

より長い時間を必要とするＩフレームの埋め合わせをするために、いくつかのＰフレーム及びＢフレームが

より短い時間で復号されることが必要でありうることを意味する。確かに、ビデオシーケンス内により多くのＩフレームが含まれる場合、ビデオ品質は向上するであろうが、もしＩフレームの数が非常に多くなると、ビデオ復号器２２６はシステムのリアルタイム制約を満たすことができないだろう。

任意の与えられたビデオシーケンス内のＩフレームの数に加えて、受信機復号器のハードウェア実装は、システムのリアルタイム制約を満たす能力に悪影響をもたらしうる。受信機のハードウェア構成の例が図４に示される。図２乃至４に示すように、受信機２０４はデジタル信号プロセッサ（ＤＳＰ）４０２を含む。ＤＳＰ４０２は、信号処理機能を高速度で実行するように設計された特定用途向けプロセッサである。この例においてＤＳＰ４０２は、受信機２０４における復調器２２０の機能と、ＲＸデータプロセッサ２０８の機能とを実現する。マイクロプロセッサ４０４は、ディスプレイ（図示せず）へのインタフェースを操作し、送信機２２０を用いてコマンド及び制御シグナリングを扱い、受信機２０４におけるその他全ての機能を調整する。受信機２０４の１つの構成において、マイクロプロセッサ４０４もまた、第１の復号器３０４の機能（例えばエントロピー復号）を実行する。ビデオコア４０６は、第２の復号器３０６の機能を提供するために用いられる（例えば、量子化された変換係数から完全に再構築されたビデオフレームを生成する）。１つの構成においてビデオコア４０６は、特定用途向け集積回路（ＡＳＩＣ）を用いて実現されうる。オーディオ回路４０８は、ビデオシーケンス内のフレームにオーディオを提供するために用いられる。最後にＡＦＥ４１０は、アンテナ４１２によって受信した変調信号を処理する。

エントロピー復号を実行するためにマイクロプロセッサ４０４を用いることは、結果として、システムのリアルタイム制約を満たすビデオ復号器の能力に不確実性をもたらす。この構成において、エントロピー復号機能は、限られた量の処理リソースのために、他の受信機機能と競合しなければならない。その結果、ビデオ復号器２２６は、平均復号時間を

に維持することができないだろう。

ビデオ復号器２２６がシステムのリアルタイム制約を満たせないことは、ビデオレンダラ３０８に到着するフレームの遅延をもたらしうる。表示時間の後にビデオレンダラ３０８に到着する任意のフレームは、ビデオとオーディオとの間の同期化を維持するためにドロップされねばならない。その結果、ビデオ復号器２２６は、フレームを復号するために使用されない貴重な処理リソースを無駄に消費しうる。従って、フレームを復号する平均時間がシステムのリアルタイム制約を超えて増加する場合、もし復号前にビデオフレームがドロップされれば、性能における著しい向上を実現できる。

図３Ｂに戻って、フレームスロットル３０１は、ビデオフレームがフレームバッファ３０２を通過する前にビデオフレームを破棄するために用いられる。ビデオ復号器２２６の１つの構成において、第１の復号器３０４からのフィードバックがフレームスロットル３０１へ提供される。このフィードバックは、各ビデオフレームの復号にかかる時間の測定値を提供する。フレームスロットル３０１は、到来するビデオフレームの計算にかかるであろう時間の推定値を計算するために、これらの測定値を予測モジュール（図示せず）へ提供する。フレームスロットル３０１は、予測推定値が増加するとフレームドロップ比率を上げ、予測推定値が減少するとフレームドロップ比率を下げる。

フレームスロットル３０１はまた、ビデオレンダラ３０８からのフィードバックを受信する。このフィードバックは、ビデオレンダラ３０８が自身のキュー（図示せず）の先頭でビデオフレームを分析する度に、フレームスロットル３０１へ測定値を提供する。もしビデオフレームが時間どおりであれば、測定値はゼロである。もしフレームが遅れれば、測定値はフレームがどれだけ遅れたかを示す。フレームスロットル３０１は、平均測定値が増加するとフレームドロップ比率を上げ、平均測定値が減少するとフレームドロップ比率を下げる。

様々なフレームスロットルアルゴリズムが、第１のビデオ復号器３０４及びビデオレンダラ３０８からのフィードバックに基づいて、フレームドロップ比率を調節するために用いられうることが、当業者には容易に理解できるであろう。用いられる特定のアルゴリズムは、特定のアプリケーション、サービス要求の品質、及びシステム全体に課された設計制約を含む様々なファクタに依存する。１つの構成において、第１の復号器３０４が、マイクロプロセッサ又はその他いくつかの共有処理リソースを用いて実現される場合、フレームスロットル３０１は、マイクロプロセッサに高い負荷がかかっている場合に強いフレームドロップポリシーを実施し、マイクロプロセッサ上の負荷が低減されるとフレームドロップポリシーを緩和することができる。

フレームスロットルアルゴリズムの例が、図５を参照して説明される。ステップ５０２で、フレームスロットルは、予測推定値がｘ_１個の連続したフレームについて、リアルタイム復号リミットを超えているかを判定する。もし予測推定値がｘ_１個の連続したフレームについて、リアルタイム復号リミットを超えていれば、ステップ５０４で、フレームスロットルはフレームドロップ比率を上げる。そうでなければ、フレームスロットルアルゴリズムはステップ５０６へ進む。

ステップ５０６で、フレームスロットルは、ビデオレンダラがｘ_２個の連続したフレームをドロップしたかを判定する。もしビデオレンダラがｘ_２個の連続したフレームをドロップしていれば、ステップ５０４で、フレームスロットルはフレームドロップ率を上げる。そうでなければ、フレームスロットルアルゴリズムはステップ５０８へ進む。

ステップ５０８で、フレームスロットルは、予測推定値がｘ_３個の連続したフレームについて、リアルタイム復号リミットを下回るかを判定する。もし予測推定値がｘ_３個の連続したフレームについて、リアルタイム復号リミットを下回っていなければ、フレームスロットルアルゴリズムはステップ５０２へ戻る。そうでなければ、フレームスロットルアルゴリズムはステップ５１０へ進む。ステップ５１０で、フレームスロットルは、ビデオレンダラが最後のｘ_４個の連続したフレームを表示したかを判定する。もしビデオレンダラが最後のｘ_４個の連続したフレームを表示していれば、フレームスロットルはフレームドロップ率を下げる。そうでなければ、フレームスロットルアルゴリズムはステップ５０２へ戻る。

ビデオフレームをドロップする場合、フレームスロットルは、どのフレームをドロップするかを慎重に選択しなければならない。ビデオフレームをランダムに破棄することは、劣悪な画像品質をもたらしうる。図３Ｂに戻り、フレームスロットル３０１は、最も少ない量の情報コンテンツを備えるビデオフレームをドロップすることによって、平均復号時間の増加から回復しようと試みることができる。一例として、エンハンストＩＰＢフレームとベースＩＰＢフレームとの両方を含むマルチメディアブロードキャストシステムにおいて、フレームスロットル３０１は、エンハンスメントチャネル内のＢフレームを最初にドロップすることができる。エンハンスメントチャネル内のＢフレームをドロップした後、もし平均復号時間が

まで低減されることができなければ、フレームスロットル３０１は、ベースチャネル内のＢフレームのドロップを開始することができる。フレームスロットル３０１は、ベースチャネル内のＰフレームに後続されるエンハンスメントチャネル内のＰフレームを最初にドロップすることによって、もしＢフレームのドロップ後に回復することができなければ、より強力になる。このフレームドロップポリシーの下では、フレームスロットルはＩフレームを最後にドロップし、ベースチャネル内のＩフレームをドロップする前に、エンハンスメントチャネル内のＩフレームをドロップする。このポリシーは、極めて高い画像品質を促進する傾向にある。

あるいは、フレームスロットル３０１は、平均復号時間の増加に迅速に応答するフレームドロップポリシーを実施することができる。一例として、フレームスロットル３０１は、例えばベースチャネル又はエンハンストチャネル内のＰフレームのような高度な情報コンテンツを備えるフレームを最初にドロップすることができる。より強力なフレームドロップポリシーは、平均復号時間の増加から迅速に回復するために、いくつかのＩフレームがドロップされることを求めることができる。いくつかの構成において、フレームスロットル３０１は、高い画像品質と速い回復時間との間のトレードオフのバランスをとるポリシーを実現することができる。当業者は、性能要求及び受信機全体に課された設計制約に基づいて、特定のアプリケーションに最も適したフレームドロップポリシーを容易に決定することができるであろう。

図６は、受信機を示す機能ブロック図である。受信機６０２は、複数のビデオフレームを備えるビデオシーケンスを受信するモジュール６０４と、ビデオシーケンスを復号するモジュール６０８と、復号手段へビデオシーケンスを提供する前に、ビデオシーケンスからビデオフレームのうちの1つ又は複数をドロップするモジュール６０６とを含む。

本明細書に開示された実施形態に関連して記述された様々な例示的論理ブロック、モジュール、回路、要素、及び／又は構成要素は、汎用プロセッサ、デジタル信号プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）あるいはその他のプログラマブル論理コンポーネント、ディスクリートゲートあるいはトランジスタロジック、ディスクリートハードウェア部品、又は上述された機能を実現するために設計された上記何れかの組み合わせを用いて実現又は実行されうる。汎用プロセッサとしてマイクロプロセッサを用いることが可能であるが、代わりに、従来技術によるプロセッサ、コントローラ、マイクロコントローラ、あるいは状態機器を用いることも可能である。プロセッサは、例えばＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに接続された１つ又は複数のマイクロプロセッサ、又はこのような任意の構成である計算コンポーネントの組み合わせとして実現することも可能である。

本明細書に開示された実施形態に関連して記述された方法又はアルゴリズムは、ハードウェアによって直接的に、プロセッサによって実行されるソフトウェアモジュールによって、又はこれらの組み合わせによって具現化される。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、あるいは当該技術分野で知られているその他の形式の記憶媒体に収納されうる。記憶媒体は、プロセッサがそこから情報を読み取り、またそこに情報を書き込むことができるようにプロセッサに接続されうる。または、記憶媒体はプロセッサに統合されうる。

上記記載は、当業者をして、本明細書に開示された様々な実施形態の実現を可能とするために提供される。これらの実施形態への様々な変形例もまた、当業者に対しては明らかであって、本明細書で定義された一般原理は、その他の実施形態にも適用されうる。従って、特許請求の範囲は、本明細書に示した実施形態に限定することは意図されておらず、単数での要素への参照は、特に明言されない限り「１つ及びただ１つ」ではなく「１つ又は複数」を意味するように意図されている。当業者によって知られている、又は後に知られるようになる本開示を通して説明された様々な実施形態の要素の構成的及び機能的な全ての等価物は、参照によって本明細書に明確に組み込まれ、特許請求の範囲によって包含されるように意図されている。更に、本開示が特許請求の範囲に明確に記載されているかにかかわらず、本明細書に開示されたあらゆることは、公衆に放棄されるようには意図されていない。要素が「〜のための手段」という語句を用いて明確に記載されるか、又は方法請求項の場合には「〜のためのステップ」という語句を用いて明確に記載されない限り、特許請求の範囲のあらゆる要素は、米国特許法１１２条６段落の規定の下で解釈されない。
なお、以下に、出願当初の特許請求の範囲に記載された発明を付記する。
［発明１］
ビデオ復号器と、
複数のビデオフレームを備えるビデオシーケンスを受信するように構成され、更に、前記ビデオシーケンスを前記ビデオ復号器へ提供する前に、前記ビデオシーケンスから前記ビデオフレームのうちの１つ又は複数をドロップするように構成されたフレームスロットルと
を備える受信機。
［発明２］
前記フレームスロットルは更に、表示するターゲットフレームレートを満たすために、前記ビデオシーケンスからドロップされる前記ビデオフレームの比率を調節するように構成された発明１に記載の受信機。
［発明３］
前記ビデオフレームは、Ｉフレームと、Ｐフレームと、Ｂフレームとを備え、前記フレームスロットルは更に、前記ターゲットフレームレートを満たすために、前記Ｉフレームをドロップする前に前記Ｐフレームと前記Ｂフレームとをドロップするように構成された発明２に記載の受信機。
［発明４］
前記フレームスロットルによってドロップされるビデオフレームの数が、前記ビデオ復号器の復号時間の関数である発明１に記載の受信機。
［発明５］
前記フレームスロットルによってドロップされるビデオフレームの数が、前記ビデオ復号器からのフィードバックの関数である発明１に記載の受信機。
［発明６］
前記フィードバックは、前記ビデオ復号器へ提供されたビデオシーケンス内の各ビデオフレームを復号する時間を示す発明５に記載の受信機。
［発明７］
前記フレームスロットルは更に、前記フレームスロットルによって受信されるビデオシーケンス内のビデオフレームのうちの１つ又は複数を復号するために必要な時間を予測するために前記フィードバックを用いるように構成され、前記ビデオシーケンス内の何れのフレームをドロップするかを決定するために前記予測された時間を用いるように構成された発明６に記載の受信機。
［発明８］
前記ビデオ復号器の少なくとも一部が、他の受信機機能をサポートするように構成されたプロセッサ上に実装される発明１に記載の受信機。
［発明９］
ビデオレンダラを更に備え、前記ビデオ復号器は更に、複数の復号されたビデオフレームを有する前記ビデオシーケンスを前記ビデオレンダラへ提供するように更に構成され、前記ビデオレンダラは、前記ビデオシーケンスをディスプレイに表示する前に、前記復号されたビデオフレームのうちの１つ又は複数をドロップするように構成された発明１に記載の受信機。
［発明１０］
前記フレームスロットルによってドロップされるビデオフレームの数が、前記ビデオレンダラによってドロップされた復号されたビデオフレームの数の関数である発明９に記載の受信機。
［発明１１］
前記フレームスロットルによってドロップされるビデオフレームの数が、前記ビデオ復号器の復号時間の関数でもある発明１０に記載の受信機。
［発明１２］
前記フレームスロットルによってドロップされるビデオフレームの数が、前記ビデオレンダラからのフィードバックの関数である発明９に記載の受信機。
［発明１３］
前記フレームスロットルによってドロップされたビデオフレームの数が、前記ビデオ復号器からのフィードバックの関数でもある発明１２に記載の受信機。
［発明１４］
前記フレームスロットルによって受信されたビデオシーケンス内の前記ビデオフレームは、異なる量の情報コンテンツを有し、前記フレームスロットルは更に、前記１つ又は複数のビデオフレームの何れをドロップするかを、前記ビデオフレーム内の情報コンテンツの量の関数として決定するように構成された発明１に記載の受信機。
［発明１５］
ビデオフレームを復号する方法であって、
複数のビデオフレームを備えるビデオシーケンスを受信することと、
前記ビデオシーケンスを復号することと、
前記ビデオシーケンスを復号する前に、前記ビデオシーケンスから前記ビデオフレームのうちの１つ又は複数をドロップすることと
を備える方法。
［発明１６］
表示するターゲットフレームレートを満たすために、前記ビデオシーケンス内のドロップされるビデオフレームの比率を調節することを更に備える発明１５に記載の方法。
［発明１７］
前記ビデオフレームは、Ｉフレームと、Ｐフレームと、Ｂフレームとを備え、前記ターゲットフレームレートを満たすために、前記ＰフレームとＢフレームとは、前記Ｉフレームがドロップされる前にドロップされる発明１６に記載の方法。
［発明１８］
前記ビデオシーケンスからドロップされる前記ビデオフレームの数が、前記復号時間の関数である発明１５に記載の方法。
［発明１９］
前記ビデオシーケンス内のビデオフレームのうちの1つ又は複数を復号するために必要な時間を予測するために前記復号時間を用いることと、前記ビデオシーケンス内の何れのフレームをドロップするかを決定するために前記予測された時間を用いることとを更に備える発明１８に記載の方法。
［発明２０］
前記ビデオシーケンスを復号することは、複数の復号されたビデオフレームを生成することを備え、前記方法は更に、前記ビデオシーケンスをディスプレイへ表示する前に、前記復号されたビデオフレームのうちの１つ又は複数をドロップすることを備え、前記ビデオシーケンスを復号する前に前記ビデオシーケンスからドロップされるビデオフレームの数は、ドロップされた復号されたビデオフレームの数の関数である発明１５に記載の方法。
［発明２１］
前記ビデオシーケンスを復号する前に前記ビデオシーケンスからドロップされるビデオフレームの数は、前記復号時間の関数でもある発明２０に記載の方法。
［発明２２］
前記ビデオシーケンス内のビデオフレームは、異なる量の情報コンテンツを有し、前記方法は更に、前記ビデオシーケンスからドロップされる前記１つ又は複数のビデオフレームを、前記ビデオフレーム内の情報コンテンツの量の関数として決定することを備える発明１５に記載の方法。
［発明２３］
複数のビデオフレームを備えるビデオシーケンスを受信する手段と、
前記ビデオシーケンスを復号する手段と、
前記ビデオシーケンスを前記復号する手段へ提供する前に、前記ビデオシーケンスから前記ビデオフレームのうちの１つ又は複数をドロップする手段と
を備える受信機。
［発明２４］
表示するターゲットフレームレートを満たすために、前記ビデオシーケンスからドロップされるビデオフレームの比率を調節する手段を更に備える発明２３に記載の受信機。
［発明２５］
前記ビデオフレームは、Ｉフレームと、Ｐフレームと、Ｂフレームとを備え、前記ビデオフレームのうちの１つ又は複数をドロップする手段は、前記ターゲットフレームレートを満たすために、前記Ｉフレームをドロップする前に前記Ｐフレームと前記Ｂフレームとをドロップする手段を備える発明２４に記載の受信機。
［発明２６］
ドロップされるビデオフレームの数が、前記復号する手段の復号時間の関数である発明２３に記載の受信機。
［発明２７］
ドロップされるビデオフレームの数が、前記復号する手段からのフィードバックの関数である発明２３に記載の受信機。
［発明２８］
前記フィードバックは、前記復号する手段へ提供されたビデオシーケンス内の前記ビデオフレームの各々を復号する時間を示す発明２７に記載の受信機。
［発明２９］
前記１つ又は複数のビデオフレームをドロップする手段は、前記ビデオシーケンス内のビデオフレームのうちの１つ又は複数を復号するために必要な時間を予測するために前記フィードバックを用い、前記ビデオシーケンス内の何れのフレームをドロップするかを決定するために、前記予測された時間を用いる発明２８に記載の受信機。
［発明３０］
前記復号する手段の少なくとも一部が、他の受信機機能をサポートするように構成されたプロセッサ上で実現される発明２３に記載の受信機。
［発明３１］
複数の復号されたビデオフレームを有する前記ビデオシーケンスをディスプレイに表示する手段と、前記ビデオシーケンスが前記ディスプレイに表示される前に、前記復号されたビデオフレームのうちの１つ又は複数をドロップする手段とを更に備える発明２３に記載の受信機。
［発明３２］
ドロップされるビデオフレームの数が、ドロップされた復号されたビデオフレームの数の関数である発明３１に記載の受信機。
［発明３３］
ドロップされるビデオフレームの数が、前記復号する手段の復号時間の関数である発明３１に記載の受信機。
［発明３４］
ドロップされるフレームの数が、前記復号されたビデオフレームのうちの１つ又は複数をドロップする手段からのフィードバックの関数である発明３１に記載の受信機。
［発明３５］
前記フレームスロットルによってドロップされるフレームの数が、前記復号する手段からのフィードバックの関数でもある発明３４に記載の受信機。
［発明３６］
前記ビデオシーケンス内のビデオフレームは異なる量の情報コンテンツを有し、前記受信機は更に、前記ビデオフレーム内の情報コンテンツの量の関数として、前記１つ又は複数のビデオフレームのうちの何れをドロップするかを決定する手段を備える発明２３に記載の受信機。

Claims (22)

1. 複数のビデオフレームを備えるビデオシーケンスを復号することにより、復号された複数のビデオフレームを生成するように構成されたビデオ復号器と、
   前記復号された複数のビデオフレームをディスプレイに表示する前に、前記復号された複数のビデオフレームのうちの１つ又は複数をドロップするように構成されたビデオレンダラと、
   前記ビデオシーケンスを受信するように構成されたフレームスロットルであって、前記ビデオシーケンスを前記ビデオ復号器へ提供する前に、前記ビデオシーケンスから前記複数のビデオフレームのうちの１つ又は複数をドロップするように更に構成されたフレームスロットルと、ここで、前記フレームスロットルによってドロップされるビデオフレームの数は、前記ビデオレンダラによってドロップされる、前記復号されたビデオフレームの数の関数である、
   を備え、
   前記複数のビデオフレームは、ベース層とエンハンスメント層とにおけるＩフレームと、Ｐフレームと、Ｂフレームとを備え、前記フレームスロットルは更に、前記ベース層におけるＢフレームをドロップする前に、前記エンハンスメント層におけるＢフレームをドロップするように構成され、前記ベース層と前記エンハンスメント層との両方におけるＰフレームまたはＩフレームをドロップする前に、前記ベース層と前記エンハンスメント層との両方におけるＢフレームをドロップするように構成されている、受信機。
2. 前記フレームスロットルは更に、前記ディスプレイ用のターゲットフレームレートを満たすために、前記ビデオシーケンスからドロップされる前記ビデオフレームの比率を調節するように構成された請求項１に記載の受信機。
3. 前記フレームスロットルによってドロップされるビデオフレームの数が、前記ビデオ復号器からのフィードバックに基づいて調節される請求項１に記載の受信機。
4. 前記フィードバックは、前記ビデオ復号器へ提供されたビデオシーケンス内の各ビデオフレームを復号する時間を示す請求項３に記載の受信機。
5. 前記フレームスロットルは更に、前記フレームスロットルによって受信されたビデオシーケンス内のビデオフレームのうちの１つ又は複数を復号するために必要な時間を予測するために前記フィードバックを用いるように構成され、前記フレームスロットルは更に、前記ビデオシーケンス内の何れのフレームをドロップするかを決定するために前記時間の予測を用いるように構成された請求項４に記載の受信機。
6. 前記ビデオ復号器の少なくとも一部が、他の受信機機能をサポートするように構成されたプロセッサ上で実現される請求項１に記載の受信機。
7. 前記フレームスロットルによってドロップされるビデオフレームの数が、前記ビデオ復号器の復号時間に基づいて調節される請求項１に記載の受信機。
8. 前記フレームスロットルによって受信されたビデオシーケンス内のビデオフレームは、異なる量の情報コンテンツを有し、前記フレームスロットルは更に、前記１つ又は複数のビデオフレームの何れをドロップするかを、前記ビデオフレーム内の情報コンテンツに基づいて決定するように構成された請求項１に記載の受信機。
9. ビデオフレームを復号する方法であって、
   複数のビデオフレームを備えるビデオシーケンスを受信することと、
   復号された複数のビデオフレームを生成するために、前記ビデオシーケンスを復号することと、
   前記ビデオシーケンスを復号する前に、前記ビデオシーケンスから前記複数のビデオフレームのうちの１つ又は複数をドロップすることと、
   前記複数のビデオフレームをディスプレイへ表示する前に、前記復号された複数のビデオフレームのうちの１つ又は複数をドロップすることと、ここで、前記ビデオシーケンスを復号する前にドロップされるビデオフレームの数は、前記復号されたビデオフレームを前記ディスプレイに表示する前にドロップされる、前記復号されたビデオフレームの数の関数である、
   を備え、
   前記複数のビデオフレームは、ベース層とエンハンスメント層とにおけるＩフレームと、Ｐフレームと、Ｂフレームとを備え、前記方法は更に、前記ベース層におけるＢフレームをドロップする前に前記エンハンスメント層におけるＢフレームをドロップすることと、前記ベース層と前記エンハンスメント層との両方におけるＰフレームまたはＩフレームをドロップする前に、前記ベース層と前記エンハンスメント層との両方におけるＢフレームをドロップすることとを備える、方法。
10. 前記ディスプレイ用のターゲットフレームレートを満たすために、前記ビデオシーケンス内のドロップされるビデオフレームの比率を調節することを更に備える請求項９に記載の方法。
11. 前記ビデオシーケンスからドロップされるビデオフレームの数が、復号時間に基づいて調節される請求項１０に記載の方法。
12. 前記ビデオシーケンス内のビデオフレームのうちの１つ又は複数を復号するために必要な時間を予測するために前記復号時間を用いることと、前記ビデオシーケンス内の何れのフレームをドロップするかを決定するために前記時間の予測を用いることとを更に備える請求項１１に記載の方法。
13. 前記ビデオシーケンス内のビデオフレームは、異なる量の情報コンテンツを有し、前記方法は更に、前記ビデオシーケンスからドロップされる前記１つ又は複数のビデオフレームの数を、前記ビデオフレーム内の情報コンテンツの量に基づいて決定することを備える請求項９に記載の方法。
14. 複数のビデオフレームを備えるビデオシーケンスを受信する手段と、
    復号された複数のビデオフレームを生成するために前記ビデオシーケンスを復号する手段と、
    前記ビデオシーケンスを前記復号する手段へ提供する前に、前記ビデオシーケンスから前記複数のビデオフレームのうちの１つ又は複数をドロップする手段と、
    前記復号されたビデオシーケンスをディスプレイに表示する手段と、
    前記ビデオシーケンスが前記ディスプレイに表示される前に、前記復号された複数のビデオフレームのうちの１つ又は複数をドロップする手段と、ここで、前記ビデオシーケンスを復号する前にドロップされるビデオフレームの数は、前記復号されたビデオフレームを前記ディスプレイに表示する前にドロップされる、前記復号されたビデオフレームの数の関数である、
    を備え、
    前記複数のビデオフレームは、ベース層とエンハンスメント層とにおけるＩフレームと、Ｐフレームと、Ｂフレームとを備え、前記ドロップする手段は更に、前記ベース層におけるＢフレームをドロップする前に前記エンハンスメント層におけるＢフレームをドロップする手段と、前記ベース層と前記エンハンスメント層との両方におけるＰフレームまたはＩフレームをドロップする前に、前記ベース層と前記エンハンスメント層との両方におけるＢフレームをドロップする手段とを備える、受信機。
15. 前記ディスプレイ用のターゲットフレームレートを満たすために、前記ビデオシーケンスからドロップされるビデオフレームの比率を調節する手段を更に備える請求項１４に記載の受信機。
16. ドロップされるビデオフレームの数が、前記復号する手段からのフィードバックにも基づいて調節される請求項１４に記載の受信機。
17. 前記フィードバックは、前記復号する手段へ提供されたビデオシーケンス内の各ビデオフレームを復号する時間を示す請求項１６に記載の受信機。
18. 前記１つ又は複数のビデオフレームをドロップする手段は、前記ビデオシーケンス内のビデオフレームのうちの１つ又は複数を復号するために必要な時間を予測するために前記フィードバックを用い、前記ビデオシーケンス内の何れのフレームをドロップするかを決定するために、前記時間の予測を用いる請求項１７に記載の受信機。
19. 前記復号する手段の少なくとも一部が、他の受信機機能をサポートするように構成されたプロセッサ上で実現される請求項１４に記載の受信機。
20. ドロップされるビデオフレームの数が、前記復号する手段の復号時間に基づいて調節される請求項１４に記載の受信機。
21. ドロップされるフレームの数が、前記復号されたビデオフレームのうちの１つ又は複数をドロップする手段からのフィードバックに基づいて調節される請求項１４に記載の受信機。
22. 前記ビデオシーケンス内のビデオフレームは異なる量の情報コンテンツを有し、前記受信機は更に、前記ビデオフレーム内の情報コンテンツの量に基づいて、前記１つ又は複数のビデオフレームのうちの何れをドロップするかを決定する手段を備える請求項１４に記載の受信機。

Images