JP5422667B2

JP5422667B2 - マルチメディアストリームの合成

Info

Publication number: JP5422667B2
Application number: JP2011540717A
Authority: JP
Inventors: ウィリアムキャンプ，; マーク，ギャビンコークス，; モーリスラビッシュ，; ヨヤックヴァサ，
Original assignee: ソニーモバイルコミュニケーションズ，エービー
Priority date: 2008-12-15
Filing date: 2009-03-13
Publication date: 2014-02-19
Anticipated expiration: 2029-03-13
Also published as: US20100150252A1; WO2010071686A1; EP2371136A1; JP2012512560A; US8374254B2; CN102246523B; CN102246523A; EP2371136B1

Description

本発明は、概して無線通信システムにおける、映像配信方法及び装置に関し、特に無線ネットワーク送信について、高速フェージングの影響を低減するように映像を符号化する方法及び装置に関する。

携帯電話や電子手帳等の移動通信機器は、現在では高速データ通信が可能である。今日、移動通信機器のユーザはｗｅｂサーフィンや、電子メールの送受信、友人とのチャット、画像閲覧、音楽再生、及びこれまでコンピュータを要していた他のタスクを実行することができる。データ転送レート及び帯域幅の向上、及び表示装置の大型化に伴い、現在では移動通信機器で視聴を行うユーザに対し、映像サーバから高品質な映像コンテンツのストリーミング配信が可能である。

無線ネットワークを介して映像コンテンツを配信する場合、選択的なフェージングは問題を生じうる。移動通信機器は、特に屋内環境においてチャネル状態の急速な変化を受けうる。チャネル状態が悪化した場合、高品質映像コンテンツを配信するために必要なデータレートはサポートできない可能性がある。このような場合、表示するための映像出力には破損が生じうる、あるいは中断される可能性さえもあり、結果として好ましくないユーザ体験を与えうる。チャネル状態の変化に応じたリンク適応は、フェージング効果を低減するために用いられてもよい。しかしながら、リンク適応は、受信機器から送信機器へのフィードバックを必要とする。さらに、受信機器がチャネル状態を報告するタイミングと、変調及び符号化が適応されるタイミングとの間のラグのため、リンク適応は高速フェージング状態よりも低速フェージング状態においてより有益である。

従って、無線ネットワークにおいて移動通信機器に映像を配信する場合の、高速フェージング効果を低減するための新たな方法が必要である。

本発明は、無線ネットワークを介して映像受信機器に映像コンテンツを配信する方法及び装置を提供する。本発明によれば、同一のコンテンツを含むが異なる品質の２以上の映像ストリームが、無線ネットワークを介して映像受信機器に同時送信される。好ましくは、１つのストリームは高品質映像ストリームであり、１つのストリームは低品質映像ストリームである。高品質映像ストリームは、第１の成分（例えば高周波数成分）が第２の成分（例えば低周波数成分）よりも高いレベルの誤り保護を受けるように、不均一誤り保護符号を用いて符号化される。映像受信機器は、チャネル状態が好適である場合に、高品質映像ストリームを選択しうる。チャネル状態が高品質映像ストリームをサポートするために十分でない場合、映像受信機器は、高い誤り保護を有する高品質映像ストリームの第１の成分が使用可能であるか判断する。使用可能である場合、映像受信機器は、高品質映像ストリームの第１の成分と低品質映像ストリームとを合成する。使用可能ではない場合、映像受信機器は低品質映像ストリームを出力する。

発明の例示的な実施形態は、マルチストリーム映像送信方法を含む。映像送信方法の１つの実施形態は、映像ソースから、選択された映像コンテンツを受信する工程と、選択された映像コンテンツを含む、高品質映像ストリーム及び低品質映像ストリームを生成する工程と、高品質映像ストリームの第１の成分が、第２の成分よりも高い誤り保護を受けるように、不均一誤り保護符号を用いて高品質映像ストリームを符号化する工程と、低品質映像ストリームの誤り保護が、高品質映像ストリームの低周波数成分の誤り保護よりも高くなるように、低品質映像ストリームを符号化する工程と、符号化された低品質映像ストリーム及び高品質映像ストリームを、映像受信システムに同時に送信する工程と、有する。

マルチストリーム映像送信方法のいくつかの実施形態では、不均一誤り保護符号を用いて高品質映像ストリームを符号化する工程は、高品質映像ストリームの低周波成分よりも高い誤り保護を有するように、高品質映像ストリームの高周波数成分を符号化する工程を含む。

マルチストリーム映像送信方法のいくつかの実施形態では、不均一誤り保護符号を用いて高品質映像ストリームを符号化する工程は、高品質映像ストリームの空間特異成分に不均一誤り保護を与えるように、高品質映像ストリームを符号化する工程を含む。

マルチストリーム映像送信方法のいくつかの実施形態では、不均一誤り保護符号を用いて高品質映像ストリームを符号化する工程は、重要度に基づいて高品質映像ストリームの特異部分に不均一誤り保護を与えるように、高品質映像ストリームを符号化する工程を含む。

発明の１つの実施形態は、選択された映像コンテンツを無線通信機器に送信するマルチストリーム映像送信システムを含む。マルチストリーム映像送信システムの１つの実施形態は、符号化回路であって、選択された映像コンテンツから高品質映像ストリームを生成して、当該高品質映像ストリームの第１の成分が第２の成分より高い誤り保護を受けるように、不均一誤り保護符号を用いて高品質映像ストリームを符号化し、選択された映像コンテンツから低品質映像ストリームを生成して、高品質映像ストリームの第２の成分よりも高い誤り保護を与えて低品質映像ストリームを符号化するように構成された符号化回路と、符号化された高品質及び低品質映像ストリームを映像受信システムに送信する送信機と、を有する。

映像送信システムのいくつかの実施形態では、第１の符号化回路は、高品質映像ストリームの低周波数成分よりも高い誤り保護を有するように、高品質映像ストリームの高周波数成分を符号化するように構成されている。

映像送信システムのいくつかの実施形態では、第１の符号化回路は、異なるレベルの誤り保護を有する、高品質映像ストリームの空間特異成分を符号化するように構成されている。

映像送信システムのいくつかの実施形態では、第１の符号化回路は、重要度に基づいて、異なるレベルの誤り保護を有する、高品質映像ストリームの特異部分を符号化する。

発明の他の実施形態は、受信機器において実行されるマルチストリーム映像の合成方法を含む。当該方法の１つの実施形態は、選択された映像コンテンツに対応する高品質映像ストリームを受信する工程であって、当該高品質映像ストリームの第１の成分が第２の成分よりも高い誤り保護を有するように、高品質映像ストリームが不均一誤り保護符号により保護されている工程と、選択された映像コンテンツに対応する低品質映像ストリームを受信する工程であって、当該低品質映像ストリームが高品質映像ストリームの第２の成分よりも高い誤り保護を有するように、低品質映像ストリームが誤り保護符号により保護されている工程と、高品質映像ストリームの第１の成分について第１の品質測定基準を、第２の成分について第２の品質測定基準を生成する工程と、第１及び第２の品質測定基準に基づいて、高品質映像ストリーム、低品質映像ストリーム、及び中間品質映像ストリームのうちの１つを出力用に選択する工程と、第１及び第２の品質測定基準が予め定められた第１の状態を満たす場合に、出力用に高品質映像ストリームを再生成するために、高品質映像ストリームの第１及び第２の成分を復号して合成する工程と、第１及び第２の品質測定基準が予め定められた第２の状態を満たす場合に、出力用に中間品質映像信号を生成するために、高品質映像ストリームの第１の成分及び低品質映像信号を復号して合成する工程と、第１及び第２の品質測定基準が第１及び第２の状態を満たさない場合に、出力用に低品質映像ストリームを復号する工程と、を有する。

マルチストリーム映像合成方法のいくつかの実施形態では、高品質映像ストリームの第１の成分は高周波成分を含み、高品質映像ストリームの第２の成分は低周波成分を含む。

マルチストリーム映像合成方法のいくつかの実施形態では、高品質映像ストリームの第１及び第２の成分は、当該高品質映像ストリームの空間特異部分を含む。

マルチストリーム映像合成方法のいくつかの実施形態では、高品質映像ストリームの第１の成分は重要度が相対的に高い部分を、第２の成分は重要度が相対的に低い部分を含む。

マルチストリーム映像合成方法のいくつかの実施形態では、第１及び第２の品質測定基準が予め定められた第１の状態を満たす場合に、出力用に高品質映像ストリームを再生成するために、高品質映像ストリームの第１及び第２の成分を復号して合成する工程は、第２の品質測定基準と予め定められた第１の閾値とを比較する工程と、第２の品質測定基準が予め定められた第１の閾値よりも低い場合に、高品質映像ストリームの第１及び第２の成分を復号して合成する工程と、を含む。

マルチストリーム映像合成方法のいくつかの実施形態では、第１及び第２の品質測定基準が予め定められた第２の状態を満たす場合に、出力用に中間品質映像信号を生成するように、高品質映像ストリームの第１の成分及び低品質映像信号を復号して合成する工程は、第１の品質測定基準と予め定められた第２の閾値とを比較する工程と、第１の品質測定基準が予め定められた第２の閾値よりも低い場合に、高品質映像ストリームの第１の成分、及び低品質映像ストリームを復号する工程と、を含む。

マルチストリーム映像合成方法のいくつかの実施形態では、第１及び第２の品質測定基準が第１及び第２の状態を満たさない場合に、出力用に低品質映像ストリームを復号する工程は、第１の品質測定基準が予め定められた第１の閾値よりも低く、かつ第２の品質測定基準が予め定められた第２の閾値よりも低い場合に、低品質映像ストリームを復号する工程を含む。

発明の１つの実施形態では、合成されたマルチストリーム映像を受信する通信機器を含む。１つの実施形態において、通信機器は、選択された映像コンテンツに対応する高品質及び低品質映像ストリームを、映像送信機器から受信する受信機であって、高品質映像ストリームの第１の成分が第２の成分よりも高い誤り保護を有するように、高品質映像ストリームは不均一誤り保護符号を用いて保護され、低品質映像ストリームが高品質映像ストリームの第２の成分よりも高い誤り保護を有するように、低品質映像ストリームは誤り保護符号を用いて保護される受信機と、高品質映像ストリームの第１の成分に関連付けられた第１の品質測定基準、及び高品質映像ストリームの第２の成分に関連付けられた第２の品質測定基準に基づいて、高品質映像ストリーム、低品質映像ストリーム、及び中間品質映像ストリームのうちの１つを出力用に選択する制御手段と、制御手段に応答する符号化回路であって、第１及び第２の品質測定基準が予め定められた第１の状態を満たす場合に、出力用に高品質映像ストリームを再生成するために、高品質映像ストリームの第１及び第２の成分を復号して合成し、第１及び第２の品質測定基準が予め定められた第２の状態を満たす場合に、出力用に中間品質映像信号を生成するために、高品質の映像ストリームの第１の成分及び低品質の映像ストリームを復号して合成し、第１及び第２の品質測定基準が第１及び第２の状態を満たさない場合に、出力用に低品質映像ストリームを復号するように構成された符号化回路と、を有する。

通信機器のいくつかの実施形態では、高品質映像ストリームの第１の成分は高周波数成分を含み、高品質映像ストリームの第２の成分は低周波数成分を含む。

通信機器のいくつかの実施形態では、高品質映像ストリームの第１及び第２の成分は、高品質映像ストリームの空間特異部分を含む。

通信機器のいくつかの実施形態では、高品質映像ストリームの第１の成分は重要度が相対的に高い部分を含み、第２の成分は重要度が相対的に低い部分を含む。

通信機器のいくつかの実施形態では、制御手段は、第１のチャネル品質測定基準が予め定められた第１の状態を満たす場合に、出力用に高品質映像ストリームを選択し、第１のチャネル品質測定基準が予め定められた第１の状態を満たさない場合に、出力用に低品質及び中間品質映像ストリームのうちの１つを選択するように構成される。

通信機器のいくつかの実施形態では、制御手段は、第２の品質測定基準が予め定められた第２の状態を満たす場合に、出力用に中間品質映像ストリームを選択し、第２の品質測定基準が予め定められた第２の状態を満たさない場合に、出力用に低品質映像ストリームを選択するように構成される。

本発明の１つの例示的な実施形態に係る、映像品質の変更以外は同一の映像コンテンツを有する２以上の映像ストリームを送信する映像配信システムの主機能要素を示している。本発明の１つの例示的な実施形態に係る、品質の変更以外は同一の映像コンテンツを有する２つの映像ストリームの符号化を示している。発明の１つの例示的な実施形態に係る、映像品質の変更以外は同一の映像コンテンツを有する２以上の映像ストリームを送信する映像送信システムを示している。映像送信システムのプリプロセッサにおける主機能要素を示している。発明の１つの例示的な実施形態にかかる映像品質の変更以外は同一の映像コンテンツを有する２以上の映像ストリームを受信する、例示的な映像受信システムを示している。品質の変更以外は同一の映像コンテンツを有する２以上の映像ストリームを自律的に選択する映像受信システムによって実行される例示的な方法を示している。発明の１つの例示的な実施形態における、品質の変更以外は同一の映像コンテンテンツを有する２以上の映像ストリームを選択する選択タイミングを示したタイミング図。発明の１つの例示的な実施形態に係る、不均一誤り保護を実行する、例示的なマルチストリーム映像送信システムを示している。発明の１つの例示的な実施形態に係る、不均一誤り保護を実行する、例示的なマルチストリーム映像受信システムを示している。不均一誤り保護を実行する、マルチストリーム映像受信システムにより実行される例示的な方法を示している。

本発明は、映像ストリームのような、移動通信ネットワークにおいて移動端末への実時間マルチメディアストリームを送信する方法に関する。移動端末は、例えば、携帯電話、電子手帳、コンピュータやタの通信機器を含んでもよい。移動通信ネットワークにおいて、移動端末は、選択的なフェージングに起因する、チャネル状態の急速な変更の問題に直面している。映像ストリームは、一般的に全ての予想しうるチャネル状態において所望の誤り保護が確保されるように、十分な電力余裕がある移動端末に送信される。しかしながら、電力余裕が極めて少ない場合、移動端末はチャネル状態が映像ストリームを適切に受信及び復号するために要求されるデータレートを満たさない期間に問題が生じるかもしれない。このような状況において、映像ストリームは誤りを生じる、あるいは欠損する可能性がある。

送信された映像ストリームの誤り発生や欠損を回避する１つの方法として、映像ストリームに割り当てられた電力ヘッドルームやマージンを増加させる方法がある。電力ヘッドルームやマージンは、映像ストリームの送信に割り当てられた実際の送信電力と、映像ストリームを適切に受信及び復号するために必要な平均送信電力との差である。電力マージンの増加は、削減されたスペクトル効率のコストにおいて、映像ストリームの誤り発生や損失に対してより高い保護を与える。

本発明によれば、高品質（ＨＱ）映像ストリームの送信に通常割り当てられた電力分は、低品質である以外は同一の映像コンテンツを有する、１以上の低品質（ＬＱ）映像ストリームを代わりに送信するために用いられる。ＬＱ映像ストリームは、例えばＨＱ映像ストリームの解像度及び色深度の少なくともいずれかを削減することにより生成されてよい。ＬＱ映像ストリームにおいてビット符号化されたソースの数は、ＨＱ映像ストリームにおけるビット数の１０％のみに相当しうる。従って、ＨＱ映像ストリームのマージンにおける小規模な削減は、高いマージンを有するＬＱ映像ストリームを送信するために十分な電力を与えうる。例えば、ＨＱ映像ストリームのマージンにおいて２〜３ｄＢの削減は、１０ｄＢを有するＬＱ映像ストリームの送信を可能にしうる。

高品質及び低品質映像ストリームは同期されて、移動通信ネットワーク上の移動端末に送信されてよい。映像ストリームは独立して符号化され、分離チャネル（例えばタイムスロットや符号）において移動端末に送信されてよい。そして移動端末は、瞬間のチャネル状態によりサポートされる、ディスプレイへの出力用の、最も高品質な映像ストリームを選択する。チャネル状態が良好である場合、移動端末はＨＱ映像ストリームを選択してよい。チャネル状態の悪化に応じて、移動端末はＬＱ映像ストリームに切り替えてよい。ＬＱ映像ストリームへの切り替えにより、映像の中断は回避されうる。映像ストリームは独立して符号化されるため、高品質映像ストリーム自体が使用不可能である場合でさえも、移動端末はＬＱ映像ストリームを使用することができる。

図１は、本発明の１つの例示的な実施形態にかかる映像配信システム１０の主要機能構成を示している。映像配信システム１０は、映像送信システム１００と映像受信システム２００とを有する。映像送信システム１００は、例えば移動通信ネットワークにおけるベースステーションを含み、映像受信システム２００は、携帯電話や電子手帳のような移動通信機器を含んでもよい。映像送信システム１００は、映像ソース２０から映像コンテンツを受信し、品質の変更以外は同一の映像コンテンツを有する、複数の符号化されたソース映像ストリームを生成し、当該複数の符号化された映像ストリームを、無線通信チャネル３０を介して映像受信システム２００に送信する。一般的には、映像送信システム１００は、高品質映像ストリーム及び１以上の低品質映像ストリームの、少なくとも２つの映像ストリームを生成する。高品質及び低品質という表現は、特定の品質レベルを意味する目的ではなく、映像ストリームの相対的な品質を示すための相対的な表現である。通常、それぞれの映像ストリームの品質は、顕著な差がある。

映像受信システム２００は、映像ストリームを受信して復号し、映像受信システム２００で視聴する際の、各チャネルの品質を示す１以上のチャネル品質測定基準を生成し、瞬間的なチャネル状態に基づいて、最も高い品質の映像ストリームを選択する。フレーム誤りレート（ＦＥＲ：frame error rate）は、チャネル品質測定基準の一例である。また、ビット誤りレート（ＢＥＲ：bit error rate）がチャネル品質測定基準として用いられてもよい。選択された映像ストリームは、ユーザの試聴用に表示機器４０へ出力される。チャネル状態が好適であり、かつ高いデータレートを提供可能な場合、映像受信システム２００は、表示機器４０への出力用に高品質映像ストリームを選択する。チャネル状態が悪化するにつれ、映像受信システム２００は低品質映像ストリームのうちの１つを選択する。チャネル状態が好適でない場合の低品質映像ストリームの選択により、映像プログラムの中断は回避されるだろう。

図２は、１つの例示的な実施形態において利用されるソース及びチャネルを示している。オリジナルの映像ファイルは、毎秒６０フレーム（６０ｆｐｓ）を有する。各フレームは２４ビット色を有する２０００ピクセル×１０００ピクセルである。この例において、２つの映像ストリームが同一の映像コンテンツから生成される。映像ストリームは、ここでは高品質（ＨＱ）映像ストリームと低品質（ＬＱ）映像ストリームと呼ばれる。ＨＱ及びＬＱの表示は特定の品質レベルを意味するものではなく、２つのストリームの相対的な品質を示すことを意図している。図２に示される符号化は、適用されうる符号化の一例でしかなく、故に当該例が発明を限定する目的ではないことは、同一の技術分野に属する当業者により理解されるだろう。

ＨＱ映像ストリームは３０ｆｐｓを有する。各フレームは、２４ビット色を有する２０００ピクセル×１０００ピクセルである。ＨＱ映像ストリームの結果的なデータレートは、１４４０ｍｂｓとなる。ＨＱ映像ストリームは、Ｈ．２６４ビデオコーデックを用いて符号化される。ビデオコーデックからの出力は、４８ｍｂｐｓの映像ストリームとなる。ソースの符号化により、ＨＱ映像ストリームは８／９ＦＥＣ符号のレートで保護される。ＦＥＣ符号器からの出力は、５４ｍｂｐｓの映像ストリームとなる。

ＬＱ映像ストリームは、オリジナル映像のフレームを水平解像度、垂直解像度、及び色深度の少なくともいずれかを低減するダウンサンプリングにより生成される。例示的な本実施形態では、ＬＱ映像ストリームは３０ｆｐｓを有する。各フレームは８ビット色深度を有する６３５ピクセル×３１５ピクセルである。ＬＱ映像ストリームの結果的なデータレートは、４８ｍｂｐｓとなる。ＬＱ映像ストリームは、１．６ｍｂｐｓの映像ストリームを生成するように、Ｈ．２６４ビデオコーデックを用いて符号化される。ソースの符号化により、ＬＱ映像ストリームは、１／５ＦＥＣ符号のレートで保護される。ＦＥＣ符号器からの出力は、８ｍｂｐｓの映像ストリームとなる。

音声ストリームは、好ましくは、ｅＡＡＣ＋オーディオコーデックのような標準的なオーディオコーデックを用いて符号化されることが好ましい。そして符号化された音声ストリームは、１／５ＦＥＣ符号のレートで保護される。

図３は、１つの例示的な実施形態に係る、例示的な映像送信システム（即ちベースステーション）１００を示している。映像送信システム１００は、映像コンテンツを符号化して複数の符号化された映像ストリームを生成する符号化回路１０５、映像ストリームを映像受信システム２００に送信する送信回路１４０、映像受信システム２００からのフィードバック信号を処理する受信信号プロセッサ１５０、及び映像送信システム１００の動作を制御する制御ユニット１６０を含む。以下により詳細に説明されるように、制御ユニット１６０は映像受信システムから受信したフィードバックに基づいて、各映像ストリームのソース及びチャネルの符号化を変化させる。

符号化回路１０５は、それぞれの映像ストリームについて、プリプロセッサ１１０、ソース符号器１２０、及びチャネル符号器１３０を含む。また符号化回路１０５は、関連付けられた音声ストリームについてのソース符号器１２０及びチャネル符号器１３０を含む。図４に示されるプリプロセッサ１１０は、予め定められた品質の複数の映像ストリームを提供するように、映像コンテンツをダウンサンプリングするダウンサンプラ１１２を含む。映像ストリームは、フィルタ１１４によりフィルタリングされ、遅延素子１１６により他の映像ストリームと時間的に整合される。そして、全てのプリプロセッサ１１０からの時間的に整合されたサンプリングストリームは、各々のソース符号器１２０に入力される。ソース符号器１２０は、映像ストリームについてはＨ．２６４コーデック及び音声ストリームについてはｅＡＡＣコーデック等、標準的なコーデックであることが好ましい。しかしながら、本発明が現在知られているものや今後開発される、他の映像及び音声コーデックを使用してもよいことは、同一の技術分野に属する当業者は容易に理解するだろう。

ソース符号化後、ソース符号化された映像ストリーム及び音声ストリームは、それぞれチャネル符号器１３０に入力される。チャネル符号器１３０は、変換中に起こりうるビットエラーから保護するために、準方向誤り訂正（ＦＥＣ：forward error correction）符号を用いて映像及び音声ストリームを符号化する。ＦＥＣ符号は、例えば畳み込み符号やブロック符号を含んでもよい。相対的に高レベルの誤り保護を提供するように、低符号化レート（例えば１／５）が低品質ストリームについて用いられ、相対的に低レベルの誤り保護を提供するように、より高い符号化レート（例えば８／９）が高品質ストリームについて用いられることが好ましい。音声ストリームについても、低符号化レートが用いられる。

そしてチャネル符号化された映像ストリーム及び音声ストリームは変調され、映像受信システム２００に分離チャネルを介して送信される。映像ストリーム及び音声ストリームの各々に対しては、同一の変調が適用されてもよい。また、異なる映像ストリーム及び音声ストリームに対し、異なる変調方式が適用される。送受信機１４０は、映像ストリーム及び音声ストリームの各々に対応する変調されたシンボルを、分離通信チャネル（例えばタイムスロットや符号）を介して映像受信システム２００に送信する。送受信機１４０は、例えば、ＷＣＤＭＡ及びＬＴＥ規格等の、公知の規格に従って動作するセルラー送受信機を含んでもよい。ＨＱ映像ストリームは、ＬＱ映像ストリームと比較して相対的に低いマージンを有して送信され、ＬＱ映像ストリームは、ＨＱ映像ストリームと比較して相対的に高いマージンを有して送信される。例えば、高品質映像ストリームは、１ｄＢマージンを有してもよい。ＨＱ映像ストリームのマージンをさらに１ｄＢ増加するために必要なチャネル許容量における増加は、ＬＱ映像ストリームについての約８ｄＢのマージンを提供しうる。このことは、いくつかのチャネル状態において低品質であるにも関わらず、映像コンテンツの伝送において、ＨＱ映像ストリームのマージン及び保護の少なくともいずれかを増加するチャネル許容量を用いる場合よりも、さらに７ｄＢのマージンを提供しうる。マージンの増加は、例えば低品質映像ストリームについて、高品質映像ストリームよりも多いエラー保護を提供することによって得られてもよい。マージンを増加する方法は、送信電力の増加、及び誤り訂正ビットの増加、あるいは冗長ビットの増加の形で、所定数のデータビットを伝送するために用いられるチャネルビットの数の増加を含む。

以下にさらに詳細に説明されるように、多様な品質の複数の映像ストリームを受信する映像受信システム２００は、映像受信システム２００において受信した映像ストリームのチャネル品質を示すように、映像送信システム１００にフィードバック信号を送信してもよい。例えばフィードバック信号は、受信した映像ストリームについての、ＦＥＲ、ＢＥＲ、あるいは他の品質信号測定基準を含んでもよい。フィードバック信号は、受信信号プロセッサ１５０により処理され、制御ユニット１６０に与えられる。制御ユニット１６０は、映像ストリームの品質を調整するために、映像受信ユニット２００からフィードバックされたチャネル品質測定基準を用いてもよい。例えば、制御ユニット１６０は、ダウンサンプラ１１２を用いることにより、サンプリングレートを変更して映像ストリームの解像度を変更してもよい。また制御ユニット１５０は、品質測定基準における変化に応じて、映像ストリームに適用される、ソース及びチャネル符号化の少なくともいずれかを変更してもよい。

図５は、例示的な映像受信システム２００を示している。映像受信システム２００は、移動通信ネットワークを介して、符号化された映像及び音声ストリームを受信する送受信機２１０、当該映像及び音声ストリームを復号する復号回路２２０、表示機器４０に出力するために映像ストリームのうちの１つの映像ストリームを選択する選択ユニット２３０、映像送信システム１００に送信されるフィードバック信号を処理する送信信号プロセッサ２６０、及び映像受信システム２００を制御する制御ユニット２５０を有する。送受信機２１０は、例えばＷＣＤＭＡ規格やＬＴＥ規格のような、公知あるいは今後開発される任意の規格に従って動作する、完全に機能的なセルラー送受信機を含んでもよい。送受信機２１０から出力された、符号化された映像及び音声信号は、復号回路２２０に与えられる。

復号回路２２０は、映像ストリーム及び音声ストリームの各々を独立して復号する。復号回路２２０は、映像ストリーム及び音声ストリームの各々について、チャネル復号器２２２及びソース復号器２２４を含む。また復号回路２２０は、映像ストリームの各々についてポストプロセッサ２２６を含む。チャネル復号器２２２は、伝送中に発生しうる誤りを検出及び補正する。また映像ストリームについてのチャネル復号器２２２は、受信した映像ストリームの受信チャネル品質を示すチャネル品質測定基準（例えばＦＥＲ、ＢＥＲ等）を生成してもよい。ソース符号器２２４は、表示機器４０への出力に適した映像及び音声信号を生成するために、チャネル復号器２２２から出力された映像ストリーム及び音声信号を解凍する。解凍された映像ストリームはポストプロセッサ２２６によってさらに処理されてもよい。例えば、ポストプロセッサ２２６は、ＨＱ及びＬＱ映像ストリームからのフレームが同一サイズでユーザに表示されるように、映像フレームをスケーリングする補間を実行してもよい。

復号された映像及び音声信号は、選択ユニット２３０に入力される。選択ユニット２３０は、映像及び音声ストリームの各々についてのバッファ２３２、及び映像バッファのうちの選択された１つを選択ユニット２３０の映像出力２３６に接続する選択スイッチ２３４を含む。制御ユニット２５０は、チャネル復号器２２２からチャネル品質測定基準を受信し、表示機器４０における再生のために、映像ストリームのうちの選択された１つを出力するように選択スイッチ２３４を制御する。一般的に、制御ユニット２５０は、瞬間的なチャネル状態によりサポートされる最高品質の映像ストリームを選択するだろう。チャネル状態が好適である場合、制御ユニット２５０は表示機器２４０に出力するために最高品質の映像ストリームを選択するだろう。チャネル状態が悪化するにつれ、ＨＱ映像ストリームのＦＥＲあるいはＢＥＲは増加するだろう。ＦＥＲあるいはＢＥＲが予め定められた閾値に到達した場合、制御ユニットは映像コンテンツの再生における中断を回避するように、低品質映像ストリームを選択するだろう。映像ストリームは独立して符号化されるため、この場合ＨＱ映像ストリームは復号する必要はなく、ＬＱ映像ストリームが再生される。故に、ＨＱ映像ストリームが使用に適さない場合でさえ、ＬＱ映像ストリームが再生されうる。

上述したように、品質測定基準は、再生する映像ストリームを選択するために制御ユニット２５０により用いられ、かつ送信された映像ストリームの映像品質を適応させるために映像送信システム１００にフィードバックされうる。送信信号プロセッサ２６０は、アップリンク制御チャネルを介して映像受信システム１００に送信するフィードバック信号を処理する。

前述したように、ＨＱ映像ストリーム及びＬＱ映像ストリームの両方は、映像送信システム１００から映像受信システム２００に送信される。映像受信システム２００は、好ましくは映像ストリームの両方を復号し、それぞれのバッファ２３２に対して復号された映像ストリームを送信する。映像受信システム２００のチャネル復号器２２２は、最新のＨＱ映像ストリームについてのチャネル品質測定基準を生成し、制御ユニット２５０に当該チャネル品質測定基準を提供する。品質測定基準は、例えば復号後の各映像ストリームについてのＦＥＲあるいはＢＥＲを含んでもよい。いくつかの実施形態では、復号器２２２は、両方の映像ストリームについてのＦＥＲ、ＢＥＲ、あるいは他のチャネル品質測定基準を提供してもよい。制御ユニット２５０は、品質測定基準に基づいて、映像ストリームのうちの１つを出力用に選択する。

図６は、出力用の映像ストリームの選択について、映像受信システム２００で実行される例示的な方法３００を示している。映像受信システム２００は、１以上の映像ストリームを復号する（ブロック３０２）。この例において、２つの映像ストリーム、即ちＨＱ映像ストリーム及びＬＱ映像ストリームは、映像送信システムから受信されるものとする。映像受信システムのチャネル復号器２２２は、少なくともＨＱ映像ストリームのチャネル品質測定基準を生成する（ブロック３０４）。品質測定基準は、例えばＨＱ映像ストリームのＦＥＲあるいはＢＥＲを含んでもよい。制御ユニット２５０は、ＨＱ映像ストリームのＦＥＲあるいはＢＥＲと、予め定められた第１の閾値とを比較する（ブロック３０６）。なお、この例における品質測定基準は誤りレートであり、故に閾値は、ＦＥＲあるいはＢＥＲの上限値であってよい。チャネル状態が悪化するにつて、ＦＥＲ及び／またはＢＥＲは増加する。従って、閾値は許容しうる誤りの最大量に基づいて設定される。ＦＥＲあるいはＢＥＲが予め定められた第１の閾値を超える場合、制御ユニット２５０はＬＱストリームが現在選択されているか否かを判断する（ブロック３０８）。ＬＱストリームが現在選択されていない場合、制御ユニット２５０は出力をＬＱ映像ストリームに切り替える制御信号を生成する（ブロック３１０）。ＬＱストリームが選択されていた場合、処理は終了し（ブロック３１８）、映像受信システム２００はＬＱ映像ストリームの出力を継続する。ＦＥＲあるいはＢＥＲが予め定められた第１の閾値よりも小さい場合、制御ユニット２５０はＨＱストリームが現在選択されているか否かを判断する（ブロック３１４）ＨＱストリームが現在選択されていない場合、制御ユニット２５０は出力をＨＱ映像ストリームに切り替える制御信号を生成する（ブロック３１６）。ＨＱストリームが選択されている場合、処理は終了し（ブロック３１８）、映像受信システム２００はＨＱ映像ストリームの出力を継続する。

本発明の１つの例示的な実施形態では、ＬＱ映像ストリームの復号は、常に必要ではない。ＨＱ映像ストリームのチャネル品質が十分である場合、ＬＱ映像ストリームのチャネル復号器２２２及びソース復号器２２４を使用不能あるいは機能停止することにより、処理リソースは節約されうる。ＨＱ映像ストリームの品質が悪化するにつれて、ＬＱ映像ストリームの復号が使用可能にされればよい。好ましくは、ＬＱ映像ストリームの復号は、ＬＱ映像ストリームのバッファ２３２が十分な時間を有するように、ＬＱ映像ストリームへの切り替え前に使用可能にされる。予め定められた第１の閾値よりも低い、予め定められた第２の閾値は、ＬＱ映像ストリームについての復号を可能及び不可能にするために用いられうる。ＨＱ映像ストリームのチャネル品質が予め定められた第２の閾値を超える場合、制御ユニット２５０はＬＱ映像ストリームの復号を可能にする。ＨＱ映像ストリームのチャネル品質が所定の期間予め定められた第２の閾値以下である場合、ＬＱストリームの復号は使用不能にされる。

ＨＱ及びＬＱ映像ストリーム間を円滑に切り替えるために、制御ユニット２５０は、１つの映像ストリームから他の状態への変換が、選択されている映像ストリームのＩフレームの発生と同期するように、選択回路２３０の切替タイミングを制御してもよい。図７は、発明の１つの例示的な実施形態における、切替タイミングを示したタイミング図である。パルスで示されるＨＱ及びＬＱ映像ストリームにおけるＩフレームのタイミングは、ＨＱ及びＬＱストリームの各々におけるＩフレーム間の時間関係が制御ユニット２５０に認識されるように、同期していることが好ましい。図７に示されるように、ＨＱストリームは時刻ｔ_０で選択される。その後ＨＱストリームのチャネル品質が悪化すると、制御ユニット２５０は、ＬＱストリームのＩフレームと同期する時刻ｔ_１においてＬＱ映像ストリームに切り替える。ＨＱストリームのチャネル品質が改善された場合、制御ユニット２５０は、ＨＱストリームのＩフレームと同期する時刻ｔ_２においてＨＱ映像ストリームに再び切り替える。

１つの例示的な実施形態において、リソースの無駄を回避し、ユーザに対してより良好な視聴体験を提供するように、映像受信システム２００から受信したフィードバックに基づいて、映像送信システム１００は高品質映像ストリーム、低品質映像ストリーム、あるいはその両方の品質を適応させうる。映像受信システム２００が長時間ＬＱ映像ストリームを選択している状態にある場合、映像送信システム２００は１以上の映像ストリームの映像品質を下方調整する。逆に、映像受信システム２００が長時間高品質映像ストリームを選択している状態にある場合、１以上の映像ストリームの映像品質は上方調整される。

映像品質の低減は、いくつかの異なる方法で達成されてもよい。映像ストリームの映像品質を低減する１つの方法は、映像ストリームのフレームの水平解像度、垂直解像度、あるいは色深度を低減する方法である。映像品質を低減する他の方法は、映像送信システム１００においてソース符号器１２０により用いられる圧縮比を変更する方法である。これらの方法はそれぞれ、映像受信システム２００に送信されるソース符号ビットの数を低減している。ソース符号化された映像ストリームのデータレートが低減された場合、対応して、目標の誤りレートを有する映像ストリームを受信するために必要な信号対ノイズ比における低減も現れる。またソースビットの数の低減は、送信される映像ストリームの電力マージンを増加する。ソース符号ビットの数の低減により得られる追加のマージンは、誤り保護を増加するためにチャネル符号器１３０により適用される冗長量（即ち符号化レートの低下）の増加により用いられうる。また、追加のマージンは、チャネル符号ビットの送信データレートの減少あるいは送信電力の増加することに用いられうる。

本願と共に出願された、「マルチメディアストリーム選択」と題された同時継続米国出願は、映像ストリームの品質を調整する１つの例示的な方法及び装置を詳述しており、ここではその全体を参照により組み込むものとする。

２つのストリーム映像送信システムから映像受信システム２００について送信されるものとして説明された発明の例は、本技術分野に属する当業者は、追加の１以上の中間品質映像ストリームが送信されてもよいことを理解するだろう。この場合、映像受信システム２００は、現在のチャネル状態でサポートされる、最も高い品質の映像ストリームを選択するように構成されうる。しかしながら、送信される映像ストリームの各々は、他の目的で用いられうる追加の帯域幅を減少させる。

発明の１つの例示的な実施形態によれば、チャネル状態が高品質映像ストリームをサポートするために十分でない場合、１以上の中間品質映像ストリームは、高品質映像ストリームに不均一誤り保護符号を使用し、高品質映像ストリームの使用可能な部分と低品質映像ストリームとを合成することにより、映像受信システム２００において生成されうる。本実施形態では、高品質映像ストリームの高周波数成分は、高品質映像ストリームの低周波数部分よりもより高い誤り保護を受ける。より高い誤り保護の高周波数成分への適用は、経験に反するものである。一般に、不均一誤り保護方式は、映像ストリームにおける低周波数成分に対してより高い誤り保護を与えるものである。第２の低品質映像ストリームが映像の低周波数成分を含むため、本発明は正反対の性質を示す。チャネル状態が、高品質映像ストリームがサポートされない状態である場合、高品質映像ストリームの高周波数成分はまだ使用可能である。この場合、映像受信システム２００は、表示機器４０に出力用の中間品質映像ストリームを生成するために、高品質映像ストリームの高周波数成分と低品質映像ストリームとを合成する。

図８は、上述したようにＨＱ映像ストリームに対して不均一誤り保護を適用する、例示的な映像送信システム１００を示している。図８に示される映像送信システム１００は、図３に示された映像送信システム１００と実質的に同一である。従って、対応する構成要素を示すために、同一の参照番号が図８において用いられる。映像送信システム１００は、符号化回路１０５、送受信機１４０、受信信号プロセッサ１５０、及び制御ユニット１６０を含む。符号化回路１０５は、映像ストリームの各々についてのプリプロセッサ１１０、及び映像及び音声ストリームの各々についてのソース符号器１２０を含む。ソース符号器１２０は、ＨＱ映像ストリームの高周波数成分及び低周波数成分を独立して符号化するために、ＨＱ映像ストリームに対してサブバンド符号化を使用する。ＨＱ映像ストリームのソース符号器１２０は、２つの独立したストリームとして、高周波数成分及び低周波数成分を出力する。ＬＱ映像ストリーム及び音声ストリームについてのソース符号器１２０は、上述したものと同様であってよい。符号化回路１０５は、ソース符号器１２０により出力される映像及び音声ストリームの各々について１つが割り当てられる、複数のチャネル符号器１３０をさらに含む。従って、本実施形態では基本的に、高周波数ストリームと低周波数ストリームの２つの独立したストリームにＨＱ映像ストリームを分割する。高周波数ストリームについてのチャネル符号器１３０は、低周波数ストリームについてのチャネル符号器１３０よりも高いレベルの誤り保護を高周波数ストリームに適用する。そして、３つの映像ストリーム及び１つの音声ストリームが、送信用に送受信機から出力される。送受信機１４０、受信信号プロセッサ１５０、及び制御ユニット１３０を含む、映像送信システム１００の残りの構成要素は、上述したものと同様である。

図９は、中間品質映像ストリームを生成するために、ＨＱ及びＬＱ映像ストリームを選択的に合成するように構成された、例示的な映像受信システム２００を示している。図９に示される映像送信システム２００は、図５に示された映像送信システムと同様である。従って、対応する構成要素を示すために、同一の参照番号が用いられている。映像受信システム２００は、送受信機２１０、復号回路２２０、選択ユニット２３０、制御ユニット２５０、及び送信信号プロセッサ２６０を有する。復号回路２２０は、映像及び音声ストリームの各々についてのチャネル復号器２２２及びソース復号器２２４を含む。復号回路２２０は、映像ストリームの各々についてのポストプロセッサ２２６をさらに含む。音声ストリーム及びＬＱ映像ストリームについてのチャネル復号器２２２は、上述したものと同様であってよい。復号回路２２２は、上述した実施形態とは対照的に、ＨＱ映像ストリームの高周波数（ＨＦ）及び低周波数（ＬＦ）成分についての独立したチャネル符号化器を含む。上述したように、ＨＱ映像ストリームのＨＦ成分は、ＬＦ成分よりも高い誤り保護を有する。ＨＦ及びＬＦ成分についてのチャネル復号器２２２は、出力用の映像ストリームの選択に用いられる独立した品質測定基準を、制御ユニット２５０に提供してもよい。

ＬＱ映像ストリーム及び音声ストリームについてのソース復号器２２４は、上述したものと同様であってよい。ＨＱ映像ストリームについてのソース復号器２２４は、２つの入力を受信する。第１の入力は、ＨＱ映像ストリームのＨＦ成分についてのチャネル復号器２２２からの入力である。第２の入力は、ＨＱ映像ストリームのＬＦ成分についてのチャネル復号器２２２とＬＱ映像ストリームについてのチャネル復号器２２２との間に接続される、スイッチ２４２からの出力である。スイッチ２４２は、ＨＱ映像ストリームのＬＦ成分についてのチャネル復号器２２２の出力に接続される１つの入力を有する。第２の入力は、解像度プロセッサ２４０に接続される。解像度プロセッサ２４０は、ＬＱ映像ストリームの解像度がＨＱ映像ストリームの解像度に一致するようにＬＱ映像ストリームを処理する。そして拡張されたＬＱ映像ストリームは、スイッチ２４２に入力される。

制御ユニット２５０は、ＨＱ映像ストリーム、ＬＱ映像ストリーム、及び中間品質（ＩＱ：intermediate quality）映像ストリームを選択するように構成される。選択決定は、ＨＱ映像ストリームの少なくともＬＦ成分についての品質測定基準に基づいている。ＬＦ成分が低い誤り保護を受けるため、制御ユニット２５０はＨＦ成分が使用するのに許容可能な品質を有するとみなすことができる。しかしながら、制御ユニット２５０はＨＱ映像ストリームの使用の決定をする際にＨＦ成分の品質測定基準も考慮しうる。

チャネル状況が好適である場合、制御ユニット２５０はＨＱ映像ストリームについてのソース復号器２２４にＬＦ成分を出力するようにスイッチ２４２を制御する。そしてソース復号器２２５は、ＨＱ映像ストリームを再生成するためにＨＦ及びＬＦ成分を合成し、ＨＱ映像ストリームを出力する。制御ユニット２５０は、ＨＱ映像ストリームを出力するように選択回路２３４も制御する。チャネル状態がＨＱ映像ストリームをサポートしない場合、制御ユニット２５０はＨＱ映像ストリームのＨＦ及びＬＦ成分についての品質測定基準に基づいて、ＬＱ映像ストリームあるいはＩＱ映像ストリームのどちらを出力するかを決定する。ＨＱ映像ストリームのＨＦ成分が使用可能な場合、制御ユニット２５０は拡張ＬＱ映像ストリームをソース符号器２２４に出力するように、スイッチ２４２を制御する。この場合、ＨＱ映像ストリームについてのソース符号器２２４は、ＩＱ映像ストリームを生成するためにＨＱ映像ストリームのＨＦ成分と拡張ＬＱ映像ストリームとを合成し、ＩＱ映像ストリームを出力する。ＨＦ成分が使用できない場合、制御ユニット２５０はＬＱ映像ストリームを出力するように選択回路２３４を制御する。

図１０は、１つの例示的な実施形態に係る、ＨＱ映像ストリーム、ＬＱ映像ストリーム、あるいはＩＱ映像ストリームを選択する例示的な方法５００を示している。映像受信システム２００は、１以上の映像ストリームを復号する（ブロック５０２）。この例では、ＨＱ映像ストリーム及びＬＱ映像ストリームの２つの映像ストリームが、映像送信システムから受信されるものとする。映像受信システム２００のチャネル復号器２２２はＨＱ映像ストリームの少なくともＬＦ成分についてのチャネル品質測定基準を生成する（ブロック５０４）。品質測定基準は、例えば映像ストリームのＦＥＲあるいはＢＥＲを有してよい。制御ユニット２５０は、ＬＦ成分のＦＥＲあるいはＢＥＲと、上述したような予め定められた第１の閾値とを比較する（ブロック５０６）。なお、この例における品質測定基準は誤り率であり、故に閾値はＦＥＲあるいはＢＥＲにおける上限値であってよい。チャネル状態が悪化するにつれて、ＦＥＲ及び／またはＢＥＲは増加する。従って、閾値は許可しうる限り誤りの最大量に基づいて設定される。ＦＥＲあるいはＢＥＲが予め定められた第１の閾値を超える場合、制御ユニット２５０はＬＱストリームが現在選択されているか否かを判断する（ブロック５０８）。ＬＱストリームが現在選択されている場合、制御ユニット２５０は、選択回路２３０にＨＱ映像ストリームを出力させるための制御信号を生成する（ブロック５１０）。ＨＱストリームが選択されている場合、処理は終了し（ブロック５２２）、選択回路２３４はＨＱ映像ストリームの出力を継続する。

ブロック５０６に戻り、ＦＥＲあるいはＢＥＲが予め定められた第１の閾値よりも小さい場合、制御ユニット２５０はＨＦ成分についての品質測定基準に基づいて、ＨＱストリームのＨＦ成分が使用可能であるか否かを判断する（ブロック５１２）。ＨＦ成分が使用可能である場合、中間品質ストリームが選択される。制御ユニット２５０は、ＩＱストリームが既に選択されているか否かを判断する（ブロック５１４）。ＩＱストリームが選択されていない場合、制御ユニット２５０はＩＱ映像ストリームに切り替える（ブロック５１６）。ＨＦ成分が使用可能でない場合、ＬＱ映像ストリームが選択される。制御ユニット２５０は、ＬＱストリームが現在選択されているか否かを判断する、そして選択ユニット２３０にＬＱ映像ストリームを出力させるための制御信号を生成する（ブロック５２０）。

上述したシステムでは、ＨＱ映像ストリームの異なる周波数成分は、異なるレベルの誤り保護を受ける。本発明のいくつかの実施形態では、同様の技術がＨＱ映像ストリームの空間特異成分に対して異なるレベルの誤り保護を適用するために用いられうる。例えば、ＨＱ映像ストリームの中心領域は、ＨＱ映像ストリームの周辺領域よりも高いレベルの誤り保護が適用されうる。そして中心領域は、中間品質映像ストリームを生成するために必要であれば、ＬＱストリームと合成される。より一般的には、ＨＱ映像ストリームは相対的に高い重要度の領域及び相対的に低い重要度の領域に分割されうる。高い重要度を有する領域は、より低い重要度を有する領域よりも高い誤り保護を受けてもよい。一例のように、オブジェクト認識技術が最前面のオブジェクトを識別するために用いられてもよい。最前面のオブジェクトは、背面のオブジェクトよりも高い誤り保護が与えられてもよい。そして相対的に高い重要度を有する領域は、中間品質映像ストリームを生成するために必要であれば、ＬＱストリームと合成される。

発明の本質的な特徴を逸脱することなく、本明細書において具体的に説明した方法とは異なる方法で本発明を実行することができることは言うまでもない。本実施形態は、あらゆる観点において例示的かつ非限定的なものとして解釈されるべきものであり、添付の請求項の意味及び均等な範囲に含まれるあらゆる変更は、本発明に包含されることが意図されている。

Claims

映像ソースから、選択された映像コンテンツを受信する工程と、
前記選択された映像コンテンツを含む、高品質映像ストリーム及び低品質映像ストリームを生成する工程と、
前記高品質映像ストリームの高周波成分が、低周波成分よりも高い誤り保護を受けるように、不均一誤り保護符号を用いて前記高品質映像ストリームを符号化する工程と、
前記低品質映像ストリームの誤り保護が、前記高品質映像ストリームの低周波数成分の誤り保護よりも高くなるように、前記低品質映像ストリームを符号化する工程と、
符号化された前記低品質映像ストリーム及び高品質映像ストリームを、映像受信システムに同時に送信する工程と、
を有することを特徴とするマルチストリーム映像送信方法。
選択された映像コンテンツを送信するマルチストリーム映像送信システムであって、
符号化回路であって、
前記選択された映像コンテンツから高品質映像ストリームを生成して、当該高品質映像ストリームの高周波成分が低周波成分より高い誤り保護を受けるように、不均一誤り保護符号を用いて前記高品質映像ストリームを符号化し、
前記選択された映像コンテンツから低品質映像ストリームを生成して、前記高品質映像ストリームの前記低周波成分よりも高い誤り保護を与えて前記低品質映像ストリームを符号化するように構成された符号化回路と、
符号化された前記高品質映像ストリーム及び低品質映像ストリームを映像受信システムに送信する送信機と、
を有することを特徴とするマルチストリーム映像送信システム。
マルチストリーム映像の合成方法であって、
選択された映像コンテンツに対応する高品質映像ストリームを受信する工程であって、当該高品質映像ストリームの高周波成分が低周波成分よりも高い誤り保護を有するように、前記高品質映像ストリームが不均一誤り保護符号により保護されている工程と、
前記選択された映像コンテンツに対応する低品質映像ストリームを受信する工程であって、当該低品質映像ストリームが前記高品質映像ストリームの前記低周波成分よりも高い誤り保護を有するように、前記低品質映像ストリームが誤り保護符号により保護されている工程と、
前記高品質映像ストリームの前記高周波成分について第１の品質測定基準を、前記低周波成分について第２の品質測定基準を生成する工程と、
前記第１及び第２の品質測定基準に基づいて、前記高品質映像ストリーム、前記低品質映像ストリーム、及び中間品質映像ストリームのうちの１つを出力用に選択する工程と、
前記第２の品質測定基準が、誤り率が所定の閾値を超えない第１の状態を満たす場合に、出力用に前記高品質映像ストリームを再生成するために、前記高品質映像ストリームの前記高周波及び低周波成分を復号して合成する工程と、
前記第２の品質測定基準が前記第１の状態を満たさず、かつ前記第１の品質測定基準が、前記高品質映像ストリームの高周波成分が使用可能な第２の状態を満たす場合に、出力用に中間品質映像ストリームを生成するために、前記高品質映像ストリームの前記高周波成分及び前記低品質映像ストリームを復号して合成する工程と、
前記第２の品質測定基準が前記第１の状態を満たさず、かつ前記第１の品質測定基準が前記第２の状態を満たさない場合に、出力用に前記低品質映像ストリームを復号する工程と、
を有することを特徴とする方法。
マルチストリーム映像を受信する通信機器であって、
選択された映像コンテンツに対応する高品質映像ストリーム及び低品質映像ストリームを、映像送信機器から受信する受信機であって、前記高品質映像ストリームの高周波成分が低周波成分よりも高い誤り保護を有するように、前記高品質映像ストリームは不均一誤り保護符号を用いて保護され、前記低品質映像ストリームが前記高品質映像ストリームの前記低周波成分よりも高い誤り保護を有するように、前記低品質映像ストリームは誤り保護符号を用いて保護されている受信機と、
前記高品質映像ストリームの前記高周波成分に関連付けられた第１の品質測定基準、及び前記高品質映像ストリームの前記低周波成分に関連付けられた第２の品質測定基準に基づいて、前記高品質映像ストリーム、前記低品質映像ストリーム、及び中間品質映像ストリームのうちの１つを出力用に選択する制御手段と、
前記制御手段に応答する復号回路であって、
前記第２の品質測定基準が、誤り率が所定の閾値を超えない第１の状態を満たす場合に、出力用に前記高品質映像ストリームを再生成するために、前記高品質映像ストリームの前記高周波及び低周波成分を復号して合成し、
前記第２の品質測定基準が前記第１の状態を満たさず、かつ前記第１の品質測定基準が、前記高品質映像ストリームの高周波成分が使用可能な第２の状態を満たす場合に、出力用に中間品質映像ストリームを生成するために、前記高品質映像ストリームの前記高周波成分及び前記低品質映像ストリームを復号して合成し、
前記第２の品質測定基準が前記第１の状態を満たさず、かつ前記第１の品質測定基準が前記第２の状態を満たさない場合に、出力用に前記低品質映像ストリームを復号する
ように構成された復号回路と、
を有することを特徴とする通信機器。