JP5265496B2

JP5265496B2 - スケーラブルビデオ伝送処理方法及び装置

Info

Publication number: JP5265496B2
Application number: JP2009240628A
Authority: JP
Inventors: 曉利王; 永生張; ▲域▼ 張; 峰楊; 健宋; ▲深▼ 池
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2008-10-20
Filing date: 2009-10-19
Publication date: 2013-08-14
Anticipated expiration: 2029-10-19
Also published as: JP2010114891A; CN101729874A; CN101729874B

Description

本発明は、ビデオ通信技術分野に関し、特に、直交周波数分割多重通信システムに応用するスケーラブルビデオ伝送処理方法及び装置に関する。

スケータブルビデオ（ＳｃａｌａｂｌｅＶｉｄｅｏ）は、ビデオ流の特定の部分が抽出されてもなお独立に復号でき、又は比較的に低いコードレート又は比較的に低い解像度又は比較的に低いビデオ品質を得られる流媒体であり、広範な応用見込みがある。例えば、ますます複雑になるネットワークビデオ応用環境において、同一のビデオ内容に対して、異なる端末の需要を満足するために、異なる解像度、フレームレート又はビットレートのビットストリームを同時に提供することが要求される可能性がある。適切なスケーラブルビデオ符号化方法を用いれば、情報源に対して一回だけの符号化（最高な解像度又はコードレートで）を行なうことで、需要を満足することができる。比較的に低い解像度又は品質のビデオは、スケーラブル符号化ビットストリームにより一部の復号をして得ることができる。例えば、移動端末の場合、その解像度やチップの復号能力及び電池電力など制限があるため、伝送ビットストリームのうち必要とする部分だけを復号すればよい。また、スケーラブルビットストリームで従来のビデオビットストリームを代替することにより、基幹網の負荷を大幅に減少できるので、無線放送網や無線ＬＡＮなどの分野に広く応用されることができる。

ビデオのスケーラブルは、時間スケーラブル、空間スケーラブル、品質スケーラブルの三種類に分けることができる。

無線通信の物理層伝送技術では、ＯＦＤＭ（ＯｒｔｈｏｇｏｎａｌＦｒｅｑｕｅｎｃｙＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅｘｉｎｇ直交周波数分割多重）が主流となっており、その基本となる思想が、利用可能な周波数スペクトルを、複数の狭い帯域、低いデータレートのサブキャリアに分けることである。高い周波数スペクトル利用率を得るために、サブキャリアの周波数スペクトルが互いに重なりあい、直交する。各サブキャリアには異なる変調方式を利用でき、よく利用されるのは、ＢＰＳＫ（ＢｉｎａｒｙＰｈａｓｅＳｈｉｆｔＫｅｙｉｎｇ、二位相偏移変調）、ＱＰＳＫ（ＱｕａｄｒａｔｕｒｅＰｈａｓｅＳｈｉｆｔＫｅｙｉｎｇ、四位相偏移変調）、ＱＡＭ（ＱｕａｄｒａｔｕｒｅＡｍｐｌｉｔｕｄｅＭｏｄｕｌａｔｉｏｎ、直交振幅変調）などがある。即ち、ＯＦＤＭは、実際に高速の直列データを低速の並列データに変換して伝送を行なうことである。ＯＦＤＭは、比較的に高い周波数スペクトル利用率及びマルチパス干渉抵抗能力により、高速データ伝送を解決する主流技術の一つになっており、現在デジタルビデオ放送（ＤＶＢ‐Ｔ、ＩＳＤＢ‐Ｔ、ＤＴＭＢ）、非対称ユーザデータ線（ＡＤＳＬ）及び無線アクセスネットワークシステム（ＩＥＥＥ８０２．１１、ＩＥＥＥ８０２．１６）に広く応用されている。

従来技術では、内容を区分する（重要なデータパケットと副次的なデータパケット）か否かに応じて、ビデオ伝送方法が対等保護と非対等保護の二種類に分けられる。非対等保護方法は、通常送受信側間の歪を最適化する目標とし、その主要思想は、重要な内容に対して大切に保護し、副次的な内容に対して一般的に保護することである。以下、いくつかの従来の非対等保護方法である。

ＤＶＢ‐Ｈ（ＤｉｇｉｔａｌＶｉｄｅｏＢｒｏａｄｃａｓｔｉｎｇ‐Ｈａｎｄｈｅｌｄ）規格は、スケーラブル伝送方法を提案し、データストリームをＨＰ（ＨｉｇｈＰｒｉｏｒｉｔｙ、高い優先度）とＬＰ（ＬｏｗＰｒｉｏｒｉｔｙ、低い優先度）の二種類に分ける。伝送するときに、階層変調（ＨｉｅｒａｒｃｈｉｃａｌＭｏｄｕｌａｔｉｏｎ）を利用してＨＰをＱＡＭコンステレイションポイントの高位のビットにマッピングし、ＬＰをＱＡＭコンステレイションポイントの低位のビットにマッピングする（６４ＱＡＭを例とすると、高位２ビットでＨＰを伝送し、低位４ビットでＬＰを伝送する）。ＱＡＭコンステレイションポイントのユークリッド距離が異なり且つ高位のビットにはより大きいユークリッド距離を有するため、ＬＰよりＨＰのほうがよく保護される。

非特許文献１により、ＯＦＤＭを利用して画像又はビデオロバスト伝送を行なう方法が提案されている。該方法は、サブキャリア、エネルギー及び変調方式のビットレートの割り当てを通して非対等保護の目的を達している。詳しくは、重要なビットストリームをＳＮＲが高いサブキャリアにあるようにして、適切なエネルギーと変調方式を割り当てることによりこれらのデータに対する大切な保護を実現する。該方法は、ＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ、離散余弦変換）後の係数を伝送対象とし、実用されるビデオ符号化標準が通常ＤＣＴ実施後にエントロピー符号化を行なうのとは逆になって、直接に標準ビデオ流（Ｈ.２６４、ＭＰＥＧ‐２など）の伝送に用いることができない。

ＲｏｂｕｓｔｉｍａｇｅＡｎｄｖｉｄｅｏｔｒａｎｓｍｉｓｓｉｏｎｏｖｅｒｓｐｅｃｔｒａｌｌｙｓｈａｐｅｄｃｈａｎｎｅｌｓｕｓｉｎｇｍｕｌｔｉｃａｒｒｉｅｒｍｏｄｕｌａｔｉｏｎ（Ｈ．ＺｈｅｎｇＡｎｄＫ．Ｊ．Ｌｉｕ、ＩＥＥＥＴｒａｎｓ．Ｍｕｌｔｉｍｅｄｉａ、ｖｏｌ．１、ｐｐ．８８‐１０３、Ｊａｎ．１９９９）

無線チャネルの伝送能力は、明らかな時変特性を有する。深刻な減衰があるときに、受信側のＳＮＲが明らかに悪化する。しかし、従来のビデオ伝送技術は、簡単なデータ保護（対等と非対等保護を含む）及び伝送方式しか提供しておらず、チャネルにおいて処理をすることで重要度が比較的に高いデータを保護するが、情報源とチャネルの整合を実現するように、伝送する前に情報源に対して予備処理を行なわない。

本発明は、スケーラブルビデオ伝送処理方法及び装置を提供し、情報源とチャネルを結合してスケーラブルビデオ伝送を行ない、システム性能を向上することを目的とする。

上記目的を実現するために、本発明の実施例によるスケーラブルビデオ伝送処理方法は、伝送予定のビデオデータに対してスケーラブル情報源符号化を行ない、最初の伝送予定データパケット集合を得るステップ１１と、前記最初の伝送予定データパケット集合のうちの各伝送予定データパケットに対して重みの推定を行ない、各伝送予定データパケットの重みを得るステップ１２と、前記伝送予定データパケットの重みが大きいほうから順に、前記伝送予定データパケット集合のうちの前記伝送予定データパケットに対し、現在利用可能サブキャリアを利用してサブキャリアを割り当て、サブキャリアを割り当てた伝送予定データパケット集合により第１の伝送予定データパケット集合を構成し、前記第１の伝送予定データパケット集合のうち、重みが小さいデータパケットより、重みが大きい伝送予定データパケットに割り当てたサブキャリアのチャネル品質が優れておるステップ１３と、前記伝送予定データパケットの重みが大きいほうから順に、前記第１の伝送予定データパケット集合からデータパケットを抽出して第２の伝送予定データパケット集合を構成し、前記第２の伝送予定データパケット集合のうちの第２の伝送予定データパケットに対し、エネルギー制限条件とチャネル状態情報を利用してエネルギーを割り当て、割り当てたサブキャリアとエネルギーを利用して伝送するときに、前記第２の伝送予定データパケット集合の情報源歪とチャネル歪とは所定の倍数関係に満足しているステップ１４と、前記第２の伝送予定データパケット集合を、直交周波数分割多重変調して送信するステップ１５とを含む。

前記スケーラブルビデオ伝送処理方法によれば、前記ステップ１２において、伝送予定データパケットlの重みは、前記最初の伝送予定データパケット集合のうち、復号が前記伝送予定データパケットlに依頼するすべての伝送予定データパケットが正しく復号された後、受信側のビデオ歪の総減少量である。

前記スケーラブルビデオ伝送処理方法によれば、前記ステップ１４は、現在利用可能なサブキャリア数に基づき、伝送予定データパケットの重みが大きいほうから順に、前記第１の伝送予定データパケット集合から現在利用可能なサブキャリアに伝送可能な最大量の伝送予定データパケットを抽出して第２の伝送予定データパケット集合を構成するステップ１４１と、前記第２の伝送予定データパケット集合の情報源歪を計算し、情報源歪とチャネル歪との所定の倍数関係に基づいて前記第２の伝送予定データパケット集合のチャネル歪を取得するステップ１４２と、第２の伝送予定データパケット集合のチャネル歪とチャネル歪法則に基づいて、第２の伝送予定データパケット集合のうちの各伝送予定データパケットのチャネル歪及び前記チャネル歪に達するのに対応する符号エネルギーを計算するステップ１４３と、伝送予定データパケットの重みが大きいほうから順に、第２の伝送予定データパケット集合のうちの各伝送予定データパケットに、前記対応する符号エネルギーを割り当てるステップ１４４と、エネルギーの割り当てがエネルギー制限に満足するか判断し、満足する場合ステップ１５へ進むが、満足しない場合ステップ１４６へ進むステップ１４５と、現在利用可能なサブキャリア数を低下させて更新後の現在利用可能なサブキャリア数を得てステップ１４１に戻るステップ１４６とを含む。

前記スケーラブルビデオ伝送処理方法によれば、前記更新後の現在利用可能なサブキャリア数は、現在利用可能なサブキャリア数と実際に割り当てたサブキャリア数との和の半分であり、前記実際に割り当てたサブキャリア数は、現在のエネルギー制限条件のもと、前記第２の伝送予定データパケット集合のうち、伝送予定データパケットの重みが大きいほうから順に、対応する符号エネルギーを割り当てる可能とする最大数の伝送予定データパケットに必要なサブキャリア数である。

前記スケーラブルビデオ伝送処理方法によれば、前記第２の伝送予定データパケット集合の情報源歪が

であり、Ｄ_０は、正しく復号された伝送予定データパケットがないときの最初の歪であり、Ｓは、前記第２の伝送予定データパケット集合であり、ΔＤ_ｌは、データパケットlが正しく復号された後、受信側のビデオ歪の減少量である。

前記スケーラブルビデオ伝送処理方法によれば、前記チャネル歪法則は、所定の抽出Ｓとチャネル歪制限

について、Ｓに属するデータパケットlにより導入された歪

の時に、エネルギー総量が最も小さく、前記α_ｌがデータパケットlに相関する常数であり、前記ｃ_ｌがデータパケットlに割り当てたサブキャリア数である。

上記目的を実現するために、本発明の実施例によるスケーラブルビデオ伝送処理装置は、伝送予定のビデオデータに対してスケーラブル情報源符号化を行ない、最初の伝送予定データパケット集合を得る符号化モジュールと、前記最初の伝送予定データパケット集合のうちの各伝送予定データパケットに対して重みの推定を行ない、各伝送予定データパケットの重みを得る重み計算モジュールと、前記伝送予定データパケットの重みが大きいほうから順に、前記伝送予定データパケット集合のうちの前記伝送予定データパケットに対し、現在利用可能サブキャリアを利用してサブキャリアを割り当て、サブキャリアを割り当てた伝送予定データパケットにより第１の伝送予定データパケット集合を構成し、前記第１の伝送予定データパケット集合のうち、重みが小さいデータパケットより、重みが大きい伝送予定データパケットに割り当てたサブキャリアのチャネル品質が優れているサブキャリア割り当てモジュールと、前記伝送予定データパケットの重みが大きいほうから順に、前記第１の伝送予定データパケット集合からデータパケットを抽出して第２の伝送予定データパケット集合を構成し、前記第２の伝送予定データパケット集合のうちの第２の伝送予定データパケットに対し、エネルギー制限条件とチャネル状態情報を利用してエネルギーを割り当て、割り当てたサブキャリアとエネルギーを利用して伝送するときに、前記第２の伝送予定データパケット集合の情報源歪とチャネル歪とは所定の倍数関係に満足しておる抽出・エネルギー割り当てモジュールと、前記第２の伝送予定データパケット集合を、直交周波数分割多重変調して送信する送信モジュールとを備える。

前記スケーラブルビデオ伝送処理装置によれば、前記重み計算モジュールにおいて、伝送予定データパケットlの重みは、前記最初の伝送予定データパケット集合のうち、復号が前記伝送予定データパケットlに依頼するすべての伝送予定データパケットが正しく復号された後、受信側のビデオ歪の総減少量である。

前記スケーラブルビデオ伝送処理装置によれば、前記抽出・エネルギー割り当てモジュールは、現在利用可能なサブキャリア数に基づき、伝送予定データパケットの重みが大きいほうから順に、前記第１の伝送予定データパケット集合から現在利用可能なサブキャリアに伝送可能な最大量の伝送予定データパケットを抽出して、第２の伝送予定データパケット集合を構成する抽出ユニットと、前記第２の伝送予定データパケット集合の情報源歪を計算し、情報源歪とチャネル歪との所定の倍数関係に基づいて前記第２の伝送予定データパケット集合のチャネル歪を取得する歪計算ユニットと、第２の伝送予定データパケット集合のチャネル歪とチャネル歪法則に基づいて、第２の伝送予定データパケット集合のうちの各伝送予定データパケットのチャネル歪及び前記チャネル歪に達するのに対応する符号エネルギーを計算する符号エネルギー計算ユニットと、伝送予定データパケットの重みが大きいほうから順に、第２の伝送予定データパケット集合のうちの各伝送予定データパケットに、前記対応する符号エネルギーを割り当てる割り当てユニットと、エネルギーの割り当てがエネルギー制限に満足するか判断して、判断結果を得る判断ユニットと、判断結果がエネルギーの割り当てがエネルギー制限に満足すると示すとき、前記送信モジュールを起動させる出力ユニットと、判断結果がエネルギーの割り当てがエネルギー制限に満足していないと示すとき、現在利用可能なサブキャリア数を低下させて更新後の現在利用可能なサブキャリア数を得る帰還ユニットとを備える。

前記スケーラブルビデオ伝送処理装置によれば、前記更新後の現在利用可能なサブキャリア数は、現在利用可能なサブキャリア数と実際に割り当てたサブキャリア数との和の半分であり、前記実際に割り当てたサブキャリア数は、現在のエネルギー制限条件の元、前記第２の伝送予定データパケット集合のうち、伝送予定データパケットの重みが大きいほうから順に、対応する符号エネルギーを割り当てる可能とする最大数の伝送予定データパケットに必要なサブキャリア数である。

前記スケーラブルビデオ伝送処理装置によれば、前記第２の伝送予定データパケット集合の情報源歪が

前記スケーラブルビデオ伝送処理装置によれば、前記チャネル歪法則は、所定の抽出Ｓとチャネル歪制限

について、Ｓに属するデータパケットlにより導入された歪

本発明の実施例に拠れば、下記優れた効果を奏することができる。

本発明の実施例の方法及び装置では、上記伝送予定データパケットの重みが大きいほうから順に、上記伝送予定データパケット集合のうちの上記伝送予定データパケットに対し、現在利用可能サブキャリアを利用してサブキャリアを割り当てた後、上記伝送予定データパケットの重みが大きいほうから順に、サブキャリアを割り当てた伝送予定データパケット集合からデータパケットを抽出し、抽出された伝送予定データパケット集合のうちの伝送予定データパケットに対し、エネルギー制限条件とチャネル状態情報を利用してエネルギーを割り当てる。抽出された伝送予定データパケット集合の情報源歪とチャネル歪とは所定の倍数関係に満足している。上述処理した結果、従来技術と比べ、重要なデータパケットが一層保護され、その送受信側間の歪が更に減少され、システムの性能が向上されている。

同時に、本発明の実施例の方法及び装置では、伝送予定データパケットlの重みは、上記最初の伝送予定データパケット集合のうち、復号が上記伝送予定データパケットlに依頼するすべての伝送予定データパケットが正しく復号された後、受信側のビデオ歪の総減少量である。上述方式によれば、データパケット重要度の量化を実現することができ、データパケットの重要度をより正確に表すことができ、より正確なエネルギー、サブキャリアの割り当てを実現することができ、システムの性能を向上している。

本発明の実施例におけるスケーラブルビデオ伝送処理方法のフローチャートである。本発明の実施例におけるスケーラブルビデオ伝送処理装置の構造図である。データパケット間の依頼関係の一種を示す。本発明の実施例における方法のシミュレーション曲線である。

本発明の実施例におけるスケーラブルビデオ伝送処理方法及び装置において、データパケットによる送受信側間の歪への貢献に基づいて、データパケットの重みを計算すると共に、繰り返し適応抽出及び資源の割り当て（サブキャリア及びエネルギーの割り当て）を通して、任意のチャネル状態における伝送データパケットの最適な組合せ及びそれらを伝送するのに使用するサブキャリア及びエネルギーが提案されている。

本発明の実施例を詳しく説明する前に、まず本発明の具体的な実施例に関係するパラメータを説明する。

伝送予定のビデオ断片がＮフレームの画像からなると仮定すると、スケーラブル情報源符号化器による符号化を経て、各フレームの画像からＫ個のデータパケット（ＤＰ：ＤａｔａＰａｃｋｅｔ）を生成する。シグナリング番号l＝（ｎ‐１）Ｋ＋ｋのデータパケットは、第ｎフレームの画像の第ｋ個のデータパケットである。他のパラメータは、下記の表に示す。

本発明の実施例におけるスケーラブルビデオ伝送処理方法は、図１に示すように、伝送予定のビデオデータに対してスケーラブル情報源符号化を行ない、伝送予定データパケット集合を得るステップ１１と、上記伝送予定データパケット集合のうちの各伝送予定データパケットに対して重みの推定を行ない、各伝送予定データパケットの重みを得るステップ１２と、上記伝送予定データパケットの重みが大きいほうから順に、上記伝送予定データパケット集合のうちの上記伝送予定データパケットに対し、すべてのサブキャリアの割り当てが終了し又は上記伝送予定データパケット集合のうちの上記伝送予定データパケットの割り当てが終了するまで、サブキャリアを割り当て、サブキャリアを割り当てた伝送予定データパケットにより第１の伝送予定データパケット集合を構成するステップ１３と、上記伝送予定データパケットの重みが大きいほうから順に、上記第１の伝送予定データパケット集合からデータパケットを抽出して第２の伝送予定データパケット集合を構成し、上記第２の伝送予定データパケット集合のうちの第２の伝送予定データパケットに対し、エネルギー制限条件とチャネル状態情報を利用してエネルギーを割り当てるステップ１４と、上記第２の伝送予定データパケット集合を、ＯＦＤＭ変調して送信するステップ１５とを含み、上記第１の伝送予定データパケット集合のうち、重みが小さいデータパケットより、重みが大きい伝送予定データパケットに割り当てたサブキャリアのチャネル品質が優れ、且つ、割り当てたサブキャリアとエネルギーを利用して伝送するときに、上記第２の伝送予定データパケット集合の情報源歪とチャネル歪とは所定の倍数関係に満足している。

本発明の実施例では、図２に示すようなスケーラブルビデオ伝送処理装置は、伝送予定のビデオデータに対してスケーラブル情報源符号化を行ない、伝送予定データパケット集合を得る符号化モジュールと、上記伝送予定データパケット集合のうちの各伝送予定データパケットに対して重みの推定を行ない、各伝送予定データパケットの重みを得る重み計算モジュールと、上記伝送予定データパケットの重みが大きいほうから順に、上記伝送予定データパケットに対し、すべてのサブキャリアの割り当てが終了し又は上記伝送予定データパケットの割り当てが終了するまで、サブキャリアを割り当て、サブキャリアを割り当てた伝送予定データパケットにより第１の伝送予定データパケット集合を構成するサブキャリア割り当てモジュールと、上記伝送予定データパケットの重みが大きいほうから順に、上記第１の伝送予定データパケット集合からデータパケットを抽出して第２の伝送予定データパケット集合を構成する抽出モジュールと、上記第２の伝送予定データパケット集合のうちの第２の伝送予定データパケットに対し、エネルギー制限条件とチャネル状態情報を利用してエネルギーを割り当てるエネルギー割り当てモジュールと、上記第２の伝送予定データパケットに対して、ＯＦＤＭ変調を行なう変調モジュールと、上記変調後の上記第２の伝送予定データパケットを、ユーザ端末に送信する送信モジュールとを含み、上記第１の伝送予定データパケットのうち、重みが小さいデータパケットより、重みが大きい伝送予定データパケットに割り当てたサブキャリアのチャネル品質が優れ、且つ、割り当てたサブキャリアとエネルギーを利用して伝送するときに、上記第２の伝送予定データパケット集合の情報源歪とチャネル歪とは所定の倍数関係に満足している。

上述から分かるように、本発明の実施例における方法及び装置は、現在のチャネル状況に応じて、情報源において予め一部のデータパケットを抽出し、上記第２の伝送予定データパケット集合のデータパケットが割り当てたサブキャリアとエネルギーを利用して伝送を行なうときに、生じた情報源歪とチャネル歪とは所定の倍数関係に満足している。

以下、各ステップを詳しく説明する。

本発明の実施例における方法では、まず伝送予定データパケットに対してサブキャリアの割り当てを行なう。サブキャリアの品質は、ＣＧＮＲ（ＣｈａｎｎｅｌＧａｉｎＮｏｉｓｅＲａｔｉｏ）で表し、ＣＧＮＲが大きければ品質がよくなる。

ステップ１３は、具体的に、周波数領域の応答に従い現在の利用可能サブキャリアを降順で配列する手順と、各上記伝送予定データパケットの重みに従い、上記伝送予定データパケットを重みの降順で配列する手順と、上記伝送予定データパケットにサブキャリアの割り当てを行なう手順とを含む。

ここでは、下記二種類の割り当て方式で行なってもよい。

（方式１）
サブキャリアに基づき割り当てる。まず先頭のｃ１個のサブキャリアを第１の伝送予定データパケットに割り当て、そして第ｃ１個のサブキャリアの後ろのｃ２サブキャリアを第２の伝送予定データパケットに割り当て、続いて第ｃ２個のサブキャリアの後ろのｃ３サブキャリアを第３の伝送予定データパケットに割り当てる。これに準じて、すべてのサブキャリアの割り当てが終了し又はすべての上記伝送予定データパケットにサブキャリアを割り当てるまで割り当てる。

（方式２）
データパケットに基づき割り当てる。第１の伝送予定データパケットを抽出し、その需要に応じて、利用可能なサブキャリアのうち、先頭のｃ１個のサブキャリアを第１の伝送予定データパケットに割り当て、そして、第２の伝送予定データパケットを抽出し、その需要に応じて、残りのサブキャリアのうち、先頭のｃ２個のサブキャリアを第２の伝送予定データパケットに割り当て、続いて第３の伝送予定データパケットを抽出し、その需要に応じて、残りのサブキャリアのうち、先頭のｃ３個のサブキャリアを第３の伝送予定データパケットに割り当てる。これに準じて、残りのサブキャリアがなくなるまで、又は、すべての上記伝送予定データパケットにサブキャリアを割り当てるまで割り当てる。

上述から分かるように、このような伝送方式の場合、重みが大きいデータパケット（即ち重要度が高いデータパケット）のほうが割り当てられたサブキャリアのチャネル品質がよい（即ちＣＧＮＲが大きい）。従って、重要なデータパケットがよく保護されることが可能な限り保証されている。

上述のように、伝送予定データパケットにサブキャリアを割り当てる前に、その重みを計算し、その重要度を考慮する必要がある。本発明の具体的な実施例では、サブキャリアを割り当てる段階において、伝送予定データパケットの重みを計算する方式が複数ある。以下は定義方式の一種である。サブキャリアを割り当てる段階において、伝送予定データパケットlの重みを

に定義する。ここで、Ｓはすべての伝送予定データパケットの集合（即ちＬ個の伝送予定データパケットの集合）であり、データパケットl’は、復号が伝送予定データパケットlに依頼するデータパケットであり、且つ自データパケットを含む。下記の例を挙げ説明する。

図３は、データパケット間の依頼関係を示す。図３では、矢印の終点にあるデータパケットの復号は、矢印の起点にあるデータパケットに依頼する。図３の場合を例とすると、データパケット１の重みがΔＤ_１＋ΔＤ_２＋ΔＤ_４であり、データパケット２の重みがΔＤ_２であり、データパケット３の重みがΔＤ_１＋ΔＤ_２＋ΔＤ_３＋ΔＤ_４であり、データパケット４の重みがΔＤ_２＋ΔＤ_４である。

上述方式により、データパケットの重要度を量で表し、データパケットの重要度をより正確に示すことができる。

伝送する前に、伝送予定データパケットから予め一部のデータパケットを抽出し、そして抽出された伝送予定データパケットを伝送する。本発明の具体的な実施例では、抽出された伝送予定データパケットの集合をＳと仮定すると、送受信側間の歪Ｄ_Ｓが下記式（１）のように示される。

Ｄ_０は、正しく復号されたデータパケットがない時の最初の歪である。ε_ｌは、データパケットlのパケットエラーレート（ＰａｃｋｅｔＥｒｒｏｒＲａｔｅ、ＰＥＲ）であり、下記式（２）のように計算する。

Ｇ_ｌは、平均ＣＧＮＲ（ＣｈａｎｎｅｌＧａｉｎＮｏｉｓｅＲａｔｉｏ）である。Ｐ_Ｍ（Ｒ_ｌ，Ｅ_ｓ，ｌＧ_ｌ）は、符号エラーレート（ＳｙｍｂｏｌＥｒｒｏｒＲａｔｅ、ＳＥＲ）である。

上述場合でビデオ伝送の送受信側間の歪を最適化するには、下記最適化問題の解を求めることとなる。

Ｅ_Ｔは、エネルギー総量の制限を示す。Ｃ_Ｔは、利用可能なサブキャリア数である。

送受信側間の歪Ｄ_Ｓに対して線形化操作を行ない、二次項以上の項を無視して、下記式（４）のような、送受信側間の歪Ｄ_Ｓの近似式が得られる。

上述線形化処理を経て、Ｄ_Ｓがデータパケットのパケットロストレートの線形重ねあわせに表されるので、データパケットlが抽出Ｓの場合の重み係数Ｗ_ｌ ^Ｓを

に定義する。

線形化操作後の送受信側間の歪Ｄ_Ｓには、下記のような、抽出Ｓの場合の情報源歪

と、抽出Ｓの場合のチャネル歪

の二部分を含む。

送受信側間の歪が最小のとき、下記のように、チャネル歪み

のγ倍となる。

γが常数であり、合理的な値が０．１前後である。

本発明の具体的な実施例では、繰り返しの方式で抽出Ｓを取得する。

以下、本発明の実施例におけるステップ１４を詳しく説明する。

ステップ１４は、現在利用可能なサブキャリア数に基づき、伝送予定データパケットの重みが大きいほうから順に、上記第１の伝送予定データパケットから現在利用可能なサブキャリアに伝送可能な最大量の伝送予定データパケットを抽出して第２の伝送予定データパケット集合Ｓを構成するステップ１４１と、上記第２の伝送予定データパケット集合の情報源歪

を計算し、情報源歪とチャネル歪との所定の倍数関係に基づいて上記第２の伝送予定データパケット集合のチャネル歪

を取得するステップ１４２と、第２の伝送予定データパケット集合のチャネル歪

とチャネル歪法則に基づいて、第２の伝送予定データパケット集合Ｓのうちの各伝送予定データパケットのチャネル歪を計算し、各伝送予定データパケットが上記チャネル歪に達するのに対応する符号エネルギーＥ_ｓ，ｌを計算するステップ１４３と、伝送予定データパケットの重みが大きいほうから順に、第２の伝送予定データパケット集合のうちの各伝送予定データパケットに、上記対応する符号エネルギーＥ_ｓ，ｌを割り当てるステップ１４４と、エネルギーの割り当てがエネルギー制限に満足するか判断し、即ち、式

が成立するか否かを判断して、満足する場合ステップ１５へ進むが、満足しない場合ステップ１４６へ進むステップ１４５と、実際に割り当てたサブキャリア数を取得し、上記実際に割り当てたサブキャリア数は、現在のエネルギー制限条件のもと、第２の伝送予定データパケット集合のうち、伝送予定データパケットの重みが大きいほうから順に、対応する符号エネルギーＥ_ｓ，ｌを割り当てる可能とする最大数の伝送予定データパケットに必要なサブキャリア数であるステップ１４６と、現在利用可能なサブキャリア数と実際に割り当てたサブキャリア数との和の半分を、更新後の現在利用可能なサブキャリア数として、ステップ１４１に戻るステップ１４７とを含む。

上述ステップでは、現在利用可能なサブキャリア数と実際に割り当てたサブキャリア数との和の半分を、更新後の現在利用可能なサブキャリア数として、ステップ１４１に戻るが、現在利用可能なサブキャリア数から所定のサブキャリア数（例えば１個、２個、３個、又は他の数）を減じてステップ１４１に戻ってもよい。

以下、チャネル歪法則を説明する。

所定の抽出Ｓとチャネル歪制限

について、Ｓに属するデータパケットlにより導入された歪

が下記式（８）を満足したときに、エネルギー総量が最小となる。

α_ｌは、データパケットlに相関する常数であり、データパケットlの変調方式及び対応するチャネル状態情報に決められる。

以下、通信システムによく利用される変調方式で上記問題の解を求めることについて詳しく説明する。該変調方式は、高次ＱＡＭ（ＱｕａｄｒａｔｕｒｅＡｍｐｌｉｔｕｄｅＭｏｄｕｌａｔｉｏｎ、例えば１６ＱＡＭ、６４ＱＡＭ、２５６ＱＡＭなど）、ＱＰＳＫ、ＢＰＳＫなどがある。

高次ＱＡＭ信号について、チャネル歪法則は、下記最適化問題の解となる。

ラグランジュ常数（Ｌａｇｒａｎｇｅｍｕｌｔｉｐｌｉｅｒ）を導入して、最適な解が下記式（１０）を満足する。

α_ｌは、

と定義する。

低い符号エラーレート領域では、下記式（１１）のように

について近似処理を行なってもよい。

よって、

ＱＰＳＫ信号について、Ｒ_ｌ＝２であり、チャネル歪法則に対応する最適化問題は、下記式（１３）となる。

同様に、

を求めることができる。α_ｌはＧ_ｌに定義する。

ＢＰＳＫ信号について、Ｒ_ｌ＝１であり、チャネル歪法則に対応する最適化問題は、下記式（１４）となる。

同様に

を求めることができる。α_ｌはＧ_ｌに定義する。

以下、本発明の実施例による方法の優れた効果のシミュレーションを説明する。情報源とチャネルパラメータは下記の表に示す。

ＴＵとＨＴは、ＧＳＭ標準が推奨するチャネルシミュレーションモデルである。

図４は、上述シミュレーション条件の元、本発明の実施例による方法（ＵＥＰｗＥｘｔ：ＵｎｅｑｕａｌＥｒｒｏｒＰｒｏｔｅｃｔｉｏｎｗｉｔｈＥｘｔｒａｃｔｉｏｎ）と、ＵＥＰｗｏＥｘｔ（ＵｎｅｑｕａｌＥｒｒｏｒＰｒｏｔｅｃｔｉｏｎｗｉｔｈｏｕｔＥｘｔｒａｃｔｉｏｎ）方法によるＳＮＲとＰＳＮＲ（ＰｅａｋＳｉｇｎａｌ‐ｔｏ‐ＮｏｉｓｅＲａｔｉｏ）との曲線図である。図４によると、ＳＮＲ条件とシミュレーションモデルが同一の場合、本発明の実施例による方法（ＵＥＰｗＥｘｔ）には比較的によいＰＳＮＲを有することが分かる。その主な理由を下記に示す。

本発明の実施例による方法（ＵＥＰｗＥｘｔ）は、チャネル状態情報に基づいて適応的に抽出し、受信側のＳＮＲが低くなるとき、送信側が重要度が低いデータパケットを廃棄し、可能な限りエネルギー総量を重要度が高いデータパケットに多めに割り当て、これらのデータパケットが高い確率で正しく受信されることを保証する。一方、ＵＥＰｗｏＥｘｔ方法の場合、ＳＮＲが高いときにエネルギーの割り当てを通して、重要度の高いデータパケットがよく保護されることを保証できるが、その目的関数には複数の極小値点があるため、ＳＮＲが低いときに一部の極小値に落ちるので、優れた性能を保証することができない。

以上は本発明の好ましい実施方式に過ぎない。なお、当該分野の一般技術者にとって、本発明の原理を背離しない前提で、若干の改進や修飾が考えられる。ただし、これらの改進や修飾も本発明の保護範囲にあることが理解されよう。

Claims

スケーラブルビデオ伝送処理方法であって、
伝送予定のビデオデータに対してスケーラブル情報源符号化を行ない、最初の伝送予定データパケット集合を得るステップ１１と、
前記最初の伝送予定データパケット集合のうちの各伝送予定データパケットに対して重みの推定を行ない、各伝送予定データパケットの重みを得るステップ１２と、
前記伝送予定データパケットの重みが大きいほうから順に、前記伝送予定データパケット集合のうちの前記伝送予定データパケットに対し、現在利用可能サブキャリアを利用してサブキャリアを割り当て、サブキャリアを割り当てた伝送予定データパケット集合により第１の伝送予定データパケット集合を構成し、前記第１の伝送予定データパケット集合のうち、重みが小さいデータパケットより、重みが大きい伝送予定データパケットに割り当てたサブキャリアのチャネル品質が優れておるステップ１３と、
前記伝送予定データパケットの重みが大きいほうから順に、前記第１の伝送予定データパケット集合からデータパケットを抽出して第２の伝送予定データパケット集合を構成し、前記第２の伝送予定データパケット集合のうちの第２の伝送予定データパケットに対し、エネルギー制限条件とチャネル状態情報を利用してエネルギーを割り当て、割り当てたサブキャリアとエネルギーを利用して伝送するときに、前記第２の伝送予定データパケット集合の情報源歪とチャネル歪とは所定の倍数関係に満足しておるステップ１４と、
前記第２の伝送予定データパケット集合を、直交周波数分割多重変調して送信するステップ１５とを含むことを特徴とするスケーラブルビデオ伝送処理方法。
前記ステップ１２において、伝送予定データパケットlの重みは、前記最初の伝送予定データパケット集合のうち、復号が前記伝送予定データパケットlに依頼するすべての伝送予定データパケットが正しく復号された後、受信側のビデオ歪の減少総量であることを特徴とする請求項１に記載のスケーラブルビデオ伝送処理方法。
前記ステップ１４は、
現在利用可能なサブキャリア数に基づき、伝送予定データパケットの重みが大きいほうから順に、前記第１の伝送予定データパケット集合から現在利用可能なサブキャリアに伝送可能な最大量の伝送予定データパケットを抽出して第２の伝送予定データパケット集合を構成するステップ１４１と、
前記第２の伝送予定データパケット集合の情報源歪を計算し、情報源歪とチャネル歪との所定の倍数関係に基づいて前記第２の伝送予定データパケット集合のチャネル歪を取得するステップ１４２と、
第２の伝送予定データパケット集合のチャネル歪とチャネル歪法則に基づいて、第２の伝送予定データパケット集合のうちの各伝送予定データパケットのチャネル歪及び前記チャネル歪に達するのに対応する符号エネルギーを計算するステップ１４３と、
伝送予定データパケットの重みが大きいほうから順に、第２の伝送予定データパケット集合のうちの各伝送予定データパケットに、前記対応する符号エネルギーを割り当てるステップ１４４と、
エネルギーの割り当てがエネルギー制限に満足するか判断し、満足する場合ステップ１５へ進むが、満足しない場合ステップ１４６へ進むステップ１４５と、
現在利用可能なサブキャリア数を低下させて更新後の現在利用可能なサブキャリア数を得てステップ１４１に戻るステップ１４６とを含むことを特徴とする請求項１又は２に記載のスケーラブルビデオ伝送処理方法。
前記更新後の現在利用可能なサブキャリア数は、現在利用可能なサブキャリア数と実際に割り当てたサブキャリア数との和の半分であり、前記実際に割り当てたサブキャリア数は、現在のエネルギー制限条件の元、前記第２の伝送予定データパケット集合のうち、伝送予定データパケットの重みが大きいほうから順に、対応する符号エネルギーを割り当てる可能とする最大数の伝送予定データパケットに必要なサブキャリア数であることを特徴とする請求項３に記載のスケーラブルビデオ伝送処理方法。
前記第２の伝送予定データパケット集合の情報源歪が

であり、
Ｄ_０は、正しく復号された伝送予定データパケットがないときの最初の歪であり、Ｓは、前記第２の伝送予定データパケット集合であり、ΔＤ_ｌは、データパケットlが正しく復号された後、受信側のビデオ歪の減少量であることを特徴とする請求項３に記載のスケーラブルビデオ伝送処理方法。
前記チャネル歪法則は、
所定の抽出Ｓとチャネル歪制限

について、Ｓに属するデータパケットlにより導入された歪

の時に、エネルギー総量が最も小さく、前記α_ｌがデータパケットlに相関する常数であり、前記ｃ_ｌがデータパケットlに割り当てたサブキャリア数であることを特徴とする請求項３に記載のスケーラブルビデオ伝送処理方法。
スケーラブルビデオ伝送処理装置であって、
伝送予定のビデオデータに対してスケーラブル情報源符号化を行ない、最初の伝送予定データパケット集合を得る符号化モジュールと、
前記最初の伝送予定データパケット集合のうちの各伝送予定データパケットに対して重みの推定を行ない、各伝送予定データパケットの重みを得る重み計算モジュールと、
前記伝送予定データパケットの重みが大きいほうから順に、前記伝送予定データパケット集合のうちの前記伝送予定データパケットに対し、現在利用可能サブキャリアを利用してサブキャリアを割り当て、サブキャリアを割り当てた伝送予定データパケットにより第１の伝送予定データパケット集合を構成し、前記第１の伝送予定データパケット集合のうち、重みが小さいデータパケットより、重みが大きい伝送予定データパケットに割り当てたサブキャリアのチャネル品質が優れておるサブキャリア割り当てモジュールと、
前記伝送予定データパケットの重みが大きいほうから順に、前記第１の伝送予定データパケット集合からデータパケットを抽出して第２の伝送予定データパケット集合を構成し、前記第２の伝送予定データパケット集合のうちの第２の伝送予定データパケットに対し、エネルギー制限条件とチャネル状態情報を利用してエネルギーを割り当て、割り当てたサブキャリアとエネルギーを利用して伝送するときに、前記第２の伝送予定データパケット集合の情報源歪とチャネル歪とは所定の倍数関係に満足しておる抽出・エネルギー割り当てモジュールと、
前記第２の伝送予定データパケット集合を、直交周波数分割多重変調して送信する送信モジュールとを備えることを特徴とするスケーラブルビデオ伝送処理装置。
前記重み計算モジュールにおいて、伝送予定データパケットlの重みは、前記最初の伝送予定データパケット集合のうち、復号が前記伝送予定データパケットlに依頼するすべての伝送予定データパケットが正しく復号された後、受信側のビデオ歪の減少総量であることを特徴とする請求項７に記載のスケーラブルビデオ伝送処理装置。
前記抽出・エネルギー割り当てモジュールは、
現在利用可能なサブキャリア数に基づき、伝送予定データパケットの重みが大きいほうから順に、前記第１の伝送予定データパケット集合から現在利用可能なサブキャリアに伝送可能な最大量の伝送予定データパケットを抽出して、第２の伝送予定データパケット集合を構成する抽出ユニットと、
前記第２の伝送予定データパケット集合の情報源歪を計算し、情報源歪とチャネル歪との所定の倍数関係に基づいて前記第２の伝送予定データパケット集合のチャネル歪を取得する歪計算ユニットと、
第２の伝送予定データパケット集合のチャネル歪とチャネル歪法則に基づいて、第２の伝送予定データパケット集合のうちの各伝送予定データパケットのチャネル歪及び前記チャネル歪に達するのに対応する符号エネルギーを計算する符号エネルギー計算ユニットと、
伝送予定データパケットの重みが大きいほうから順に、第２の伝送予定データパケット集合のうちの各伝送予定データパケットに、前記対応する符号エネルギーを割り当てる割り当てユニットと、
エネルギーの割り当てがエネルギー制限に満足するか判断して、判断結果を得る判断ユニットと、
判断結果がエネルギーの割り当てがエネルギー制限に満足すると示すとき、前記送信モジュールを起動させる出力ユニットと、
判断結果がエネルギーの割り当てがエネルギー制限に満足していないと示すとき、現在利用可能なサブキャリア数を低下させて更新後の現在利用可能なサブキャリア数を得る帰還ユニットとを備えることを特徴とする請求項７又は８に記載のスケーラブルビデオ伝送処理装置。
前記更新後の現在利用可能なサブキャリア数は、現在利用可能なサブキャリア数と実際に割り当てたサブキャリア数との和の半分であり、前記実際に割り当てたサブキャリア数は、現在のエネルギー制限条件の元、前記第２の伝送予定データパケット集合のうち、伝送予定データパケットの重みが大きいほうから順に、対応する符号エネルギーを割り当てる可能とする最大数の伝送予定データパケットに必要なサブキャリア数であることを特徴とする請求項９に記載のスケーラブルビデオ伝送処理装置。
前記第２の伝送予定データパケット集合の情報源歪が

であり、Ｄ_０は、正しく復号された伝送予定データパケットがないときの最初の歪であり、Ｓは、前記第２の伝送予定データパケット集合であり、ΔＤ_ｌは、データパケットlが正しく復号された後、受信側のビデオ歪の減少量であることを特徴とする請求項９に記載のスケーラブルビデオ伝送処理装置。
前記チャネル歪法則は、
所定の抽出Ｓとチャネル歪制限

について、Ｓに属するデータパケットlにより導入された歪

の時に、エネルギー総量が最も小さく、前記α_ｌがデータパケットlに相関する常数であり、前記ｃ_ｌがデータパケットlに割り当てたサブキャリア数であることを特徴とする請求項９に記載のスケーラブルビデオ伝送処理装置。