JPWO2009072210A1 - 中継装置 - Google Patents

中継装置 Download PDF

Info

Publication number
JPWO2009072210A1
JPWO2009072210A1 JP2009544543A JP2009544543A JPWO2009072210A1 JP WO2009072210 A1 JPWO2009072210 A1 JP WO2009072210A1 JP 2009544543 A JP2009544543 A JP 2009544543A JP 2009544543 A JP2009544543 A JP 2009544543A JP WO2009072210 A1 JPWO2009072210 A1 JP WO2009072210A1
Authority
JP
Japan
Prior art keywords
interleaving
unit
real
cycle
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009544543A
Other languages
English (en)
Other versions
JP5170106B2 (ja
Inventor
敦 篠崎
敦 篠崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2009072210A1 publication Critical patent/JPWO2009072210A1/ja
Application granted granted Critical
Publication of JP5170106B2 publication Critical patent/JP5170106B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/12Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1867Arrangements specially adapted for the transmitter end
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/004Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056Systems characterized by the type of code used
    • H04L1/0071Use of interleaving
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L2001/0092Error control systems characterised by the topology of the transmission link
    • H04L2001/0097Relays

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Radio Relay Systems (AREA)

Abstract

中継装置は、リアルタイムデータを受信する受信部と、リアルタイムデータを宛先へ向けて送信すべき伝送路の品質を監視する監視部と、伝送路の品質に従ってインタリーブ周期の長さを決定する決定部と、決定されたインタリーブ周期で送信すべきリアルタイムデータのインタリーブを行うインタリーブ部と、インタリーブされたリアルタイムデータを伝送路へ送信する送信部とを備える。

Description

本発明は、無線ネットワーク(移動通信網)を転送されるリアルタイムデータの中継装置における動的インタリーブ周期変更方法に関する。
代表的な無線ネットワークシステムとして、図1に示されるような無線LAN(IEEE 802.11)を用いたネットワークシステム(無線LANシステム)や、図2に示されるようなセルラ網システム(3GPP)がある。
無線LANシステムは、例えば図1に示すように、メディアサーバと、メディアサーバにリンク(ネットワーク)を介して接続された無線網ゲートウェイと、無線網ゲートウェイに収容されたアクセスポイント(AP)とからなり、APに対し、端末(PC(Personal Computer)、PDA(Personal Digital Assistant)等)が無線リンク(無線伝送路)を介して接続される。APと端末との間がデータ伝送路の無線区間を構成する。
セルラ網システム(携帯電話網システム)は、例えば図2に示すように、サーバと、サーバにリンクを介して接続されたゲートウェイ(GW:ルータ)と、GWにインターネットのようなIP網を介して接続される交換機(xGSN)と、交換機にリンクを介して接続される基地局制御装置(Radio Network Controller: RNC)と、基地局制御装置にリンクを介して接続される基地局装置(Node B又はBS)とを備える。基地局装置に対し、移動端末(User Equipment又はmobile node)が無線リンク(無線伝送路)を介して接続される。移動端末と基地局装置との間がデータ伝送路の無線区間を構成する。
無線区間の通信(無線通信)に関して、受信データの伝送エラーを低減するための効果的な手法として、送信されるデータに対するインタリーブ(Interleave)や、FEC(Forward Error Collection)を用いた誤り訂正がある。これらは、例えばセルラ網システムで採用されている。
図3は、無線網にIEEE802.11を適用した場合の一般的なプロトコルスタックを示す図である。無線ネットワークシステムで適用可能なリアルタイム系のストリーミングサービスに適用される動画圧縮規格の一つとして、H.264/AVCがある。H.264/AVCでは、ストリーミングサービスを実施するために、その下位層のプロトコルとしてRTP/RTCP(Realtime Transfer Protocol/RTP Control Protocol)が使用されている。このRTP/RTCPに従って転送されるリアルタイムデータ(RTPパケット)に対し、無線環境を考慮してインターリーブを実施することができる(非特許文献1、特に12.6章、13章を参照)。
これにより、RTP/RTCPの上位に位置する伝送プロトコルは、下位層のリンクが無線リンクであっても、ロバスト(Robust)なデータ伝送を提供することができる。
ストリーミングデータは、例えば、生放送や生中継、テレビ電話会議のような即時再生が要求されるサービスのために使用される。或いは、オンデマンド型ビデオプログラム配信の様なサービスでは、ストリーミングデータは、一時的なバッファリングが許容されることがある。例えば、データの再生におけるタイムライン(時間軸)上での再生タイミングに関して、或る程度のデータのバッファリングが行われた後に再生が開始される。また、テレビ番組配信のようなサービスでは、データ再生にあたって、メディアサーバから送信された総てのデータが受信側に届くことが要求されない。
特表2005−536097号公報 特開2002−198946号公報 特開平6−181567号公報 特開2000−156646号公報 RFC3984 RTP Payload Format for H.264 VIDEO
しかしながら、無線環境は、固定回線と比較すると環境変化が激しい。このため、インタリーブが実施される周期(インタリーブ周期)がいつも無線環境に適した周期となっているとは限らない。このため、インタリーブによる伝送エラー低減効果が十分に発揮されない場合が起こりえる。
リアルタイム系サービスであるストリーミングデータ(リアルタイムデータ)などは、伝送エラーが発生した場合における再送による救済機会が非リアルタイム系サービスと比較すると非常に少ない。このため、リアルタイム系サービスに関する伝送エラー発生時における隠蔽技術(エラー訂正技術)は、非リアルタイム系サービスよりも重要である。
ここで、無線送信は、例えば、エラーの無い(error free)の環境から、エラー多発の環境へと状況が変化した場合に、その伝送路の品質を一定に維持する、すなわち誤り訂正可能な無線伝送路品質とするために、送信電力制御に加えて、誤り訂正符号を構成する冗長符号の増加、及び/又は変調方式の変更(例えば変調方式をQPSKからBPSKへ変更)を実施し、上位アプリケーションからみたときの送信帯域を減少させることがある。
このような送信帯域が減少する状況は、リアルタイムデータにとって都合が悪い。すなわち、伝送品質劣化による送信帯域の減少は、或る時間区間で送信されるべきデータの、宛先への到着時間が著しく遅れる可能性を含んでいる。加えて、無線区間での帯域調整前においては、その劣化した伝送路品質のために、宛先で連続したデータ廃棄が生じる可能性がある。
上記したような到着時間の遅延や連続的なデータ廃棄が発生する状況は、ハードハンドオーバによっても引き起こされる。図4は、ハードハンドオーバ時のデータ廃棄と滞留の発生の説明図である。
すなわち、ハンドオーバ先で利用可能な帯域が、ハンドオーバ元で使用していた帯域よりも狭い場合には、ハンドオーバ時に一時的なデータの欠落が発生する。すなわち、或るエリア向けのデータを別のエリアに向けて経路を切り替える際に、切替途中にあるデータが欠損する場合がある。このようなデータ欠損が生じると、宛先側では、再送により欠損データが補充されるまで再生が行われず、データの滞留(長時間のバッファリング時間)が発生する可能性がある。言い換えると、或る特定の時間におけるリアルタイムデータの再生に対して、著しい影響を与える可能性がある。
このように、様々な通信環境の変化が発生する移動通信網においては、例えばRFC3984で一意的に決定された実施されたインタリーブ周期が、必ずしも適切な周期ではない場合が発生し得る。
本発明は、リアルタイムデータが伝送される伝送路の品質に応じてインタリーブ周期を動的に変更可能な中継装置を提供することを目的とする。
本発明の態様の一つは、 リアルタイムデータを受信する受信部と、
前記リアルタイムデータを宛先へ向けて送信すべき伝送路の品質を周期的に検知する監視部と、
前記伝送路の品質に従ってインタリーブ周期の長さを決定する決定部と、
決定されたインタリーブ周期でリアルタイムデータのインタリーブを行うインタリーブ部と、
インタリーブされたリアルタイムデータを前記伝送路へ送信する送信部と
を備える中継装置である。
上記中継装置において、前記決定部は、前記監視部が前記伝送路の品質の劣化を検知した場合に、前記インタリーブ周期を長くするように構成することができる。
上記中継装置において、前記決定部は、前記監視部が前記伝送路の品質の改善を検知した場合には、前記インタリーブ周期を短くするように構成することができる。
上記中継装置において、前記決定部は、インタリーブ周期の最小単位を決定し、この最小単位の整数倍でインタリーブ周期を決定するように構成することができる。
上記中継装置において、前記受信部で受信されるリアルタイムデータが所定のインタリーブ周期でインタリーブされている場合に、前記決定部は、この所定のインタリーブ周期の長さを前記最小単位として決定するように構成することができる。
上記中継装置において、前記リアルタイムデータの送信元と宛先との間で前記中継装置を介して送受信される能力交換情報に含まれる、前記送信元でのインタリーブの実施の有無と、インタリーブ実施時におけるインタリーブ周期とを示すデータを取得し、前記決定部に与える情報収集部をさらに備えるように構成することができる。
上記中継装置において、前記リアルタイムデータの宛先が有する、復号前の前記リアルタイムデータを格納するためのバッファのサイズを取得する情報収集部をさらに備え、
前記決定部は、前記バッファのサイズに基づいてインタリーブ周期の最大値を決定するように構成することができる。
上記中継装置において、前記リアルタイムデータが、参照ピクチャと非参照ピクチャとを含むビデオストリームデータであり、
前記インタリーブ部は、参照ピクチャを対象とするインタリーブと非参照ピクチャを対象とするインタリーブとを個別に実行するように構成することができる。
本発明の第2の態様は、送信装置から受信装置へ送信されるリアルタイムデータを中継する中継装置において、
リアルタイムデータを受信し、
前記リアルタイムデータを宛先へ向けて送信すべき伝送路の品質を監視し、
前記伝送路の品質に従ってインタリーブ周期の長さを決定し、
決定されたインタリーブ周期でリアルタイムデータのインタリーブを行い、
インタリーブされたリアルタイムデータを前記伝送路へ送信する
ことを含む中継装置のリアルタイムデータ転送方法である。
本発明によれば、リアルタイムデータが伝送される伝送路の品質に応じてインタリーブ周期を動的に変更可能な中継装置を提供することができる。
無線LANシステムの例を示す図である。 セルラ網システムの例を示す図である。 無線網にIEEE802.11を適用した場合の一般的なプロトコルスタックを示す図である。 ハードハンドオーバ時のデータ廃棄と滞留の発生の説明図である。 実施形態における基本的なネットワーク構成例を示す図である。 インタリーブ周期動的変更方法の説明図であり、同一種別同士(参照ピクチャ同士、非参照ピクチャ同士)のインタリーブが行われる場合を示す。 インタリーブ周期動的変更方法の説明図であり、インタリーブ周期の変更時の様子を示す。 最大インタリーブ周期と、復号前バッファとの関係の説明図である。 送信側でインタリーブが実施される場合における、インタリーブ周期の定義を示す図である。 適用例における無線LANシステムの構成例を示す図である。 図10に示したSWの基本的な構成例を示すブロック図である。 インタリーブ周期決定部によるインタリーブ周期決定処理の例を示すフローチャートである。 インタリーブ周期の変更処理の例を示すフローチャートである。 NALユニットヘッダのデータ構造を示す図である。 Iピクチャ及びBピクチャを含むビデオストリーム(例えば、H.264/AVCに従って符号化されたビデオストリームデータ)に対するインタリーブの説明図である。 インタリーブ周期が変更された様子を示す図である。
符号の説明
1・・・スイッチ(SW、中継装置)
2・・・ネットワーク
3・・・メディアサーバ(送信局、送信装置)
11・・・網側受信部
12・・・送信スケジュール部
13・・・送信部
14・・・受信部
15・・・網側送信部
16・・・品質管理部
17・・・インタリーブ周期決定部
18・・・情報収集部
以下、発明の実施の形態について説明する。実施形態の構成は例示であり、 は、実施形態の構成に限定されない。
〔発明の経緯〕
上述したように、送信側でのデータのインタリーブ周期と、無線環境とが適合しない場合には、送信帯域が低減される場合がある。このような状況に対して、無線通信において、例えばRFC3984が適用され、リアルタイムでの符号化及び送信が行われる場合には、フィードバック情報などに基づき、インタリーブ周期と無線環境が適合しない場合に送信側でのインタリーブ周期を変更することが考えられる。しかし、上記の方法は、ブロードキャスト型のデータ送信時に、フィードバック情報が多岐に渡るので適用できない。
また、インタリーブ対象のデータが、既にインタリーブ処理を含む符号化済みのデータである場合には、符号化時に決定されたインタリーブ周期が固定された状態となっている。このため、このようなインタリーブ周期を無視して、無線環境(通信状況)に応じたインタリーブ周期変更を実施することはできない。
実施形態に係る中継装置は、送信元から受信されるリアルタイムデータを宛先へ向けて送信する場合に、送信側の伝送路品質の変動によるエラーを吸収し、データ受信側での受信品質劣化を抑えることを目的とする。
すなわち、上記のような状況を鑑みて、リアルタイム系サービス、例えばビデオストリーム送信を取り扱うにあたって、伝送路品質に合わせてダイナミックに(動的に)インタリーブ周期を変動させることができる技術を提案する。
〔実施形態の概要〕
図5は、実施形態における基本的なネットワーク構成例を示す図である。図5に示すネットワークシステムは、大略的に、少なくとも1つの受信装置(#0〜#n)と、各受信装置にリンクを介して接続された中継装置(伝送装置)と、中継装置にリンクを介して接続された送信装置とを備える。送信装置と各受信装置との間のデータ伝送路は、中継装置から中継装置までの区間Aと、送信装置から中継装置までの区間Bとからなる。
以下の実施形態で説明するインタリーブ周期の動的変更方法は、例えば、図5に示す中継装置に適用される。図5に示すネットワークシステムが無線LANシステムであれば、中継装置は例えば無線ネットワークゲートウェイやアクセスポイントに相当する。図5の中継装置がセルラ網システム(携帯電話網)システムであれば、中継装置は例えば基地局制御装置(RNC:Radio Network Controller)、及び/又は基地局装置(Node B)に相当する。
インタリーブ周期動的変更方法は、区間Aの伝送路品質が時間の経過に応じて大きく変動し、伝送路品質に応じた送信可能な帯域が変動する環境下(例えば、区間Aが無線伝送路である場合)で適用されることが望ましい。但し、図5において、区間Aが有線による伝送路である場合であっても、或いは区間Aの伝送路品質の変動が殆どない場合であっても、インタリーブ周期動的変更方法の適用は妨げられない。
インタリーブ周期動的変更方法の主たる特徴を図6を用いて説明する。図6及び図7は、インタリーブ周期動的変更方法の説明図であり、図6及び図7は、同一種別同士(参照ピクチャ同士、非参照ピクチャ同士)のインタリーブが行われる場合を示し、特に、図7は、インタリーブ周期の変更時の様子を示す。
ここでは、説明のために、無線通信で利用可能なリアルタイムデータの動画圧縮規格(例えばH.264/AVC,MPEG-4,MPEG-2)に従って符号化されたビデオフレーム(ピクチャ)の伝送を例とする。図6及び図7中の“R”は参照ピクチャ(Iピクチャ)、“nR”は非参照ピクチャ(Bピクチャ、規格によってはPピクチャも含まれる)を示す。
ここに、参照ピクチャは、前後のフレームとは関係なくその画面内だけで独立して符号化されたピクチャ(フレーム)であり、非参照ピクチャは、所定のピクチャ(例えば対象ピクチャの前後に位置するピクチャ)から予測符号化されたフレームである。
図6には、或るインタリーブ周期におけるピクチャ#0〜#11が示されている。図6に示す例では、1インタリーブ周期において、12個のピクチャがインタリーブの対象となる。ここに、ピクチャ#0,#3,#6及び#9は参照ピクチャRであり、残りのピクチャ#1,#2,#4,#5,#7,#8,#10,#11は非参照ピクチャnRである。
ピクチャ#0〜#11は、同一種別のピクチャ間で並び順が変更される。すなわち、参照ピクチャRに対するインタリーブ処理と、非参照ピクチャnRに対するインタリーブ処理とがインタリーブ周期内で実行される。
図7は、インタリーブ周期が短くされ、1インタリーブ周期で6ピクチャがインタリーブ対象となるように変更された様子を示す。図7に示す例では、図6に示された1つのインタリーブ周期が二つのインタリーブ周期#0及び#1に変更されている。また、ピクチャ#0〜#5がインタリーブ周期#0でのインタリーブ対象となり、ピクチャ#6〜#11がインタリーブ周期#1でのインタリーブ対象となっている。各インタフェース周期#0,#1で、同一種別間でのインタリーブ処理が実施される。
実施形態のインタリーブ周期動的変更方法では、無線状況(図5に示した区間Aの伝送路品質)が良好であれば、インタリーブ周期が短くされる。これに対し、無線状況(伝送路品質)が悪化した場合には、インタリーブ周期が長くされる。
ここで、インタリーブ周期が長くされる場合には、ストリーミングの再生に影響を与えない程度に設定されることが望ましい。つまり、最大インタリーブ周期は、復号(decode)側(受信装置)において、復号前のストリーミングデータが蓄積されるバッファのサイズを考慮した値に設定されるべきである。バッファが1インタリーブ周期のデータを蓄積できなければ、適正な復号処理(デインタリーブ)を実施できないからである。但し、本願では、最大インタリーブ周期の決定方法について特に言及しない。
図8は、最大インタリーブ周期と、復号前バッファとの関係の説明図であり、送信側(sender)から受信側(receiver)へ送信されるストリーミングデータ(リアルタイムデータ)のインタリーブ周期は、復号前バッファのバッファサイズより小さい値となるように調整される。
インタリーブ周期が長くされると、遅延に弱くなる。つまり、僅かな遅延の発生で、復号側(受信側)での復号前バッファにおけるバッファリング(buffering)時間を越えてしまうためである。ストリーミングデータなどのリアルタイム系サービスは、一般に、ネットワークでの送信優先順位が高い場合が多い。このため、無線伝送路の品質が悪い場合には、遅延のリスクよりインタリーブ効果(エラー低減)を可能な限り優先する。その後、無線伝送路の品質が良好になった場合には、インタリーブ周期を短くする。不必要な遅延のリスクをとる必要がないからである。
さらに、インタリーブの実施においては、上述したように、参照ピクチャR同士、非参照ピクチャnR同士でインタリーブが実施される。これはインタリーブによって参照ピクチャが連続することを回避するためである。このように、参照ピクチャと非参照ピクチャとが個別にインタリーブされることで、参照ピクチャの送信間隔を最大の状態とすることができる。
なお、図6及び図7に示す例は、リアルタイムデータストリームが、既にRFC3984などに従ってインタリーブされていることを前提としている。
また、ストリーム送信側(図5の送信装置)でインタリーブが実施される場合には、実施形態におけるインタリーブ周期動的変更方法で適用されるインタリーブ周期は、以下のように定義される。
図9は、送信側でインタリーブが実施される場合における、インタリーブ周期の定義を示す。図9に示すように、送信側でインタリーブが実施される場合には、送信側インタリーブ周期の長さと一致する長さで、動的変更方法で適用される最小インタリーブ周期Aが定義される。また、動的変更方法で適用される最大インタリーブ周期Bは、最小インタリーブ周期Aのn倍(n=1,2,3,・・・,n)で定義される。インタリーブ周期は、最小インタリーブ周期Aを単位として変更される。
加えて、図示していないが、例えばH.264/AVCにおけるIDR(Instantaneous Decoding Refresh)ピクチャのようなリフレッシュピクチャは、インタリーブにより送信が遅れ、再送救済の可能性が減ることを考慮し、インタリーブの対象としない。つまり、IDRピクチャはリフレッシュピクチャであり、画像シーケンスの先頭のピクチャであるため、そのピクチャ数も他のピクチャと比較して非常に少ない。よって誤りの分散よりもその送達の確実性に重きを置く。このように、リフレッシュピクチャは、中継装置におけるインタリーブ実施の影響を受けることなく送信されることができる。
〔適用例〕
以下、実施形態の適用例について説明する。適用例として、上記したインタリーブ周期動的変更方法の無線ネットワークシステムでの適用を想定し、無線ネットワークシステムとして無線LANシステムが対象とされた場合を示す。
〈ネットワーク構成例〉
図10は、適用例における無線LANシステムの構成例を示す。図10において、無線LANシステムは、複数の無線送受信機としての複数のアクセスポイント(以下、「AP」と表記)#0〜#nと、複数のAP#0〜#nの夫々を制御するコントローラとしての機能を持つ中継装置(中継局、スイッチ(SW))とを備えている。
SW1は、例えば、図1に示した無線網ゲートウェイ(RN−GW)に相当する。SW1は、ネットワーク(インターネットのようなIP網)2を介して送信局としてのメディアサーバ(サーバ)3に接続されている。
複数の受信局(受信装置)としての複数の無線端末#0〜#mの夫々は、所定のAP(例えば最寄りのAP)と無線接続(無線アクセス)を行い、メディアサーバ3から配信されるリアルタイム系サービスで提供されるデータ(リアルタイムデータ、例えば、マルチメディアデータ、特にビデオストリームデータ)を、SW1及び自身と無線接続されたAPを介して受信することができる。
SW1には、例えば、RFC3984に記載される“MANE:Media Aware Network Element”が搭載される。MANEとは、RTPペイロードヘッダの一部やRTPペイロードを構文解析してメディアの内容に対処可能な、ミドルボックスやアプリケーションレイヤゲートウェイのようなネットワーク要素である。
端末向けデータは、SW1からデータの宛先端末を支配下に持つAPへ送信される。例えば、端末#0向けのデータをSW1が受信すると、このデータは、AP#0を経由して端末#0へ送信される。ここで、AP#0と端末#0との無線リンク品質情報が、AP#0からSW1へ報告される。AP#0は、端末#0との間に設けられた上り無線リンクを介してAP#0の送信電力制御情報を受信するようになっており、このような電力制御情報がSW1に報告される。或いは、AP#0は、配下の端末(例えば端末#0)との間で再送制御が実施される場合には、端末から受信する再送情報を、SW1に対して報告することができる。
〈SW(中継装置)の構成例〉
図11は、SW1の基本的な構成例を示すブロック図である。SW1は、網(例えば図10のネットワーク2)に接続される網側受信部11と、網側受信部11及びインタリーブ周期決定部16と接続されるインタリーブ部としての送信スケジュール部12と、送信スケジュール部12に接続され、1以上のAP(例えば図10のAP#0〜#n)と接続される送信部13及び受信部14と、受信部14に接続され、網(例えば図10のネットワーク2)に接続される網側送信部15と、受信部14に接続される監視部としての品質管理部16と、品質管理部16に接続される決定部としてのインタリーブ周期決定部17と、網側受信部11,受信部14,及びインタリーブ周期決定部17と接続される情報収集部18とを備える。
網側受信部11は、網(ネットワーク2)から端末向けデータを受信する。網側受信部11は、受信されたデータの内容を解析し、解析結果に関する情報を情報収集部18へ提供する。解析結果に関する情報は、例えばリアルタイム系サービスで提供されるデータ(リアルタイムデータ)の送信局(例えば図10のメディアサーバ3)と端末(受信局)との間で実施される能力交換情報などである。能力交換情報は、インタリーブを実施するか否かに関する情報と、インタリーブ実施時におけるインタリーブ周期を示す情報とを含むことができる。網側送信部15は、受信部14からのデータを網側(ネットワーク2)へ送信する。
情報収集部18は、網側受信部11から提供されたデータ、受信部14から提供されたデータをインタリーブ周期決定部16へ提供する。受信部14からのデータは、少なくとも、上述したような能力交換情報を含むことができる。
送信スケジュール部12は、インタリーブ周期決定部から提供された情報に従って、網側受信部11から受信したデータをインタリーブし、送信部13へ転送する。送信スケジュール部12は、インタリーブ処理等のためのデータバッファを備え、網側受信部11から受信されたデータは、データバッファに一時的に格納される。
インタリーブ周期の変更は、インタリーブ周期単位で実施される。すなわち、既に完了したスケジュールについては、インタリーブ周期の変更が決定されても、そのスケジュールついての使用が決定済みであるインタリーブ周期はキャンセルされない。
言い換えれば、インタリーブ周期の変更が決定されたときに、或るインタリーブ周期でのインタリーブが既にスケジューリングされている場合には、送信スケジュール部12は、そのスケジュールで適用されるインタリーブ周期を取り消す(キャンセル)することなく、その或るインタリーブ周期でデータバッファに格納されたデータに対するインタリーブを行う。その後、スケジュールが完了すると、送信スケジュール部12は、次のスケジュール時に、インタリーブ周期決定部17から提供された情報に従ってインタリーブ周期を変更する。
インタリーブ周期決定部17では、品質管理部16、情報収集部18から提供された情報を元に、インタリーブ周期を決定する。インタリーブ周期は、最小インタリーブ周期単位で決定される。すなわち、インタリーブ周期は、最小インタリーブ周期の整数倍となるように決定される。
例えば、インタリーブ周期決定部17は、品質管理部16から最大インタリーブ周期に関する情報を受け取ることができる。最大インタリーブ周期に関する情報は、例えば、例えば端末が有する復号前バッファのサイズである。インタリーブ周期決定部17は、復号前バッファサイズが提供された場合には、この復号前バッファサイズ(バッファリング時間)を超えない範囲で最大インタリーブ周期を決定し、最小インタリーブ周期が最大インタリーブ周期のm倍(mは正の整数)となるように定義される。
また、例えば、情報収集部18から、リアルタイムデータ送信局(メディアサーバ3)と端末間でのインタリーブが実施されることを示す情報(インタリーブ周期を含む)が提供された場合には、SW1で実施されるインタリーブ周期の最小単位(最小インタリーブ周期)として、送信局−端末間で実施されるインタリーブ周期と同じ値が決定される。このときの最大インタリーブ周期は、最小インタリーブ周期のn倍(nは正の整数)で規定される。このとき、端末の復号前バッファサイズが解っている場合には、最大インタリーブ周期は、そのバッファサイズ(バッファリング時間)に基づいて決定された最大インタリーブ周期を超えない範囲で決定される。送信局−端末間のインタリーブの実施の有無に拘わらず、インタリーブ周期は、最小インタリーブ周期単位で変更される。
インタリーブ周期の定義をまとめると、以下のようになる。
最大インタリーブ周期 = 最小インタリーブ周期l × m
インタリーブ周期 = 最小インタリーブ周期l × n(n≦m)
インタフェース周期決定部17は、品質管理部16から、APと端末との間の無線リンク品質(無線伝送路品質)が劣化傾向にあるか、改善傾向にあるかの情報(無線リンク品質情報)を受け取ることができる。インタリーブ周期決定部17は、無線リンク品質情報が劣化方向を示す場合には、現在使用中のインタリーブ周期より長いインタリーブ周期を決定する(インタリーブ周期を長くする)。一方、インタリーブ周期決定部17は、無線リンク品質情報が改善方向を示す場合には、現在使用中のインタリーブ周期より短いインタリーブ周期を決定する(インタリーブ周期を短くする)。但し、インタリーブ周期決定部17は、最小インタリーブ周期から最大インタリーブ周期までの範囲でインタリーブ周期を決定する。
品質管理部16は、受信部14からの情報に基づいて周期的に無線リンク品質を決定(検知)し、決定された無線リンク品質情報をインタリーブ周期決定部17に提供する。品質管理部16は、受信部14から、受信部14で確認された端末からのACK/NACK情報(物理レイヤのデータ受信成功/失敗を示す情報)、及び/又は、電力増減情報(インナーループで受信される、ターゲットSIR(信号対干渉比)の変動に伴う送信電力増減指示情報。増加=品質劣化 減少=品質改善)を受け取ることができる。品質管理部16は、ACK/NACK情報と電力増減情報との少なくとも一方を用いて、無線リンク品質情報を生成することができる。
受信部14は、対応APを介して端末から送信されたデータを受信し、この受信データを網側送信部15へ転送する。また、受信部14は、受信データ中の無線リンク品質に関する情報、例えば端末からのACK/NACK情報や、電力増減情報を品質管理部16に提供する。送信部13は、送信スケジュール部12より転送されたデータの順番通りに、端末(対応AP)に向けてデータを送信する。
なお、SW1は、CPUのようなプロセッサ(制御装置)、メモリ(記憶装置)、入出力インタフェース(I/O)、通信インタフェースのような複数のハードウェアからなる装置であり、図11に示した各ブロックは、上記したハードウェアの少なくとも1つ、或いは、プロセッサがソフトウェア(プログラム)を実行することによって実現される機能である。
〈インタリーブ周期の決定フロー〉
図12は、インタリーブ周期決定部17によるインタリーブ周期決定処理の例を示すフローチャートである。図12において、データ送信局(例えばメディアサーバ3)と端末との間のデータ(リアルタイム系のデータ(例えばビデオストリームデータ))伝送用のコネクションがSW1に登録されると(ステップS01)、RTPセッション開始手続きの情報として、送信局及び端末の能力交換情報が送信局と端末との間で送受信される。
このとき、能力交換情報として送信局から送信されるインタリーブ実施の有無を示す情報、及びインタリーブ実施時におけるインタリーブ周期を示す情報は、網側受信部11で受信され、情報収集部18に提供され、インタリーブ周期決定部17に提供される(ステップS02)。
インタリーブ周期決定部17は、情報収集部18から取得されたインタリーブ実施の有無を示す情報に基づき、送信局−端末間でのインタリーブが実施されるか否かを判定する(ステップS03)。このとき、インタリーブが実施される場合(S03;Y)には、インタリーブ周期決定部17は、処理をステップS04に進める。インタリーブが実施されない場合(S03;N)には、インタリーブ周期決定部17は、処理をステップS05に進める。
ステップS04では、インタリーブ周期決定部17は、情報収集部18から取得された送信局−端末間のインタリーブ周期を、SW1で実施されるインタリーブ周期の最小周期(最小インタリーブ周期)に設定し、ステップS06へ処理を進める。
ステップS05では、インタリーブ周期決定部17は、最小インタリーブ周期を決定し、処理をステップS06へ進める。
ステップS06では、インタリーブ周期決定部17は、最大インタリーブ周期を決定する。最大インタリーブ周期は、最小インタリーブ周期のn倍又はm倍(但しn≦m)で決定される。このとき、情報収集部18からの情報に端末の復号前バッファサイズが含まれている場合には、このバッファサイズを考慮して最大インタリーブ周期が決定される。
ステップS06が終了すると、最大及び最小インタリーブ周期の決定処理が終了する。なお、ステップS06において、インタリーブ周期の初期値が決定される。初期値として、例えば、最小インタリーブ周期が適用される。もっとも、任意の長さのインタリーブ周期を初期値として適用することができる。
〈無線リンク品質の決定例〉
品質管理部16では、周期的に(所定の品質監視周期毎に)無線リンク品質を決定する。品質管理部16は、例えば、品質監視周期内のおける所定の測定期間(時間区間)内に受信される、ACK/NACK情報の監視結果を元に無線リンク品質を決定することができる。例えば、品質管理部16は、測定期間(例えば1秒間)におけるACK/NACK情報から、その測定期間での伝送品質(無線リンク品質)を算出する。例えば、測定期間中のNACK(ACK)の数を、無線リンク品質として算出することができる。
品質管理部16は、算出された無線リンク品質を前回の測定期間に関して算出された無線リンク品質と比較し、無線リンク品質が改善したか、劣化したか、変化なしかを判定する。例えば、測定期間中のNACKの数が無線リンク品質を示す場合において、今回のNACK数が前回のNACK数を上回る場合に、「品質劣化」と判定される。今回のNACK数が前回のNACK数を下回る場合に、「品質改善」と判定され、今回のNACK数と前回のNACK数とが同じである場合に「変化無し」と判定される。
このような判定結果(“品質劣化”、“品質改善”、“変化なし”のいずれか)を、無線リンク品質情報としてインタリーブ周期決定部17へ提供する。
また、電力増減情報を無線リンク品質の決定に使用する場合には、次のような処理が行われる。例えば、所定の測定期間中における電力増加指示と電力減少指示との一方の数(例えば電力増加指示の数)が算出される。続いて、今回の電力増加指示の数と前回の測定期間における電力増加指示の数とが比較され、今回が前回を上回っていれば、「品質劣化」と判定される。これに対し、今回が前回を下回っていれば「品質改善」と判定される。今回と前回とが同数であれば、「変化なし」と判定される。
ACK/NACK数に基づく品質判定と、電力増減情報に基づく品質判定との双方を実行し、夫々の判定結果の論理積(AND)又は論理和(OR)を、最終的な品質判定結果を示す無線リンク品質情報としてインタリーブ周期決定部17に提供されるようにしても良い。
〈インタリーブ周期の変更フロー〉
図13は、インタリーブ周期の変更処理の例を示すフローチャートである。品質管理部16は、品質監視周期毎の無線リンク品質情報をインタリーブ周期決定部17に提供する。インタリーブ周期決定部17は、品質監視周期が満了すると(S101)、品質管理部16から提供された無線リンク品質情報を参照し、無線リンク品質情報が品質劣化を示すか否かを判定する(S102)。
このとき、無線リンク品質情報が品質劣化を示す場合には(S102,Y)、処理がステップS103に進む。無線リンク品質情報が品質劣化を示さない場合(S102,N)には、処理がステップS105に進む。
ステップS103に処理が進んだ場合には、インタリーブ周期決定部17は、現在のインタリーブ周期が既に最大インタリーブ周期(最大周期)か否かを判定する。
このとき、現在のインタリーブ周期が最大周期でない場合(S103,N)には、インタリーブ周期決定部17は、インタリーブ周期を変更する(S104)。すなわち、インタリーブ周期決定部17は、現在のインタリーブ周期を最小インタリーブ周期1つ分を加えたインタリーブ周期に変更し、変更されたインタリーブ周期を送信スケジュール部12に通知する。その後、処理がステップS101に戻る。
これに対し、現在のインタリーブ周期が最大周期である場合(S103,Y)には、インタリーブ周期決定部17は、現在のインタリーブ周期を変更することなく、処理をステップS101に戻す。
ステップS105に処理が進んだ場合には、インタリーブ周期決定部17は、無線リンク品質情報が品質改善を示すか否かを判定する。 このとき、無線リンク品質情報が品質改善を示す場合(S105,Y)には、処理がステップS106に進む。無線リンク品質情報が品質改善を示さない場合(S105,N(変更なし))には、インタリーブ周期決定部17は、インタリーブ周期を変更することなく処理をステップS101に戻す。
ステップS106に処理が進んだ場合には、インタリーブ周期決定部17は、現在のインタリーブ周期が既に最小インタリーブ周期(最小周期)か否かを判定する。
このとき、現在のインタリーブ周期が最小周期でなければ(S106,N)、インタリーブ周期決定部17は、現在のインタリーブ周期を短くする。すなわち、現在のインタリーブ周期を1つの最小周期分だけ短い長さに変更し、変更されたインタリーブ周期を送信スケジュール部12に通知する。その後、処理がステップS101に戻る。
これに対し、現在のインタリーブ周期が最小周期であれば(S106,Y)、インタリーブ周期決定部17は、現在のインタリーブ周期を変更することなく、処理をステップS101に戻す。
SW1で決定されたインタリーブ周期は、受信側でのデインタリーブ処理のために、送信部13から端末に対して通知される。このように、SW1(中継装置)では、インタリーブ周期が伝送路品質に応じて動的に変更される。
〈情報の収集〉
次に、SW1で収集される様々な情報に関して説明する。例えば、H.264では、NAL(Network Abstraction Layer)ユニットがRTPパケットに格納されて送信される。NALユニットにはヘッダが付与され、このヘッダ情報から、どういった種類のデータをRTPパケットが運搬しているかを検出することができる。ヘッダ情報からは、参照ピクチャ/非参照ピクチャの種別を示す情報を得ることができる。
図14は、NALユニットヘッダのデータ構造を示す図である。なALユニットヘッダは、NRIビットの格納フィールドを有し、このNRIビットの値を参照することによって、運搬対象のデータが参照ピクチャに関するデータか非参照ピクチャに関するデータかを判別することができる。このような判別は、例えば、送信スケジュール部12が、インタリーブを実施する際に行う。
また、送信局(メディアサーバ3)から端末に転送されるストリームデータに関して、送信局でインタリーブが実施されているか否かは、
そのストリームデータの動画圧縮規格が例えばH.264/AVCであれば、SDP(Session Description Protocol)による能力交換情報をSW1が取得することで確認できる。
例えば、能力交換情報に含まれるパラメータ“sprop-interleaving-depth”の値が0以上である場合には、インタリーブが実施されることを示している。また、SDPに基づくパラメータ“packetization mode”からインタリーブの実施/不実施を知ることができる。
また、インタリーブの実施/不実施は、使用可能なNALユニットの種別(タイプ)から判断することができる。すなわち、“Single NAL Unit Packet”タイプを使用できず、“STAP-B”タイプや“MTAP”タイプのようなタイプが使用されていれば、インタリーブ実施と判断することができる。NALの種別は、図14に示したNALユニットヘッダの“Type”フィールドの値から識別することができる。
SDPに基づく端末からのパラメータ“deint-buf-cap”は、端末で受信された復号前のデータを蓄積するバッファ(復号前バッファ)の容量を示す。このパラメータで示されるバッファ容量に基づいて、最大インタリーブ周期を決定することができる。
〈インタリーブの手法〉
次に、送信スケジュール部12で実施されるインタリーブについて説明する。図15は、送信スケジュール部12で実施されるインタリーブ処理の説明図であり、図16は、図15に示したインタリーブ周期よりも短いインタリーブ周期が適用されたインタリーブ処理の説明図である。
図15及び図16に示す例では、送信局(メディアサーバ3)から端末へ向けてビデオフレームが伝送される場合を仮定する。図15及び図16中の“I”はIピクチャ(Intra-Picture:参照ピクチャ(Iフレームとも呼ばれる))を示し、“B”はBピクチャ(Bi-directional Predictiv-Picture:非参照ピクチャ(Bフレームとも呼ばれる))を示す。
ここに、Iピクチャは、時間軸上の前後のフレームとは関係なくその画面内だけで独立して符号化したピクチャ(フレーム)であり、Bピクチャは、過去のフレームと未来のフレームとの双方向から予測符号化されたピクチャ(フレーム)である。
図15に示す例では、1つのインタリーブ周期において、12個のフレームを対象としたインタリーブが送信スケジュール部12により実施される。但し、インタリーブによってIピクチャが連続することを避けるべく、Iピクチャを対象としたインタリーブと、Bピクチャを対象としたインタリーブとが別個に実施される。
図16に示す例は、インタリーブ周期決定部17によって、インタリーブ周期の変更が決定され、送信スケジュール部12でのインタリーブ周期が変更された様子を示す、図16に示す例では、無線リンク品質の改善により、インタリーブ周期が短くされた様子を示している。図16に示す各インタリーブ周期#0及び#1では、図15と同様の手法(同種別のピクチャを対象としたインタリーブ)で、インタリーブが実施される。
〔実施形態の効果〕
実施形態によれば、伝送路品質(無線リンク品質)に従って、送信局(メディアサーバ3)から送信されるリアルタイムデータ(例えばビデオストリームデータ)のインタリーブ周期が動的に変更される。
これにより、無線リンク(無線伝送路)が劣化した場合には、インタリーブ周期を長くすることによって、データを長い区間で分散させ、受信側(データ宛先)での伝送路エラーの低減を図ることができる。
特に、無線伝送路品質の劣化によって、送信帯域低減やハンドオーバのような、データ遅延要因となる処理が実施された場合に、受信側に到達するデータのエラーレートをインタリーブで低減することで、リアルタイムデータの即時性が可能な限り確保されるようにすることができる。
言い換えれば、リアルタイムデータの伝送路品質の劣化に要因とするリアルタイムデータの到着遅延や欠落が生じる可能性のある環境下において、当該伝送路を通って受信側(宛先)に到達するリアルタイムデータの有効性をインタリーブ効果で高めることができ、適正なリアルタイム系サービスの提供が図られるようにすることができる。
これにより、バーストエラーや一時的な滞留が発生した場合に、長いインタリーブ周期でデータを分散させることにより、受信側でのリアルタイムデータの再生時間に再生すべきデータが無いような状況を緩和出来る。これにより、無線リンクの品質の変動に際しても、メディアの再生品質を均一化する効果につながる。
〔変形例〕
図11に示したSW1の構成は、SW1(無線網ゲートウェイ)の変わりにアクセスポイント(AP)が備えるように変形することができる。また、SW1の構成は、セルラ網システムにおける基地局制御装置(RNC)や基地局装置(Node B)に適用することができる。
本発明は、無線ネットワーク(移動通信網)を転送されるリアルタイムデータの中継装置における動的インタリーブ周期変更方法に関する。
代表的な無線ネットワークシステムとして、図1に示されるような無線LAN(IEEE 802.11)を用いたネットワークシステム(無線LANシステム)や、図2に示されるようなセ
ルラ網システム(3GPP)がある。
無線LANシステムは、例えば図1に示すように、メディアサーバと、メディアサーバにリンク(ネットワーク)を介して接続された無線網ゲートウェイと、無線網ゲートウェイに収容されたアクセスポイント(AP)とからなり、APに対し、端末(PC(Personal Computer)、PDA(Personal Digital Assistant)等)が無線リンク(無線伝送路)を介して接
続される。APと端末との間がデータ伝送路の無線区間を構成する。
セルラ網システム(携帯電話網システム)は、例えば図2に示すように、サーバと、サー
バにリンクを介して接続されたゲートウェイ(GW:ルータ)と、GWにインターネットのようなIP網を介して接続される交換機(xGSN)と、交換機にリンクを介して接続される基地局制御装置(Radio Network Controller: RNC)と、基地局制御装置にリンクを介し
て接続される基地局装置(Node B又はBS)とを備える。基地局装置に対し、移動端末(User Equipment又はmobile node)が無線リンク(無線伝送路)を介して接続される。移動端末
と基地局装置との間がデータ伝送路の無線区間を構成する。
無線区間の通信(無線通信)に関して、受信データの伝送エラーを低減するための効果的な手法として、送信されるデータに対するインタリーブ(Interleave)や、FEC(Forward
Error Collection)を用いた誤り訂正がある。これらは、例えばセルラ網システムで採用されている。
図3は、無線網にIEEE802.11を適用した場合の一般的なプロトコルスタックを示す図である。無線ネットワークシステムで適用可能なリアルタイム系のストリーミングサービスに適用される動画圧縮規格の一つとして、H.264/AVCがある。H.264/AVCでは、ストリーミングサービスを実施するために、その下位層のプロトコルとしてRTP/RTCP(Realtime Transfer Protocol/RTP Control Protocol)が使用されている。
このRTP/RTCPに従って転送されるリアルタイムデータ(RTPパケット)に対し、無線環境を考慮してインターリーブを実施することができる(非特許文献1、特に12.6章、13章を参照)。
これにより、RTP/RTCPの上位に位置する伝送プロトコルは、下位層のリンクが無線リンクであっても、ロバスト(Robust)なデータ伝送を提供することができる。
ストリーミングデータは、例えば、生放送や生中継、テレビ電話会議のような即時再生が要求されるサービスのために使用される。或いは、オンデマンド型ビデオプログラム配信の様なサービスでは、ストリーミングデータは、一時的なバッファリングが許容されることがある。例えば、データの再生におけるタイムライン(時間軸)上での再生タイミングに関して、或る程度のデータのバッファリングが行われた後に再生が開始される。また、テレビ番組配信のようなサービスでは、データ再生にあたって、メディアサーバから送信された総てのデータが受信側に届くことが要求されない。
特表2005−536097号公報 特開2002−198946号公報 特開平6−181567号公報 特開2000−156646号公報 RFC3984 RTP Payload Format for H.264 VIDEO
しかしながら、無線環境は、固定回線と比較すると環境変化が激しい。このため、インタリーブが実施される周期(インタリーブ周期)がいつも無線環境に適した周期となっているとは限らない。このため、インタリーブによる伝送エラー低減効果が十分に発揮されない場合が起こりえる。
リアルタイム系サービスであるストリーミングデータ(リアルタイムデータ)などは、伝送エラーが発生した場合における再送による救済機会が非リアルタイム系サービスと比較すると非常に少ない。このため、リアルタイム系サービスに関する伝送エラー発生時における隠蔽技術(エラー訂正技術)は、非リアルタイム系サービスよりも重要である。
ここで、無線送信は、例えば、エラーの無い(error free)の環境から、エラー多発の環境へと状況が変化した場合に、その伝送路の品質を一定に維持する、すなわち誤り訂正可能な無線伝送路品質とするために、送信電力制御に加えて、誤り訂正符号を構成する冗長符号の増加、及び/又は変調方式の変更(例えば変調方式をQPSKからBPSKへ変更)を実施し、上位アプリケーションからみたときの送信帯域を減少させることがある。
このような送信帯域が減少する状況は、リアルタイムデータにとって都合が悪い。すなわち、伝送品質劣化による送信帯域の減少は、或る時間区間で送信されるべきデータの、宛先への到着時間が著しく遅れる可能性を含んでいる。加えて、無線区間での帯域調整前においては、その劣化した伝送路品質のために、宛先で連続したデータ廃棄が生じる可能性がある。
上記したような到着時間の遅延や連続的なデータ廃棄が発生する状況は、ハードハンドオーバによっても引き起こされる。図4は、ハードハンドオーバ時のデータ廃棄と滞留の発生の説明図である。
すなわち、ハンドオーバ先で利用可能な帯域が、ハンドオーバ元で使用していた帯域よりも狭い場合には、ハンドオーバ時に一時的なデータの欠落が発生する。すなわち、或るエリア向けのデータを別のエリアに向けて経路を切り替える際に、切替途中にあるデータが欠損する場合がある。このようなデータ欠損が生じると、宛先側では、再送により欠損データが補充されるまで再生が行われず、データの滞留(長時間のバッファリング時間)が発生する可能性がある。言い換えると、或る特定の時間におけるリアルタイムデータの再
生に対して、著しい影響を与える可能性がある。
このように、様々な通信環境の変化が発生する移動通信網においては、例えばRFC3984
で一意的に決定された実施されたインタリーブ周期が、必ずしも適切な周期ではない場合が発生し得る。
本発明は、リアルタイムデータが伝送される伝送路の品質に応じてインタリーブ周期を動的に変更可能な中継装置を提供することを目的とする。
本発明の態様の一つは、 リアルタイムデータを受信する受信部と、
前記リアルタイムデータを宛先へ向けて送信すべき伝送路の品質を周期的に検知する監視部と、
前記伝送路の品質に従ってインタリーブ周期の長さを決定する決定部と、
決定されたインタリーブ周期でリアルタイムデータのインタリーブを行うインタリーブ部と、
インタリーブされたリアルタイムデータを前記伝送路へ送信する送信部と
を備える中継装置である。
上記中継装置において、前記決定部は、前記監視部が前記伝送路の品質の劣化を検知した場合に、前記インタリーブ周期を長くするように構成することができる。
上記中継装置において、前記決定部は、前記監視部が前記伝送路の品質の改善を検知した場合には、前記インタリーブ周期を短くするように構成することができる。
上記中継装置において、前記決定部は、インタリーブ周期の最小単位を決定し、この最小単位の整数倍でインタリーブ周期を決定するように構成することができる。
上記中継装置において、前記受信部で受信されるリアルタイムデータが所定のインタリーブ周期でインタリーブされている場合に、前記決定部は、この所定のインタリーブ周期の長さを前記最小単位として決定するように構成することができる。
上記中継装置において、前記リアルタイムデータの送信元と宛先との間で前記中継装置を介して送受信される能力交換情報に含まれる、前記送信元でのインタリーブの実施の有無と、インタリーブ実施時におけるインタリーブ周期とを示すデータを取得し、前記決定部に与える情報収集部をさらに備えるように構成することができる。
上記中継装置において、前記リアルタイムデータの宛先が有する、復号前の前記リアルタイムデータを格納するためのバッファのサイズを取得する情報収集部をさらに備え、
前記決定部は、前記バッファのサイズに基づいてインタリーブ周期の最大値を決定するように構成することができる。
上記中継装置において、前記リアルタイムデータが、参照ピクチャと非参照ピクチャとを含むビデオストリームデータであり、
前記インタリーブ部は、参照ピクチャを対象とするインタリーブと非参照ピクチャを対象とするインタリーブとを個別に実行するように構成することができる。
本発明の第2の態様は、送信装置から受信装置へ送信されるリアルタイムデータを中継する中継装置において、
リアルタイムデータを受信し、
前記リアルタイムデータを宛先へ向けて送信すべき伝送路の品質を監視し、
前記伝送路の品質に従ってインタリーブ周期の長さを決定し、
決定されたインタリーブ周期でリアルタイムデータのインタリーブを行い、
インタリーブされたリアルタイムデータを前記伝送路へ送信する
ことを含む中継装置のリアルタイムデータ転送方法である。
本発明によれば、リアルタイムデータが伝送される伝送路の品質に応じてインタリーブ周期を動的に変更可能な中継装置を提供することができる。
無線LANシステムの例を示す図である。 セルラ網システムの例を示す図である。 無線網にIEEE802.11を適用した場合の一般的なプロトコルスタックを示す図である。 ハードハンドオーバ時のデータ廃棄と滞留の発生の説明図である。 実施形態における基本的なネットワーク構成例を示す図である。 インタリーブ周期動的変更方法の説明図であり、同一種別同士(参照ピクチャ同士、非参照ピクチャ同士)のインタリーブが行われる場合を示す。 インタリーブ周期動的変更方法の説明図であり、インタリーブ周期の変更時の様子を示す。 最大インタリーブ周期と、復号前バッファとの関係の説明図である。 送信側でインタリーブが実施される場合における、インタリーブ周期の定義を示す図である。 適用例における無線LANシステムの構成例を示す図である。 図10に示したSWの基本的な構成例を示すブロック図である。 インタリーブ周期決定部によるインタリーブ周期決定処理の例を示すフローチャートである。 インタリーブ周期の変更処理の例を示すフローチャートである。 NALユニットヘッダのデータ構造を示す図である。 Iピクチャ及びBピクチャを含むビデオストリーム(例えば、H.264/AVCに従って符号化されたビデオストリームデータ)に対するインタリーブの説明図である。 インタリーブ周期が変更された様子を示す図である。
以下、発明の実施の形態について説明する。実施形態の構成は例示であり、 は、実施形態の構成に限定されない。
〔発明の経緯〕
上述したように、送信側でのデータのインタリーブ周期と、無線環境とが適合しない場合には、送信帯域が低減される場合がある。このような状況に対して、無線通信において、例えばRFC3984が適用され、リアルタイムでの符号化及び送信が行われる場合には、フ
ィードバック情報などに基づき、インタリーブ周期と無線環境が適合しない場合に送信側でのインタリーブ周期を変更することが考えられる。しかし、上記の方法は、ブロードキャスト型のデータ送信時に、フィードバック情報が多岐に渡るので適用できない。
また、インタリーブ対象のデータが、既にインタリーブ処理を含む符号化済みのデータである場合には、符号化時に決定されたインタリーブ周期が固定された状態となっている。このため、このようなインタリーブ周期を無視して、無線環境(通信状況)に応じたインタリーブ周期変更を実施することはできない。
実施形態に係る中継装置は、送信元から受信されるリアルタイムデータを宛先へ向けて送信する場合に、送信側の伝送路品質の変動によるエラーを吸収し、データ受信側での受信品質劣化を抑えることを目的とする。
すなわち、上記のような状況を鑑みて、リアルタイム系サービス、例えばビデオストリーム送信を取り扱うにあたって、伝送路品質に合わせてダイナミックに(動的に)インタリーブ周期を変動させることができる技術を提案する。
〔実施形態の概要〕
図5は、実施形態における基本的なネットワーク構成例を示す図である。図5に示すネットワークシステムは、大略的に、少なくとも1つの受信装置(#0〜#n)と、各受信装置にリンクを介して接続された中継装置(伝送装置)と、中継装置にリンクを介して接続された送信装置とを備える。送信装置と各受信装置との間のデータ伝送路は、受信装置から中継装置までの区間Aと、送信装置から中継装置までの区間Bとからなる。
以下の実施形態で説明するインタリーブ周期の動的変更方法は、例えば、図5に示す中継装置に適用される。図5に示すネットワークシステムが無線LANシステムであれば、中継装置は例えば無線ネットワークゲートウェイやアクセスポイントに相当する。図5の中継装置がセルラ網システム(携帯電話網)システムであれば、中継装置は例えば基地局制御装置(RNC:Radio Network Controller)、及び/又は基地局装置(Node B)に相当する。
インタリーブ周期動的変更方法は、区間Aの伝送路品質が時間の経過に応じて大きく変動し、伝送路品質に応じた送信可能な帯域が変動する環境下(例えば、区間Aが無線伝送
路である場合)で適用されることが望ましい。但し、図5において、区間Aが有線による
伝送路である場合であっても、或いは区間Aの伝送路品質の変動が殆どない場合であっても、インタリーブ周期動的変更方法の適用は妨げられない。
インタリーブ周期動的変更方法の主たる特徴を図6を用いて説明する。図6及び図7は、インタリーブ周期動的変更方法の説明図であり、図6及び図7は、同一種別同士(参照
ピクチャ同士、非参照ピクチャ同士)のインタリーブが行われる場合を示し、特に、図7
は、インタリーブ周期の変更時の様子を示す。
ここでは、説明のために、無線通信で利用可能なリアルタイムデータの動画圧縮規格(
例えばH.264/AVC,MPEG-4,MPEG-2)に従って符号化されたビデオフレーム(ピクチャ)の伝送を例とする。図6及び図7中の“R”は参照ピクチャ(Iピクチャ)、“nR”は非参照ピクチャ(Bピクチャ、規格によってはPピクチャも含まれる)を示す。
ここに、参照ピクチャは、前後のフレームとは関係なくその画面内だけで独立して符号化されたピクチャ(フレーム)であり、非参照ピクチャは、所定のピクチャ(例えば対象ピ
クチャの前後に位置するピクチャ)から予測符号化されたフレームである。
図6には、或るインタリーブ周期におけるピクチャ#0〜#11が示されている。図6に示す例では、1インタリーブ周期において、12個のピクチャがインタリーブの対象となる。ここに、ピクチャ#0,#3,#6及び#9は参照ピクチャRであり、残りのピクチャ#1,#2,#4,#5,#7,#8,#10,#11は非参照ピクチャnRである。
ピクチャ#0〜#11は、同一種別のピクチャ間で並び順が変更される。すなわち、参照ピクチャRに対するインタリーブ処理と、非参照ピクチャnRに対するインタリーブ処
理とがインタリーブ周期内で実行される。
図7は、インタリーブ周期が短くされ、1インタリーブ周期で6ピクチャがインタリーブ対象となるように変更された様子を示す。図7に示す例では、図6に示された1つのインタリーブ周期が二つのインタリーブ周期#0及び#1に変更されている。また、ピクチャ#0〜#5がインタリーブ周期#0でのインタリーブ対象となり、ピクチャ#6〜#11がインタリーブ周期#1でのインタリーブ対象となっている。各インタフェース周期#0,#1で、同一種別間でのインタリーブ処理が実施される。
実施形態のインタリーブ周期動的変更方法では、無線状況(図5に示した区間Aの伝送
路品質)が良好であれば、インタリーブ周期が短くされる。これに対し、無線状況(伝送路品質)が悪化した場合には、インタリーブ周期が長くされる。
ここで、インタリーブ周期が長くされる場合には、ストリーミングの再生に影響を与えない程度に設定されることが望ましい。つまり、最大インタリーブ周期は、復号(decode)側(受信装置)において、復号前のストリーミングデータが蓄積されるバッファのサイズを考慮した値に設定されるべきである。バッファが1インタリーブ周期のデータを蓄積できなければ、適正な復号処理(デインタリーブ)を実施できないからである。但し、本願では、最大インタリーブ周期の決定方法について特に言及しない。
図8は、最大インタリーブ周期と、復号前バッファとの関係の説明図であり、送信側(sender)から受信側(receiver)へ送信されるストリーミングデータ(リアルタイムデータ)のインタリーブ周期は、復号前バッファのバッファサイズより小さい値となるように調整される。
インタリーブ周期が長くされると、遅延に弱くなる。つまり、僅かな遅延の発生で、復号側(受信側)での復号前バッファにおけるバッファリング(buffering)時間を越えてしま
うためである。ストリーミングデータなどのリアルタイム系サービスは、一般に、ネットワークでの送信優先順位が高い場合が多い。このため、無線伝送路の品質が悪い場合には、遅延のリスクよりインタリーブ効果(エラー低減)を可能な限り優先する。その後、無線伝送路の品質が良好になった場合には、インタリーブ周期を短くする。不必要な遅延のリスクをとる必要がないからである。
さらに、インタリーブの実施においては、上述したように、参照ピクチャR同士、非参照ピクチャnR同士でインタリーブが実施される。これはインタリーブによって参照ピクチャが連続することを回避するためである。このように、参照ピクチャと非参照ピクチャとが個別にインタリーブされることで、参照ピクチャの送信間隔を最大の状態とすることができる。
なお、図6及び図7に示す例は、リアルタイムデータストリームが、既にRFC3984など
に従ってインタリーブされていることを前提としている。
また、ストリーム送信側(図5の送信装置)でインタリーブが実施される場合には、実施形態におけるインタリーブ周期動的変更方法で適用されるインタリーブ周期は、以下のように定義される。
図9は、送信側でインタリーブが実施される場合における、インタリーブ周期の定義を示す。図9に示すように、送信側でインタリーブが実施される場合には、送信側インタリーブ周期の長さと一致する長さで、動的変更方法で適用される最小インタリーブ周期Aが定義される。また、動的変更方法で適用される最大インタリーブ周期Bは、最小インタリ
ーブ周期Aのn倍(n=1,2,3,・・・,n)で定義される。インタリーブ周期は、最小インタリーブ周期Aを単位として変更される。
加えて、図示していないが、例えばH.264/AVCにおけるIDR(Instantaneous Decoding
Refresh)ピクチャのようなリフレッシュピクチャは、インタリーブにより送信が遅れ、
再送救済の可能性が減ることを考慮し、インタリーブの対象としない。つまり、IDRピクチャはリフレッシュピクチャであり、画像シーケンスの先頭のピクチャであるため、そのピクチャ数も他のピクチャと比較して非常に少ない。よって誤りの分散よりもその送達の確実性に重きを置く。このように、リフレッシュピクチャは、中継装置におけるインタリーブ実施の影響を受けることなく送信されることができる。
〔適用例〕
以下、実施形態の適用例について説明する。適用例として、上記したインタリーブ周期動的変更方法の無線ネットワークシステムでの適用を想定し、無線ネットワークシステムとして無線LANシステムが対象とされた場合を示す。
〈ネットワーク構成例〉
図10は、適用例における無線LANシステムの構成例を示す。図10において、無線LANシステムは、複数の無線送受信機としての複数のアクセスポイント(以下、「AP
」と表記)#0〜#nと、複数のAP#0〜#nの夫々を制御するコントローラとしての
機能を持つ中継装置(中継局、スイッチ(SW))とを備えている。
SW1は、例えば、図1に示した無線網ゲートウェイ(RN−GW)に相当する。SW1は、ネットワーク(インターネットのようなIP網)2を介して送信局としてのメディアサーバ(サーバ)3に接続されている。
複数の受信局(受信装置)としての複数の無線端末#0〜#mの夫々は、所定のAP(例
えば最寄りのAP)と無線接続(無線アクセス)を行い、メディアサーバ3から配信される
リアルタイム系サービスで提供されるデータ(リアルタイムデータ、例えば、マルチメデ
ィアデータ、特にビデオストリームデータ)を、SW1及び自身と無線接続されたAPを
介して受信することができる。
SW1には、例えば、RFC3984に記載される“MANE:Media Aware Network Element”が搭載される。MANEとは、RTPペイロードヘッダの一部やRTPペイロードを構文解析してメディアの内容に対処可能な、ミドルボックスやアプリケーションレイヤゲートウェイのようなネットワーク要素である。
端末向けデータは、SW1からデータの宛先端末を支配下に持つAPへ送信される。例えば、端末#0向けのデータをSW1が受信すると、このデータは、AP#0を経由して端末#0へ送信される。ここで、AP#0と端末#0との無線リンク品質情報が、AP#0からSW1へ報告される。AP#0は、端末#0との間に設けられた上り無線リンクを介してAP#0の送信電力制御情報を受信するようになっており、このような電力制御情報がSW1に報告される。或いは、AP#0は、配下の端末(例えば端末#0)との間で再送制御が実施される場合には、端末から受信する再送情報を、SW1に対して報告することができる。
〈SW(中継装置)の構成例〉
図11は、SW1の基本的な構成例を示すブロック図である。SW1は、網(例えば図
10のネットワーク2)に接続される網側受信部11と、網側受信部11及びインタリー
ブ周期決定部16と接続されるインタリーブ部としての送信スケジュール部12と、送信
スケジュール部12に接続され、1以上のAP(例えば図10のAP#0〜#n)と接続される送信部13及び受信部14と、受信部14に接続され、網(例えば図10のネットワ
ーク2)に接続される網側送信部15と、受信部14に接続される監視部としての品質管
理部16と、品質管理部16に接続される決定部としてのインタリーブ周期決定部17と、網側受信部11,受信部14,及びインタリーブ周期決定部17と接続される情報収集部18とを備える。
網側受信部11は、網(ネットワーク2)から端末向けデータを受信する。網側受信部11は、受信されたデータの内容を解析し、解析結果に関する情報を情報収集部18へ提供する。解析結果に関する情報は、例えばリアルタイム系サービスで提供されるデータ(リ
アルタイムデータ)の送信局(例えば図10のメディアサーバ3)と端末(受信局)との間で
実施される能力交換情報などである。能力交換情報は、インタリーブを実施するか否かに関する情報と、インタリーブ実施時におけるインタリーブ周期を示す情報とを含むことができる。網側送信部15は、受信部14からのデータを網側(ネットワーク2)へ送信する。
情報収集部18は、網側受信部11から提供されたデータ、受信部14から提供されたデータをインタリーブ周期決定部16へ提供する。受信部14からのデータは、少なくとも、上述したような能力交換情報を含むことができる。
送信スケジュール部12は、インタリーブ周期決定部から提供された情報に従って、網側受信部11から受信したデータをインタリーブし、送信部13へ転送する。送信スケジュール部12は、インタリーブ処理等のためのデータバッファを備え、網側受信部11から受信されたデータは、データバッファに一時的に格納される。
インタリーブ周期の変更は、インタリーブ周期単位で実施される。すなわち、既に完了したスケジュールについては、インタリーブ周期の変更が決定されても、そのスケジュールついての使用が決定済みであるインタリーブ周期はキャンセルされない。
言い換えれば、インタリーブ周期の変更が決定されたときに、或るインタリーブ周期でのインタリーブが既にスケジューリングされている場合には、送信スケジュール部12は、そのスケジュールで適用されるインタリーブ周期を取り消す(キャンセル)することなく、その或るインタリーブ周期でデータバッファに格納されたデータに対するインタリーブを行う。その後、スケジュールが完了すると、送信スケジュール部12は、次のスケジュール時に、インタリーブ周期決定部17から提供された情報に従ってインタリーブ周期を変更する。
インタリーブ周期決定部17では、品質管理部16、情報収集部18から提供された情報を元に、インタリーブ周期を決定する。インタリーブ周期は、最小インタリーブ周期単位で決定される。すなわち、インタリーブ周期は、最小インタリーブ周期の整数倍となるように決定される。
例えば、インタリーブ周期決定部17は、品質管理部16から最大インタリーブ周期に関する情報を受け取ることができる。最大インタリーブ周期に関する情報は、例えば、例えば端末が有する復号前バッファのサイズである。インタリーブ周期決定部17は、復号前バッファサイズが提供された場合には、この復号前バッファサイズ(バッファリング時
間)を超えない範囲で最大インタリーブ周期を決定し、最インタリーブ周期が最イン
タリーブ周期のm倍(mは正の整数)となるように定義される。
また、例えば、情報収集部18から、リアルタイムデータ送信局(メディアサーバ3)と
端末間でのインタリーブが実施されることを示す情報(インタリーブ周期を含む)が提供された場合には、SW1で実施されるインタリーブ周期の最小単位(最小インタリーブ周期)として、送信局−端末間で実施されるインタリーブ周期と同じ値が決定される。このときの最大インタリーブ周期は、最小インタリーブ周期のn倍(nは正の整数)で規定される。このとき、端末の復号前バッファサイズが解っている場合には、最大インタリーブ周期は、そのバッファサイズ(バッファリング時間)に基づいて決定された最大インタリーブ周期を超えない範囲で決定される。送信局−端末間のインタリーブの実施の有無に拘わらず、インタリーブ周期は、最小インタリーブ周期単位で変更される。
インタリーブ周期の定義をまとめると、以下のようになる。
最大インタリーブ周期 = 最小インタリーブ周期l × m
インタリーブ周期 = 最小インタリーブ周期l × n(n≦m)
インタフェース周期決定部17は、品質管理部16から、APと端末との間の無線リンク品質(無線伝送路品質)が劣化傾向にあるか、改善傾向にあるかの情報(無線リンク品質
情報)を受け取ることができる。インタリーブ周期決定部17は、無線リンク品質情報が
劣化方向を示す場合には、現在使用中のインタリーブ周期より長いインタリーブ周期を決定する(インタリーブ周期を長くする)。一方、インタリーブ周期決定部17は、無線リンク品質情報が改善方向を示す場合には、現在使用中のインタリーブ周期より短いインタリーブ周期を決定する(インタリーブ周期を短くする)。但し、インタリーブ周期決定部17は、最小インタリーブ周期から最大インタリーブ周期までの範囲でインタリーブ周期を決定する。
品質管理部16は、受信部14からの情報に基づいて周期的に無線リンク品質を決定(
検知)し、決定された無線リンク品質情報をインタリーブ周期決定部17に提供する。品
質管理部16は、受信部14から、受信部14で確認された端末からのACK/NACK情報(物理レイヤのデータ受信成功/失敗を示す情報)、及び/又は、電力増減情報(イン
ナーループで受信される、ターゲットSIR(信号対干渉比)の変動に伴う送信電力増減指示情報。増加=品質劣化 減少=品質改善)を受け取ることができる。品質管理部16は
、ACK/NACK情報と電力増減情報との少なくとも一方を用いて、無線リンク品質情報を生成することができる。
受信部14は、対応APを介して端末から送信されたデータを受信し、この受信データを網側送信部15へ転送する。また、受信部14は、受信データ中の無線リンク品質に関する情報、例えば端末からのACK/NACK情報や、電力増減情報を品質管理部16に提供す
る。送信部13は、送信スケジュール部12より転送されたデータの順番通りに、端末(
対応AP)に向けてデータを送信する。
なお、SW1は、CPUのようなプロセッサ(制御装置)、メモリ(記憶装置)、入出力インタフェース(I/O)、通信インタフェースのような複数のハードウェアからなる装置であり、図11に示した各ブロックは、上記したハードウェアの少なくとも1つ、或いは、プロセッサがソフトウェア(プログラム)を実行することによって実現される機能である。
〈インタリーブ周期の決定フロー〉
図12は、インタリーブ周期決定部17によるインタリーブ周期決定処理の例を示すフローチャートである。図12において、データ送信局(例えばメディアサーバ3)と端末との間のデータ(リアルタイム系のデータ(例えばビデオストリームデータ))伝送用のコネクションがSW1に登録されると(ステップS01)、RTPセッション開始手続きの情報として、送信局及び端末の能力交換情報が送信局と端末との間で送受信される。
このとき、能力交換情報として送信局から送信されるインタリーブ実施の有無を示す情
報、及びインタリーブ実施時におけるインタリーブ周期を示す情報は、網側受信部11で受信され、情報収集部18に提供され、インタリーブ周期決定部17に提供される(ステ
ップS02)。
インタリーブ周期決定部17は、情報収集部18から取得されたインタリーブ実施の有無を示す情報に基づき、送信局−端末間でのインタリーブが実施されるか否かを判定する(ステップS03)。このとき、インタリーブが実施される場合(S03;Y)には、インタリーブ周期決定部17は、処理をステップS04に進める。インタリーブが実施されない場合(S03;N)には、インタリーブ周期決定部17は、処理をステップS05に進める。
ステップS04では、インタリーブ周期決定部17は、情報収集部18から取得された送信局−端末間のインタリーブ周期を、SW1で実施されるインタリーブ周期の最小周期(最小インタリーブ周期)に設定し、ステップS06へ処理を進める。
ステップS05では、インタリーブ周期決定部17は、最小インタリーブ周期を決定し、処理をステップS06へ進める。
ステップS06では、インタリーブ周期決定部17は、最大インタリーブ周期を決定する。最大インタリーブ周期は、最小インタリーブ周期のn倍又はm倍(但しn≦m)で決定される。このとき、情報収集部18からの情報に端末の復号前バッファサイズが含まれている場合には、このバッファサイズを考慮して最大インタリーブ周期が決定される。
ステップS06が終了すると、最大及び最小インタリーブ周期の決定処理が終了する。なお、ステップS06において、インタリーブ周期の初期値が決定される。初期値として、例えば、最小インタリーブ周期が適用される。もっとも、任意の長さのインタリーブ周期を初期値として適用することができる。
〈無線リンク品質の決定例〉
品質管理部16では、周期的に(所定の品質監視周期毎に)無線リンク品質を決定する。品質管理部16は、例えば、品質監視周期内のおける所定の測定期間(時間区間)内に受信される、ACK/NACK情報の監視結果を元に無線リンク品質を決定することができる。例え
ば、品質管理部16は、測定期間(例えば1秒間)におけるACK/NACK情報から、その測定
期間での伝送品質(無線リンク品質)を算出する。例えば、測定期間中のNACK(ACK)の数を、無線リンク品質として算出することができる。
品質管理部16は、算出された無線リンク品質を前回の測定期間に関して算出された無線リンク品質と比較し、無線リンク品質が改善したか、劣化したか、変化なしかを判定する。例えば、測定期間中のNACKの数が無線リンク品質を示す場合において、今回のNACK数が前回のNACK数を上回る場合に、「品質劣化」と判定される。今回のNACK数が前回のNACK数を下回る場合に、「品質改善」と判定され、今回のNACK数と前回のNACK数とが同じである場合に「変化無し」と判定される。
このような判定結果(“品質劣化”、“品質改善”、“変化なし”のいずれか)を、無線リンク品質情報としてインタリーブ周期決定部17へ提供する。
また、電力増減情報を無線リンク品質の決定に使用する場合には、次のような処理が行われる。例えば、所定の測定期間中における電力増加指示と電力減少指示との一方の数(
例えば電力増加指示の数)が算出される。続いて、今回の電力増加指示の数と前回の測定
期間における電力増加指示の数とが比較され、今回が前回を上回っていれば、「品質劣化
」と判定される。これに対し、今回が前回を下回っていれば「品質改善」と判定される。今回と前回とが同数であれば、「変化なし」と判定される。
ACK/NACK数に基づく品質判定と、電力増減情報に基づく品質判定との双方を実行し、夫々の判定結果の論理積(AND)又は論理和(OR)を、最終的な品質判定結果を示す無線リンク品質情報としてインタリーブ周期決定部17に提供されるようにしても良い。
〈インタリーブ周期の変更フロー〉
図13は、インタリーブ周期の変更処理の例を示すフローチャートである。品質管理部16は、品質監視周期毎の無線リンク品質情報をインタリーブ周期決定部17に提供する。インタリーブ周期決定部17は、品質監視周期が満了すると(S101)、品質管理部16から提供された無線リンク品質情報を参照し、無線リンク品質情報が品質劣化を示すか否かを判定する(S102)。
このとき、無線リンク品質情報が品質劣化を示す場合には(S102,Y)、処理がステップS103に進む。無線リンク品質情報が品質劣化を示さない場合(S102,N)には、処理がステップS105に進む。
ステップS103に処理が進んだ場合には、インタリーブ周期決定部17は、現在のインタリーブ周期が既に最大インタリーブ周期(最大周期)か否かを判定する。
このとき、現在のインタリーブ周期が最大周期でない場合(S103,N)には、インタリーブ周期決定部17は、インタリーブ周期を変更する(S104)。すなわち、インタリーブ周期決定部17は、現在のインタリーブ周期を最小インタリーブ周期1つ分を加えたインタリーブ周期に変更し、変更されたインタリーブ周期を送信スケジュール部12に通知する。その後、処理がステップS101に戻る。
これに対し、現在のインタリーブ周期が最大周期である場合(S103,Y)には、インタリーブ周期決定部17は、現在のインタリーブ周期を変更することなく、処理をステップS101に戻す。
ステップS105に処理が進んだ場合には、インタリーブ周期決定部17は、無線リンク品質情報が品質改善を示すか否かを判定する。 このとき、無線リンク品質情報が品質改善を示す場合(S105,Y)には、処理がステップS106に進む。無線リンク品質情報が品質改善を示さない場合(S105,N(変更なし))には、インタリーブ周期決定部17は、インタリーブ周期を変更することなく処理をステップS101に戻す。
ステップS106に処理が進んだ場合には、インタリーブ周期決定部17は、現在のインタリーブ周期が既に最小インタリーブ周期(最小周期)か否かを判定する。
このとき、現在のインタリーブ周期が最小周期でなければ(S106,N)、インタリーブ周期決定部17は、現在のインタリーブ周期を短くする。すなわち、現在のインタリーブ周期を1つの最小周期分だけ短い長さに変更し、変更されたインタリーブ周期を送信スケジュール部12に通知する。その後、処理がステップS101に戻る。
これに対し、現在のインタリーブ周期が最小周期であれば(S106,Y)、インタリーブ周期決定部17は、現在のインタリーブ周期を変更することなく、処理をステップS101に戻す。
SW1で決定されたインタリーブ周期は、受信側でのデインタリーブ処理のために、送信部13から端末に対して通知される。このように、SW1(中継装置)では、インタリーブ周期が伝送路品質に応じて動的に変更される。
〈情報の収集〉
次に、SW1で収集される様々な情報に関して説明する。例えば、H.264では、NAL(Network Abstraction Layer)ユニットがRTPパケットに格納されて送信される。
NALユニットにはヘッダが付与され、このヘッダ情報から、どういった種類のデータをRTPパケットが運搬しているかを検出することができる。ヘッダ情報からは、参照ピクチャ/非参照ピクチャの種別を示す情報を得ることができる。
図14は、NALユニットヘッダのデータ構造を示す図である。ALユニットヘッダは、NRIビットの格納フィールドを有し、このNRIビットの値を参照することによって、運搬対象のデータが参照ピクチャに関するデータか非参照ピクチャに関するデータかを判別することができる。このような判別は、例えば、送信スケジュール部12が、インタリーブを実施する際に行う。
また、送信局(メディアサーバ3)から端末に転送されるストリームデータに関して、送信局でインタリーブが実施されているか否かは、
そのストリームデータの動画圧縮規格が例えばH.264/AVCであれば、SDP(Session Description Protocol)による能力交換情報をSW1が取得することで確認できる。
例えば、能力交換情報に含まれるパラメータ“sprop-interleaving-depth”の値が0以上である場合には、インタリーブが実施されることを示している。また、SDPに基づくパラメータ“packetization mode”からインタリーブの実施/不実施を知ることができる。
また、インタリーブの実施/不実施は、使用可能なNALユニットの種別(タイプ)から判断することができる。すなわち、“Single NAL Unit Packet”タイプを使用できず、“STAP-B”タイプや“MTAP”タイプのようなタイプが使用されていれば、インタリーブ実施と判断することができる。NALの種別は、図14に示したNALユニットヘッダの“Type”フィールドの値から識別することができる。
SDPに基づく端末からのパラメータ“deint-buf-cap”は、端末で受信された復号前
のデータを蓄積するバッファ(復号前バッファ)の容量を示す。このパラメータで示されるバッファ容量に基づいて、最大インタリーブ周期を決定することができる。
〈インタリーブの手法〉
次に、送信スケジュール部12で実施されるインタリーブについて説明する。図15は、送信スケジュール部12で実施されるインタリーブ処理の説明図であり、図16は、図15に示したインタリーブ周期よりも短いインタリーブ周期が適用されたインタリーブ処理の説明図である。
図15及び図16に示す例では、送信局(メディアサーバ3)から端末へ向けてビデオフレームが伝送される場合を仮定する。図15及び図16中の“I”はIピクチャ(Intra-Picture:参照ピクチャ(Iフレームとも呼ばれる))を示し、“B”はBピクチャ(Bi-directional Predictiv-Picture:非参照ピクチャ(Bフレームとも呼ばれる))を示す。
ここに、Iピクチャは、時間軸上の前後のフレームとは関係なくその画面内だけで独立して符号化したピクチャ(フレーム)であり、Bピクチャは、過去のフレームと未来のフレ
ームとの双方向から予測符号化されたピクチャ(フレーム)である。
図15に示す例では、1つのインタリーブ周期において、12個のフレームを対象としたインタリーブが送信スケジュール部12により実施される。但し、インタリーブによってIピクチャが連続することを避けるべく、Iピクチャを対象としたインタリーブと、Bピクチャを対象としたインタリーブとが別個に実施される。
図16に示す例は、インタリーブ周期決定部17によって、インタリーブ周期の変更が決定され、送信スケジュール部12でのインタリーブ周期が変更された様子を示す、図16に示す例では、無線リンク品質の改善により、インタリーブ周期が短くされた様子を示している。図16に示す各インタリーブ周期#0及び#1では、図15と同様の手法(同
種別のピクチャを対象としたインタリーブ)で、インタリーブが実施される。
〔実施形態の効果〕
実施形態によれば、伝送路品質(無線リンク品質)に従って、送信局(メディアサーバ3)から送信されるリアルタイムデータ(例えばビデオストリームデータ)のインタリーブ周期が動的に変更される。
これにより、無線リンク(無線伝送路)が劣化した場合には、インタリーブ周期を長くすることによって、データを長い区間で分散させ、受信側(データ宛先)での伝送路エラーの低減を図ることができる。
特に、無線伝送路品質の劣化によって、送信帯域低減やハンドオーバのような、データ遅延要因となる処理が実施された場合に、受信側に到達するデータのエラーレートをインタリーブで低減することで、リアルタイムデータの即時性が可能な限り確保されるようにすることができる。
言い換えれば、リアルタイムデータの伝送路品質の劣化に要因とするリアルタイムデータの到着遅延や欠落が生じる可能性のある環境下において、当該伝送路を通って受信側(
宛先)に到達するリアルタイムデータの有効性をインタリーブ効果で高めることができ、
適正なリアルタイム系サービスの提供が図られるようにすることができる。
これにより、バーストエラーや一時的な滞留が発生した場合に、長いインタリーブ周期でデータを分散させることにより、受信側でのリアルタイムデータの再生時間に再生すべきデータが無いような状況を緩和出来る。これにより、無線リンクの品質の変動に際しても、メディアの再生品質を均一化する効果につながる。
〔変形例〕
図11に示したSW1の構成は、SW1(無線網ゲートウェイ)の変わりにアクセスポイント(AP)が備えるように変形することができる。また、SW1の構成は、セルラ網システムにおける基地局制御装置(RNC)や基地局装置(Node B)に適用することができる。
<その他>
(付記1) リアルタイムデータを受信する受信部と、
前記リアルタイムデータを宛先へ向けて送信すべき伝送路の品質を周期的に検知する監視部と、
前記伝送路の品質に従ってインタリーブ周期の長さを決定する決定部と、
決定されたインタリーブ周期でリアルタイムデータのインタリーブを行うインタリーブ部と、
インタリーブされたリアルタイムデータを前記伝送路へ送信する送信部と
を備える中継装置。
(付記2) 前記決定部は、前記監視部が前記伝送路の品質の劣化を検知した場合に、前記インタリーブ周期を長くする
付記1に記載の中継装置。
(付記3) 前記決定部は、前記監視部が前記伝送路の品質の改善を検知した場合には、前記インタリーブ周期を短くする
付記1又は2に記載の中継装置。
(付記4) 前記決定部は、インタリーブ周期の最小単位を決定し、この最小単位の整数倍でインタリーブ周期を決定する
付記1〜3のいずれか一項に記載の中継装置。
(付記5) 前記受信部で受信されるリアルタイムデータが所定のインタリーブ周期でインタリーブされている場合に、前記決定部は、この所定のインタリーブ周期の長さを前記最小単位として決定する
付記4に記載の中継装置。
(付記6) 前記リアルタイムデータの送信元と宛先との間で前記中継装置を介して送受信される能力交換情報に含まれる、前記送信元でのインタリーブの実施の有無と、インタリーブ実施時におけるインタリーブ周期とを示すデータを取得し、前記決定部に与える情報収集部をさらに備える
付記5に記載の中継装置。
(付記7) 前記リアルタイムデータの宛先が有する、復号前の前記リアルタイムデータを格納するためのバッファのサイズを取得する情報収集部をさらに備え、
前記決定部は、前記バッファのサイズに基づいてインタリーブ周期の最大値を決定する付記1〜6のいずれか一項に記載の中継装置。
(付記8) 前記リアルタイムデータが、参照ピクチャと非参照ピクチャとを含むビデオストリームデータであり、
前記インタリーブ部は、参照ピクチャを対象とするインタリーブと非参照ピクチャを対象とするインタリーブとを個別に実行する
付記1〜7のいずれか一項に記載の中継装置。
(付記9) 送信装置から受信装置へ送信されるリアルタイムデータを中継する中継装置のリアルタイムデータ転送方法において、
リアルタイムデータを受信し、
前記リアルタイムデータを宛先へ向けて送信すべき伝送路の品質を監視し、
前記伝送路の品質に従ってインタリーブ周期の長さを決定し、
決定されたインタリーブ周期でリアルタイムデータのインタリーブを行い、
インタリーブされたリアルタイムデータを前記伝送路へ送信することを含む中継装置のリアルタイムデータ転送方法。
1・・・スイッチ(SW、中継装置)
2・・・ネットワーク
3・・・メディアサーバ(送信局、送信装置)
11・・・網側受信部
12・・・送信スケジュール部
13・・・送信部
14・・・受信部
15・・・網側送信部
16・・・品質管理部
17・・・インタリーブ周期決定部
18・・・情報収集部

Claims (9)

  1. リアルタイムデータを受信する受信部と、
    前記リアルタイムデータを宛先へ向けて送信すべき伝送路の品質を周期的に検知する監視部と、
    前記伝送路の品質に従ってインタリーブ周期の長さを決定する決定部と、
    決定されたインタリーブ周期でリアルタイムデータのインタリーブを行うインタリーブ部と、
    インタリーブされたリアルタイムデータを前記伝送路へ送信する送信部と
    を備える中継装置。
  2. 前記決定部は、前記監視部が前記伝送路の品質の劣化を検知した場合に、前記インタリーブ周期を長くする
    請求項1に記載の中継装置。
  3. 前記決定部は、前記監視部が前記伝送路の品質の改善を検知した場合には、前記インタリーブ周期を短くする
    請求項1又は2に記載の中継装置。
  4. 前記決定部は、インタリーブ周期の最小単位を決定し、この最小単位の整数倍でインタリーブ周期を決定する
    請求項1〜3のいずれか一項に記載の中継装置。
  5. 前記受信部で受信されるリアルタイムデータが所定のインタリーブ周期でインタリーブされている場合に、前記決定部は、この所定のインタリーブ周期の長さを前記最小単位として決定する
    請求項4に記載の中継装置。
  6. 前記リアルタイムデータの送信元と宛先との間で前記中継装置を介して送受信される能力交換情報に含まれる、前記送信元でのインタリーブの実施の有無と、インタリーブ実施時におけるインタリーブ周期とを示すデータを取得し、前記決定部に与える情報収集部をさらに備える
    請求項5に記載の中継装置。
  7. 前記リアルタイムデータの宛先が有する、復号前の前記リアルタイムデータを格納するためのバッファのサイズを取得する情報収集部をさらに備え、
    前記決定部は、前記バッファのサイズに基づいてインタリーブ周期の最大値を決定する
    請求項1〜6のいずれか一項に記載の中継装置。
  8. 前記リアルタイムデータが、参照ピクチャと非参照ピクチャとを含むビデオストリームデータであり、
    前記インタリーブ部は、参照ピクチャを対象とするインタリーブと非参照ピクチャを対象とするインタリーブとを個別に実行する
    請求項1〜7のいずれか一項に記載の中継装置。
  9. 送信装置から受信装置へ送信されるリアルタイムデータを中継する中継装置のリアルタイムデータ転送方法において、
    リアルタイムデータを受信し、
    前記リアルタイムデータを宛先へ向けて送信すべき伝送路の品質を監視し、
    前記伝送路の品質に従ってインタリーブ周期の長さを決定し、
    決定されたインタリーブ周期でリアルタイムデータのインタリーブを行い、
    インタリーブされたリアルタイムデータを前記伝送路へ送信することを含む中継装置のリアルタイムデータ転送方法。
JP2009544543A 2007-12-07 2007-12-07 中継装置 Expired - Fee Related JP5170106B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2007/073690 WO2009072210A1 (ja) 2007-12-07 2007-12-07 中継装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012155931A Division JP2012195973A (ja) 2012-07-11 2012-07-11 中継装置

Publications (2)

Publication Number Publication Date
JPWO2009072210A1 true JPWO2009072210A1 (ja) 2011-04-21
JP5170106B2 JP5170106B2 (ja) 2013-03-27

Family

ID=40717395

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009544543A Expired - Fee Related JP5170106B2 (ja) 2007-12-07 2007-12-07 中継装置

Country Status (4)

Country Link
US (1) US8548030B2 (ja)
EP (1) EP2219311B1 (ja)
JP (1) JP5170106B2 (ja)
WO (1) WO2009072210A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0920729D0 (en) * 2009-11-26 2010-01-13 Icera Inc Signal fading
KR20130093857A (ko) * 2012-01-31 2013-08-23 한국전자통신연구원 Tcp 패킷 손실 구분 장치 및 방법
US11496761B2 (en) * 2018-06-30 2022-11-08 Sharp Kabushiki Kaisha Systems and methods for signaling picture types of pictures included in coded video

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5233629A (en) * 1991-07-26 1993-08-03 General Instrument Corporation Method and apparatus for communicating digital data using trellis coded qam
JPH07283740A (ja) * 1994-04-05 1995-10-27 Sony Corp 送信装置、受信装置、および伝送システム
FR2785743A1 (fr) 1998-11-09 2000-05-12 Canon Kk Dispositif et procede d'adaptation des turbocodeurs et des decodeurs associes a des sequences de longueur variable
US6570849B1 (en) * 1999-10-15 2003-05-27 Tropic Networks Inc. TDM-quality voice over packet
WO2002017549A2 (en) * 2000-08-25 2002-02-28 Sasken Communication Technologies Limited A technique for reducing processing power in 3g systems
JP3907406B2 (ja) 2000-12-26 2007-04-18 株式会社ケンウッド ユニークワード制御方式
JP2003087225A (ja) * 2001-09-12 2003-03-20 Nippon Telegr & Teleph Corp <Ntt> データ転送方法、データ転送システム、端末装置、データ転送プログラム、および記録媒体
JP3932946B2 (ja) * 2002-03-28 2007-06-20 ソニー株式会社 無線通信装置および無線通信方法、並びにプログラム
US7620111B2 (en) * 2002-08-13 2009-11-17 Nokia Corporation Symbol interleaving
WO2005013542A1 (ja) * 2003-08-05 2005-02-10 Fujitsu Limited 再生中継方法及びその装置
WO2005025262A1 (ja) * 2003-09-04 2005-03-17 Fujitsu Limited 通信システム及びハンドオーバ通信方法
JP2005252622A (ja) * 2004-03-03 2005-09-15 Kitakyushu Foundation For The Advancement Of Industry Science & Technology 通信装置及び通信方法
US20050251725A1 (en) * 2004-05-06 2005-11-10 Genieview Inc. Signal processing methods and systems
KR100761833B1 (ko) * 2006-01-13 2007-09-28 삼성전자주식회사 화면의 라인들을 픽셀 단위로 교대로 저장하는 비디오디코딩 장치, 비디오 디코딩 방법 및 기준화면 저장 방법
WO2008038261A2 (en) * 2006-09-26 2008-04-03 Liveu Ltd. Remote transmission system
US8185785B2 (en) * 2006-11-28 2012-05-22 At&T Intellectual Property I, L.P. Broadcasting of digital video to mobile terminals

Also Published As

Publication number Publication date
US20100238982A1 (en) 2010-09-23
EP2219311A1 (en) 2010-08-18
EP2219311B1 (en) 2017-09-27
EP2219311A4 (en) 2014-01-01
JP5170106B2 (ja) 2013-03-27
US8548030B2 (en) 2013-10-01
WO2009072210A1 (ja) 2009-06-11

Similar Documents

Publication Publication Date Title
JP4116470B2 (ja) メディア・ストリーミング配信システム
JP4672081B2 (ja) パケット中継方法及び装置
JP5588019B2 (ja) 信頼性のあるデータ通信のためにネットワーク抽象化レイヤを解析する方法および装置
KR100537499B1 (ko) 전송제어 파라미터 생성방법 및 프레임 특성에 따른선택적 자동 재전송 방법
US8102878B2 (en) Video packet shaping for video telephony
JP5533435B2 (ja) 画像データ配信制御方法及び装置とシステムならびにプログラム
US8443097B2 (en) Queue management unit and method for streaming video packets in a wireless network
JP5021765B2 (ja) 逆方向リンクおよび順方向リンクのビデオデータエラーを区別するエラーフィルタ
JP5109787B2 (ja) データ伝送システム、プログラム及び方法
JP4930589B2 (ja) 中継装置および出力制御方法
JP5170106B2 (ja) 中継装置
Chen et al. Multi-stages hybrid ARQ with conditional frame skipping and reference frame selecting scheme for real-time video transport over wireless LAN
JP2005184662A (ja) データ伝送装置、データ受信装置、および通信システム
JP2012195973A (ja) 中継装置
Cheng et al. Improving transmission quality of MPEG video stream by SCTP multi-streaming and differential RED mechanisms
Zia et al. Interactive error control for mobile video telephony
Al-Majeed et al. Effective Broadband Video Streaming during wireless vertical handovers
Tirouvengadam et al. Hybrid Mode Radio Link Control for Efficient Video Transmission over 4GLTE Network
Al-Suhail et al. Mobile video streaming over heterogeneous networks
Kim et al. Network-Adaptive Rate and Error Controls for WiFi Video Streaming
Al-Majeed et al. Adaptive broadband video streaming for iptv wireless access
Fleury et al. Applications of “Cross-Layer” in Video Communications over Wireless Networks
Panahi Multipath Local Error Management Technique Over Ad Hoc Networks
Al-Majeed et al. Seamless Transport for Wireless IPTV Video Streaming
JP2005175787A (ja) データ配信装置、データ配信システムおよびデータ配信方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120711

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121217

LAPS Cancellation because of no payment of annual fees