JP5671125B1 - 前方誤り訂正情報生成装置、受信装置、前方誤り訂正情報生成方法、前方誤り訂正処理方法、前方誤り訂正情報生成プログラムおよび前方誤り訂正処理プログラム - Google Patents

Abstract

【課題】メディア情報と前方誤り訂正情報とが非同期で受信装置に送信される場合において、受信装置側でリアルタイムの前方誤り訂正処理を実現する。【解決手段】前方誤り訂正情報生成装置２であって、メディア情報パケットを受信し、当該メディア情報パケットから複数の前方誤り訂正情報を生成する生成手段２１、２２と、複数の前方誤り訂正情報の送信時間と送信遅延時間とを用いて、受信装置３側でメディア情報パケットの前方誤り訂正処理を開始するまでの待ち時間を、前方誤り訂正情報毎に算出する待ち時間算出手段２３と、各前方誤り訂正情報に待ち時間を付加して受信装置３に送信する送信手段２４とを備える。【選択図】図１

Description

本発明は、メディア情報と前方誤り訂正情報とを用いて、前方誤り訂正処理を行う技術に関する。

前方誤り訂正技術は、メディア情報に前方誤り訂正情報を同期させて送信することにより受信装置側で前方誤り訂正を実現している。ここで、メディア情報を送信する装置が独立している場合は、別装置にてメディア情報を受信して前方誤り訂正情報を生成し、受信装置に対して非同期で送信する。受信装置側では、メディア情報と必要となる全ての前方誤り訂正情報とを受信した段階で前方誤り訂正処理を実現している（特許文献１参照）。

特開2010-278974号公報

しかし、前方誤り訂正情報を生成するためには、複数のメディア情報パケットを受信してから生成処理を行うため、メディア情報パケットの受信時間および生成処理時間が必要となる。

特許文献１などの従来技術では、メディア情報の時間あたりの情報量や前方誤り訂正情報生成装置に対して送信されるビットレートが変化することにより、前方誤り訂正情報を生成するために必要となる受信時間および処理時間が変化する。そのため、受信装置に到達する際のメディア情報と前方誤り訂正情報との到達時間にずれが生じてしまい、生放送等のリアルタイム（実時間）での処理を必要とする情報の伝送には適用することができない。

本発明は、上記事情に鑑みなされたものであり、本発明の目的は、メディア情報と前方誤り訂正情報とが非同期で受信装置に送信される場合において、受信装置側でリアルタイムに前方誤り訂正処理を実現することにある。

上記の課題を解決するため、本発明は、前方誤り訂正情報生成装置であって、メディア情報パケットを受信し、当該メディア情報パケットから複数の前方誤り訂正情報を生成する生成手段と、前記複数の前方誤り訂正情報の送信時間と送信遅延時間とを用いて、受信装置側で前記メディア情報パケットの前方誤り訂正処理を開始するまでの待ち時間を、前方誤り訂正情報毎に算出する待ち時間算出手段と、各前方誤り訂正情報に前記待ち時間を付加して、前記受信装置に送信する送信手段と、を備えることを要旨とする。

上記前方誤り訂正情報生成装置において、前記待ち時間算出手段は、前記複数の前方誤り訂正情報の送信開始時刻から送信終了時刻までの時間をＴ、待ち時間算出済みメディア情報パケットのバイト数をＡ、メディア情報パケットのブロック全体のバイト数をＢとした場合、各前方誤り訂正情報の待ち時間を、待ち時間＝Ｔ×（１−Ａ÷Ｂ）＋送信遅延時間、により算出することとしてもよい。

本発明は、メディア情報パケットと前方誤り訂正情報とを受信し、前方誤り訂正処理を行う受信装置あって、前記前方誤り訂正情報から、前記前方誤り訂正処理を開始するまでの待ち時間を取得する取得手段と、前記待ち時間の経過後、前記受信した前方誤り訂正情報を用いて前記メディア情報パケットの前方誤り訂正処理を行う前方誤り訂正処理手段と、を備えることを要旨とする。

本発明は、前方誤り訂正情報生成装置が行う前方誤り訂正情報生成方法であって、メディア情報パケットを受信し、当該メディア情報パケットから複数の前方誤り訂正情報を生成する生成ステップと、前記複数の前方誤り訂正情報の送信時間と送信遅延時間とを用いて、受信装置側で前記メディア情報パケットの前方誤り訂正処理を開始するまでの待ち時間を、前方誤り訂正情報毎に算出する待ち時間算出ステップと、各前方誤り訂正情報に前記待ち時間を付加して、前記受信装置に送信する送信ステップと、を行うことを要旨とする。

本発明は、前方誤り訂正処理方法であって、メディア情報パケットと前方誤り訂正情報とを受信し、前方誤り訂正処理を行う受信装置が、前記前方誤り訂正情報から、前記前方誤り訂正処理を開始するまでの待ち時間を取得する取得ステップと、前記待ち時間の経過後、前記受信した前方誤り訂正情報を用いて前記メディア情報パケットの前方誤り訂正処理を行う前方誤り訂正処理ステップと、を行うことを要旨とする。

本発明は、上記前方誤り訂正情報生成装置として機能させるための前方誤り訂正情報生成プログラムである。

本発明は、上記受信装置として機能させるための前方誤り訂正処理プログラムである。

本発明によれば、メディア情報と前方誤り訂正情報とが非同期で受信装置に送信される場合において、受信装置側でリアルタイムに前方誤り訂正処理を実現することができる。

本発明の実施形態の前方誤り訂正システムの全体構成図である。 前方誤り訂正処理を開始するまでの待ち時間を説明するための説明図である。 前方誤り訂正情報生成装置の動作を示すフローチャートである。 受信装置の動作を示すフローチャートである。

以下、本発明の実施の形態を、図面を用いて説明する。

図１は、本発明の実施形態の前方誤り訂正システムの全体構成図である。本実施形態の前方誤り訂正システムは、送信装置１から送信されるメディア情報と、前方誤り訂正情報生成装置２によりメディア情報を元に生成される前方誤り訂正情報とを非同期で受信装置３に配信し、受信装置３にて前方誤り訂正を実現するシステムである。

なお、前方誤り訂正情報は、送信装置１から受信装置３に送信されるメディア情報のパケットが、伝送途中で損失した場合、または一部のビットに誤りが生じた場合に、受信装置３側で損失パケットを回復または誤ったビットを訂正するために用いる情報である。また、前方誤り訂正情報は、一部の前方誤り訂正情報が伝送途中で損失した場合、または一部のビットに誤りが生じた場合にも、残りの前方誤り訂正情報から回復または誤ったビットを訂正するために用いられる。

図示する前方誤り訂正システムは、送信装置１と、前方誤り訂正情報生成装置２と、受信装置３とを備える。送信装置１は、メディア情報パケットを前方誤り訂正情報生成装置２および受信装置３に送信する。

前方誤り訂正情報生成装置２は、メディア情報パケットを受信し、当該メディア情報パケットの前方誤り訂正情報を生成して受信装置３に送信する。図示する前方誤り訂正情報生成装置２は、メディア情報パケット受信部２１と、前方誤り訂正情報生成部２２と、待ち時間算出部２３と、送信部２４とを備える。

メディア情報パケット受信部２１は、送信装置１からメディア情報パケットを受信する。前方誤り訂正情報生成部２２は、受信したメディア情報パケットから複数の前方誤り訂正情報を生成する。待ち時間算出部２３は、複数の前方誤り訂正情報の送信時間と送信遅延時間（ネットワークジッタ）とを用いて、受信装置３側でメディア情報パケットの前方誤り訂正処理を開始するまでの待ち時間（マージン時間）を、前方誤り訂正情報毎に算出する。送信部２４は、各前方誤り訂正情報に待ち時間を付加（付与）して、受信装置３に送信する。

受信装置３は、送信装置１からメディア情報パケットを、前方誤り訂正情報生成装置２から前方誤り訂正情報をそれぞれ受信し、メディア情報パケットの前方誤り訂正処理を行う。図示する受信装置３は、メディア情報パケット受信部３１と、前方誤り訂正情報受信部３２と、待ち時間取得部３３と、前方誤り訂正処理部３４とを備える。メディア情報パケット受信部３１は、送信装置１から送信されるメディア情報パケットを受信する。前方誤り訂正情報受信部３２は、前方誤り訂正情報生成装置２から送信される前方誤り訂正情報を受信する。待ち時間取得部３３は、前方誤り訂正情報から、前方誤り訂正処理を開始するまでの待ち時間を取得する。前方誤り訂正処理部３４は、待ち時間の経過後、受信した前方誤り訂正情報を用いてメディア情報パケットの前方誤り訂正処理を行う。

上記説明した、前方誤り訂正情報生成装置２および受信装置３は、例えば、ＣＰＵと、メモリと、ハードディスク等の外部記憶装置と、入力装置と、出力装置とを備えた汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた所定のプログラムを実行することにより、各部の各機能が実現される。例えば、前方誤り訂正情報生成装置２および受信装置３の各機能は、前方誤り訂正情報生成装置２用のプログラムの場合は前方誤り訂正情報生成装置２のＣＰＵが、そして、受信装置３用のプログラムの場合は受信装置３のＣＰＵがそれぞれ実行することにより実現される。

また、前方誤り訂正情報生成装置２用のプログラムおよび受信装置３用のプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ−ＲＯＭなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。

以下に本実施形態の動作について説明する。

前方誤り訂正情報は、複数のメディア情報パケット（メディア情報パケットのブロック）に基づいて複数生成される。受信装置３が、前方誤り訂正情報を適用して前方誤り訂正処理を行うには、前方誤り訂正処理に必要となる複数の前方誤り訂正情報を受信した後で、前方誤り訂正処理を行う必要がある。このため、複数のメディア情報パケットに対応する当該ブロックの最初の前方誤り訂正情報を受信してから最後の前方誤り訂正情報を受信するまで、受信装置３は前方誤り訂正処理の開始を待機する必要がある。

しかし、前方誤り訂正情報生成装置２が、複数のメディア情報パケットを受け取ってから複数の前方誤り訂正情報を生成し、各前方誤り訂正情報を順次、受信装置３に対して送信すると、前方誤り訂正情報を生成するための時間分だけ受信装置３に送信する時間が遅れてしまうため、受信装置３で正しく前方誤り訂正情報を適用することが出来ない場合がある。

また、メディア情報パケットまたは前方誤り訂正情報の一部が受信装置３に対して大きく遅延して送信される場合、もしくは送信されない場合において、受信装置３は前方誤り訂正処理を行うためにメディア情報パケットに対応した前方誤り訂正情報をいつまで保持しておけばいいのか判断がつかない。

このような問題を解決するために、本実施形態では、各前方誤り訂正情報に、受信装置３側で前方誤り訂正処理を開始するまでの待ち時間（マージン時間）を付加して受信装置３に送信する。

図２は、前方誤り訂正情報生成装置２が、メディア情報パケットを受信し、前方誤り訂正情報を生成して受信装置３に送信し、受信装置３で前方誤り訂正処理を開始するまでの待ち時間を説明するための説明図である。

図３は、前方誤り訂正情報生成装置２の動作を示すフローチャートである。

前方誤り訂正情報生成装置２の前方誤り訂正情報生成部２２は、送信装置１から送信される、前方誤り訂正情報を生成するために必要な複数のメディア情報パケットを受信する（Ｓ１１）。

そして、前方誤り訂正情報生成部２２は、受信したメディア情報パケットを用いて、当該メディア情報パケットに対応する複数の前方誤り訂正情報を生成する（Ｓ１２）。すなわち、受信した複数のメディア情報パケットでブロックを構成し、当該ブロック毎に前方誤り訂正情報（冗長化符号）を生成する。

そして、待ち時間算出部２３は、各前方誤り訂正情報を送信する際に、Ｓ１２の前方誤り訂正情報の送信時間と送信遅延時間とを用いて、当該前方誤り訂正情報の受信装置３側で前方誤り訂正処理を開始するまでの待ち時間を算出する（Ｓ１３）。

本実施形態では、複数の前方誤り訂正情報の処理時刻（送信開始時刻）Ｐから送信終了時刻Ｅまでの時間(複数の前方誤り訂正情報の送信時間)をＴ、待ち時間算出済みメディア情報パケットのバイト数をＡ、複数のメディア情報パケットの全体のバイト数をＢとした場合、以下の式を用いて各前方誤り訂正情報の待ち時間を算出するものとする。

待ち時間＝Ｔ×（１−Ａ÷Ｂ）＋送信遅延時間
すなわち、各前方誤り訂正情報を送信する際に、Ｓ１１で受信した複数のメディア情報パケットの全体のバイト数と、待ち時間計算済みのメディア情報パケットのバイト数との割合に応じた待ち時間を算出する。送信遅延時間は、ネットワークの遅延等を考慮し、あらかじめ設定された値である。

また、Ｔ＝送信終了時刻Ｅ−処理時刻Ｐであって、送信終了時刻Ｅは以下の式により算出される。

送信終了時刻Ｅ＝最終メディアパケット受信時刻Ｄ＋（最終メディアパケット受信時刻Ｄ−前ブロックの最終メディアパケット受信時刻）＋送信遅延時間
なお、メディア情報パケットがあらかじめ設定された最高ビットレートを越えて前方誤り訂正情報生成装置２に送信された場合は、送信終了時刻Ｅは以下の式により算出される。

送信終了時刻Ｅ＝最終メディア情報パケット受信時刻Ｄ＋Ｔ’＋送信遅延時間
Ｔ’＝メディア情報パケットの合計バイト数×８÷最高ビットレート
そして、送信部２４は、Ｓ１２で生成した各前方誤り訂正情報にＳ１３で算出した待ち時間を付加して、受信装置３に順次送信する（Ｓ１４）。なお、前方誤り訂正情報毎にＳ１３およびＳ１４が繰り返し行われ、最後の前方誤り訂正情報のＳ１４が行われると（Ｓ１５：ＹＥＳ）、終了する。

図２に示す例では、Ｓ１２で全ての前方誤り訂正情報を生成後、最初の前方誤り訂正情報Ｆ１の待ち時間を算出し、当該待ち時間を付加して最初の前方誤り訂正情報Ｆ１を送信し、その後、次の前方誤り訂正情報Ｆ２の待ち時間を算出し、当該待ち時間を付加して次の前方誤り訂正情報Ｆ２を送信する。以降の前方誤り訂正情報Ｆ３、Ｆ４についても同様に待ち時間を付加して送信する。

次に、受信装置３の動作について説明する。

図４は、受信装置３が前方誤り訂正情報を受信したときの動作を示すフローチャートである。受信装置３の前方誤り訂正情報受信部３２は、前方誤り訂正情報生成装置２から送信される、前方誤り訂正情報を受信する（Ｓ２１）。受信した前方誤り訂正情報が当該ブロックにおいて最初に受信した前方誤り訂正情報の場合（Ｓ２２：ＹＥＳ）、待ち時間取得部３３は、Ｓ２１で受信した前方誤り訂正情報から、前方誤り訂正処理を開始するまでの待ち時間を取得する（Ｓ２３）。そして、前方誤り訂正処理部３４は、最初の前方誤り訂正情報を受信してからＳ２３で取得した待ち時間が経過するまで、Ｓ２１に戻り、次の前方誤り訂正情報を受信する。このとき受信した前方誤り訂正情報は、当該ブロックにおいて最初に受信した前方誤り訂正情報でないため（Ｓ２２：ＮＯ）、Ｓ２３の待ち時間を取得することなく、Ｓ２４に進む。

そして、最初の前方誤り訂正情報からＳ２３で取得した待ち時間が経過した後（Ｓ２４：ＹＥＳ）、Ｓ２１で受信した複数の前方誤り訂正情報を用いて、送信装置１から受信した複数のメディア情報パケットの前方誤り訂正処理を行う（Ｓ２５）。Ｓ２４の待ち時間が経過したタイミングは、図２に示す場合、Ｆ１〜Ｆ４の複数の前方誤り訂正情報が受信装置３で受信されたタイミングである。

なお、複数の前方誤り訂正情報のそれぞれに待ち時間を付加して送信することで、最初に受信されるべき前方誤り訂正情報Ｆ１が伝送途中で損失し、受信装置３で受信されない場合であっても、次の前方誤り訂正情報Ｆ２が最初に受信された前方誤り訂正情報となり、当該前方誤り訂正情報に付加された待ち時間を取得し、図４に示す処理を行うことができる。

また、図４の動作とは非同期に、メディア情報パケット受信部３１は、複数のメディア情報パケットを送信装置１から順次受信している。前方誤り訂正処理部３４は、受信したメディア情報パケットを複数のメディア情報パケット毎（ブロック毎）にまとめ、当該複数のメディア情報パケットに対応する複数の前方誤り訂正情報を用いて前方誤り訂正処理を行う。例えば、複数のメディア情報パケットの中でパケット損失などが発生している場合、前方誤り訂正情報と他のメディア情報パケットとを演算することで、損失したパケットを回復（補償訂正）する。

図２に示すように、受信装置３では、各前方誤り訂正情報に付加されたそれぞれの待ち時間分だけ、前方誤り訂正処理を開始するのを待機し、待ち時間が経過した段階で、前方誤り訂正処理に必要となる全ての前方誤り訂正情報を用いて、複数のメディア情報パケットの前方誤り訂正処理を行う。

このように、各前方誤り訂正情報にそれぞれ設定された待ち時間分だけ待機させることで、受信装置３が全てまたは大部分の前方誤り訂正情報を受信したタイミングで、前方誤り訂正処理を開始することができる。すなわち、受信装置３側で同じ時間に複数のメディア情報パケットに対する前方誤り訂正情報を確実に適用することができる。

以上説明した本実施形態では、メディア情報に対して前方誤り訂正を適用する際に、メディア情報を送信する送信装置１とは別の外部の装置である前方誤り訂正情報生成装置２で前方誤り訂正情報を送信する場合において、受信装置３側の前方誤り訂正処理の開始までの待ち時間を前方誤り訂正情報のパケット単位で調整し、各前方誤り訂正情報に付加して受信装置３に送信することにより、生放送等のリアルタイムでの継続的な処理を必要とする情報の伝送に対しても、前方誤り訂正処理を実現することが可能となる。

また、生放送等の情報の伝送においては、情報が正しい順序で遅延なく送信され続ける必要があるため、ネットワークの状態やメディア情報の送信装置から送信される情報のビットレート等を正しく把握する必要があるが、本実施形態では、それらのネットワークおよびメディア情報に関する情報を把握するための個別のインターフェースを設けることなく、メディア情報パケットから自律的に送信状況を判断し、前方誤り訂正処理を実現している。そのため、本実施形態における前方誤り訂正処理に対応するために、送信装置１側では、インターフェースの提供等の個別の対応をする必要がない。すなわち、メディア情報の内容および送信方法を変えることなく、前方誤り訂正処理を必要とする受信装置３に対してのみ前方誤り訂正処理を適用させることが可能となる。

また、本実施形態では、メディア情報の送信装置１に前方誤り訂正機能を追加することなく、前方誤り訂正処理を実現することが可能となる。

なお、本発明は上記実施形態に限定されるものではなく、特許請求の範囲内において、種々変更・応用が可能である。

１ ：送信装置
２ ：前方誤り訂正情報生成装置
２１：メディア情報パケット受信部
２２：前方誤り訂正情報生成部
２３：待ち時間算出部
２４：送信部
３ ：受信装置
３１：メディア情報パケット受信部
３２：前方誤り訂正情報受信部
３３：待ち時間取得部
３４：前方誤り訂正処理部

Claims (7)

1. 前方誤り訂正情報生成装置であって、
   メディア情報パケットを受信し、当該メディア情報パケットから複数の前方誤り訂正情報を生成する生成手段と、
   前記複数の前方誤り訂正情報の送信時間と送信遅延時間とを用いて、受信装置側で前記メディア情報パケットの前方誤り訂正処理を開始するまでの待ち時間を、前方誤り訂正情報毎に算出する待ち時間算出手段と、
   各前方誤り訂正情報に前記待ち時間を付加して、前記受信装置に送信する送信手段と、を備えること
   を特徴とする前方誤り訂正情報生成装置。
2. 請求項１記載の前方誤り訂正情報生成装置であって、
   前記待ち時間算出手段は、前記複数の前方誤り訂正情報の送信開始時刻から送信終了時刻までの時間をＴ、待ち時間算出済みメディア情報パケットのバイト数をＡ、メディア情報パケットのブロック全体のバイト数をＢとした場合、各前方誤り訂正情報の待ち時間を
   待ち時間＝Ｔ×（１−Ａ÷Ｂ）＋送信遅延時間
   により算出すること
   を特徴とする前方誤り訂正情報生成装置。
3. メディア情報パケットと前方誤り訂正情報とを受信し、前方誤り訂正処理を行う受信装置あって、
   前記前方誤り訂正情報から、前記前方誤り訂正処理を開始するまでの待ち時間を取得する取得手段と、
   前記待ち時間の経過後、前記受信した前方誤り訂正情報を用いて前記メディア情報パケットの前方誤り訂正処理を行う前方誤り訂正処理手段と、を備えること
   を特徴とする受信装置。
4. 前方誤り訂正情報生成装置が行う前方誤り訂正情報生成方法であって、
   メディア情報パケットを受信し、当該メディア情報パケットから複数の前方誤り訂正情報を生成する生成ステップと、
   前記複数の前方誤り訂正情報の送信時間と送信遅延時間とを用いて、受信装置側で前記メディア情報パケットの前方誤り訂正処理を開始するまでの待ち時間を、前方誤り訂正情報毎に算出する待ち時間算出ステップと、
   各前方誤り訂正情報に前記待ち時間を付加して、前記受信装置に送信する送信ステップと、を行うこと
   を特徴とする前方誤り訂正情報生成方法。
5. 前方誤り訂正処理方法であって、
   メディア情報パケットと前方誤り訂正情報とを受信し、前方誤り訂正処理を行う受信装置が、
   前記前方誤り訂正情報から、前記前方誤り訂正処理を開始するまでの待ち時間を取得する取得ステップと、
   前記待ち時間の経過後、前記受信した前方誤り訂正情報を用いて前記メディア情報パケットの前方誤り訂正処理を行う前方誤り訂正処理ステップと、を行うこと
   を特徴とする前方誤り訂正処理方法。
6. 請求項１または２記載の前方誤り訂正情報生成装置として機能させるための前方誤り訂正情報生成プログラム。
7. 請求項３記載の受信装置として機能させるための前方誤り訂正処理プログラム。

Images