JPWO2016152063A1 - データ受信装置、データ伝送システム、データ受信方法およびデータ伝送方法 - Google Patents

Abstract

このデータ受信装置は、受信したパケットを少なくともエラー訂正ブロックの単位で保持可能な第１のバッファと、第１のバッファに保持されたエラー訂正ブロックにおける欠損パケットの再送を送信装置に要求して欠損パケットを回復する処理を行い、前記第１のバッファから前記エラー訂正ブロックを、特定の互いに異なる複数のデータ訂正許容時間が各々経過した各時刻に読み出し、前記各々の時刻に読み出された前記各エラー訂正ブロックに対するエラー訂正を行って、各々のエラー訂正の結果を出力する第１の制御部とを具備する。

Description

本技術は、ＱｏＳ機能を備えるデータ受信装置、データ伝送システム、データ受信方法およびデータ伝送方法に関する。

通信中でのネットワーク品質の低下に伴うパケットロスは、映像の劣化やフリーズ、音声の乱れなどの不具合を引き起こす。そこで、ネットワークを使って伝送される映像および音声の品質を高く維持する品質制御（ＱｏＳ：Quality of Service）が求められる。ＱｏＳの仕組みには、例えば、パケット再送機能（ＡＲＱ：Automatic Repeat reQuest）と前方エラー訂正機能（ＦＥＣ：Forward Error Correction）などがある。

例えば特許文献１には、ＡＲＱとＦＥＣを組み合わせたハイブリッドＡＲＱという技術において、ＦＥＣで復元できなかったパケットのみＡＲＱによって再送することが記載されている。

特開２００４−１５９０４２号公報

しかしながら、ＡＲＱやＦＥＣなどによるＱｏＳを用いたデータ通信およびその応用においては未だ改善すべき課題が多々残されている。

以上のような事情に鑑み、本技術の目的は、ＱｏＳを用いたデータ通信およびその応用のもつ様々な課題を解決することにある。

上記の課題を解決するために、本技術に係るデータ受信装置は、
受信したパケットを少なくともエラー訂正ブロックの単位で保持可能な第１のバッファと、
前記第１のバッファに保持された前記エラー訂正ブロックにおける欠損パケットの再送を送信元に要求して前記欠損パケットを回復する処理を行い、
前記第１のバッファから前記エラー訂正ブロックを、特定の互いに異なる複数のデータ訂正許容時間が各々経過した各時刻に読み出し、前記各々の時刻に読み出された前記各エラー訂正ブロックに対するエラー訂正を行って、各々のエラー訂正の結果を出力する第１の制御部と
を具備する。

前記特定の互いに異なる複数のデータ訂正許容時間が各々経過した各時刻が、特定の第１のデータ訂正許容時間が経過した第１の時刻および前記第１のデータ訂正許容時間よりも短い特定の第２のデータ訂正許容時間が経過した第２の時刻であり、
前記第１の制御部は、前記第１の時刻に読み出された前記エラー訂正ブロックに対するエラー訂正の結果を第１のエラー訂正データとして出力し、前記第２の時刻に読み出された前記エラー訂正ブロックに対するエラー訂正の結果を第２のエラー訂正データとして出力するように構成されたものであってよい。

前記パケットは映像および音声のデータを含み、
前記データ受信装置は、
前記第１のエラー訂正データを放送用データとして出力するための第１の出力インタフェースと、
前記第２のエラー訂正データを放送局のスタジオモニターおよびスタジオスピーカに出力するための第２の出力インタフェースと
をさらに具備するものであってよい。

前記パケットは映像および音声のデータを含み、
前記データ受信装置は、
前記第１のエラー訂正データを放送局の収録機器に出力するための第１の出力インタフェースと、
前記第２のエラー訂正データを放送局の収録モニターおよび収録スピーカに出力するための第２の出力インタフェースと
をさらに具備するものであってよい。

前記第１の制御部は、前記送信装置からのストリームの受信中、外部のコントロール機器からの指令をもとに前記第１のデータ訂正許容時間を動的に変更するように構成されたものであってよい。

本技術に係るデータ伝送システムは、
受信したパケットを少なくともエラー訂正ブロックの単位で保持可能な第１のバッファと；
前記第１のバッファに保持された前記エラー訂正ブロックにおける欠損パケットの再送を送信装置に要求して前記欠損パケットを回復する処理を行い、
前記第１のバッファから前記エラー訂正ブロックを、特定の互いに異なる複数のデータ訂正許容時間が各々経過した各時刻に読み出し、前記各々の時刻に読み出された前記各エラー訂正ブロックに対するエラー訂正を行って、各々のエラー訂正の結果を出力する第１の制御部と；
を具備するデータ受信装置と、
送信するパケットを少なくとも前記エラー訂正ブロックの単位で保持可能な第２のバッファを有するデータ送信装置と、
前記複数のデータ訂正許容時間の中で最長のデータ訂正許容時間を設定するとともに、前記第２のバッファによる前記エラー訂正ブロックの保持時間を前記最長のデータ訂正許容時間に設定する第２の制御部を有するコントロール機器と
を具備するデータ伝送システム。

本技術に係るデータ伝送システムにおいて、
前記第２の制御部は、エラーレートおよび伝送遅延の少なくともいずれか一方をもとに前記最長のデータ訂正許容時間を制御するように構成されてもよい。

前記コントロール機器は、前記最長のデータ訂正許容時間の設定のためのユーザからの入力を受け付けるユーザインタフェースを有するものであってよい。

前記ユーザインタフェースは、前記最長のデータ訂正許容時間の他のデータ訂正許容時間の設定のためのユーザからの入力を受け付けるものであってもよい。

本技術に係るデータ受信方法は、
第１の制御部が、
受信したパケットを少なくともエラー訂正ブロックの単位で保持可能な第１のバッファに保持された前記エラー訂正ブロックにおける欠損パケットの再送を送信装置に要求して前記欠損パケットを回復する処理を行い、
前記第１のバッファから前記エラー訂正ブロックを、特定の互いに異なる複数のデータ訂正許容時間が各々経過した各時刻に読み出し、
前記各々の時刻に読み出された前記各エラー訂正ブロックに対するエラー訂正を行って、各々のエラー訂正の結果を出力する。

本技術に係るデータ伝送方法は、
コントロール機器の第２の制御部が、
受信したパケットを少なくともエラー訂正ブロックの単位で保持可能な第１のバッファに保持された前記エラー訂正ブロックにおける欠損パケットの再送を送信装置に要求して前記欠損パケットを回復する処理を行い、前記第１のバッファから前記エラー訂正ブロックを、特定の互いに異なる複数のデータ訂正許容時間が各々経過した各時刻に読み出し、前記各々の時刻に読み出された前記各エラー訂正ブロックに対するエラー訂正を行って、各々のエラー訂正の結果を出力するデータ受信装置の、前記互いに異なる複数のデータ訂正許容時間の中の最長のデータ訂正許容時間を設定するとともに、前記データ受信装置とコネクションが設定されたデータ送信装置の、送信パケットを保持する第２のバッファの前記エラー訂正ブロックの保持時間を前記最長のデータ訂正許容時間に設定する。

以上のように、本技術によれば、ＱｏＳを用いたデータ通信およびその応用のもつ様々な課題を解決することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術に係る第１の実施形態のデータ伝送システムの構成を示す図である。 図１のデータ送信装置１０のハードウェア構成を示す図である。 図１のデータ受信装置３０のハードウェア構成を示す図である。 図１のデータ伝送システム１におけるＱｏＳ機能の構成を示す図である。 図１のデータ伝送システム１を採用した現場およびスタジオの全体的なシステム構成を示す図である。 エラー訂正許容時間が１つだけ設定された場合の掛け合い時の動作のタイミングチャートである。 第１のエラー訂正許容時間と第２のエラー訂正許容時間が設定された場合の掛け合い時の動作のタイミングチャートである。 コネクション毎の管理用のＧＵＩを示す図である。 エラー訂正許容時間の変更方法を説明するための図である。 本技術に係る変形例１の収録システムの構成を示す図である。

以下、本技術に係る実施形態を図面を参照しながら説明する。
＜第１の実施形態＞
図１は本技術に係る第１の実施形態のデータ伝送システムの構成を示す図である。

このデータ伝送システム１は、カメラおよびマイクにより得た映像および音声のデータ（ストリーム）を伝送するシステムである。このデータ伝送システム１は、データ送信装置１０と、ネットワーク２０と、データ受信装置３０と、コントロール機器４０とで構成される。

ネットワーク２０は、例えば、ＬＴＥ(Long Term Evolution)などのＷＷＡＮ(Wireless Wide Area Network)２１、インターネットなどのＷＡＮ２２、およびこれら複数のネットワーク２０の組み合わせなどであり、通信トラフィックが時々刻々と変化する通信路である。

データ送信装置１０は、例えば、カメラに着脱自在に装着されるアダプタ形態のもの、あるいは、カメラに一体に組み込まれたものであってよい。本実施形態では、アダプタ形態のデータ送信装置１０が想定されている。

データ受信装置３０は、データ送信装置１０より送信された映像および音声のデータを受信して、スタジオモニターおよびスタジオスピーカに出力したり、スイッチャーなどを通じて放送処理部やビデオサーバなどの収録機器に出力する装置である。

コントロール機器４０は、データ送信装置１０とデータ受信装置３０とのコネクション管理などを行う。コントロール機器４０は、データ送信装置１０およびデータ受信装置３０と例えばネットワーク２０を通じて接続される。

［データ送信装置１０のハードウェア構成］
図２はデータ送信装置１０のハードウェア構成を示す図である。
データ送信装置１０は、ＣＰＵ（Central Processing Unit）１１、メモリ１２、カメラインタフェース１３、ネットワークインタフェース１４およびバス１５などのハードウェア要素を有する。

ＣＰＵ１１は、メモリ１２に格納されたプログラムに基づいてデータ送信装置１０の制御や各種演算処理を行う。
メモリ１２には、ＣＰＵ１１により実行されるプログラムなどが格納される。また、メモリ１２にはカメラインタフェース１３を通じてカメラおよびマイクから伝送された映像および音声から生成された送信用のパケットを保持するための送信バッファなどの領域が割り当てられる。

カメラインタフェース１３は、主にカメラおよびマイクから出力された映像および音声を入力するためのインタフェースである。

ネットワークインタフェース１４は、主にＷＷＡＮに対応するネットワークインタフェースである。但し、ネットワークインタフェース１４は、ＷＡＮに対応するネットワークインタフェースであってもよい。

［データ受信装置３０のハードウェア構成］
図３はデータ受信装置３０のハードウェア構成を示す図である。
データ受信装置３０は、例えば、ＣＰＵ３１（第１の制御部）、メモリ３２、ネットワークインタフェース３３、第１のＡ／Ｖ出力インタフェース３４、第２のＡ／Ｖ出力インタフェース３５およびバス３６などのハードウェア要素を有する。

ＣＰＵ３１は、メモリ３２に格納されたプログラムに基づいてデータ送信装置１０の動作を制御する。
メモリ３２には、ＣＰＵ３１により実行されるプログラムなどが格納される。また、メモリ３２にはネットワークインタフェース３３を通じてデータ送信装置１０より伝送されてきたデータを保持するＡ／Ｖストリーム構築バッファなどの領域が割り当てられる。

ネットワークインタフェース３３は、主にＷＡＮに対応するネットワークインタフェース３３である。但し、必ずしもＷＡＮ対応である必要はなくＷＷＡＮに対応するネットワークインタフェースであってもよい。

第１のＡ／Ｖ出力インタフェース３４は、データ受信装置３０にて受信された映像および音声のデータをＡ／Ｖスイッチャーなどのスタジオ機器に出力する。第１のＡ／Ｖ出力インタフェース３４は、例えばＳＤＩ（Serial Digital Interface）などである。

第２のＡ／Ｖ出力インタフェース３４は、データ受信装置３０にて受信された映像および音声のベースバンドデータをスタジオモニター、スタジオスピーカなどのスタジオ機器に出力する。

［ＱｏＳ機能の構成］
次に、このデータ伝送システム１のＱｏＳ（Quality of Service)機能について説明する。
図４は、本実施形態のデータ伝送システム１におけるＱｏＳ機能の構成を示す図である。

なお、図４に示すデータ送信装置１０内のブロックおよびデータ受信装置３０内のブロックにおいて、バッファ以外のものはＣＰＵ３１がメモリ３２に格納されたプログラムを実行することによって実現される機能である。但し、エンコーダ、デコーダ、ＦＥＣなどの演算量の大きい一部機能はハードウェア化されたものであってよい。

［データ送信装置１０のＱｏＳ機能］
データ送信装置１０のＱｏＳ機能は、主にエンコーダ１０１、ＦＥＣユニット１０２、送信バッファ１０３（第２のバッファ）、制御ＲＸユニット１０４およびＡＲＱユニット１０５で構成される。

エンコーダ１０１は、カメラにより撮像された映像および例えばカメラに搭載されたマイクロフォンなどにより得た音声を符号化してＦＥＣユニット１０２に供給する。

ＦＥＣ（Forward Error Correction）ユニット１０２は、エンコーダ１０１より供給された映像および音声の符号系列にエラー訂正符号を付加してＦＥＣブロックを生成し、このＦＥＣブロックを所定のサイズ毎に分割して複数のパケットを生成し、生成された各パケットを送信バッファ１０３に出力する。

送信バッファ１０３は、受信装置（ＡＲＱユニット３０２）からのパケット再送要求にそなえて少なくも１ブロック分の送信パケットを保持し、保持された送信パケットをネットワークインタフェース３３を用いてネットワーク２０に送り出す。

制御ＲＸユニット１０４は、データ受信装置３０の制御ＴＸユニットとの間で各種の要求の受け渡しのための処理を行う。例えば、制御ＲＸユニット１０４は、データ受信装置３０からのパケット再送要求を受信してＡＲＱユニット１０５にわたす。

ＡＲＱユニット１０５は、制御ＲＸユニット１０４よりわたされたパケット再送要求に対して該当する送信パケットを再送するように送信バッファ１０３に指示する。

［データ受信装置３０のＱｏＳ機能］
データ受信装置３０のＱｏＳ機能は、主に、Ａ／Ｖストリーム構築バッファ３０１（第１のバッファ）、ＡＲＱユニット３０２、制御ＴＸユニット３０３、第１のＦＥＣユニット３０４、第２のＦＥＣユニット３０５、第１のデコーダ３０６および第２のデコーダ３０７で構成される。

Ａ／Ｖストリーム構築バッファ３０１は、受信したパケットをＦＥＣブロックの単位で保持し、エラー訂正許容時間が経過した時点で読み出す。

本実施形態のＱｏＳ機能では、２つのエラー訂正許容時間が設定される。その１つはＱｏＳを重視した第１のエラー訂正許容時間である。第１のエラー訂正許容時間は、パケット再送がより多くの回数繰り返されることによって、ＡＲＱとＦＥＣによる高いパケットロス回復率が得られるように決められる時間である。もう１つは遅延時間の短縮を重視した第２のエラー訂正許容時間である。第２のエラー訂正許容時間は、より具体的には、現場とスタジオとの間での掛け合いのためスタジオスタッフに提示される映像および音声として妥当な品質が得られるように決められる時間である。各々の長さの関係は、第１のエラー訂正許容時間＞第２のエラー訂正許容時間である。

Ａ／Ｖストリーム構築バッファ３０１に保持されたＦＥＣブロックは、保持時間が第２のエラー訂正許容時間に達した時刻（第２の時刻）に、Ａ／Ｖストリーム構築バッファ３０１に残したまま第２のＦＥＣユニット３０５に読み出され、続いて保持時間が第１のエラー訂正許容時間に達した時刻（第１の時刻）に第１のＦＥＣユニット３０４に読み出され、Ａ／Ｖストリーム構築バッファ３０１から消去される。

なお、データ送信装置１０の送信バッファ１０３の保持時間は、外部のコントロール機器４０によって第１のエラー訂正許容時間に合せて設定される。

第１のＦＥＣユニット３０４は、Ａ／Ｖストリーム構築バッファ３０１から保持時間が第１のエラー訂正許容時間を経過したことを契機に読み出されたＦＥＣブロックに対してエラー訂正を行い、その結果を第１のデコーダ３０６に出力する。

第１のデコーダ３０６は、第１のＦＥＣユニット３０４によるエラー訂正の結果を復号する。復号された映像および音声は第１のＡ／Ｖ出力インタフェース３４によって放送用の映像および音声として例えばＡ／Ｖスイッチャーおよび音声ミキサーなどに供給される。

第２のＦＥＣユニット３０５は、Ａ／Ｖストリーム構築バッファ３０１から保持時間が第２のエラー訂正許容時間を経過したことを契機に読み出されたＦＥＣブロックのエラー訂正を行い、その結果を第２のデコーダ３０７に供給する。

第２のデコーダ３０７は、第２のＦＥＣユニット３０５によるエラー訂正の結果を復号する。復号された映像および音声は第２のＡ／Ｖ出力インタフェース３４によって、例えばスタジオ内のスタジオモニターおよびスタジオスピーカに出力される。

ＡＲＱユニット３０２は、ＦＥＣブロックにおけるパケットロスの判定を行い、欠損パケットの再送要求を制御ＴＸユニット３０３を用いてデータ送信装置１０にリアルタイム送信する。パケットロスの判定方法としては、第１のＦＥＣユニット３０４にてパケットロスを回復できない場合に、Ａ／Ｖストリーム構築バッファ３０１に保持されたパケットのシーケンス番号の欠落などからパケットロスを判定する方法などがある。あるいは、第１のＦＥＣユニット３０４によるパケットロスの回復可否の判定結果によらず、Ａ／Ｖストリーム構築バッファ３０１に保持されたパケットのシーケンス番号の欠落などからパケットロスを判定してもよい。

制御ＴＸユニット３０３は、データ送信装置１０の制御ＲＸユニット１０４との間で各種の要求の受け渡しのための処理を行う。制御ＴＸユニット３０３はＡＲＱユニット３０２からのパケット再送要求の依頼に従ってデータ送信装置１０にパケット再送要求をリアルタイム送信する。

［現場およびスタジオのシステム構成例］
図５は図１のデータ伝送システム１を採用した現場およびスタジオの全体的なシステム構成を示す図である。
現場には、現場カメラ２、現場マイク３、音声受信機４および上記のデータ送信装置１０が存在する。一方、スタジオには、上記のデータ受信装置３０の他、スタジオモニター５１、スタジオスピーカ５２、スタジオカメラ５３、スタジオマイク５４、音声ミキサー５５、音声送信機５６、Ａ／Ｖスイッチャー５７、マスタースイッチャー５８などが存在する。

現場カメラ２は、現場を撮像するカメラである。現場マイク３は現場の音声を集める。現場カメラ２および現場マイク３で得られた映像および音声はデータ送信装置１０によってスタジオに送信される。

音声受信機４は、スタジオの音声送信機５６から固定無線回線などを通じて送信された音声を受信する装置である。

スタジオモニター５１は、データ受信装置３０にて受信された現場の映像を表示するためのモニターである。

スタジオスピーカ５２は、データ受信装置３０にて受信された現場の音声を発声するためのスピーカである。

スタジオカメラ５３は、スタジオの映像を撮像するためのカメラである。

スタジオマイク５４は、スタジオの音声を集めるためのマイクである。

音声ミキサー５５は、データ受信装置３０にて受信された現場の音声とスタジオマイク５４で得たスタジオの音声とを合成する。

音声送信機５６は、音声ミキサー５５で得た合成音声を固定無線回線などを通じて現場の音声受信機４に送信する。

Ａ／Ｖスイッチャー５７は、現場側とスタジオ側との間で映像を切り替える機器である。Ａ／Ｖスイッチャー５７は、現場側の映像からスタジオ側の映像への切り替え時にスタジオの映像と音声ミキサー５５の合成音声に対して任意の長さの遅延時間を挿入できる機能を有する。

マスタースイッチャー５８は、Ａ／Ｖスイッチャー５７により選択された映像および音声の出力先を切り替えるための機器である。出力先としては映像および音声を放送する処理を行う放送処理部、映像および音声を収録する収録機器などがある。

［データ伝送システム１の動作］
次に、図５に示した現場およびスタジオの全体的なシステムにおいて、現場とスタジオとの間で行われる掛け合い時の動作を説明する。

まず、比較例として、エラー訂正許容時間が１つだけ設定された場合の掛け合い時の動作を説明し、次に、第１のエラー訂正許容時間と第２のエラー訂正許容時間が設定された場合の掛け合い時の動作を説明する。

図６はエラー訂正許容時間が１つだけ設定された場合の掛け合い時の動作のタイミングチャートである。同図において、時間軸に沿って並ぶ一つ一つの矩形は１秒の時間単位を示す。設定されたエラー訂正許容時間は２秒とする。

現場では現場カメラ２によって現場の映像が撮影され、現場マイク３によって現場の音声が集められる。現場カメラ２によって撮影された現場の映像と現場マイク３によって得られた現場の音声は、現場のデータ送信装置１０からスタジオのデータ受信装置３０に送られる。スタジオのデータ受信装置３０は現場の映像と音声を受信すると、受信した現場の映像と音声をＡ／Ｖストリーム構築バッファ３０１に保持する。

Ａ／Ｖストリーム構築バッファ３０１から保持時間がエラー訂正許容時間である２秒に達した時刻にＦＥＣブロックが読み出され、エラー訂正および復号が行われる。復号された映像はＡ／Ｖスイッチャー５７に出力されるとともにスタジオモニター５１に出力される。また、復号された音声はスタジオスピーカ５２に出力されるとともに音声ミキサー５５に出力される。音声ミキサー５５に出力された現場の音声は、ここでスタジオの音声と合成され、合成音声がＡ／Ｖスイッチャー５７と音声送信機５６に出力される。これにより、スタジオモニター５１およびスタジオスピーカ５２を通してスタジオのスタッフは現場の映像と音声を視聴することができる。

現場側を選択するようにＡ／Ｖスイッチャー５７が制御されると、Ａ／Ｖスイッチャー５７によって選択された現場の映像および音声ミキサー５５によって得られた合成音声がマスタースイッチャー５８に供給される。マスタースイッチャー５８の出力先として放送処理部が設定されている場合、現場の映像と音声は放送処理部に出力され、現場の映像と音声が放送される。

スタジオでは、スタジオモニター５１およびスタジオスピーカ５２に出力された現場の映像および音声を視聴したアナウンサーなどから現場のレポーターなどに対して質問や呼び掛けなどが行われる。この際、スタジオカメラ５３によって撮影されたスタジオの映像はＡ／Ｖスイッチャー５７に出力され、スタジオマイク５４によって得られたスタジオの音声は音声ミキサー５５で現場の音声と合成されてＡ／Ｖスイッチャー５７と音声送信機５６に供給される。

時間軸上のｔ８のタイミングでＡ／Ｖスイッチャー５７がスタジオ側に切り替えたものとする。これにより、現場の映像に代えてスタジオの映像と、音声ミキサー５５により得た合成音声がＡ／Ｖスイッチャー５７によってマスタースイッチャー５８に出力され、マスタースイッチャー５８によって放送処理部に出力される。これによりスタジオの映像と合成音声が放送される。

また、音声ミキサー５５で得た合成音声は随時、音声送信機５６によって現場の音声受信機４に送信される。

その後、時間軸上のｔ１３のタイミングでＡ／Ｖスイッチャー５７が再度現場側に切り替えたものとする。このとき現場からの映像と音声はデータ受信装置３０に既に受信されているもののエラー訂正許容時間である２秒遅れてＡ／Ｖスイッチャー５７および音声ミキサー５５に出力されるため、結果的に切り替わり直後に２秒間の映像と音声の途切れが発生する。この遅延時間（エラー訂正許容時間）を短くして途切れの時間を短くしようとすると、パケットロス回復率が下がり、放送される映像と音声の品質が劣化する。

次に、図７を参照して、第１のエラー訂正許容時間と第２のエラー訂正許容時間が設定された場合の掛け合い時の動作を説明する。
ここで、第１のエラー訂正許容時間が２秒に設定され、第２のエラー訂正許容時間が１秒に設定されている場合を想定する。

現場では現場カメラ２によって現場の映像が撮影され、現場マイク３によって現場の音声が集められる。現場カメラ２によって撮影された現場の映像と現場マイク３によって得られた現場の音声は、現場のデータ送信装置１０からスタジオのデータ受信装置３０に送られる。スタジオのデータ受信装置３０は現場の映像と音声を受信すると、受信した現場の映像と音声をＡ／Ｖストリーム構築バッファ３０１に保持する。

Ａ／Ｖストリーム構築バッファ３０１からは保持時間が第２のエラー訂正許容時間（１秒）に達した時刻（第２の時刻）にＦＥＣブロックが読み出され、エラー訂正および復号が行われる。復号された映像はスタジオモニター５１に出力され、復号された音声はスタジオスピーカ５２に出力される。これにより、スタジオモニター５１およびスタジオスピーカ５２を通してスタジオのスタッフは現場の映像と音声を視聴することができる。

また、Ａ／Ｖストリーム構築バッファ３０１からは保持時間が第１のエラー訂正許容時間（２秒）に達した時刻（第１の時刻）にＦＥＣブロックが読み出され、エラー訂正および復号が行われる。復号された映像はＡ／Ｖスイッチャー５７に出力され、復号された音声は音声ミキサー５５に出力される。音声ミキサー５５に出力された現場の音声は、ここでスタジオの音声と合成され、合成音声がＡ／Ｖスイッチャー５７と音声送信機５６に出力される。

現場側を選択するようにＡ／Ｖスイッチャー５７が制御されると、Ａ／Ｖスイッチャー５７によって選択された現場の映像および音声ミキサー５５によって得られた合成音声がマスタースイッチャー５８に供給される。マスタースイッチャー５８の出力先として放送処理部が設定されている場合、現場の映像と音声は放送処理部に出力され、現場の映像と音声が放送される。

スタジオでは、スタジオモニター５１およびスタジオスピーカ５２に出力された現場の映像および音声を視聴したアナウンサーなどから現場のレポーターなどに対して質問や呼び掛けなどが行われる。この際、スタジオカメラ５３によって撮影されたスタジオの映像はＡ／Ｖスイッチャー５７に出力され、スタジオマイク５４によって得られたスタジオの音声は音声ミキサー５５で現場の音声と合成されてＡ／Ｖスイッチャー５７と音声送信機５６に出力される。

時間軸上のｔ８のタイミングでＡ／Ｖスイッチャー５７がスタジオ側に切り替えたものとする。これにより、現場の映像に代えてスタジオの映像と、音声ミキサー５５により得た合成音声がＡ／Ｖスイッチャー５７によってマスタースイッチャー５８に出力され、マスタースイッチャー５８によって放送処理部に出力されることによって放送される。

ところで、現場の映像と音声の遅延時間は第１のエラー訂正許容時間である２秒であるのに対し、スタジオ側からの掛け合いは、第２のエラー訂正許容時間である１秒の映像と音声に対応して行われる。すなわち、スタジオの映像と音声は現場の映像と音声に対して１秒先のものになる。このため、Ａ／Ｖスイッチャー５７の出力を現場側からスタジオ側に単に切り替えただけでは、スタジオ側の映像および音声の最初の１秒が欠落してしまう。この点を補うために、Ａ／Ｖスイッチャー５７には、少なくとも第１のエラー訂正許容時間（２秒）と第２のエラー訂正許容時間（１秒）との差分の遅延量を有する遅延回路（バッファメモリ）が設けられている。Ａ／Ｖスイッチャー５７は、この遅延回路を用いて、スタジオ側の映像と音声ミキサー５５により得た合成音声を遅延させてマスタースイッチャー５８に出力する。これにより、現場側からスタジオ側への切り替えを挟んで映像と音声の連続性を確保することが可能になる。

その後、ｔ１３のタイミングでＡ／Ｖスイッチャー５７が再度現場側に切り替えたものとする。このとき現場からの映像と音声は第１のエラー訂正許容時間である２秒遅れてＡ／Ｖスイッチャー５７および音声ミキサー５５に出力されるものの、現場からスタジオに対する掛け合いは、放送より１秒だけ先に現場に届いたスタジオの音声を聞いて行われるので、放送上は１秒だけ映像および音声が途切れるだけで済む。

以上が本実施形態のデータ伝送システム１による掛け合い時の動作である。

以上のように、本実施形態のデータ伝送システム１によれば、現場から受信された映像および音声のデータから２種類のエラー訂正許容時間によって放送用の高品質な映像および音声とスタジオ用の短遅延時間の映像および音声を得ることができる。これにより、例えば、現場とスタジオとの間での掛け合い時に、放送用の映像および音声が途切れる時間を短縮することができる。また、放送用の映像および音声を生成する場合の第１のエラー訂正許容時間の設定の自由度が高くなるので、高品質な映像および音声を放送することができる。

［管理用ＧＵＩ］
図１に示すように、データ送信装置１０とデータ受信装置３０とのコネクションを管理するコントロール機器４０には制御用のアプリケーションプログラムがインストールされる。コントロール機器４０のＣＰＵ４２（第２の制御部）は、制御用のアプリケーションプログラムをもとに管理用のグラフィカルユーザインタフェース（ＧＵＩ：Graphical User Interface）をコントロール機器４０に接続されたモニター４１に表示させる。

図８は、コネクション毎の管理用のＧＵＩを示す図である。
このＧＵＩにおいて、左側の領域にはサムネイル表示エリア８１が設けられている。サムネイル表示エリア８１には各コネクションのサムネイル８２が表示される。サムネイル８２は、データ受信装置３０にて復号された放送用の映像などから作成される。右側の領域には、サムネイル表示エリア８１でユーザにより選択されたサムネイル８２に対応するコネクションに関する管理エリア８３が設けられる。

管理エリア８３には、データ受信装置３０にて復号された放送用の映像のプレビュー８４、音声が伝送されているかを確認できるゲージ８５が設けられている。

また、管理エリア８３には、データ送信装置１０からデータ受信装置３０へのストリーム伝送の状態を確認できるステータス表示エリア８６が設けられている。ステータス表示エリア８６には、エラーレート（パケットロス率）と、通信レートを１つの時間軸上で示すグラフ８７が表示される。

さらに、管理エリア８３には、コネクションの通信条件を設定するための設定エリア８８がある。設定エリア８８には、データ受信装置３０の制御開始を指示するための制御開始ボタン８８ａ、データ受信装置３０のＡ／Ｖ出力ポートを設定するための出力ポート設定部８８ｂ、Ａ／Ｖストリームをファイルとして保存するかどうかを設定するためのファイル化設定部８８ｃ、ストリーム伝送の最大ビットレートを設定する最大ビットレート設定部８８ｄ、最小ビットレートを設定する最小ビットレート設定部８８ｅ、第１のエラー訂正許容時間を設定するための第１の遅延時間設定部８８ｆ、第２のエラー訂正許容時間を設定するための第２の遅延時間設定部８８ｇ、映像と音声との間での優先して伝送する方を選択するための優先伝送設定部８８ｈ、上の設定内容の反映を指示するための設定確定ボタン８８ｉ、ストリーム伝送の開始を指示するためのストリーミング開始ボタン８８ｊなどが設けられている。上の各種の設定部は、例えば、プルダウンメニューなどで構成される。

このＧＵＩを用いて行われる操作の一例を説明する。
ユーザは、ステータス表示エリア８６に表示されたエラーレート（パケットロス率）と通信ビットレートのグラフ８７を監視し、例えば、エラーレートが高くなってきたときや通信ビットレートが低くなってきたときに設定エリア８８の第１の遅延時間設定部８８ｆを用いて第１のエラー訂正許容時間をより長い時間に変更する。

また、このとき、エラーレートの上昇や通信ビットレートの低下の程度が著しい場合には、スタジオ側の映像および音声の劣化の程度も著しくなることが予測されるので、第１のエラー訂正許容時間の変更に加えて、第２の遅延時間設定部８８ｇを用いて第２のエラー訂正許容時間もより長い時間に変更するようにしてもよい。

設定確定ボタン８８ｉが操作されると、コントロール機器４０のＣＰＵ４２は、図９に示すように、第１のエラー訂正許容時間を変更するための指示を受信装置３０に送信する。受信装置３０のＣＰＵ３１は、このコントロール機器４０からの指示に従って第１のエラー訂正許容時間をリアルタイムに変更する。また、コントロール機器４０のＣＰＵ４２は、送信装置１０の送信バッファ１０３におけるＦＥＣブロックの保持時間を、変更された第１のエラー訂正許容時間に合わせるための指示を送信装置１０に送信する。送信装置１０のＣＰＵ１１は、このコントロール機器４０からの指示に従って送信バッファ１０３におけるＦＥＣブロックの保持時間を、変更された第１のエラー訂正許容時間に合わせる。

＜変形例１＞
本技術に係るデータ伝送システムは、現場とスタジオとの間での掛け合いの場のみならず、現場の映像および音声を放送局のスタッフがモニタリングしながらサーバなどの収録機器に収録する場においても利用できる。

図１０は、放送局の収録システムの構成を示す図である。
この収録システム９０は、主にデータ受信装置３０と、収録モニター９１と、収録スピーカ９２と、収録機器９３とを備える。

データ受信装置３０において、第１のエラー訂正許可時間によって生成された現場の映像と音声は第１のＡ／Ｖ出力インタフェース３４によって収録機器９３に出力される。

また、データ受信装置３０において、第２のエラー訂正許可時間によって生成された現場の映像と音声は第２のＡ／Ｖ出力インタフェース３５によって収録モニター９１と収録スピーカ９２に出力される。収録スタッフは、収録モニター９１に表示された現場の映像と収録スピーカ９２より出力された現場の音声を視聴し、適宜、現場の映像と音声の収録開始と収録終了の指示を収録機器９３に与える。

収録機器９３は、収録スタッフによって指示された収録開始から収録終了までの期間の現場の映像と音声のデータを収録する。

収録モニター９１と収録スピーカ９２に出力される現場の映像と音声は、収録機器９３に出力される映像と音声よりも第１のエラー訂正許容時間と第２のエラー訂正許容時間との時間差分先行したものであるため、収録したい場面の期間を、十分な余裕をもって収録機器９３に指示することができる。このため、収録したい場面の映像と音声を漏れなくかつ無駄なく収録することができる。

なお、このような放送局の収録システム第１の実施形態のデータ伝送システム１を応用する場合には、ＱｏＳ重視の第１のエラー訂正許容時間を例えば１０秒など、十分長い時間に設定してもよい。

＜変形例２＞
第１の実施形態では、第１のエラー訂正許容時間を管理ＧＵＩを用いてユーザがマニュアルで設定できることとしたが、第１のエラー訂正許容時間を通信時にエラーレートや伝送遅延などに応じて適応的に制御するようにしてもよい。

すなわち、図９に示したように、コントロール機器４０のＣＰＵ４２（第２の制御部）は制御用のアプリケーションプログラムに従い、通信時のエラーレートおよび伝送遅延の少なくともいずれか一方を監視し、検出された結果に応じて第１のエラー訂正許容時間をリアルタイムに変更するための指示を受信装置３０に送信する。受信装置３０のＣＰＵ３１は、このコントロール機器４０からの指示に従って第１のエラー訂正許容時間をリアルタイムに変更する。ここで、第１のエラー訂正許容時間は２段階以上に変更できるものとしてもよい。

また、コントロール機器４０のＣＰＵ４２は、第１のエラー訂正許容時間の変更に伴い、送信装置１０の送信バッファ１０３におけるＦＥＣブロックの保持時間を第１のエラー訂正許容時間に合わせるための指示を送信装置１０に送信する。送信装置１０のＣＰＵ１１は、このコントロール機器４０からの指示に従って送信バッファ１０３におけるＦＥＣブロックの保持時間を、変更された第１のエラー訂正許容時間に合わせる。

このように通信時に第１のエラー訂正許容時間をより長い時間にリアルタイムに変更することによって、エラーによって一度破綻した映像および音声を、欠損パケットの回復によって修復できる機会が得られる。

＜変形例３＞
管理ＧＵＩに関しては次のような変形例が挙げられる。

コントロール機器４０のＣＰＵ４２は、コネクションが設定されたデータ送信装置１０とデータ受信装置３０からバッファに割り当て可能なメモリ容量などの情報を収集する。ＣＰＵ４２は、収集した各装置の情報をもとに、管理ＧＵＩの第１の遅延時間設定部８８ｆに設定可能な第１のエラー訂正許容時間の上限値を制限する。コントロール機器４０のＣＰＵ４２は、ユーザより第１のエラー訂正許容時間の設定値として上限値を超える値が設定されようとした場合、この設定を拒否して設定値を上限値に自動的に置き換える。これにより、不当な第１のエラー訂正許容時間が設定されることを防止することができる。

＜変形例４＞
上記の実施形態では、エラー訂正許容時間として第１のエラー訂正許容時間と第２のエラー訂正許容時間の２つを設定することとしたが、互いに異なる３つ以上のエラー訂正許容時間を設定しておき、各々のエラー訂正許容時間が経過した各時刻のＦＥＣブロックに対するエラー訂正結果を出力するようにしてもよい。

なお、本技術は以下のような構成もとることができる。
（１）受信したパケットを少なくともエラー訂正ブロックの単位で保持可能な第１のバッファと、
前記第１のバッファに保持された前記エラー訂正ブロックにおける欠損パケットの再送を送信元に要求して前記欠損パケットを回復する処理を行い、
前記第１のバッファから前記エラー訂正ブロックを、特定の互いに異なる複数のデータ訂正許容時間が各々経過した各時刻に読み出し、前記各々の時刻に読み出された前記各エラー訂正ブロックに対するエラー訂正を行って、各々のエラー訂正の結果を出力する第１の制御部と
を具備するデータ受信装置。

（２）前記（１）に記載のデータ受信装置であって、
前記特定の互いに異なる複数のデータ訂正許容時間が各々経過した各時刻が、特定の第１のデータ訂正許容時間が経過した第１の時刻および前記第１のデータ訂正許容時間よりも短い特定の第２のデータ訂正許容時間が経過した第２の時刻であり、
前記第１の制御部は、前記第１の時刻に読み出された前記エラー訂正ブロックに対するエラー訂正の結果を第１のエラー訂正データとして出力し、前記第２の時刻に読み出された前記エラー訂正ブロックに対するエラー訂正の結果を第２のエラー訂正データとして出力するように構成されたデータ受信装置。

（３）前記（２）に記載のデータ受信装置であって、
前記パケットは映像および音声のデータを含み、
前記データ受信装置は、
前記第１のエラー訂正データを放送用データとして出力するための第１の出力インタフェースと、
前記第２のエラー訂正データを放送局のスタジオモニターおよびスタジオスピーカに出力するための第２の出力インタフェースと
をさらに具備するデータ受信装置。

（４）前記（１）ないし（３）のいずれかに記載のデータ受信装置であって、
前記第１の制御部は、ストリームの受信中、外部のコントロール機器からの指令をもとに前記第１のデータ訂正許容時間を動的に変更するように構成された
データ受信装置。

（５）前記（２）に記載のデータ受信装置であって、
前記パケットは映像および音声のデータを含み、
前記データ受信装置は、
前記第１のエラー訂正データを放送局の収録機器に出力するための第１の出力インタフェースと、
前記第２のエラー訂正データを放送局の収録モニターおよび収録スピーカに出力するための第２の出力インタフェースと
をさらに具備するデータ受信装置。

（６）受信したパケットを少なくともエラー訂正ブロックの単位で保持可能な第１のバッファと；
前記第１のバッファに保持された前記エラー訂正ブロックにおける欠損パケットの再送を送信装置に要求して前記欠損パケットを回復する処理を行い、
前記第１のバッファから前記エラー訂正ブロックを、特定の互いに異なる複数のデータ訂正許容時間が各々経過した各時刻に読み出し、前記各々の時刻に読み出された前記各エラー訂正ブロックに対するエラー訂正を行って、各々のエラー訂正の結果を出力する第１の制御部と；
を具備するデータ受信装置と、
送信するパケットを少なくとも前記エラー訂正ブロックの単位で保持可能な第２のバッファを有するデータ送信装置と、
前記複数のデータ訂正許容時間の中で最長のデータ訂正許容時間を設定するとともに、前記第２のバッファによる前記エラー訂正ブロックの保持時間を前記最長のデータ訂正許容時間に設定する第２の制御部を有するコントロール機器と
を具備するデータ伝送システム。

（７）前記（６）に記載のデータ伝送システムであって、
前記第２の制御部は、エラーレートおよび伝送遅延の少なくともいずれか一方をもとに前記最長のデータ訂正許容時間を制御するように構成された
データ伝送システム。

（８）前記（６）または（７）に記載のデータ伝送システムであって、
前記コントロール機器は、前記最長のデータ訂正許容時間の設定のためのユーザからの入力を受け付けるユーザインタフェースをさらに有する
データ伝送システム。

（９）前記（８）に記載のデータ伝送システムであって、
前記ユーザインタフェースは、前記最長のデータ訂正許容時間の他のデータ訂正許容時間の設定のためのユーザからの入力を受け付ける
データ伝送システム。

１…データ伝送システム
１０…送信装置
２０…ネットワーク
３０…受信装置
３１…ＣＰＵ
３４…第１のＡ／Ｖ出力インタフェース
３５…第２のＡ／Ｖ出力インタフェース
４０…コントロール機器
４１…モニター
４２…ＣＰＵ
５１…スタジオモニター
５２…スタジオスピーカ
８８ｆ…第１の遅延時間設定部
８８ｇ…第２の遅延時間設定部
９０…収録システム
９１…収録モニター
９２…収録スピーカ
９３…収録機器
１０１…エンコーダ
１０２…ＦＥＣユニット
１０３…送信バッファ
１０５…ＡＲＱユニット
３０１…Ａ／Ｖストリーム構築バッファ
３０２…ＡＲＱユニット
３０４…第１のＦＥＣユニット
３０５…第２のＦＥＣユニット
３０６…第１のデコーダ
３０７…第２のデコーダ

Claims (11)

1. 受信したパケットを少なくともエラー訂正ブロックの単位で保持可能な第１のバッファと、
   前記第１のバッファに保持された前記エラー訂正ブロックにおける欠損パケットの再送を送信元に要求して前記欠損パケットを回復する処理を行い、
   前記第１のバッファから前記エラー訂正ブロックを、特定の互いに異なる複数のデータ訂正許容時間が各々経過した各時刻に読み出し、前記各々の時刻に読み出された前記各エラー訂正ブロックに対するエラー訂正を行って、各々のエラー訂正の結果を出力する第１の制御部と
   を具備するデータ受信装置。
2. 請求項１に記載のデータ受信装置であって、
   前記特定の互いに異なる複数のデータ訂正許容時間が各々経過した各時刻が、特定の第１のデータ訂正許容時間が経過した第１の時刻および前記第１のデータ訂正許容時間よりも短い特定の第２のデータ訂正許容時間が経過した第２の時刻であり、
   前記第１の制御部は、前記第１の時刻に読み出された前記エラー訂正ブロックに対するエラー訂正の結果を第１のエラー訂正データとして出力し、前記第２の時刻に読み出された前記エラー訂正ブロックに対するエラー訂正の結果を第２のエラー訂正データとして出力するように構成された
   データ受信装置。
3. 請求項２に記載のデータ受信装置であって、
   前記パケットは映像および音声のデータを含み、
   前記データ受信装置は、
   前記第１のエラー訂正データを放送用データとして出力するための第１の出力インタフェースと、
   前記第２のエラー訂正データを放送局のスタジオモニターおよびスタジオスピーカに出力するための第２の出力インタフェースと
   をさらに具備するデータ受信装置。
4. 請求項３に記載のデータ受信装置であって、
   前記第１の制御部は、ストリームの受信中、外部のコントロール機器からの指令をもとに前記第１のデータ訂正許容時間を動的に変更するように構成された
   データ受信装置。
5. 請求項２に記載のデータ受信装置であって、
   前記パケットは映像および音声のデータを含み、
   前記データ受信装置は、
   前記第１のエラー訂正データを放送局の収録機器に出力するための第１の出力インタフェースと、
   前記第２のエラー訂正データを放送局の収録モニターおよび収録スピーカに出力するための第２の出力インタフェースと
   をさらに具備するデータ受信装置。
6. 受信したパケットを少なくともエラー訂正ブロックの単位で保持可能な第１のバッファと；
   前記第１のバッファに保持された前記エラー訂正ブロックにおける欠損パケットの再送を送信装置に要求して前記欠損パケットを回復する処理を行い、
   前記第１のバッファから前記エラー訂正ブロックを、特定の互いに異なる複数のデータ訂正許容時間が各々経過した各時刻に読み出し、前記各々の時刻に読み出された前記各エラー訂正ブロックに対するエラー訂正を行って、各々のエラー訂正の結果を出力する第１の制御部と；
   を具備するデータ受信装置と、
   送信するパケットを少なくとも前記エラー訂正ブロックの単位で保持可能な第２のバッファを有するデータ送信装置と、
   前記複数のデータ訂正許容時間の中で最長のデータ訂正許容時間を設定するとともに、前記第２のバッファによる前記エラー訂正ブロックの保持時間を前記最長のデータ訂正許容時間に設定する第２の制御部を有するコントロール機器と
   を具備するデータ伝送システム。
7. 請求項６に記載のデータ伝送システムであって、
   前記第２の制御部は、エラーレートおよび伝送遅延の少なくともいずれか一方をもとに前記最長のデータ訂正許容時間を制御するように構成された
   データ伝送システム。
8. 請求項７に記載のデータ伝送システムであって、
   前記コントロール機器は、前記最長のデータ訂正許容時間の設定のためのユーザからの入力を受け付けるユーザインタフェースをさらに有する
   データ伝送システム。
9. 請求項８に記載のデータ伝送システムであって、
   前記ユーザインタフェースは、前記最長のデータ訂正許容時間の他のデータ訂正許容時間の設定のためのユーザからの入力を受け付ける
   データ伝送システム。
10. 第１の制御部が、
    受信したパケットを少なくともエラー訂正ブロックの単位で保持可能な第１のバッファに保持された前記エラー訂正ブロックにおける欠損パケットの再送を送信装置に要求して前記欠損パケットを回復する処理を行い、
    前記第１のバッファから前記エラー訂正ブロックを、特定の互いに異なる複数のデータ訂正許容時間が各々経過した各時刻に読み出し、
    前記各々の時刻に読み出された前記各エラー訂正ブロックに対するエラー訂正を行って、各々のエラー訂正の結果を出力する
    データ受信方法。
11. コントロール機器の第２の制御部が、
    受信したパケットを少なくともエラー訂正ブロックの単位で保持可能な第１のバッファに保持された前記エラー訂正ブロックにおける欠損パケットの再送を送信装置に要求して前記欠損パケットを回復する処理を行い、前記第１のバッファから前記エラー訂正ブロックを、特定の互いに異なる複数のデータ訂正許容時間が各々経過した各時刻に読み出し、前記各々の時刻に読み出された前記各エラー訂正ブロックに対するエラー訂正を行って、各々のエラー訂正の結果を出力するデータ受信装置の、前記互いに異なる複数のデータ訂正許容時間の中の最長のデータ訂正許容時間を設定するとともに、前記データ受信装置とコネクションが設定されたデータ送信装置の、送信パケットを保持する第２のバッファの前記エラー訂正ブロックの保持時間を前記最長のデータ訂正許容時間に設定する
    データ伝送方法。