WO2015015880A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】低遅延伝送を実現するためのＦＥＣに関する技術を向上させることが可能な情報処理装置、情報処理方法及びプログラムを提案する。 【解決手段】所定の行列サイズ以下の個数のデータグラムを、第１の方向に順番に配置することを第２の方向に沿って繰り返して、前記所定の行列サイズの行列の少なくとも一部に配置する配置部と、前記配置部により配置された前記行列のひとつの行に属する前記データグラムごと、およびひとつの列に属する前記データグラムごとに、前方誤り訂正のための冗長データグラムを生成する生成部と、を備える情報処理装置。

Description

情報処理装置、情報処理方法及びプログラム

　本開示は、情報処理装置、情報処理方法及びプログラムに関する。

　インターネット、若しくはその他の伝送路を経由して、マルチメディアデータを低遅延で伝送するという需要が高まっている。このような需要は、例えばカメラ遠隔制御やゲーム、遠隔医療などの分野において顕著に高まっている。

　低遅延でのストリーム型伝送を実現するためには様々な技術が用いられる。例えば、ストリーム型伝送方式に適したインターネット技術として、ＩＥＴＦ　ＲＦＣ３５５０で規定されているＲＴＰ（Ｒｅａｌｔｉｍｅ　Ｔｒａｎｓｐｏｒｔ　Ｐｒｏｔｏｃｏｌ）が用いられる。しかし、ＲＴＰやＵＤＰ（Ｕｓｅｒ　Ｄａｔａｇｒａｍ　Ｐｒｏｔｏｃｏｌ）は、ネットワーク伝送の映像品質を保証しないため、ＱｏＳ（Ｑｕａｌｉｔｙ　ｏｆ　Ｓｅｒｖｉｃｅ）制御が必要となる。このため、近年ＱｏＳ制御を行うために前方誤り訂正符号化方式（ＦＥＣ：Ｆｏｒｗａｒｄ　Ｅｒｒｏｒ　Ｃｏｒｒｅｃｔｉｏｎ）に関する技術が開発されている。

　例えば、下記特許文献１では、低遅延伝送を実現するためのＦＥＣに関する技術が開示されている。

特開２０１１－２１１６１６号公報

　しかし、上記事情に鑑みれば、低遅延伝送を実現するためのＦＥＣに関する技術がさらに向上することが望ましい。

　そこで、本開示では、低遅延伝送を実現するためのＦＥＣに関する技術を向上させることが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提案する。

　本開示によれば、所定の行列サイズ以下の個数のデータグラムを、第１の方向に順番に配置することを第２の方向に沿って繰り返して、前記所定の行列サイズの行列の少なくとも一部に配置する配置部と、前記配置部により配置された前記行列のひとつの行に属する前記データグラムごと、およびひとつの列に属する前記データグラムごとに、前方誤り訂正のための冗長データグラムを生成する生成部と、を備える情報処理装置が提供される。

　また、本開示によれば、所定の行列サイズ以下の個数のデータグラムを、第１の方向に順番に配置することを第２の方向に沿って繰り返して、前記所定の行列サイズの行列の少なくとも一部に配置することと、配置された前記行列のひとつの行に属する前記データグラムごと、およびひとつの列に属する前記データグラムごとに、前方誤り訂正のための冗長データグラムを生成することと、を備える情報処理方法が提供される。

　また、本開示によれば、コンピュータを、所定の行列サイズ以下の個数のデータグラムを、第１の方向に順番に配置することを第２の方向に沿って繰り返して、前記所定の行列サイズの行列の少なくとも一部に配置する配置部と、前記配置部により配置された前記行列のひとつの行に属する前記データグラムごと、およびひとつの列に属する前記データグラムごとに、前方誤り訂正のための冗長データグラムを生成する生成部と、として機能させるためのプログラムが提供される。

　以上説明したように本開示によれば、低遅延伝送を実現するためのＦＥＣに関する技術を向上させることが可能である。

本開示の一実施形態に係る伝送システムの概要を示す説明図である。 本実施形態に係る送信装置によるＦＥＣ符号化を説明するための図である。 ＸＯＲ方式のＦＥＣ符号化を説明するための図である。 ２次元のＸＯＲ方式のＦＥＣ符号化を説明するための図である。 ＸＯＲ方式のＦＥＣ復号化の一例を示す図である。 ＲＳ符号方式のＦＥＣ符号化を説明するための図である。 本開示の一実施形態に係るＲＴＰパケットのフォーマットを示す説明図である。 本開示の一実施形態に係るＲＴＰヘッダのフォーマットを示す説明図である。 ＸＯＲ方式のＦＥＣにおけるメディアデータグラムの符号化を説明するための図である。 ＸＯＲ方式のＦＥＣにおけるメディアデータグラムの復号化を説明するための図である。 ＲＳ符号方式のＦＥＣにおけるメディアデータグラムの符号化を説明するための図である。 ＲＳ符号方式のＦＥＣにおけるメディアデータグラムの復号化を説明するための図である。 第１の実施形態に係る伝送システムの構成を示すブロック図である。 第１の実施形態に係るＦＥＣ符号化部の構成を示すブロック図である。 第１の実施形態に係るＦＥＣ符号化部による符号化を説明するための図である。 第１の実施形態に係る生成部によるＦＥＣデータグラムの生成を説明するための図である。 第１の実施形態に係る決定部による送信順序の決定を説明するための図である。 第１の実施形態に係る決定部により決定された送信順序の一例を示す図である。 第１の実施形態に係る決定部によるＬＡＳＴフラグの付与を説明するための図である。 第１の実施形態に係るＦＥＣ復号化部によるＦＥＣ復号化を説明するための図である。 第１の実施形態に係る送信装置の動作を示すフローチャートである。 第２の実施形態に係る伝送システムの概要を説明するための図である。 ＸＯＲ方式およびＲＳ符号方式のＦＥＣの性能を比較した表である。 ＸＯＲ方式およびＲＳ符号方式の問題点を示す表である。 第２の実施形態に係る伝送システムの構成を示すブロック図である。 第２の実施形態に係るＦＥＣ利用決定部の構成を示すブロック図である。 第２の実施形態に係る送信装置の動作を示すフローチャートである。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　なお、説明は以下の順序で行うものとする。
　１．本開示の一実施形態に係る伝送システムの概要
　２．実施形態
　　２－１．基礎技術
　　　２－１－１．ＦＥＣ技術
　　　２－１－２．フォーマット
　　　２－１－３．符号化および復号化
　　２－２．第１の実施形態
　　　２－２－１．概要
　　　２－２－２．構成
　　　２－２－３．動作処理
　　２－３．第２の実施形態
　　　２－３－１．概要
　　　２－３－２．構成
　　　２－３－３．動作処理
　３．まとめ

　＜１．本開示の一実施形態に係る伝送システムの概要＞
　まず、図１を参照して、本開示の一実施形態に係る伝送システムの概要を説明する。

　図１は、本開示の一実施形態に係る伝送システムの概要を示す説明図である。図１に示すように、本開示の一実施形態に係る伝送システムは、カメラ１００Ａ、１００Ｂ、１００Ｃ、編集機器２００Ａ、２００Ｂ、２００Ｃ、ネットワーク３により接続された送信装置１（情報処理装置）および受信装置２を有する。以下では、カメラ１００Ａ、１００Ｂ、１００Ｃを特に区別する必要がない場合はカメラ１００と総称し、同様に編集機器２００Ａ、２００Ｂ、２００Ｃを特に区別する必要がない場合は編集機器２００と総称する。

　送信装置１は、複数のカメラ１００により収録されたコンテンツを、エンコード、パケット化、ＦＥＣ符号化して受信装置２に送信する。受信装置２は、送信装置１から受信したデータをＦＥＣ復号化、デパケット化、デコードして複数の編集機器２００に出力する。本実施形態に係る伝送システムは、図１に示したような複数のカメラ１００および編集機器２００により、コンテンツをリアルタイムに収録／編集するための制作現場において使用されることを想定している。このような制作現場では、伝送の低遅延化に対する要求が高く、低遅延伝送を実現するためのＦＥＣによる符号化／復号化に係る技術の向上が求められている。

　そこで、上記事情を一着眼点にして本開示の各実施形態に係る伝送システムを創作するに至った。本開示の各実施形態に係る伝送システムは、低遅延伝送を実現することができる。以下、本開示の各実施形態に係る伝送システムについて詳細に説明する。

　なお、送信装置１は、カメラ１００による映像データだけでなく、図示しないマイクによる音声データや、メタデータを受信装置２に送信してもよい。また、受信装置２は、編集機器２００だけでなく、図示しないディスプレイやスピーカ等の出力装置に受信したデータを出力してもよい。

　＜２．実施形態＞
　［２－１．基礎技術］
　まず、各実施形態で共通して用いる基礎技術について説明する。

　［２－１－１．ＦＥＣ技術］
　送信装置１は、パケットロス率や伝送遅延、混雑度（輻輳）等のネットワーク３の状況に応じて安定した伝送品質と高いユーザ体感品質を実現するために、ＱｏＳ制御を行う。具体的には、送信装置１は、送信データをＦＥＣにより符号化する。ＦＥＣとは、冗長パケットを用いた、損失パケット回復技術である。以下、図２を参照して、ＦＥＣによる符号化について説明する。

　図２は、本実施形態に係る送信装置１によるＦＥＣ符号化を説明するための図である。図２に示すように、送信装置１は、パケットロスに対する備えとして、オリジナルのデータパケットから冗長パケットを生成して、データパケットおよび冗長パケットを受信装置２に送信する。受信装置２は、伝送途中でパケットロスが発生した場合、受信したオリジナルパケットと冗長パケットを用いることで、図２に示すように損失パケットを回復することができる。

　ＦＥＣの符号化方式としては、排他的論理和（ＸＯＲ：ｅＸｃｌｕｓｉｖｅ　ＯＲ）計算を用いる方式、およびリードソロモン（ＲＳ：Ｒｅｅｄ－Ｓｏｌｏｍｏｎ）符号を用いる形式の２つの方式が主として用いられる。ＸＯＲ方式としては、ＧｅｎｅｒｉｃＦＥＣ（ＩＥＴＦ　ＲＦＣ５１０９）、ＬＤＰＣ（ＲＦＣ５１７０）、Ｐｒｏ－ＭＰＥＧ　ＦＥＣ（ＳＭＰＴＥ　２０２２－１－２００７，　２０２２－５）がある。なお、ＬＤＰＣに関しては、ＲＦＣ５１７０にラージブロックサイズ向けと記述されており、ＦＥＣブロック遅延が長くなる。また、Ｐｒｏ　ＭＰＥＧ　ＦＥＣは、ＩＰＴＶ　Ｆｏｒｕｍ、Ｏｐｅｎ　ＩＰＴＶ　Ｆｏｒｕｍ、ＤＶＢ－ＩＰ等、ＩＰＴＶ（インターネット放送）規格に用いられている。なお、Ｐｒｏ－ＭＰＥＧ　ＦＥＣ　１Ｄは、縦方向にＸＯＲ冗長パケットを生成する規格であり、Ｐｒｏ－ＭＰＥＧ　ＦＥＣ　２Ｄは、縦・横２方向にＸＯＲ冗長パケットを生成する規格である。これらの規格の詳細については、ＳＭＰＴＥ　２０２２－１－２００７、“Ｆｏｒｗａｒｄ　Ｅｒｒｏｒ　Ｃｏｒｒｅｃｔｉｏｎ　ｆｏｒ　Ｒｅａｌ－Ｔｉｍｅ　Ｖｉｄｅｏ／Ａｕｄｉｏ　Ｔｒａｎｓｐｏｒｔ　ｏｖｅｒ　ＩＰ　Ｎｅｔｗｏｒｋｓ”，　２００７、ＳＭＰＴＥ　２０２２－５－２０１２に規定されている。映像伝送にはＸＯＲ方式の２次元のＦＥＣ方式が多く使われている。まず、図３～図５を参照して、ＸＯＲ方式のＦＥＣ符号化／復号化について説明する。

　図３は、ＸＯＲ方式のＦＥＣ符号化を説明するための図である。より詳しくは、図３Ａは、冗長パケットの生成例を示し、図３Ｂは、ストリーム生成例を示している。図３Ａに示すように、送信側は、コンテンツを構成するメディアＲＴＰパケットの各ビットのＸＯＲ計算により冗長パケットを生成する。そして、図３Ｂに示すように、送信側は、メディアＲＴＰパケットをメディアＲＴＰパケットストリームとして送信し、冗長パケットを冗長パケットストリームとして送信する。ここで、冗長パケット生成に使用するメディアＲＴＰパケット、および冗長パケットで構成されるパケットの集合を、以下ではＦＥＣブロックとも称する。送信側がＸＯＲ方式のＦＥＣ符号化を行った場合、受信側は、ＦＥＣブロック中１個のパケットロスまで回復することができる。

　図４は、２次元のＸＯＲ方式のＦＥＣ符号化を説明するための図である。図４に示すように、送信側は、４×４の２次元の行列に配置されたメディアデータグラム（データグラム）について、行単位または列単位でＸＯＲ計算によりＦＥＣデータグラム（冗長パケット）を生成する。本明細書では、ＦＥＣブロックの行列サイズをＬ列Ｄ行として、Ｌ列Ｄ行のメディアデータグラムの行列（所定の行列サイズの行列）を用いてＦＥＣデータグラムを生成するものとする。なお、図４中のＭｅｄｉａ　Ｄｇｒｍはメディアデータグラムを示し、Ｒｏｗ　ＦＥＣ　Ｄｇｒａｍは行単位のＦＥＣデータグラムを示し、Ｃｏｌ　ＦＥＣ　Ｄｇｒａｍは列単位のＦＥＣデータグラムを示す。また、各メディアデータグラムおよび各ＦＥＣデータグラムに示された符号（ｋ，ｊ）は、当該データグラムがｋ列ｊ行に位置することを示している。

　ここで、２次元のＸＯＲ方式のＦＥＣ符号化は、１次元のＸＯＲ方式のＦＥＣ符号化と比較して冗長度は上がるが、回復率も向上するという特徴を有する。より詳しくは、２次元のＸＯＲ方式の場合、回復できないパターンもあるが、同一行または列内のほとんどの場合の２パケットロスに対して回復可能である。この点について、図５を参照して説明する。図５は、ＸＯＲ方式のＦＥＣ復号化の一例を示す図である。より詳しくは、図５Ａは、縦方向の１次元のＸＯＲ方式（Ｐｒｏ－ＭＥＰＧ　ＦＥＣ　１Ｄ）で符号化されたデータの復号化例を示す図である。図５Ｂは、縦方向および横方向の２次元のＸＯＲ方式（Ｐｒｏ－ＭＥＰＧ　ＦＥＣ　２Ｄ）で符号化されたデータの復号化例を示す図である。

　図５Ａでは、シーケンス番号１、２、３、４のメディアＲＴＰパケット（メディアデータグラム）が連続してパケットロスしている場合を示している。ここで、シーケンス番号１のパケットは、縦方向のＸＯＲ計算により回復することができる。これは、同一列内で損失したパケットが１個であるためである。シーケンス番号３、４のパケットについても同様に回復することができる。一方で、シーケンス番号２、１０のパケットは、同一列で損失したパケットが２個であるため、回復することはできない。これに対し、図５Ｂに示すように、２次元のＸＯＲ方式で符号化されたデータは、バーストパケットロス耐性が向上するため、このような場合であっても損失したパケットを回復することができる。より具体的には、シーケンス番号１０のパケットは、同一行内で損失したパケットが１個であるため、横方向のＸＯＲ計算により回復することができる。これにより、シーケンス番号１０のパケットを回復した後、シーケンス番号２のパケットは同一列内で損失したパケットが１個となるため、縦方向のＸＯＲ計算により回復することができる。なお、Ｐｒｏ－ＭＥＰＧ　ＦＥＣにおいては、送信側は一般的に、メディアＲＴＰパケットと冗長パケットとを別ポートで伝送する。

　以上、ＸＯＲ方式のＦＥＣ符号化／復号化について説明した。続いて、図６を参照して、ＲＳ符号方式のＦＥＣ符号化／復号化について説明する。

　図６は、ＲＳ符号方式のＦＥＣ符号化を説明するための図である。図６に示すように、送信側は、ＲＳ（ｎ，ｋ）符号を用いる場合、ｋ個のメディアＲＴＰパケットに対してｎ－ｋ個の冗長パケットでＦＥＣブロックを生成する。そして、送信側は、メディアＲＴＰパケットおよび冗長パケットをメディア／冗長パケットストリームとして送信する。送信側がＲＳ符号方式のＦＥＣ符号化を行った場合、受信側は、ＦＥＣブロック中任意のｎ－ｋ個（冗長パケット数）のパケットロスに対して回復することができる。ＸＯＲ方式では、回復可能な損失のパターンに制限があるため、損失パターンに制限が無い点でＲＳ符号方式は優れていると言える。

　以上、ＦＥＣ技術について説明した。続いて、図７～図１２を参照して、メディアデータグラム、およびＦＥＣデータグラムのフォーマットについて説明する。

　［２－１－２．フォーマット］
　図７は、本開示の一実施形態に係るＲＴＰパケットのフォーマットを示す説明図である。より詳しくは、図７Ａはメディアデータグラムのフォーマットを示し、図７ＢはＦＥＣデータグラムのフォーマットを示す。図７Ａに示すように、メディアデータグラムは、ＲＴＰヘッダ、ＦＥＣヘッダ、メディアヘッダ、およびメディアペイロードにより構成される。また、図７Ｂに示すように、ＦＥＣデータグラムは、ＲＴＰヘッダ、ＦＥＣヘッダ、およびＦＥＣペイロードにより構成される。

　メディアペイロードには、コンテンツを構成する映像データ、音声データ、メタデータの少なくともいずれかが格納される。また、ＦＥＣペイロードには、ＦＥＣ符号化により生成された冗長シンボルを示すデータが格納される。以下、ＲＴＰヘッダ、ＦＥＣヘッダ、およびメディアヘッダについて詳細に説明する。

　（ＲＴＰヘッダ）
　図８に、ＲＴＰヘッダのフォーマットを示した。図８は、本開示の一実施形態に係るＲＴＰヘッダのフォーマットを示す説明図である。図８に示すように、本実施形態においては、ＲＦＣ３５５０の規定に基づいたＲＴＰヘッダを用いる。

　（ＸＯＲ方式の場合のＦＥＣヘッダ）
　続いて、ＸＯＲ方式の場合のＦＥＣヘッダのフィールド構成について説明する。ＸＯＲ方式の場合のＦＥＣヘッダは、Ｆｒａｍｅ　Ｃｏｕｎｔ、ＦＥＣ　Ｔｙｐｅ、Ｐａｃｋｅｔ　Ｔｙｐｅ、ＦＥＣ　Ｂｌｏｃｋ　Ｌａｓｔ、Ｌ　Ｍａｘ、Ｄ　Ｍａｘ、Ｌ　Ｃｏｕｎｔ、Ｄ　Ｃｏｕｎｔ、およびＦＥＣ　Ｂｌｏｃｋ　ＩＤを有する。

　　・Ｆｒａｍｅ　Ｃｏｕｎｔ
　本フィールドには、ＦＥＣブロックに固有の値が格納される。ＦＥＣデータグラムにおいては、同じＦＥＣブロックに属しているメディアデータグラムと同一の値が格納される。

　　・ＦＥＣ　Ｔｙｐｅ
　本フィールドには、ＸＯＲ方式やＲＳ符号方式などの、使用されるＦＥＣ方式のタイプを示す値が格納される。

　　・Ｐａｃｋｅｔ　Ｔｙｐｅ
　本フィールドには、メディアデータグラム、行単位のＦＥＣデータグラム、列単位のＦＥＣデータグラムなどの、データグラムのタイプを示す値が格納される。

　　・ＦＥＣ　Ｂｌｏｃｋ　Ｌａｓｔ
　本フィールドには、パターン２のＦＥＣブロックの場合、最後のメディアデータグラム、最後の行単位のＦＥＣデータグラム、および最後の列単位のＦＥＣデータグラムであることを識別するための所定のフラグ（Ｌａｓｔフラグ）が格納される。

　　・Ｌ　Ｍａｘ
　本フィールドには、ＦＥＣブロックが有するＬ列Ｄ行のメディアデータグラムの列数Ｌの値が格納される。パターン２のＦＥＣブロックの場合、ＦＥＣブロックに含まれるメディアデータグラムの数にかかわらず、パターン１のＦＥＣブロックの場合と同一の値が格納される。

　　・Ｄ　Ｍａｘ
　本フィールドには、ＦＥＣブロックが有するＬ列Ｄ行のメディアデータグラムの行数Ｄの値が格納される。パターン２のＦＥＣブロックの場合、ＦＥＣブロックに含まれるメディアデータグラムの数にかかわらず、パターン１のＦＥＣブロックの場合と同一の値が格納される。

　　・Ｌ　Ｃｏｕｎｔ
　本フィールドには、メディアデータグラムまたはＦＥＣデータグラムの行番号が格納される。具体的には、０からＦＥＣブロックに含まれるメディアデータグラム行列の列数Ｌまでの値が格納される。行単位のＦＥＣデータグラムの場合に値がＬとなるが、パターン２の場合は異なる値が設定される場合がある。

　　・Ｄ　Ｃｏｕｎｔ
　本フィールドには、メディアデータグラムまたはＦＥＣデータグラムの列番号が格納される。具体的には、０からＦＥＣブロックに含まれるメディアデータグラム行列の行数Ｄまでの値が格納される。列単位のＦＥＣデータグラムの場合に値がＤとなるが、パターン２の場合は異なる値が設定される場合がある。

　　・ＦＥＣ　Ｂｌｏｃｋ　ＩＤ
　本フィールドには、ＦＥＣブロックに固有の値が格納される。本フィールドは、例えばＦＥＣブロックが生成されるたびにインクリメントする値である。

　（ＲＳ符号方式の場合のＦＥＣヘッダ）
　以上、ＸＯＲ方式の場合のＦＥＣヘッダのフィールド構成について説明した。続いて、ＲＳ符号方式の場合のＦＥＣヘッダのフィールド構成について説明する。ＲＳ符号方式の場合のＦＥＣヘッダは、Ｆｒａｍｅ　Ｃｏｕｎｔ、ＦＥＣ　Ｔｙｐｅ、Ｍｅｄｉａ　Ｄａｔａｇｒａｍ　Ｎｕｍｂｅｒ、ＦＥＣ　Ｄａｔａｇｒａｍ　Ｎｕｍｂｅｒ、およびＦＥＣ　Ｂｌｏｃｋ　ＩＤを有する。以下、ＸＯＲ方式と異なるフィールドのみ説明する。

　　・Ｍｅｄｉａ　Ｄａｔａｇｒａｍ　Ｎｕｍｂｅｒ
　本フィールドには、属するＦＥＣブロックにおけるメディアデータグラムの総数を示す値が格納される。より詳しくは、ＲＳ（ｎ，ｋ）符号のｋ値が格納される。

　　・ＦＥＣ　Ｄａｔａｇｒａｍ　Ｎｕｍｂｅｒ
　本フィールドには、属するＦＥＣブロックにおけるＦＥＣデータグラムの総数を示す値が格納される。より詳しくは、ＲＳ（ｎ，ｋ）符号のｎ－ｋ値が格納される。

　以上、ＲＳ符号方式の場合のＦＥＣヘッダのフィールド構成について説明した。続いて、図７を参照して説明したフォーマットを有するメディアデータグラムの符号化および復号化について説明する。

　［２－１－３．符号化および復号化］
　まず、図９および図１０を参照して、本実施形態によるＸＯＲ方式における符号化および復号化について説明する。図９は、ＸＯＲ方式のＦＥＣにおけるメディアデータグラムの符号化を説明するための図である。図１０は、ＸＯＲ方式のＦＥＣにおけるメディアデータグラムの復号化を説明するための図である。

　図９に示すように、送信装置１は、各メディアデータグラムのメディアヘッダおよびメディアペイロードの、同一の位置にあるビットをＸＯＲ計算することで、ＦＥＣデータグラムのＦＥＣペイロードを生成する。受信装置２は、メディアデータグラムにパケットロスがあった場合、図１０に示す方法でパケットロスしたメディアデータグラムを回復する。より具体的には、受信装置２は、受信したメディアデータグラムのメディアヘッダおよびメディアペイロード、およびＦＥＣデータグラムＦＥＣペイロードの、同一の位置にあるビットをＸＯＲ計算することで、パケットロスしたメディアデータグラムを回復する。

　以上、本実施形態によるＸＯＲ方式における符号化および復号化について説明した。続いて、図１１および図１２を参照して、本実施形態によるＲＳ符号方式における符号化および復号化について説明する。図１１は、ＲＳ符号方式のＦＥＣにおけるメディアデータグラムの符号化を説明するための図である。図１２は、ＲＳ符号方式のＦＥＣにおけるメディアデータグラムの復号化を説明するための図である。

　図１１に示すように、送信装置１は、ｋ個のメディアデータグラムのメディアヘッダおよびメディアペイロードの、同一の位置にある８ビットをＲＳ符号により符号化することで、ｎ－ｋ個のＦＥＣデータグラムのＦＥＣペイロードを８ビットずつ生成する。受信装置２は、メディアデータグラムにパケットロスがあった場合、図１２に示す方法でパケットロスしたメディアデータグラムを回復する。より具体的には、受信装置２は、受信したメディアデータグラムのメディアヘッダおよびメディアペイロード、およびＦＥＣデータグラムＦＥＣペイロードの、同一の位置にある８ビットをＲＳ符号として復号化することで、パケットロスしたメディアデータグラムを回復する。以上、本実施形態によるＲＳ符号方式における符号化および復号化について説明した。

　［２－２．第１の実施形態］
　［２－２－１．概要］
　本実施形態では、Ｖｉｄｅｏのフレーム切れ目に基づいたＦＥＣ方式により、低遅延での伝送を実現する。まず、本実施形態の概要について説明する。

　本実施形態に係る伝送システムは、コンテンツ制作現場や遠隔制御、無瞬断映像切替など、フレーム関連の処理に加えてフレーム以下の低遅延を要求するシステムに適用される。このようなシステムでは、数パケット程度の遅延にも影響を受けるため、映像の切り替え等によって生じるフレームの区切りを簡単に識別すること、およびフレーム区切りを高速に識別することが求められる。

　ここで、２次元のＸＯＲ方式のＦＥＣを用いた場合、通常はＬ×Ｒの長方形のＦＥＣブロックが利用されるため、２次元のＸＯＲ方式のＦＥＣには次のような問題がある。第１に、Ｌ×Ｒの長方形を保つためにＦＥＣブロックのパケット数と冗長度などに制限がある。第２に、パケット数が足りない場合はダミーパケットにより長方形を保つためのパディングが行われるため、無駄のパケット伝送が生じる。第３に、ＦＥＣブロックと映像のフレーム切れ目に基づいた処理が何らなされない場合、フレーム単位での処理に遅延が発生する。より詳しくは、送信側は、フレームの切れ目でＦＥＣブロックを区切り、ダミーパケットをパディングしてＦＥＣブロックの長方形を保つために、無駄のパケット伝送が生じる。

　そこで、本実施形態では、映像をフレーム・フィールド単位で処理することが必要な場合において、フレーム・フィールドに基づいたＦＥＣ方式を実現する。より具体的には、本実施形態に係る送信装置１は、フレーム区切りの場合に長方形を保つことなくＦＥＣブロックの生成を途中で終わらせる。また、本実施形態に係る送信装置１は、冗長パケットの伝送タイミングを調整することで受信装置２での回復時間を短縮化する。さらに、本実施形態に係る送信装置１は、Ｌａｓｔフラグを複数定義することで、受信装置２は、低遅延でフレーム区切り位置を特定する。

　以上、本実施形態の概要を説明した。続いて、図１３～１９を参照して、本実施形態に係る伝送システムの構成を説明する。

　［２－２－２．構成］
　図１３は、第１の実施形態に係る伝送システムの構成を示すブロック図である。図１３に示すように、送信装置１および受信装置２は、ネットワーク３により接続されている。

　（送信装置１）
　図１３に示すように、送信装置１は、キャプチャー１１、エンコーダ１２、パケタイズ部１３、ＦＥＣ符号化部１４、およびＲＴＰ送信部１５を有する。

　　・キャプチャー１１
　キャプチャー１１は、外部から供給されるコンテンツデータ（動画コンテンツ）を取り込む機能を有する。より具体的には、キャプチャー１１は、カメラ１００から供給される映像データや、マイクによる音声データ、メタデータを取り込む。キャプチャー１１は、取り込んだコンテンツデータを、エンコーダ１２に出力する。ここで、エンコーダ１２による圧縮符号化を要しない場合（ＲＡＷデータとして送信する場合）、キャプチャー１１は、取り込んだコンテンツデータを非圧縮のままパケタイズ部１３に出力してもよい。

　　・エンコーダ１２
　エンコーダ１２は、キャプチャー１１から供給されるコンテンツデータを圧縮符号化する。エンコーダ１２は、圧縮符号化したデータをパケタイズ部１３に出力する。

　　・パケタイズ部１３
　パケタイズ部１３は、キャプチャー１１またはエンコーダ１２から供給されるデータを、ＲＴＰパケット（メディアデータグラム）にパケタイズする。また、パケタイズ部１３は、フレーム単位のコンテンツデータを構成するメディアデータグラムをＦＥＣ符号化部１４に入力する入力部として機能する。より具体的には、パケタイズ部１３は、キャプチャー１１またはエンコーダ１２から供給されるデータを、フレーム区切りごとにＦＥＣ符号化部１４に出力する。なお、パケタイズ部１３は、フレーム区切りの他に、タイムアウトによってコンテンツデータを区切って、メディアデータグラムをＦＥＣ符号化部１４に供給してもよい。

　　・ＦＥＣ符号化部１４
　ＦＥＣ符号化部１４は、パケタイズ部１３から供給されたパケットをＦＥＣ符号化する。ＦＥＣ符号化では、パケットがＸＯＲ方式、ＲＳ符号方式等の前方誤り訂正符号により冗長符号化される。本実施形態では、パケタイズ部１３は、２次元のＸＯＲ方式によりＦＥＣ符号化する。ＦＥＣ符号化部１４の詳細な構成について図１４を参照して説明する。

　図１４は、第１の実施形態に係るＦＥＣ符号化部１４の構成を示すブロック図である。図１４に示すように、ＦＥＣ符号化部１４は、分割部１４１、配置部１４２、生成部１４３、および決定部１４４として機能する。

　　－分割部１４１
　分割部１４１は、パケタイズ部１３から供給されたフレーム単位のデータ（１つ以上のメディアデータグラム）を、ＦＥＣブロックの行列サイズ（所定の行列サイズ）の個数ごとのグループに分割する機能を有する。例えば、４×４の２次元の行列によるＸＯＲ方式のＦＥＣ符号化を行う場合、分割部１４１は、１６個ごとにメディアデータグラムを分割する。分割部１４１は、グループごとにメディアデータグラムを配置部１４２に出力する。

　ここで、ＦＥＣ符号化部１４から供給されたメディアデータグラムの個数が、ＦＥＣブロックの行列サイズの個数で割り切れない場合、ＦＥＣブロックの行列サイズに満たない個数のメディアデータグラムを有するグループが生じ得る。以下では、ＦＥＣブロックの行列サイズの個数のメディアデータグラムを有するグループをパターン１のグループと称し、ＦＥＣブロックの行列サイズに満たない個数のメディアデータグラムを有するグループをパターン２のグループとも称する。

　　－配置部１４２
　配置部１４２は、ＦＥＣブロックの行列サイズ以下の個数のメディアデータグラムを、横方向（第１の方向）に順番に配置することを縦方向（第２の方向）に沿って繰り返して、ＦＥＣブロックの少なくとも一部に配置する機能を有する。配置部１４２によるメディアデータグラムの配置の一例を、図１５を参照して説明する。

　図１５は、第１の実施形態に係るＦＥＣ符号化部１４による符号化を説明するための図である。より詳しくは、図１５では、１フレームが２２個のパケットから生成されている場合のＦＥＣ符号化の例を示しており、ＦＥＣ符号化部１４は、図１５Ａに示すＦＥＣブロックと、図１５Ｂに示すＦＥＣブロックの２つのＦＥＣブロックを生成する。図１５Ａは、パターン１のグループのＦＥＣ符号化を示しており、図１５Ｂは、パターン２のグループのＦＥＣ符号化を示している。なお、図１５では、ＦＥＣブロックの行列サイズを４行４列とする例を示しているが、ＦＥＣ符号化部１４は、ＦＥＣブロックの行列サイズを他の任意の行列サイズとしてもよい。

　図１５に示すように、配置部１４２は、シーケンス番号１のメディアデータグラムを０列０行に、シーケンス番号２のメディアデータグラムを１列０行に、といった順に、横方向にメディアデータグラムを順番に配置していく。そして、ＦＥＣブロックの列サイズ（図１５では４つ）を満たした場合、配置部１４２は、１行目、２行目、３行目において同様の配置を繰り返すことで、ＦＥＣブロックにメディアデータグラムを配置する。よって、図１５Ａに示すように、配置部１４２は、パターン１のグループの場合は、ＦＥＣブロックの全部に、分割部１４１により分割されたＦＥＣブロックの行列サイズの個数のメディアデータグラムを配置する。また、図１５Ｂに示すように、配置部１４２は、パターン２のグループの場合は、ＦＥＣブロックの一部に、分割部１４１により分割されたＦＥＣブロックの行列サイズ未満の個数のメディアデータグラムを配置する。

　　－生成部１４３
　生成部１４３は、配置部１４２により配置された行列のひとつの行に属するメディアデータグラムごと、およびひとつの列に属するメディアデータグラムごとに、前方誤り訂正のためのＦＥＣデータグラム（冗長データグラム）を生成する機能を有する。生成部１４３は、ひとつの行または列に属するメディアデータグラムのＸＯＲ計算によりＦＥＣデータグラムを生成する。ここで、パターン２のグループにおけるＦＥＣデータグラムの生成について、図１６を参照して説明する。

　図１６は、第１の実施形態に係る生成部１４３によるＦＥＣデータグラムの生成を説明するための図である。図１６に示すように、生成部１４３は、ｊ行目に属するＬ個のメディアデータグラムから、ｊ行目のＦＥＣデータグラムを生成する。また、生成部１４３は、ｋ列目に属するＬ個未満のメディアデータグラムから、ｋ列目のＦＥＣデータグラムを生成する。このように、本実施形態に係る生成部１４３は、長方形を保つためのダミーパケットをパディングすることなく、ＦＥＣデータグラムを生成する。このため、本実施形態に係る送信装置１は、ダミーパケットを伝送する必要がないため、帯域が無駄になることを防止することができる。

　　－決定部１４４
　決定部１４４は、メディアデータグラムおよびＦＥＣデータグラムの送信順序を決定する機能を有する。より具体的には、決定部１４４は、メディアデータグラムを横方向（第１の方向）に順番に、次いでその方向に属するメディアデータグラムについて生成されたＦＥＣデータグラムの順に送信するよう送信順序を決定することを、縦方向（第２の方向）に沿って繰り返す。決定部１４４による送信順序の決定について、図１７、図１８を参照して説明する。

　図１７は、第１の実施形態に係る決定部１４４による送信順序の決定を説明するための図である。図１７では、図１５に示したＦＥＣブロックの送信順序を示している。図１７Ａに示すように、決定部１４４は、０行目の０列目、１列目、２列目、３列目のメディアデータグラムに、それぞれ０番、１番、２番、３番を決定し、次いで０行目のメディアデータグラムについて生成されたＦＥＣデータグラムに４番を決定する。決定部１４４は、同様にして１行目から４行目について送信順序を決定する。

　ここで、パターン２のグループの場合、送信順序の決定途中でメディアデータグラムが存在しなくなることがある。図１７Ｂに示した例においては、送信順序６のメディアデータグラムの後、メディアデータグラムが存在しない。この場合、決定部１４４は、存在しないメディアデータグラムの位置の、縦方向（第２の方向）に属するメディアデータグラムについてのＦＥＣデータグラムを送信するよう送信順序を決定する。即ち、決定部１４４は、存在しないメディアデータグラムの位置Ｎ１の、列単位のＦＥＣデータグラムＦ４に、送信順序７を決定する。次いで、決定部１４４は、存在しないメディアデータグラムの位置Ｎ２の、列単位のＦＥＣデータグラムＦ５に、送信順序８を決定する。次に、決定部１４４は、ＦＥＣデータグラムＦ１に送信順序９を決定する。次いで、決定部１４４は、存在しないメディアデータグラムの位置Ｎ３の、列単位のＦＥＣデータグラムＦ２に、送信順序１０を決定する。次に、決定部１４４は、存在しないメディアデータグラムの位置Ｎ４の、列単位のＦＥＣデータグラムＦ２に、送信順序１１を決定する。

　このようにして、決定部１４４は、パターン２のグループについて送信順序を決定する。決定部１４４が、パターン２のグループについて上記の送信順序を決定することにより、ＦＥＣデータグラムＦ１、Ｆ２、Ｆ３よりも先にＦ４、Ｆ５が受信装置２に受信される。このため、例えば図１７Ｂに示す送信順序２および３のメディアデータグラムが損失した場合に、受信装置２は、ＦＥＣデータグラムＦ１、Ｆ２、Ｆ３を受信する前に、ＦＥＣデータグラムＦ４、Ｆ５により損失したメディアデータグラムを回復することができる。なお、送信順序２または３のいずれかのメディアデータグラムが損失した場合、受信装置２は、送信順序４のＦＥＣデータグラム受信後、ＦＥＣデータグラムＦ４、Ｆ５の受信前に、横方向のＸＯＲ計算により損失したメディアデータグラムを回復することができる。

　図１８は、第１の実施形態に係る決定部１４４により決定された送信順序の一例を示す図である。より詳しくは、図１８は、図１５に示したＦＥＣブロックの送信順序を示している。各メディアデータグラムおよび各ＦＥＣデータグラムの＜＞内の数字は、決定部１４４により決定された送信順序を示している。例えば、送信順序２７および２８のパケットが損失した場合、受信装置２は、送信順序３２のパケット受信後すぐに送信順序２７のパケットを回復でき、送信順序３３のパケット受信後すぐに送信順序２８のパケットを回復することができる。なお、送信順序２７または２８のいずれかのパケットが損失した場合、受信装置２は、送信順序２９のパケット受信後、すぐに横方向のＸＯＲ計算により損失したパケットを回復することができる。

　ここで、図１８に示すように、本実施形態では、ｖｉｄｅｏ（映像データ）、ａｕｄｉｏ（音声データ）、ｍｅｔａ（メタデータ）が格納されたメディアデータグラムが、ひとつのＦＥＣブロックの中に混在する場合がある。これは、送信準備が完了したデータから順にパケタイズ部１３に入力され、ＲＴＰパケット化されるためである。即ち、本実施形態に係る伝送システムでは、ｖｉｄｅｏごと、ａｕｄｉｏごと、またはｍｅｔａごとに、データを貯めてから送信する必要がない。このため、本実施形態に係る伝送システムでは、低遅延伝送を実現することができる。

　また、決定部１４４は、送信順序が最後のメディアデータグラム、および当該メディアデータグラムについて縦方向および横方向に属するメディアデータグラムについて生成されたＦＥＣデータグラムに、ＬＡＳＴフラグを付与する。より詳しくは、決定部１４４は、フレームの切れ目のメディアデータグラム、および当該メディアデータグラムが属する行単位および列単位のＦＥＣデータグラムに、ＬＡＳＴフラグを付与する。決定部１４４によるＬＡＳＴフラグの付与について、図１９を参照して説明する。

　図１９は、第１の実施形態に係る決定部１４４によるＬＡＳＴフラグの付与を説明するための図である。図１９に示すように、決定部１４４は、メディアデータグラムのうち送信順序が最後となる、シーケンス番号２２のメディアデータグラムＭ１に対してＬＡＳＴフラグを付与する。また、決定部１４４は、メディアデータグラムＭ１が属する１行目の行単位のＦＥＣデータグラムＦ６、およびメディアデータグラムＭ１が属する１列目の列単位のＦＥＣデータグラムＦ７に対して、ＬＡＳＴフラグを付与する。受信装置２は、次のＦＥＣブロックを受信しなくとも、メディアデータグラムに付与されたＬＡＳＴフラグによりフレーム区切りを識別することができるため、フレーム処理を短縮することができる。また、ＦＥＣデータグラムにもＬＡＳＴフラグが付与されているため、最後のメディアデータグラムが損失した場合であっても、受信装置２は、ＬＡＳＴフラグが付与されたＦＥＣデータグラムによりフレーム区切りを識別することができる。

　以上、ＦＥＣ符号化部１４の構成について説明した。以下、図１３に戻って本実施形態に係る伝送システムの構成についての説明を行う。

　　・ＲＴＰ送信部１５
　ＲＴＰ送信部１５は、ＦＥＣ符号化部１４によりＦＥＣ符号化されたＲＴＰパケットを受信装置２に送信する。より具体的には、ＲＴＰ送信部１５は、メディアデータグラムおよびＦＥＣ符号化部１４により生成されたＦＥＣデータグラムを、決定部１４４により決定された送信順序に従って受信装置２に送信する送信部として機能する。

　　・補足
　本実施形態では、第１の方向を横方向、第２の方向を縦方向として説明したが、本技術はかかる例に限定されない。例えば、第１の方向を縦方向、第２の方向を横方向としてもよい。即ち、配置部１４２は、メディアデータグラムを、縦方向に順番に配置することを横方向に沿って繰り返して、ＦＥＣブロックの少なくとも一部に配置してもよい。そして、決定部１４４は、メディアデータグラムを縦方向に順番に、次いでその方向に属するメディアデータグラムについて生成されたＦＥＣデータグラムの順に送信するよう送信順序を決定することを、横方向に沿って繰り返すことで、送信順序を決定してもよい。また、決定部１４４は、パターン２のグループの場合、存在しないメディアデータグラムの位置の、横方向に属するメディアデータグラムについてのＦＥＣデータグラムを送信するよう送信順序を決定してもよい。

　（受信装置２）
　図１３に示すように、受信装置２は、ＲＴＰ受信部２１、ＦＥＣ復号化部２２、デパケタイズ部２３、デコーダ２４、および出力部２５を有する。

　　・ＲＴＰ受信部２１
　ＲＴＰ受信部２１は、ネットワーク３を介して送信装置１からＲＴＰパケットを受信する。ＲＴＰ受信部２１は、パケットロスがある場合、受信したＲＴＰパケットをＦＥＣ復号化部２２に出力する。他方、ＲＴＰ受信部２１は、パケットロスがない場合、受信したＲＴＰパケットをデパケタイズ部２３に出力する。

　　・ＦＥＣ復号化部２２
　ＦＥＣ復号化部２２は、ＦＥＣ符号化されたパケットをＲＴＰ受信部２１から供給され、ＦＥＣ復号する機能を有する。ここで、図２０を参照して、パターン２のＦＥＣブロックの復号の一例を説明する。

　図２０は、第１の実施形態に係るＦＥＣ復号化部２２によるＦＥＣ復号化を説明するための図である。図２０では、ＦＥＣ復号化部２２が、行列サイズ３×３のパターン２のＦＥＣブロックを復号する例を示しており、図中のＮは送信順序を示している。図２０Ａに示すように、送信装置１が、７個のメディアデータグラムをＦＥＣ符号化して送信したところ、送信順序２、３、５、６、９のメディアデータグラムおよび送信順序４のＦＥＣデータグラムが欠損したものとする。

　まず、ＦＥＣ復号化部２２は、図２０Ｂに示すように、送信順序１２のＦＥＣデータグラムのＸＯＲ計算により、送信順序９のメディアデータグラムを回復する。なお、このとき回復した送信順序９のメディアデータグラムにはＬＡＳＴフラグが付与されているため、受信装置２は、フレーム区切りを識別することができる。

　次いで、図２０Ｃに示すように、ＦＥＣ復号化部２２は、送信順序１、９のメディアデータグラム、および送信順序１３のＦＥＣデータグラムのＸＯＲ計算により、送信順序５のメディアデータグラムを回復する。また、ＦＥＣ復号化部２２は、送信順序７のメディアデータグラム、および送信順序１１のＦＥＣデータグラムのＸＯＲ計算により、送信順序３のメディアデータグラムを回復する。

　次に、図２０Ｄに示すように、ＦＥＣ復号化部２２は、送信順序５、７のメディアデータグラム、および送信順序８のＦＥＣデータグラムのＸＯＲ計算により、送信順序６のメディアデータグラムを回復する。

　次いで、図２０Ｅに示すように、ＦＥＣ復号化部２２は、送信順序６のメディアデータグラム、および送信順序１０のＦＥＣデータグラムのＸＯＲ計算により、送信順序２のメディアデータグラムを回復する。

　以上説明したＦＥＣ復号化により、図２０Ｆに示すように、ＦＥＣ復号化部２２は、メディアデータグラムのほとんどを欠損したＦＥＣブロックであっても、すべてのメディアデータグラムを回復することができる。また、最後のメディアデータグラムが損失した場合であっても、図２０Ｂに示したように、ＬＡＳＴフラグが付与された送信順序９のメディアデータグラムが回復可能であれば、受信装置２は、フレーム区切りを識別することができる。このため、受信装置２は、低遅延でのフレーム単位の処理を実現することができる。

　以上、ＦＥＣ復号化部２２によるＦＥＣ復号化について説明した。以下、図１３に戻って本実施形態に係る伝送システムの構成についての説明を行う。

　　・デパケタイズ部２３
　デパケタイズ部２３は、ＲＴＰ受信部２１またはＦＥＣ復号化部２２から供給されるＲＴＰパケットをデパケタイズする。デパケタイズ部２３は、コンテンツデータが圧縮データである場合はコンテンツデータをデコーダ２４に出力し、非圧縮である場合はコンテンツデータを出力部２５に出力する。

　　・デコーダ２４
　デコーダ２４は、デパケタイズ部２３から供給された圧縮データを復号化して、出力部２５に出力する。

　　・出力部２５
　出力部２５は、デパケタイズ部２３またはデコーダ２４から供給されたフレーム単位の非圧縮のコンテンツデータを、編集機器２００やディスプレイ、スピーカ等の出力装置に出力する。

　（ネットワーク３）
　ネットワーク３は、ネットワーク３に接続されている装置から送信される情報の有線、または無線の伝送路である。ネットワーク３は、インターネットや専用線、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）等により構成される。

　以上、本実施形態に係る伝送システムの構成を説明した。続いて、図２１を参照して、本実施形態に係る伝送システムの動作処理について説明する。

　［２－２－３．動作処理］
　図２１は、第１の実施形態に係る送信装置１の動作を示すフローチャートである。まず、ステップＳ１０２で、送信装置１は、ＦＥＣ符号化部１４にフレーム単位のメディアデータグラムを入力する。より詳しくは、送信装置１は、キャプチャー１１によりコンテンツデータを取り込み、エンコーダ１２により圧縮符号化し、パケタイズ部１３によりパケタイズして、フレーム単位のメディアデータグラムをＦＥＣ符号化部１４に出力する。

　次いで、ステップＳ１０４で、分割部１４１は、入力されたフレーム単位のメディアデータグラムを、ＦＥＣブロックの行列サイズの個数ごとに分割する。例えば、４×４の２次元の行列によるＸＯＲ方式のＦＥＣ符号化を行う場合、分割部１４１は、入力されたフレーム単位のメディアデータグラムを１６個のメディアデータグラムごとのグループに分割する。

　次に、ステップＳ１０６で、配置部１４２は、ＦＥＣブロックにメディアデータグラムを配置する。より詳しくは、配置部１４２は、分割部１４１により分割された各グループのメディアデータグラムを、ＦＥＣブロックに配置する。ここで、配置部１４２は、パターン１のグループの場合、ＦＥＣブロックの全部に、分割部１４１により分割されたＦＥＣブロックの行列サイズの個数のメディアデータグラムを配置する。また、配置部１４２は、パターン２のグループの場合、ＦＥＣブロックの一部に、分割部１４１により分割されたＦＥＣブロックの行列サイズ未満の個数のメディアデータグラムを配置する。

　次いで、ステップＳ１０８で、生成部１４３は、ＦＥＣデータグラムを生成する。より詳しくは、生成部１４３は、配置部１４２により配置された行列のひとつの行に属するメディアデータグラムごと、およびひとつの列に属するメディアデータグラムごとに、ＸＯＲ計算によりＦＥＣデータグラムを生成する。

　次に、ステップＳ１１０で、決定部１４４は、送信順序を決定する。より詳しくは、決定部１４４は、メディアデータグラムを横方向に順番に、次いでその方向に属するメディアデータグラムについて生成されたＦＥＣデータグラムの順に送信するよう送信順序を決定することを、縦方向に沿って繰り返す。これにより、決定部１４４は、ＦＥＣブロックに属するメディアデータグラムおよびＦＥＣデータグラムの送信順序を決定する。また、図１７Ｂを参照して上記説明したように、決定部１４４は、パターン２においてメディアデータグラムが存在しない場合、存在しないメディアデータグラムの位置の、列単位のＦＥＣデータグラムを送信するよう送信順序を決定する。

　次いで、ステップＳ１１２で、決定部１４４は、ＬＡＳＴフラグを付与する。より詳しくは、決定部１４４は、フレームの切れ目のメディアデータグラム、および当該メディアデータグラムが属する行単位および列単位のＦＥＣデータグラムに、ＬＡＳＴフラグを付与する。

　そして、ステップＳ１１４で、ＲＴＰ送信部１５は、送信順序に従ってＲＴＰパケットを送信する。より詳しくは、ＲＴＰ送信部１５は、メディアデータグラムおよびＦＥＣ符号化部１４により生成されたＦＥＣデータグラムを、決定部１４４により決定された送信順序に従って受信装置２に送信する。

　以上、本実施形態に係る送信装置１の動作処理を説明した。

　［２－３．第２の実施形態］
　［２－３－１．概要］
　本実施形態では、ＦＥＣ方式を自動的に切り替えることで、低遅延での伝送を実現する。まず、図２２を参照して、本実施形態の概要を説明する。

　図２２は、第２の実施形態に係る伝送システムの概要を説明するための図である。本実施形態に係る伝送システムは、図２２Ａに示すように複数のビットレートで映像伝送したり、図２２Ｂに示すように映像（動画コンテンツ）のビットレートを動的に変更したりするシステムである。

　ここで、送信装置１０（情報処理装置）が、１０台のカメラ１００に接続されている場合を想定して、複数のビットレートでの映像伝送する具体例を説明する。例えば、１０台のうち４台が生放送に利用されている場合、送信装置１０は、４台からの映像を高ビットレート（１．５Ｇｂｐｓ）で伝送し、残りの６台は監視用に利用されるため、圧縮された低ビットレート（１５０Ｍｂｐｓ）で伝送する。

　同様に、送信装置１０が、１０台のカメラ１００に接続されている場合を想定して、映像のビットレートを動的に変更する具体例を説明する。例えば、送信装置１０は、１０台のカメラ１００のうち、生放送中の１台のみ高ビットレート（１．５Ｇｂｐｓ）で伝送し、残りの９台は監視用なので圧縮された低ビットレート（１５０Ｍｂｐｓ）で伝送する。そして、送信装置１０は、生放送中のカメラ１００が切り替えられたとき、それまで生放送中だった１台については高ビットレートから低ビットレートに変更し、新たに生放送中となった１台については低ビットレートから高ビットレートに変更する。

　上述したように、ＦＥＣ方式には、主にＸＯＲ方式とＲＳ符号方式の２種類がある。一般的に、ＲＳ符号方式の方が、同じ冗長度の場合は回復性能が高いが、計算量はＸＯＲ方式と比較して高い。ここで、図２３および図２４を参照して、これらのＦＥＣ方式について詳細に比較する。

　図２３は、ＸＯＲ方式およびＲＳ符号方式のＦＥＣの性能を比較した表である。図２３に示すように、ＦＥＣブロックが大きい（パケット数が多い）場合、ＸＯＲ方式の方が低冗長度、低計算量で最大の回復性能を実現することができる。また、図２３に示すように、ＦＥＣブロックが小さい（パケット数が少ない）場合、ＸＯＲ方式の方が低冗長度、低計算量で最大の回復性能を実現することができる。このように、ＸＯＲ方式およびＲＳ符号方式にはそれぞれメリットデメリットがあるため、送信装置１０による状況に応じた使い分けが、低遅延伝送実現のために求められる。

　図２４は、ＸＯＲ方式およびＲＳ符号方式の問題点を示す表である。図２４では、ＦＥＣ遅延が１．５ｍｓｅｃ以下の低遅延である必要があるシステムにおける例を示している。図２４中※１に示すように、低ビットレートの場合、ＰｒｏＭＰＥＧ方式の冗長度が高いため、ネットワーク帯域に無駄が生じている。また、図２４中※２に示すように、高ビットレートの場合パケット密度が高く、０．６４ｍｓｅｃ内で８０パケットのＲＳ符号化／復号化処理を要するため、必要なハードウェアのスペックが非常に高くなる。

　このように、ＦＥＣ処理に求められる遅延時間によっては、ビットレートに適するＦＥＣ方式は異なる。このため、ビットレートが複数あるシステムにおいては、動的にＦＥＣ方式を変更しなければビットレートによっては回復性能、冗長度、処理速度に問題が生じる場合ある。

　そこで、本実施形態では、送信装置１０は、ビットレートの閾値に基づいて、送信開始時にビットレートに合ったＦＥＣ方式を選択する。さらに、送信途中でビットレートが変更される場合、送信装置１０は、変更後のビットレートと閾値との比較結果に基づいてＦＥＣ方式を自動的に変更する。

　また、送信するデータの大きさによっても、適するＦＥＣ方式は異なる。より具体的には、送信する映像が非圧縮（ＲＡＷデータ）なのか、圧縮された映像なのかによって、適するＦＥＣ方式は異なる。このため、送信する映像のサイズが異なるシステムにおいては、動的にＦＥＣ方式を変更しなければ映像の圧縮／非圧縮によっては回復性能、冗長度、処理速度に問題が生じる場合ある。

　そこで、本実施形態では、送信装置１０は、送信する映像の圧縮／非圧縮に基づいて、送信開始時に圧縮／非圧縮に合ったＦＥＣ方式を選択する。また、送信途中で圧縮／非圧縮が変更される場合、送信装置１０は、変更後の圧縮／非圧縮に基づいてＦＥＣ方式を自動的に変更する。

　なお、送信装置１０は、ＦＥＣ方式を切り替えた場合に、切替えたことを示す情報を受信装置２に通知することで、受信装置２での復号を可能にする。例えば、送信装置１０は、ＦＥＣ方式を切り替えたタイミング、切り替え後のＦＥＣ方式等を示す情報を、ヘッダに付与したり、専用メッセージを送信したりすることで、受信装置２に通知する。

　以上、本実施形態の概要を説明した。続いて、図２５を参照して、本実施形態に係る伝送システムの構成を説明する。

　［２－３－２．構成］
　図２５は、第２の実施形態に係る伝送システムの構成を示すブロック図である。図２５に示すように、送信装置１０および受信装置２は、ネットワーク３により接続されている。受信装置２およびネットワーク３の構成は、第１の実施形態において説明した通りであるため、ここでの詳細な説明は省略する。以下、送信装置１０の構成について説明する。

　（送信装置１０）
　図１３に示すように、送信装置１０は、キャプチャー１１、エンコーダ１２、パケタイズ部１３、ＦＥＣ符号化部（符号化部）１４、ＲＴＰ送信部１５、およびＦＥＣ利用決定部１６を有する。キャプチャー１１、エンコーダ１２、パケタイズ部１３、ＦＥＣ符号化部１４、およびＲＴＰ送信部１５は、第１の実施形態において説明した通りであるため、ここでの詳細な説明は省略する。

　　・ＦＥＣ利用決定部１６
　ＦＥＣ利用決定部１６は、ＦＥＣ符号化部１４におけるＦＥＣ符号化方式を決定する機能を有する。つまり、ＦＥＣ符号化部１４は、ＦＥＣ利用決定部１６により決定された符号化方式によりメディアデータグラム（送信データ）をＦＥＣ符号化する。そして、ＲＴＰ送信部１５は、ＦＥＣ利用決定部１６により決定された符号化方式によりＦＥＣ符号化された送信データを、受信装置２に送信する。ここで、図２６を参照して、ＦＥＣ利用決定部１６の詳細な構成を説明する。

　図２６は、第２の実施形態に係るＦＥＣ利用決定部１６の構成を示すブロック図である。図２６に示すように、ＦＥＣ利用決定部１６は、取得部１６１、変更部１６２、および選択部１６３として機能する。

　　－取得部１６１
　取得部１６１は、伝送ビットレートを取得する機能を有する。取得部１６１は、例えばネットワーク３の状態を監視することで、伝送ビットレートを取得する。

　　－変更部１６２
　変更部１６２は、伝送ビットレートを変更する機能を有する。変更部１６２は、例えばユーザ指示、外部装置からの指示等に基づいて伝送ビットレートを変更する。

　　－選択部１６３
　選択部１６３は、取得部１６１により取得された伝送ビットレートと閾値との比較結果に基づいて、ＦＥＣ符号化方式（前方誤り訂正の符号化方式）を選択する機能を有する。詳しくは、選択部１６３は、ＦＥＣ符号化方式として、ＲＳ符号方式またはＸＯＲ方式のいずれかを選択する。より具体的には、選択部１６３は、伝送ビットレートが閾値よりも低い場合にＲＳ符号方式を選択し、伝送ビットレートが閾値よりも高い場合にＸＯＲ方式を選択する。例えば、図２２Ａに示した例において、閾値を５００Ｍｂｐｓとした場合、選択部１６３は、伝送ビットレートが１５０Ｍｂｐｓの場合はＲＳ符号方式を選択し、伝送ビットレートが１５００Ｍｂｐｓの場合はＸＯＲ方式を選択する。このように、ネットワーク３の伝送ビットレートに適したＦＥＣ方式を選択部１６３により動的に選択することで、送信装置１０は、低遅延での伝送を実現することができる。

　また、選択部１６３は、変更部１６２により変更された伝送ビットレートと閾値との比較結果に基づいて、ＦＥＣ符号化方式を選択する機能を有する。より具体的には、選択部１６３は、変更後の伝送ビットレートが閾値よりも低い場合にＲＳ符号方式を選択し、伝送ビットレートが閾値よりも高い場合にＸＯＲ方式を選択する。例えば、図２２Ｂに示した例において、閾値を５００Ｍｂｐｓとした場合、選択部１６３は、変更後の伝送ビットレートが１５００Ｍｂｐｓの場合はＸＯＲ方式を選択する。同様に、選択部１６３は、変更後の伝送ビットレートが１５０Ｍｂｐｓの場合はＲＳ符号方式を選択する。このように、変更部１６２により動的に変更される伝送ビットレートに適したＦＥＣ方式を選択部１６３により動的に選択することで、送信装置１０は、低遅延での伝送を実現することができる。

　さらに、選択部１６３は、送信する動画コンテンツが圧縮されているか否かに基づいて、ＦＥＣ符号化方式を選択する機能を有する。より具体的には、選択部１６３は、ＦＥＣ符号化部１４に入力される映像が、エンコーダ１２により圧縮されている場合にはＲＳ符号方式を選択し、非圧縮（ＲＡＷデータ）である場合はＸＯＲ方式を選択する。このように、送信する映像の圧縮／非圧縮に適したＦＥＣ方式を選択部１６３により動的に選択することで、送信装置１０は、低遅延での伝送を実現することができる。

　以上、本実施形態に係る伝送システムの構成を説明した。続いて、図２７を参照して、本実施形態に係る伝送システムの動作処理について説明する。

　［２－３－３．動作処理］
　図２７は、第２の実施形態に係る送信装置１０の動作を示すフローチャートである。まず、ステップＳ２０２で、取得部１６１は、伝送ビットレートを取得する。

　次いで、ステップＳ２０４で、選択部１６３は、送信する動画コンテンツの圧縮／非圧縮を判定する。具体的には、選択部１６３は、送信する映像がＲＡＷデータであるか、圧縮された映像であるかを判定する。

　次に、ステップＳ２０６で、選択部１６３は、伝送ビットレートおよび動画コンテンツの圧縮／非圧縮に基づいて符号化方式を選択する。より詳しくは、選択部１６３は、取得部１６１により取得された伝送ビットレートが閾値よりも低い場合にＲＳ符号方式を選択し、伝送ビットレートが閾値よりも高い場合にＸＯＲ方式を選択する。ここで、変更部１６２により伝送ビットレートが変更された場合、選択部１６３は、変更後の伝送ビットレートが閾値よりも低い場合にＲＳ符号方式を選択し、伝送ビットレートが閾値よりも高い場合にＸＯＲ方式を選択する。また、選択部１６３は、送信する動画コンテンツが、エンコーダ１２により圧縮されている場合にはＲＳ符号方式を選択し、非圧縮である場合はＸＯＲ方式を選択する。

　次いで、ステップＳ２０８で、ＦＥＣ符号化部１４は、ＦＥＣ利用決定部１６により決定された符号化方式でメディアデータグラムを符号化する。より詳しくは、ＦＥＣ符号化部１４は、選択部１６３により選択されたＸＯＲ方式またはＲＳ符号方式のいずれかの符号化方式によりメディアデータグラムをＦＥＣ符号化する。

　そして、ステップＳ２１０で、ＲＴＰ送信部１５は、ＦＥＣ符号化部１４から出力されたメディアデータグラムおよびＦＥＣデータグラムを、受信装置２に送信する。

　以上、本実施形態に係る送信装置１０の動作処理を説明した。

　＜３．まとめ＞
　以上説明したように、本開示によれば、低遅延伝送を実現するためのＦＥＣに関する技術を向上させることが可能である。より具体的には、第１の実施形態に係る伝送システムは、Ｖｉｄｅｏのフレーム切れ目に基づいたＦＥＣ方式により、低遅延でのデータ伝送を実現することができる。また、第２の実施形態に係る伝送システムは、ＦＥＣ方式を自動的に切り替えることで、低遅延でのデータ伝送を実現することができる。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　例えば、情報処理装置に内蔵されるＣＰＵ、ＲＯＭ及びＲＡＭ等のハードウェアに、上記送信装置１、送信装置１０、受信装置２の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記録した記録媒体も提供される。

　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　所定の行列サイズ以下の個数のデータグラムを、第１の方向に順番に配置することを第２の方向に沿って繰り返して、前記所定の行列サイズの行列の少なくとも一部に配置する配置部と、
　前記配置部により配置された前記行列のひとつの行に属する前記データグラムごと、およびひとつの列に属する前記データグラムごとに、前方誤り訂正のための冗長データグラムを生成する生成部と、
を備える情報処理装置。
（２）
　前記情報処理装置は、前記データグラムおよび前記冗長データグラムの送信順序を決定する決定部をさらに備え、
　前記決定部は、前記データグラムを前記第１の方向の順に、次いで当該第１の方向に属するデータグラムについての前記冗長データグラムの順に送信するよう送信順序を決定することを、前記第２の方向に沿って繰り返す、前記（１）に記載の情報処理装置。
（３）
　前記決定部は、前記データグラムが存在しない場合、存在しない前記データグラムの位置の前記第２の方向に属する前記データグラムについての前記冗長データグラムを送信するよう送信順序を決定する、前記（２）に記載の情報処理装置。
（４）
　前記決定部は、前記データグラムのうち前記送信順序が最後のデータグラム、および前記最後のデータグラムの前記第１の方向および前記第２の方向に属する前記データグラムについての前記冗長データグラムに、所定のフラグを付与する、前記（２）または（３）に記載の情報処理装置。
（５）
　前記情報処理装置は、前記決定部により決定された前記送信順序に従って前記データグラムおよび前記冗長データグラムを送信する送信部をさらに備える、前記（２）～（４）のいずれか一項に記載の情報処理装置。
（６）
　前記情報処理装置は、
　フレーム単位の動画コンテンツを構成する前記データグラムを入力する入力部と、
　前記入力部に入力されたフレーム単位の前記データグラムを、前記所定の行列サイズの個数ごとに分割する分割部と、
をさらに備え、
　前記配置部は、前記分割部により分割された前記所定の行列サイズの個数のデータグラムまたは前記所定の行列サイズ未満の個数のデータグラムを配置する、前記（１）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記生成部は、ひとつの行または列に属する前記データグラムの排他的論理和により前記冗長データグラムを生成する、前記（１）～（６）のいずれか一項に記載の情報処理装置。
（８）
　前記第１の方向および前記第２の方向は、横方向および縦方向または縦方向および横方向の少なくともいずれかである、前記（１）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記データグラムは、動画コンテンツを構成する映像データ、音声データ、メタデータの少なくともいずれかである、前記（１）～（８）のいずれか一項に記載の情報処理装置。
（１０）
　所定の行列サイズ以下の個数のデータグラムを、第１の方向に順番に配置することを第２の方向に沿って繰り返して、前記所定の行列サイズの行列の少なくとも一部に配置することと、
　配置された前記行列のひとつの行に属する前記データグラムごと、およびひとつの列に属する前記データグラムごとに、前方誤り訂正のための冗長データグラムを生成することと、
を備える情報処理方法。
（１１）
　コンピュータを、
　所定の行列サイズ以下の個数のデータグラムを、第１の方向に順番に配置することを第２の方向に沿って繰り返して、前記所定の行列サイズの行列の少なくとも一部に配置する配置部と、
　前記配置部により配置された前記行列のひとつの行に属する前記データグラムごと、およびひとつの列に属する前記データグラムごとに、前方誤り訂正のための冗長データグラムを生成する生成部と、
として機能させるためのプログラム。

　１、１０　送信装置
　１１　　　キャプチャー
　１２　　　エンコーダ
　１３　　　パケタイズ部
　１４　　　ＦＥＣ符号化部
　１４１　　　分割部
　１４２　　　配置部
　１４３　　　生成部
　１４４　　　決定部
　１５　　　ＲＴＰ送信部
　１６　　　ＦＥＣ利用決定部
　１６１　　　取得部
　１６２　　　変更部
　１６３　　　選択部
　２　　　　受信装置
　２１　　　ＲＴＰ受信部
　２２　　　ＦＥＣ復号化部
　２３　　　デパケタイズ部
　２４　　　デコーダ
　２５　　　出力部
　３　　　　ネットワーク
　１００　　カメラ
　２００　　編集機器
 

Claims (11)

1. 　所定の行列サイズ以下の個数のデータグラムを、第１の方向に順番に配置することを第２の方向に沿って繰り返して、前記所定の行列サイズの行列の少なくとも一部に配置する配置部と、
   　前記配置部により配置された前記行列のひとつの行に属する前記データグラムごと、およびひとつの列に属する前記データグラムごとに、前方誤り訂正のための冗長データグラムを生成する生成部と、
   を備える情報処理装置。
2. 　前記情報処理装置は、前記データグラムおよび前記冗長データグラムの送信順序を決定する決定部をさらに備え、
   　前記決定部は、前記データグラムを前記第１の方向の順に、次いで当該第１の方向に属するデータグラムについての前記冗長データグラムの順に送信するよう送信順序を決定することを、前記第２の方向に沿って繰り返す、請求項１に記載の情報処理装置。
3. 　前記決定部は、前記データグラムが存在しない場合、存在しない前記データグラムの位置の前記第２の方向に属する前記データグラムについての前記冗長データグラムを送信するよう送信順序を決定する、請求項２に記載の情報処理装置。
4. 　前記決定部は、前記データグラムのうち前記送信順序が最後のデータグラム、および前記最後のデータグラムの前記第１の方向および前記第２の方向に属する前記データグラムについての前記冗長データグラムに、所定のフラグを付与する、請求項２に記載の情報処理装置。
5. 　前記情報処理装置は、前記決定部により決定された前記送信順序に従って前記データグラムおよび前記冗長データグラムを送信する送信部をさらに備える、請求項２に記載の情報処理装置。
6. 　前記情報処理装置は、
   　フレーム単位の動画コンテンツを構成する前記データグラムを入力する入力部と、
   　前記入力部に入力されたフレーム単位の前記データグラムを、前記所定の行列サイズの個数ごとに分割する分割部と、
   をさらに備え、
   　前記配置部は、前記分割部により分割された前記所定の行列サイズの個数のデータグラムまたは前記所定の行列サイズ未満の個数のデータグラムを配置する、請求項１に記載の情報処理装置。
7. 　前記生成部は、ひとつの行または列に属する前記データグラムの排他的論理和により前記冗長データグラムを生成する、請求項１に記載の情報処理装置。
8. 　前記第１の方向および前記第２の方向は、横方向および縦方向または縦方向および横方向の少なくともいずれかである、請求項１に記載の情報処理装置。
9. 　前記データグラムは、動画コンテンツを構成する映像データ、音声データ、メタデータの少なくともいずれかである、請求項１に記載の情報処理装置。
10. 　所定の行列サイズ以下の個数のデータグラムを、第１の方向に順番に配置することを第２の方向に沿って繰り返して、前記所定の行列サイズの行列の少なくとも一部に配置することと、
    　配置された前記行列のひとつの行に属する前記データグラムごと、およびひとつの列に属する前記データグラムごとに、前方誤り訂正のための冗長データグラムを生成することと、
    を備える情報処理方法。
11. 　コンピュータを、
    　所定の行列サイズ以下の個数のデータグラムを、第１の方向に順番に配置することを第２の方向に沿って繰り返して、前記所定の行列サイズの行列の少なくとも一部に配置する配置部と、
    　前記配置部により配置された前記行列のひとつの行に属する前記データグラムごと、およびひとつの列に属する前記データグラムごとに、前方誤り訂正のための冗長データグラムを生成する生成部と、
    として機能させるためのプログラム。
     

Images