JP6650260B2 - 送信装置、受信装置、送受信システム、プログラム、およびチップ - Google Patents

Description

本発明は、送信装置、受信装置、送受信システム、プログラム、およびチップに関する。

通信回線や放送によってデータパケットを伝送する場合、パケットの消失ロス（消失）が発生することがある。特に、送信側あるいは受信側のいずれかが移動している場合には、パケットのロスの可能性が高まる。映像コンテンツや音声コンテンツをそれらのパケットに載せて伝送する場合、パケットのロスは、映像コンテンツや音声コンテンツの視聴品質の低下を招く。パケットのロスによる視聴品質の低下を回避するための技術として、ＡＬ−ＦＥＣ（Application Layer-Forward Error Correction，アプリケーション層前方誤り訂正）が知られている。ＡＬ−ＦＥＣは、二元消失通信路におけるデータ消失に対して、誤り訂正（消失回復）を可能とする。ＡＬ−ＦＥＣでは、送信装置側において、映像や音声等のデータを含む元のパケット（これを、ソースパケットと呼ぶ）から、誤り訂正符号を用いてリペアパケットを生成する。送信装置は、生成したリペアパケットを、ソースパケットとともに送信する。これにより、伝送中に一部のパケットのロスが生じた場合でも、受信装置側では、受信されたソースパケットとリペアパケットを用いて、ロスしたパケットを復元することができる。

多様なネットワークでのメディア伝送を目的として開発されたメディアトランスポート方式であるＭＭＴ（MPEG Media Transport，ＭＰＥＧメディアトランスポート）においても、この上記のＡＬ−ＦＥＣを用いることができる。

非特許文献１には、ＭＭＴについて記載されている。また、非特許文献２には、ＭＭＴにおけるＦＥＣ（前方誤り訂正）について記載されている。

ところで、ＭＭＴにおいてＡＬ−ＦＥＣを用いるためには、誤り訂正符号の方式や、リペアパケットを生成するためのパラメーターについて、送信装置側と受信装置側で交渉し、これらの情報を共有する必要がある。誤り訂正符号の方式とは、例えば、Pro-MPEG方式、Reed-Solomon方式、RaptorQ方式、FF-LDGM方式などである。そのため、非特許文献１には、ＡＬ−ＦＥＣメッセージが規定され、そのメッセージによってＡＬ−ＦＥＣの方式やパラメーターを送信側から受信側に通知する仕組みが規定されている。非特許文献１において規定されているＡＬ−ＦＥＣメッセージでは、非特許文献１および非特許文献２において規定されるＡＬ−ＦＥＣの方式やパラメーターを全て指定することができる。さらに、ＡＬ−ＦＥＣメッセージでは、それらのパラメーター等が時々刻々と変化する場合にも、パラメーター等を指定できるようになっている。

ISO/IEC 23008-1:2014，Information technology -- High efficiency coding and media delivery in heterogeneous environments -- Part 1: MPEG media transport (MMT)，Edition 1，２０１４年６月１日 ISO/IEC 23008-10:2015，Information technology -- High efficiency coding and media delivery in heterogeneous environments -- Part 10: MPEG Media Transport Forward Error Correction (FEC) codes，Edition 1，２０１５年４月１５日

非特許文献１において規定されているＡＬ−ＦＥＣメッセージは、ＭＭＴの制御情報としての構造を有する。したがって、ＡＬ−ＦＥＣメッセージは、映像や音声を伝送するＭＭＴＰパケットや、ＭＭＴの制御情報であるＰＡメッセージやＭ２セクションメッセージと同じレベルのＭＭＴＰフローで伝送されるようになっている。なお、ここで、ＭＭＴＰとは、ＭＭＴプロトコルである。また、ＰＡメッセージとは、ＭＭＴ−ＳＩに含まれるパッケージアクセスメッセージである。また、Ｍ２セクションメッセージとは、ＭＰＥＧ−２セクション形式のテーブルを運ぶためのメッセージである。また、ＭＭＴＰフローとは、送信元と受信先が同一であるＭＭＴパケットの流れのことである。

つまり、誤り訂正符号の方式やリペアパケットを生成するためのパラメーターを通知するためのＡＬ−ＦＥＣメッセージは、他のＭＭＴＰパケットと同一のフローで伝送される。そのため、ＡＬ−ＦＥＣメッセージの伝送自体にはＡＬ−ＦＥＣを用いることができない。つまり、ＡＬ−ＦＥＣメッセージのロスは、訂正されない。したがって、ＡＬ−ＦＥＣメッセージを伝送する際の信頼性を得るためには、ＡＬ−ＦＥＣメッセージを複数回繰り返して送信する必要がある。また、そのため、誤り訂正符号の方式やリペアパケットを生成するためのパラメーターを変更する必要がない場合でさえ、ＡＬ−ＦＥＣメッセージを頻繁に繰り返して送る必要がある。これにより、送信装置側および受信装置側の双方における処理の無駄が生じる。また、これにより、伝送路の利用効率にも無駄が生じる。

本発明は、上記のような事情を考慮して為されたものであり、ＭＭＴフローを流れるＡＬ−ＦＥＣメッセージを使用することなく、ＡＬ−ＦＥＣの設定を行うことのできる、送信装置、受信装置、送受信システム、プログラム、およびチップを提供しようとするものである。

［１］上記の課題を解決するため、本発明の一態様による送信装置は、受信したセットアップリクエストのメッセージの記述に基づいて、ＡＬ−ＦＥＣにおける符号化方式と前記符号化方式におけるパラメーターとを設定するＡＬ−ＦＥＣ設定部と、供給されるソースデータに基づいてＭＭＴＰで送信するためのソースパケットを生成し、前記ＡＬ−ＦＥＣ設定部によって設定された前記符号化方式と前記符号化方式におけるパラメーターとによる誤り訂正符号化処理を実行することによって、前記ソースパケットに基づくリペアパケットを生成する誤り訂正符号化部と、誤り訂正符号化部によって生成された前記ソースパケットと前記リペアパケットとを送信する送信部と、を具備し、前記セットアップリクエストのメッセージを、前記ソースパケットおよび前記リペアパケットを送信するＭＭＴフロー以外のフローで受信する、ことを特徴とする。

［２］また、本発明の一態様は、上記の送信装置において、前記セットアップリクエストのメッセージをＲＴＳＰで受信する、ことを特徴とする。

［３］また、本発明の一態様による受信装置は、ＡＬ−ＦＥＣにおける符号化方式と前記符号化方式におけるパラメーターの記述を含むセットアップリクエストのメッセージの送信処理を実行するとともに、前記セットアップリクエストに対応して受信したセットアップレスポンスのメッセージに基づいてＡＬ−ＦＥＣにおける符号化方式と前記符号化方式におけるパラメーターとを設定するＡＬ−ＦＥＣ設定部と、ＡＬ−ＦＥＣによって誤り訂正符号化されたソースパケットとリペアパケットとをＭＭＴＰで受信する受信部と、前記ＡＬ−ＦＥＣ設定部によって設定された前記符号化方式と前記符号化方式におけるパラメーターとにしたがって、前記受信部が受信した前記ソースパケットと前記リペアパケットに基づく誤り訂正処理を行うことによって元のソースデータを復元する復元部と、を具備し、前記セットアップリクエストのメッセージの送信および前記セットアップレスポンスのメッセージの受信を、前記ソースパケットおよび前記リペアパケットを受信するＭＭＴフロー以外のフローで行う、ことを特徴とする。

［４］また、本発明の一態様は、上記の送信装置において、前記セットアップリクエストのメッセージの受信と、前記セットアップレスポンスのメッセージの送信とを、ＲＴＳＰで行う、ことを特徴とする。

［５］また、本発明の一態様による送受信システムは、送信装置と受信装置とを含んで構成される送受信システムである。前記送信装置は、前記受信装置から受信したセットアップリクエストのメッセージの記述に基づいて、ＡＬ−ＦＥＣにおける符号化方式と前記符号化方式におけるパラメーターとを設定する送信装置側ＡＬ−ＦＥＣ設定部と、供給されるソースデータに基づいてＭＭＴＰで送信するためのソースパケットを生成し、前記送信装置側ＡＬ−ＦＥＣ設定部によって設定された前記符号化方式と前記符号化方式におけるパラメーターとによる誤り訂正符号化処理を実行することによって、前記ソースパケットに基づくリペアパケットを生成する誤り訂正符号化部と、前記誤り訂正符号化部によって生成された前記ソースパケットと前記リペアパケットとを送信する送信部と、を具備し、前記セットアップリクエストのメッセージを、前記ソースパケットおよび前記リペアパケットを送信するＭＭＴフロー以外のフローで受信する、ものである。前記受信装置は、ＡＬ−ＦＥＣにおける符号化方式と前記符号化方式におけるパラメーターの記述を含むセットアップリクエストのメッセージの送信処理を実行するとともに、前記セットアップリクエストに対応して受信したセットアップレスポンスのメッセージに基づいてＡＬ−ＦＥＣにおける符号化方式と前記符号化方式におけるパラメーターとを設定する受信装置側ＡＬ−ＦＥＣ設定部と、ＡＬ−ＦＥＣによって誤り訂正符号化されたソースパケットとリペアパケットとをＭＭＴＰで受信する受信部と、前記受信装置側ＡＬ−ＦＥＣ設定部によって設定された前記符号化方式と前記符号化方式におけるパラメーターとにしたがって、前記受信部が受信した前記ソースパケットと前記リペアパケットに基づく誤り訂正処理を行うことによって元のソースデータを復元する復元部と、を具備し、前記セットアップリクエストのメッセージの送信および前記セットアップレスポンスのメッセージの受信を、前記ソースパケットおよび前記リペアパケットを受信するＭＭＴフロー以外のフローで行うものである。

［６］また、本発明の一態様は、コンピューターを、上記［１］または［２］に記載の送信装置として機能させるためのプログラムである。

［７］また、本発明の一態様は、コンピューターを、上記［３］または［4］に記載の受信装置として機能させるためのプログラムである。

［８］また、本発明の一態様は、ＡＬ−ＦＥＣにおける符号化方式と前記符号化方式におけるパラメーターの記述を含むセットアップリクエストのメッセージの送信処理を実行するとともに、前記セットアップリクエストに対応して受信したセットアップレスポンスのメッセージに基づいてＡＬ−ＦＥＣにおける符号化方式と前記符号化方式におけるパラメーターとを設定するＡＬ−ＦＥＣ設定部と、ＡＬ−ＦＥＣによって誤り訂正符号化されたソースパケットとリペアパケットとをＭＭＴＰで受信する受信部と、前記ＡＬ−ＦＥＣ設定部によって設定された前記符号化方式と前記符号化方式におけるパラメーターとにしたがって、前記受信部が受信した前記ソースパケットと前記リペアパケットに基づく誤り訂正処理を行うことによって元のソースデータを復元する復元部と、を具備し、前記セットアップリクエストのメッセージの送信および前記セットアップレスポンスのメッセージの受信を、前記ソースパケットおよび前記リペアパケットを受信するＭＭＴフロー以外のフローで行う、ことを特徴とするチップである。

本発明によれば、ＭＭＴフローとは独立なメッセージにより、セッションの開始時に、ＡＬ−ＦＥＣの符号化方式と符号化のパラメーターとを、送信装置と受信装置とが共有する。これにより、ＭＭＴＰによるＡＬ−ＦＥＣメッセージを送る必要がなくなる。つまり、ＡＬ−ＦＥＣの符号化方式と符号化のパラメーターとを設定するためのメッセージを頻繁に送る必要がなくなる。したがって、通信帯域を有効に活用することができる。

本発明の実施形態による送受信システムの装置構成例を示す構成図である。 同実施形態による送信装置の概略機能構成を示す機能ブロック図である。 同実施形態による受信装置の概略機能構成を示す機能ブロック図である。 同実施形態による送信装置と受信装置の間でのＲＴＳＰパケットおよびＭＭＴＰパケットのやりとりの手順の一例を示すシーケンスチャートである。 同実施形態によるＲＴＳＰ ＳＥＴＵＰリクエストのパケットの構成を示す概略図である。 同実施形態によるＲＴＳＰ ＳＥＴＵＰレスポンスのパケットの構成を示す概略図である。 同実施形態による送信装置と受信装置の間での、ＭＭＴＰフローおよびＲＴＳＰフローの全体像を示す概略図である。

次に、図面を参照しながら、本発明の一実施形態について説明する。
本実施形態による送信装置（通信サーバー）は、ソースパケットを送信するとともに、ＡＬ−ＦＥＣによるリペアパケットを送信する。これにより、配信されるデータの品質確保を図る。そして、受信装置が、サービス開始を要求する際に、送信装置に対して送信するＲＴＳＰメッセージを用いて、ＡＬ−ＦＥＣの誤り訂正符号化方式と誤り訂正符号化のパラメーターを送信装置に通知する。なお、ＡＬ−ＦＥＣは、Application Layer-Forward Error Correction（アプリケーション層前方誤り訂正）を表す。また、ＲＴＳＰは、Real Time Streaming Protocol（リアルタイム・ストリーミング・プロトコル）を表す。

図１は、本実施形態による送受信システムの構成を示す概略図である。図示するように、送受信システム１００は、送信装置１と受信装置２とを含んで構成される。送信装置１と受信装置２とは、通信回線で相互に接続されており、これら両装置間でのデータ通信が可能である。通信回線は、有線であっても、無線であっても、有線と無線とを併用したものであってもよい。送信装置１と受信装置２とは、例えば、インターネットプロトコル（ＩＰ）を用いて互いの相手と通信する。送信装置１は、例えば、映像および音声等によるコンテンツを配信するコンテンツ配信サーバー（通信サーバー）である。受信装置２は、例えば、インターネット接続されたテレビ受像機、パーソナルコンピューター（ＰＣ）、タブレット、スマートフォン(スマホ）、ウェアラブルな情報端末などといった装置である。なお、コンテンツデータは、基本的に、送信装置１の側から受信装置２の側へと送信される。また、コンテンツの配信に関する制御情報は、送信装置１から受信装置２へ、あるいは受信装置２から送信装置１へ、双方向に送信可能である。なお、同図では、送信装置１と受信装置２とを１台ずつ示しているが、各々の台数は、１台に限定されず、複数であってもよい。なお、複数の装置が存在する場合にも、送信装置１と受信装置２との間では、個々に通信のためのセッションが確立される。

図２は、送信装置１の概略機能構成を示す機能ブロック図である。図示するように、送信装置１は、映像アセット供給部１２と、音声アセット供給部１４と、字幕アセット供給部１６と、多重化部２１と、誤り訂正符号化部２３と、ＡＬ−ＦＥＣ設定部２５（送信装置側ＡＬ−ＦＥＣ設定部）と、ＲＴＳＰ処理部２７と、送信部３１とを含んで構成される。
ここで、ＭＭＴＰは、MPEG media transport protocol（ＭＰＥＧメディア・トランスポート・プロトコル）を表す。なお、ＭＰＥＧ（エムペグ）は、Moving Picture Experts Group（動画専門家集団）を表す。

映像アセット供給部１２は、映像のデータを供給する。映像アセット供給部１２が供給する映像は、適宜、所定の符号化方法により符号化されたものである。
音声アセット供給部１４は、音声のデータを供給する。音声アセット供給部１４が供給する音声は、適宜、所定の符号化方法により符号化されたものである。
字幕アセット供給部１６は、字幕のデータを供給する。字幕アセット供給部１６が供給する字幕データは、例えば、ＴＴＭＬ（タイムドテキストマークアップ言語）など、所定の書式を用いて記述されたデータである。
なお、映像と音声と字幕以外のデータを供給する供給部がさらに存在していてもよい。

多重化部２１は、映像アセット供給部１２から供給される映像のデータと、音声アセット供給部１４から供給される音声のデータと、字幕アセット供給部１６から供給される字幕のデータとを多重化する。また、多重化部２１が、映像と音声と字幕以外のデータの供給を受け、このデータを共に多重化してもよい。多重化部２１は、多重化したデータを１本のまとまった論理的単位として出力する。この論理的単位は、例えば、映像と音声と字幕とからなるコンテンツである。なお、多重化部２１が出力するデータを、ソースデータと呼ぶ。

誤り訂正符号化部２３は、多重化部２１から供給されるソースデータに基づいてＭＭＴＰで送信するためのソースパケットを生成し、ＡＬ−ＦＥＣ設定部２５によって設定された符号化方式とその符号化方式におけるパラメーターとによる誤り訂正符号化処理を実行することによって、ソースパケットに基づくリペアパケットを生成する。より具体的には次の通りである。誤り訂正符号化部２３は、多重化部２１から出力されるデータを基に、ＭＭＴＰで送信するためのパケットを生成する。なお、本実施形態は、ＡＬ−ＦＥＣによる冗長化を行う。つまり、誤り訂正符号化部２３は、多重化部２１から出力されたデータそのものをペイロードとして格納したソースパケットと、ソースパケットから冗長符号化処理（誤り訂正符号化処理）によって得られるリペアパケットとを生成する。冗長符号化処理自体は既存技術によるものであり、適宜、適切な方式を用いた符号化が行われる。なお、誤り訂正符号化部２３は、誤り訂正符号の方式やリペアパケットを生成するためのパラメーターの情報を、ＡＬ−ＦＥＣ設定部２５から得る。つまり、ＡＬ−ＦＥＣ設定部２５において設定されているパラメーター等を用いて、誤り訂正符号化部２３は、誤り訂正符号を生成する。

ＡＬ−ＦＥＣ設定部２５は、受信装置２から受信したセットアップリクエストのメッセージの記述に基づいて、ＡＬ−ＦＥＣにおける符号化方式とその符号化方式におけるパラメーターとを設定する。つまり、ＡＬ−ＦＥＣ設定部２５は、受信装置２側とのやりとり（交渉、ネゴシエーション）に基づいて、ＡＬ−ＦＥＣにおける誤り訂正符号の方式を選択して設定したり、誤り訂正符号およびリペアパケットの生成のための各種パラメーターを決定して設定したりする。ＡＬ−ＦＥＣ設定部２５は、受信装置２から、ＭＭＴフロー以外で受信したセットアップリクエストのメッセージの記述に基づいて、上記の設定を行う。具体的には、ＡＬ−ＦＥＣ設定部２５は、ＲＴＳＰ処理部２７を介して受信装置２側との間で、ＲＴＳＰを用いて上記のやりとりを行う。ＡＬ−ＦＥＣ設定部２５は、設定されている符号化方式や関連するパラメーターの情報を記憶しており、その情報を必要に応じて誤り訂正符号化部２３に供給する。
なお、送信装置１と受信装置２との間における、ＲＴＳＰでのやりとりの手順や、ＡＬ−ＦＥＣにおけるパラメーター等の設定の詳細については、後述する。

ＲＴＳＰ処理部２７は、受信装置２との間の、ＲＴＳＰによる通信のための処理を行う。具体的には、ＲＴＳＰ処理部２７は、ＲＴＳＰのパケットを生成して送信したり、受信されたＲＴＳＰパケットからデータを読み出してＡＬ−ＦＥＣ設定部２５に渡したりする。

送信部３１は、受信装置２との間で通信を行う。送信部３１は、少なくとも、誤り訂正符号化部２３によって生成されたソースパケットとリペアパケットとをＭＭＴで送信する。具体的には、送信部３１は、誤り訂正符号化部２３から渡されるＭＭＴＰパケットを、受信装置２側に送る。また、送信部３１は、ＲＴＳＰ処理部２７から渡されるＲＴＳＰパケットを、受信装置２側に送る。また、送信部３１は、受信装置２側から送信されてきたＲＴＳＰパケットを受信し、ＲＴＳＰ処理部２７に渡す。なお、送信部３１は、下位層のプロトコルとして、例えば、インターネットプロトコルを用いる。

次に、受信装置について説明する。
図３は、受信装置２の概略機能構成を示す機能ブロック図である。図示するように、受信装置２は、受信部４１と、復元部４３と、ＡＬ−ＦＥＣ設定部４５（受信装置側ＡＬ−ＦＥＣ設定部）と、ＲＴＳＰ処理部４７と、分離部４９と、映像アセット処理部５２と、音声アセット処理部５４と、字幕アセット処理部５６とを含んで構成される。

受信部４１は、送信装置１との間で通信を行う。受信部４１は、ＡＬ−ＦＥＣによって誤り訂正符号化されたソースパケットとリペアパケットとを、ＭＭＴＰで受信する。具体的には、受信部４１は、送信装置１から送られるＭＭＴＰパケットを受信する。そして、受信部４１は、受信したＭＭＴＰパケットを復元部４３に渡す。前述の通り、ＭＭＴＰで送信されるデータは、ＡＬ−ＦＥＣによって冗長化されている。つまり、受信部４１は、ＭＭＴＰで送られてくるソースパケットとリペアパケットとを受信し、これらソースパケットとリペアパケットとを復元部４３に渡す。また、受信部４１は、ＲＴＳＰ処理部４７から渡されるＲＴＳＰパケットを、送信装置１側に送る。また、受信部４１は、送信装置１側から送信されてきたＲＴＳＰパケットを受信し、ＲＴＳＰ処理部４７に渡す。なお、受信部４１は、下位層のプロトコルとして、例えば、インターネットプロトコルを用いる。

復元部４３は、ＡＬ−ＦＥＣ設定部４５によって設定された符号化方式とその符号化方式におけるパラメーターとにしたがって、受信部４１が受信したソースパケットとリペアパケットに基づく誤り訂正処理を行うことによって、元のソースデータを復元する。つまり、受信部４１からＭＭＴＰパケットを受け取ると、誤り訂正処理を行う。復元部４３は、受信部４１から渡されるソースパケットとリペアパケットとを用いて、誤り訂正符号により、消失したパケットのデータを復元する。これにより、送信装置１と受信装置２との間の伝送路上でソースパケットまたはリペアパケットの一部が消失した場合にも、その消失したパケットに格納されていたデータを復元できる。なお、復元部４３は、ＦＥＣブロック単位で、ソースパケットまたはリペアパケットに基づく誤り訂正処理を行う。また、復元部４３は、誤り訂正符号の方式やリペアパケットを生成するためのパラメーターの情報を、ＡＬ−ＦＥＣ設定部４５から得る。ＡＬ−ＦＥＣ設定部４５は、予め誤り訂正符号の方式や関係するパラメーターの値などを、送信装置１側との交渉によって定めており、そのパラメーター等の情報を保持している。
また、復元部４３は、誤り訂正処理が完了すると、パケット化の際に分割されたデータの並びを復元し、送信装置１側において元々供給されたソースデータ（シンボル列）を分離部４９に渡す。

ＡＬ−ＦＥＣ設定部４５は、ＡＬ−ＦＥＣにおける符号化方式とその符号化方式におけるパラメーターの記述を含むセットアップリクエストのメッセージの送信処理を実行する。また、ＡＬ−ＦＥＣ設定部４５は、セットアップリクエストに対応して受信したセットアップレスポンスのメッセージに基づいてＡＬ−ＦＥＣにおける符号化方式とその符号化方式におけるパラメーターとを設定する。つまり、ＡＬ−ＦＥＣ設定部４５は、送信装置１側とのやりとりに基づいて、ＡＬ−ＦＥＣにおける誤り訂正符号の方式を選択して設定したり、誤り訂正符号およびリペアパケットの生成のための各種パラメーターを決定して設定したりする。なお、セットアップリクエストのメッセージの送信およびセットアップレスポンスのメッセージの受信は、ソースパケットおよびリペアパケットを受信するためのＭＭＴフロー以外のフローで行われる。具体的には、ＡＬ−ＦＥＣ設定部４５は、ＲＴＳＰ処理部４７を介して送信装置１側との間で、ＲＴＳＰを用いて上記のやりとりを行う。ＡＬ−ＦＥＣ設定部４５は、設定されている符号化方式や関連するパラメーターの情報を記憶しており、その情報を必要に応じて復元部４３に供給する。

ＲＴＳＰ処理部４７は、送信装置１との間の、ＲＴＳＰによる通信のための処理を行う。具体的には、ＲＴＳＰ処理部４７は、ＡＬ−ＦＥＣ設定部４５から渡されるデータに基づいてＲＴＳＰのパケットを生成して送信したり、受信されたＲＴＳＰパケットからデータを読み出してＡＬ−ＦＥＣ設定部４５に渡したりする。

分離部４９は、復元部４３によって復元されたデータを受け取り、各アセットのデータに分離する。具体的には、分離部４９は、受け取ったデータを、映像アセットのデータと音声アセットのデータと字幕アセットのデータとに分離する。受け取ったデータにこれら以外のアセットのデータが含まれている場合には、分離部４９は、さらにそのアセットのデータも分離する。そして、分離部４９は、映像アセットのデータを映像アセット処理部５２に渡す。また、分離部４９は、音声アセットのデータを音声アセット処理部５４に渡す。また、分離部４９は、字幕アセットのデータを字幕アセット処理部５６に渡す。

映像アセット処理部５２は、分離部４９から受け取った映像のデータを処理する。例えば、映像アセット処理部５２は、コード化されている映像をデコードして出力する。
音声アセット処理部５４は、分離部４９から受け取った音声のデータを処理する。例えば、音声アセット処理部５４は、コード化されている音声をデコードして出力する。
字幕アセット処理部５６は、分離部４９から受け取った字幕のデータを処理する。例えば、字幕アセット処理部５６は、提示時刻と関連付けられた字幕データを抽出して出力する。

以上、図２と図３とを参照しながら説明したように、送信装置１および受信装置２は、ＲＴＳＰを用いてＡＬ−ＦＥＣの設定を行う。ＲＴＳＰは、ユニキャスト送信の制御を行うプロトコルであり、ＩＥＴＦ ２３２６にて規定されている。なお、ＩＥＴＦは「Internet Engineering Task Force」を表す。ＲＴＳＰは、テキスト形式で任意の文字列を記述することができるため、拡張性が高いという特徴がある。

次に、送信装置１および受信装置２が、ＡＬ−ＦＥＣの符号化方式を選択したり、ＡＬ−ＦＥＣのリペアパケット生成に関するパラメーター等を設定したりするための手順について説明する。
図４は、送信装置１と受信装置２の間でのＲＴＳＰパケットおよびＭＭＴＰパケットのやりとりの手順を示すシーケンスチャートである。なお、同図では、本実施形態に関して重要なパケットのみを示している。
ここでは、受信装置２は、ユーザーの操作等に基づいて、ＭＭＴによる映像や音楽の配信サービスを、送信装置１に対して要求する。ここで、送信装置１は、受信装置２のユーザーが望むコンテンツの配信を行うサーバー装置である。以下、このシーケンスチャートに沿って手順を説明する。

ステップＳ１において、受信装置２は、指定された送信装置１に対して、ＲＴＳＰにおけるＳＥＴＵＰ（セットアップ）リクエストのパケットを送信する。このＳＥＴＵＰリクエストのパケットには、ＡＬ−ＦＥＣの符号化方式および各種パラメーターの情報が含まれる。なお、この、符号化方式および各種パラメーターを総称して、トランスポートパラメーターと呼ぶ。
送信装置１は、このＲＴＳＰのＳＥＴＵＰリクエストを受信する。つまり、受信装置２は、送信装置１に対して、トランスポートパラメーターを通知する。より詳細に見ると、受信装置２におけるＡＬ−ＦＥＣ設定部４５から、送信装置１におけるＡＬ−ＦＥＣ設定部２５に対して、トランスポートパラメーターが通知される。

次に、ステップＳ２において、送信装置１は、ＲＴＳＰのＳＥＴＵＰレスポンスを受信装置２に送信する。このＳＥＴＵＰレスポンスは、送信装置１が受け取ったＳＥＴＵＰリクエストに対応するものである。このＳＥＴＵＰレスポンスは、受信装置２側から要求されたトランスポートパラメーターを用いてＭＭＴＰパケットを送信することを表す情報を含んでいる。つまり、送信装置１は、要求されたトランスポートパラメーターにしたがってＭＭＴＰパケットを受信装置２に送信することを通知する。より詳細に見ると、送信装置１におけるＡＬ−ＦＥＣ設定部２５から、受信装置２におけるＡＬ−ＦＥＣ設定部４５に対して、要求されたトランスポートパラメーターにしたがう旨が通知される。

以上の、ステップＳ１およびＳ２の手順によって、送信装置１側のＡＬ−ＦＥＣ設定部２５と、受信装置２側のＡＬ−ＦＥＣ設定部４５のそれぞれにおいて、両側に共通のパラメーターが設定される。

ステップＳ２において送信装置１がＲＴＳＰ ＳＥＴＵＰレスポンスを受信装置２に送信した後、送信装置１は引き続き、ＭＭＴＰパケットを、受信装置２の宛先ポート番号５００１６に向けて、ＵＤＰによるユニキャストで送信する。
つまり、ステップＳ３と、ステップＳ４と、ステップＳ５の各ステップにおいては、送信装置１が受信装置２に対してＭＭＴＰパケットを順次送信する。これらのＭＭＴＰパケットは、ステップＳ１およびＳ２において送信装置１側と受信装置２側とで合意したパラメーターにしたがって、ＡＬ−ＦＥＣによって誤り訂正符号化されたものである。なお、このシーケンスチャートではステップＳ５までの手順のみを示し、その後の手順を省略しているが、その後も、送信装置１から受信装置２に引き続きＭＭＴＰパケットを順次送ることができる。
また、送信装置１と受信装置２との間で再度、ＲＴＳＰ ＳＥＴＵＰリクエストおよびＲＴＳＰ ＳＥＴＵＰレスポンスのやり取りをすることにより、ＡＬ−ＦＥＣのためのトランスポートパラメーターを再設定することもできる。つまり、ＡＬ−ＦＥＣのためのトランスポートパラメーターを、適宜、変更することもできる。

図５は、上記のＲＴＳＰ ＳＥＴＵＰリクエストパケットの構成を示す概略図である。ＲＴＳＰのＳＥＴＵＰリクエストは、同図に示すようなテキストの形式で記述される。ＳＥＴＵＰリクエストパケットに含まれる情報について、以下で詳細に説明する。

第１行目の先頭の「ＳＥＴＵＰ」は、このパケットがＳＥＴＵＰリクエストパケットであることを表す。
第１行目の次の「rtsp://service.example.co.jp/mmt_test/video」は、メディアストリームを示すＵＲＬ（ユニフォーム・リソース・ロケーター）である。
第２行目の「CSeq: 1」は、CSeqパラメーターの値が１であることを表す。CSeqパラメーターは、ＲＴＳＰパケットのシーケンス番号であり、1ずつインクリメントされるものである。
第３行目の「Transport: MMTP/UDP,unicast,client_port=50016」は、トランスポート指定子である。
このうち、第３行目における「MMTP/UDP」は、ストリーミング伝送に用いるプロトコルを指定するものである。ここでは、ＭＭＴＰとＵＤＰとを用いることが指定されている。ここで、ＵＤＰは、User Datagram Protocol（ユーザー・データグラム・プロトコル）を表す。ＵＤＰはトランスポート層のプロトコルであり、ＵＤＰ自体は送達確認や誤り訂正などを行わない。
また、第３行目における「unicast」は、ブロードキャストではなくユニキャストによるストリーミングを指定するものである。
また、第３行目における「port=50016」は、受信装置２側のポート番号を指定するものである。つまり、ストリーミングデータを、受信装置２の５００１６番のポート宛てに送信するよう要求するものである。

第４行目は、ＡＬ−ＦＥＣに関するパラメーターを記述している。
第４行目の「FEC_Code = Pro-MPEG 2D FEC」は、誤り訂正符号の方式を指定するものである。具体的には、この記述（FEC_Codeパラメーター）は、ＡＬ−ＦＥＣの方式として、Pro-MPEG 2D FECを用いてリペアパケットを生成し送信することを指定している。つまり、受信装置２が、送信装置１に対して、Pro-MPEG 2D FECを用いたリペアパケットの送信を要求していることを表す。なお、「2D FEC」とは、縦および横の２次元の前方誤り訂正符号を表す。
第４行目の「L*D=10*10」は、リペアパケットの生成に関するパラメーターの指定である。ここで、Ｌは、横方向のソースパケットの個数を表す。また、Ｄは、縦方向のソースパケットの個数を表す。つまり、ここでの「L*D=10*10」という記述は、横方向に１０個のソースパケット（Ｌ＝１０）、また縦方向に１０個のソースパケット（Ｄ＝１０）という構造を有する２Ｄ ＦＥＣを指定している。つまり、受信装置２が、送信装置１に対して、縦・横が１０×１０の構造の２Ｄ ＦＥＣを要求していることを表す。

なお、Pro-MPEG 2Dによるリペアパケットの生成方法自体は、既存の技術である。

図５では、ＲＴＳＰ ＳＥＴＵＰリクエストにおいて指定される誤り訂正符号化の方式として、Pro-MPEG 2D FECが指定される場合を例示した。誤り訂正符号化の方式としては、他の方式を指定することも可能である。一例として、誤り訂正符号化の方式として
FF-LDGMを指定することも可能である。なお、ＬＤＧＭは「Low Density Generator Matrix」（低密度生成行列）を表す。FF-LDGMを指定する場合には、２次元の生成行列のサイズ（列数×行数）を、パラメーターとして記述するようにする。あるいは、生成行列のサイズのパターンをいくつか予め定めておき、そのパターンを識別する情報を、パラメーターとして記述するようにする。この場合、パターンを識別する情報としては、予め「Pattern 1」、「Pattern 2」などといったラベルを付与しておき、これを指定するようにする。

図６は、上記のＲＴＳＰ ＳＥＴＵＰレスポンスパケットの構成を示す概略図である。ＲＴＳＰのＳＥＴＵＰレスポンスは、同図に示すようなテキストの形式で記述される。ＳＥＴＵＰレスポンスパケットに含まれる情報について、以下で詳細に説明する。

第１行目の「CSeq: 2」は、CSeqパラメーターの値が２であることを表す。CSeqパラメーターは、前述の通り、ＲＴＳＰパケットのシーケンス番号である。
第２行目の「Session: 12345678」は、送信装置１が割り当てたセッション識別番号が「１２３４５６７８」であることを表す。セッション識別番号は、送信装置１によって割り当てられたセッションごとに固有の番号であり、個々のＭＭＴによる配信サービスを識別するために用いられるものである。
第３行目の「Transport: MMTP/UDP,unicast,client_port=50016」は、トランスポート指定子である。このトランスポート指定子は、受信装置２から送信装置１に送られたＳＥＴＵＰリクエストにおいて指定されたトランスポート指定子と同一の値を持つ。即ち、この指定子は、使用されるプロトコルがＭＭＴＰおよびＵＤＰであり、ユニキャストによる伝送であり、クライアント側（受信装置２側）のポート番号が「５００１６」であることを表す。

第４行目の「FEC_Code = Pro-MPEG 2D FEC,L*D=10*10」は、ＡＬ−ＦＥＣによる誤り訂正符号化に関するトランスポートパラメーターを表す。このトランスポートパラメーターは、受信装置２から送信装置１に送られたＳＥＴＵＰリクエストにおいて指定されたトランスポートパラメーターと同一の値を持つ。つまり、この第４行目のデータは、ＡＬ−ＦＥＣによる符号化方式として「Pro-MPEG 2D FEC」が用いられ、リペアパケットの生成において横方向のソースパケット数が１０であり縦方向のソースパケット数が１０であることを表す。つまり、送信装置１が受信装置２からのＳＥＴＵＰリクエストで要求されたパラメーターを承諾し、そのパラメーターにしたがってＭＭＴＰパケットの伝送が行われることを表す。
なお、受信装置２側からのＳＥＴＵＰリクエストにおいて要求された誤り訂正符号化方式が「Pro-MPEG 2D FEC」以外の方式であった場合には、この送信装置１側からのＳＥＴＵＰレスポンスにおいても、その誤り訂正符号化方式を示す情報が返される。

図５に例示したＲＴＳＰ ＳＥＴＵＰリクエスト、および図６に例示したＲＴＳＰ ＳＥＴＵＰレスポンスがやりとりされた場合、図４で示した手順のステップＳ３，Ｓ４，Ｓ５では、「Pro-MPEG 2D FEC」を用いたＭＭＴＰパケットが伝送される。

図７は、本実施形態による送信装置１と受信装置２の間での、ＭＭＴＰフローおよびＲＴＳＰフローの全体像を示す概略図である。これらのフローの左側が送信装置１側であり、右側が受信装置２側である。なお、同図では、送信装置１と受信装置２自体を省略して示している。図示するように、ＭＭＴＰフローで伝送されるＭＭＴＰパケットは、映像のデータや、音声のデータや、ＰＡメッセージや、Ｍ２セクションメッセージなどのデータを格納し、運んでいる。ＭＭＴＰフロー内では、ＡＬ−ＦＥＣの設定を行うための制御情報は伝送されない。そして、ＲＴＳＰフローにおいて、ＡＬ−ＦＥＣの設定を行うための制御情報が伝送される。即ち、前述したＲＴＳＰ ＳＥＴＵＰリクエストのデータやＲＴＳＰ ＳＥＴＵＰレスポンスのデータは、ＲＴＳＰフロー内で伝送される。

このように本実施形態では、ＡＬ−ＦＥＣ設定をＭＭＴＰフローの外で行う。これにより、送信装置１および受信装置２は、ＭＭＴＰフローそのものからは独立に、ＭＭＴＰにおけるＡＬ−ＦＥＣのトランスポートパラメーター等の設定を行うことが可能となる。つまり、本実施形態は、ＭＭＴＰフローを流れるＡＬ−ＦＥＣメッセージを使用することなく、ＡＬ−ＦＥＣの設定を行う、という課題を解決している。
そして、このように設定されたＡＬ−ＦＥＣを利用して、受信装置２は、所望の設定によりＭＭＴのサービスを受けることができる。

［変形例］
上記の実施形態では、映像と音声と字幕とを多重化してＭＭＴで伝送するための送信装置および受信装置を説明した。しかし、ＭＭＴで伝送されるデータ（ペイロード）の種類は、映像と音声と字幕の組み合わせには限らない。
即ち、ある変形例では、送信装置は、映像と音声と字幕のいずれか一部のみを多重化して、ＡＬ−ＦＥＣを用いたＭＭＴで送信する。また、対応する受信装置は、そのような送信装置から送られるデータを受信し、処理する。このとき、送信装置と受信装置の各々は、伝送するデータの種別に応じた機能で構成される。
また、別の変形例では、送信装置は、映像や音声や字幕以外のデータを、ＡＬ−ＦＥＣを用いたＭＭＴで送信する。また、それに対応する受信装置は、そのような送信装置から送られるデータを受信し、処理する。このときも、送信装置と受信装置の各々は、伝送するデータの種別に応じた機能で構成される。

なお、上述した実施形態およびその変形例における、送信装置１内の少なくとも誤り訂正符号化部２３とＡＬ−ＦＥＣ設定部２５とを含む機能を、半導体集積回路のチップとして実装しても良い。そして、さらに、送信装置１内のＲＴＳＰ処理部２７の機能を当該チップ上に実装してもよい。またさらに送信装置１内の他の機能部を当該チップ上に実装してもよい。
また、同様に、受信装置２内の少なくとも復元部４３とＡＬ−ＦＥＣ設定部４５とを含む機能を、半導体集積回路のチップとして実装しても良い。さらに、受信装置２内のＲＴＳＰ処理部４７の機能を当該チップ上に実装してもよい。またさらに、受信装置２内の他の機能部を当該チップ上に実装してもよい。
チップは、微細加工技術を用いて、多数の素子を有する電子回路を実現したものである。また、チップは、パッケージ化され、電力供給や信号入出力のためのリード線が設けられている。また、半導体集積回路のチップを実現する手法の一つとして、ＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ，Field Programmable Gate Array）を用いて、上述した機能を設定するようにしても良い。

なお、上述した実施形態及びその変形例における送信装置や受信装置の機能の少なくとも一部をコンピューターで実現するようにしても良い。その場合、これらの機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、メディアデータを配信するための送信装置および受信装置に利用可能である。また、そういった送信装置および受信装置を実現するためのチップや、プログラムに利用可能である。また、そういった送信装置および受信装置を用いた、通信事業やコンテンツ配信事業等に利用可能である。

１ 送信装置（通信サーバー）
２ 受信装置
１２ 映像アセット供給部
１４ 音声アセット供給部
１６ 字幕アセット供給部
２１ 多重化部
２３ 誤り訂正符号化部
２５ ＡＬ−ＦＥＣ設定部（送信装置側ＡＬ−ＦＥＣ設定部）
２７ ＲＴＳＰ処理部
３１ 送信部
４１ 受信部
４３ 復元部
４５ ＡＬ−ＦＥＣ設定部（受信装置側ＡＬ−ＦＥＣ設定部）
４７ ＲＴＳＰ処理部
４９ 分離部
５２ 映像アセット処理部
５４ 音声アセット処理部
５６ 字幕アセット処理部
１００ 送受信システム

Claims (8)

1. 受信したセットアップリクエストのメッセージの記述に基づいて、ＡＬ−ＦＥＣにおける符号化方式と前記符号化方式におけるパラメーターとを設定するＡＬ−ＦＥＣ設定部と、
   映像と音声とを含んで供給されるソースデータに基づいてＭＭＴＰで送信するためのソースパケットを生成し、前記ＡＬ−ＦＥＣ設定部によって設定された前記符号化方式と前記符号化方式におけるパラメーターとによる誤り訂正符号化処理を実行することによって、前記ソースパケットに基づくリペアパケットを生成する誤り訂正符号化部と、
   誤り訂正符号化部によって生成された前記ソースパケットと前記リペアパケットとをＭＭＴＰで送信する送信部と、
   を具備し、
   前記セットアップリクエストのメッセージを、ＲＴＳＰで、受信装置からのサービス開始の要求の際に、受信する、
   ことを特徴とする送信装置。
2. 前記セットアップリクエストのメッセージは、トランスポート指定子でＭＭＴＰを指定する、
   ことを特徴とする請求項１に記載の送信装置。
3. ＡＬ−ＦＥＣにおける符号化方式と前記符号化方式におけるパラメーターの記述を含むセットアップリクエストのメッセージの送信処理を実行するとともに、前記セットアップリクエストに対応して受信したセットアップレスポンスのメッセージに基づいてＡＬ−ＦＥＣにおける符号化方式と前記符号化方式におけるパラメーターとを設定するＡＬ−ＦＥＣ設定部と、
   ＡＬ−ＦＥＣによって誤り訂正符号化されたソースパケットとリペアパケットとをＭＭＴＰで受信する受信部と、
   前記ＡＬ−ＦＥＣ設定部によって設定された前記符号化方式と前記符号化方式におけるパラメーターとにしたがって、前記受信部が受信した前記ソースパケットと前記リペアパケットに基づく誤り訂正処理を行うことによって映像と音声とを含む元のソースデータを復元する復元部と、
   を具備し、
   前記セットアップリクエストのメッセージの送信および前記セットアップレスポンスのメッセージの受信を、ＲＴＳＰで、サービス開始の要求の際に、行う、
   ことを特徴とする受信装置。
4. 前記セットアップリクエストのメッセージは、トランスポート指定子でＭＭＴＰを指定する、
   ことを特徴とする請求項３に記載の受信装置。
5. 送信装置と受信装置とを含んで構成される送受信システムであって、
   前記送信装置は、
   前記受信装置から受信したセットアップリクエストのメッセージの記述に基づいて、ＡＬ−ＦＥＣにおける符号化方式と前記符号化方式におけるパラメーターとを設定する送信装置側ＡＬ−ＦＥＣ設定部と、
   映像と音声とを含んで供給されるソースデータに基づいてＭＭＴＰで送信するためのソースパケットを生成し、前記送信装置側ＡＬ−ＦＥＣ設定部によって設定された前記符号化方式と前記符号化方式におけるパラメーターとによる誤り訂正符号化処理を実行することによって、前記ソースパケットに基づくリペアパケットを生成する誤り訂正符号化部と、
   前記誤り訂正符号化部によって生成された前記ソースパケットと前記リペアパケットとをＭＭＴＰで送信する送信部と、
   を具備し、
   前記セットアップリクエストのメッセージを、ＲＴＳＰで、受信装置からのサービス開始の要求の際に、受信する、ものであり、
   前記受信装置は、
   ＡＬ−ＦＥＣにおける符号化方式と前記符号化方式におけるパラメーターの記述を含むセットアップリクエストのメッセージの送信処理を実行するとともに、前記セットアップリクエストに対応して受信したセットアップレスポンスのメッセージに基づいてＡＬ−ＦＥＣにおける符号化方式と前記符号化方式におけるパラメーターとを設定する受信装置側ＡＬ−ＦＥＣ設定部と、
   ＡＬ−ＦＥＣによって誤り訂正符号化されたソースパケットとリペアパケットとをＭＭＴＰで受信する受信部と、
   前記受信装置側ＡＬ−ＦＥＣ設定部によって設定された前記符号化方式と前記符号化方式におけるパラメーターとにしたがって、前記受信部が受信した前記ソースパケットと前記リペアパケットに基づく誤り訂正処理を行うことによって映像と音声とを含む元のソースデータを復元する復元部と、
   を具備し、
   前記セットアップリクエストのメッセージの送信および前記セットアップレスポンスのメッセージの受信を、ＲＴＳＰで、サービス開始の要求の際に、行う、
   ことを特徴とする送受信システム。
6. コンピューターを、請求項１または２に記載の送信装置として機能させるためのプログラム。
7. コンピューターを、請求項３または４に記載の受信装置として機能させるためのプログラム。
8. ＡＬ−ＦＥＣにおける符号化方式と前記符号化方式におけるパラメーターの記述を含むセットアップリクエストのメッセージの送信処理を実行するとともに、前記セットアップリクエストに対応して受信したセットアップレスポンスのメッセージに基づいてＡＬ−ＦＥＣにおける符号化方式と前記符号化方式におけるパラメーターとを設定するＡＬ−ＦＥＣ設定部と、
   ＡＬ−ＦＥＣによって誤り訂正符号化されたソースパケットとリペアパケットとをＭＭＴＰで受信する受信部と、
   前記ＡＬ−ＦＥＣ設定部によって設定された前記符号化方式と前記符号化方式におけるパラメーターとにしたがって、前記受信部が受信した前記ソースパケットと前記リペアパケットに基づく誤り訂正処理を行うことによって映像と音声とを含む元のソースデータを復元する復元部と、
   を具備し、
   前記セットアップリクエストのメッセージの送信および前記セットアップレスポンスのメッセージの受信を、ＲＴＳＰで、サービス開始の要求の際に、行う、
   ことを特徴とするチップ。

Images