JPWO2005027439A1

JPWO2005027439A1 - メディアストリームのマルチキャスト配信方法及び装置

Info

Publication number: JPWO2005027439A1
Application number: JP2005513936A
Authority: JP
Inventors: 洋明出井
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2003-09-12
Filing date: 2004-09-13
Publication date: 2007-11-08
Also published as: KR100860734B1; US20070033609A1; EP1675318A4; WO2005027439A1; EP1675318A1; KR20060096019A

Abstract

複数のメディアストリームを送信するメディアストリーム送信装置は、それぞれのメディアストリームを伝達する情報単位の複数を１つのパケットに結合するパケット組立部と、パケットをマルチキャスト送信するマルチキャストパケット送信部と、を有する。メディアストリーム受信装置は、マルチキャスト対応のルータを有するネットワークを介してメディアストリーム送信装置に接続し、マルチキャストパケットを受信するマルチキャストパケット受信部と、受信したパケットから、再生すべき情報要素を１つもしくは複数抽出する情報要素抽出部と、取り出した情報要素を再生する再生部と、を有する。

Description

本発明は、マルチメディアストリームをマルチキャスト配信する方法及び装置に関し、特に、多数のマルチメディアストリームを多数の受信者に配信する場合でも、配信サーバ、経路中のノード及びリンクでの負荷の増加量を小さく抑えることを可能とした方法及び装置に関する。

近年、映画の配信、スポーツ試合の実況中継、コンサートの実況中継など、ブロードバンドネットワークを使用したマルチメディアストリームの配信の利用量が急激に増加している。各視聴者宅へのＡＤＳＬ（ａｓｙｎｃｈｒｏｎｏｕｓｄｉｇｉｔａｌｓｕｂｓｃｒｉｂｅｒｌｉｎｅ）や光ファイバの普及により、いわゆるラスト１マイルの問題は解決しつつあり、これがマルチメディアストリームの配信量の増加の傾向をさらに進める要因となっている。このような配信量の増加に伴って、サービスを提供する配信サーバやネットワークの負荷が増大し、大規模な配信を行うための番組提供者側の設備投資負担が大きくなりつつある。今後、さらにメディアストリーム配信の番組数を増やし、サービスを提供を受ける受信者を増やすためには、メディアストリーム配信を効率的に行うことが必要となる。

メディアストリームの配信に最も基本的な方法は、送信者が、必要なメディアストリームの情報を受信者ごとに組立て、その情報をユニキャストパケットとして受信者側に送信し、受信者が、そのユニキャストパケットを受信してメディアストリームを再生する方法である。この方法は、送信者およびネットワークが、提供するメディアストリームの種類の数や同時に受信する受信者の数に対して、十分な能力を持つ場合に有効である。

しかし、提供するメディアストリームの種類の数や、同時に受信する受信者の数が大きくなると、配信に係わる送信者およびネットワークの負荷がそれに比例して大きくなり、その結果、提供するメディアストリームの種類の数や、同時に受信する受信者の数に制限が生じる。

このような問題を解決する方策として、特開２０００−１１８８４１号公報（ＪＰ，Ｐ２０００−１１８８４１Ａ）には、番組ごとにマルチキャストアドレスを割り当て、同じ番組を視聴する受信者に対してマルチキャストによってその番組を配信する技術が開示されている。

上述した従来のメディアストリーム配信技術では、番組の視聴者ごと、あるいは、圧縮方法や圧縮率の異なるメディアストリームごとに、さらにはそのようなメディアストリームの組合せごとに、パケットを生成する必要がある。そのため、番組数が増加したり、同じ番組でも受信者が異なる時刻に受信したり、受信側の端末に合わせて圧縮方法や圧縮率の異なるメディアストリームの配信が必要になるにつれて、配信サーバの負荷が増大する。生成されるパケットはネットワーク上で中継されるので、ネットワークでの経路上にあるノードの負荷も増大する。さらに、同じ内容を含む複数のパケットがあることやパケットごとにヘッダが付与されるために、必要となる帯域が増大し、ネットワーク上の途中経路にあるリンクの負荷も増大する。完全なデータ受信が必要な場合には、伝送路の途中においてメディアストリームにデータ誤りもしくは欠落を生じたときには、当該データの再送が必要となるので、この再送を考慮すると、必要となる帯域がさらに増大する。

このように、従来のメディアストリーム配信では、番組数やメディアストリーム受信装置の増加に伴って、メディアストリーム送信装置を多数設置したり、ネットワークを構成するルータを高性能化したり、ルータや装置間のリンクを高速化したりする必要がある。

本発明の目的は、複数の番組やメディアストリームを、マルチキャストにより効率的に配信する方法を提供することにある。

本発明の別の目的は、複数の番組やメディアストリームを、マルチキャストにより効率的に装置する方法を提供することにある。

本発明に基づけば、複数のメディアストリームを送信するメディアストリーム送信方法は、それぞれのメディアストリームを伝達する情報単位の複数を１つのパケットに結合するステップと、パケットをマルチキャスト送信するステップと、を有する。

本発明に基づけば、メディアストリームを受信するメディアストリーム受信方法は、マルチキャストで配信されたパケットを受信するステップと、受信したパケットから再生すべき情報要素を１つもしくは複数抽出するステップと、取り出した情報要素を再生するステップと、を有する。

本発明に基づけば、複数のメディアストリームを送信するメディアストリーム送信装置は、それぞれのメディアストリームを伝達する情報単位の複数を１つのパケットに結合する手段と、パケットをマルチキャスト送信する手段と、を有する。

本発明に基づけば、メディアストリームの受信を行うメディアストリーム受信装置は、マルチキャストで配信されたパケットを受信する手段と、受信したパケットから、再生すべき情報要素を１つもしくは複数抽出する手段と、取り出した情報要素を再生する手段と、を有する。

本発明に基づけば、メディアストリーム配信方法は、本発明のメディアストリーム送信方法によってマルチキャストパケットを送信するステップと、マルチキャスト機能を有するネットワークによってマルチキャストパケットを配信するステップと、本発明のメディアストリーム受信方法によって、マルチキャストパケットを受信するステップと、を有する。

本発明に基づけば、メディアストリーム配信システムは、本発明のメディアストリーム送信装置と、本発明のメディアストリーム受信装置と、１つ以上のマルチキャスト対応ルータで構成されたネットワークと、を備える。

本発明によれば、メディアストリーム送信装置において、それぞれの端末向けにパケットを編集する必要がなく、ただ１つのマルチキャストパケットを編集すればよい。言い換えれば、メディアストリーム受信装置数やそれぞれの端末が視聴する番組やメディアの組み合わせによって異なる編集をする必要がないため、複数の番組、もしくは１つの番組であってもメディアストリームやメディアストリームの組み合わせ、符号化方法が異なるメディアストリームの配信を多数の受信者に提供する場合において、メディアストリームの送信装置の負荷を軽減できる。

また、本発明では、受信するパケット数および次ホップのルータに転送するパケット数が少なくなって、ルータの処理能力の限界を決定する支配項である単位時間当たりの処理パケット数が少なくなり、ネットワークを構成する各ルータなどの中継装置の負荷を軽減することができる。本発明では、パケットヘッダ総量が少なくなっていることと、受信者に合わせて同じ情報単位を含む複数のパケットを生成し伝送する必要がなくなっていることから、各装置とルータの間およびルータ相互間にあるリンクの負荷が軽減される。

本発明の第１の実施形態によるメディアストリーム配信システムの構成を示すブロック図である。マルチキャストパケットの構成例を示す図である。同じ内容を異なる符号化手法を用いて符号化するための構成を説明する図である。時間差を付けて同じ内容を配信する際の構成を説明する図である。秘匿化部を有するメディアストリーム配信システムを示すブロック図である。マルチキャストパケットの構成例を示す図である。送信装置と受信装置との間で整合が必要となる各種のパラメータを決定する処理を説明する図である。パケットのフォーマット例を示す図である。パケットのフォーマット例を示す図である。パケットのフォーマット例を示す図である。パケットのフォーマット例を示す図である。パケットのフォーマット例を示す図である。誤り訂正機能を有するメディアストリーム配信システムの構成を示すブロック図である。マルチキャストパケットの構成例を示す図である。送信装置と受信装置との間で整合が必要となる各種のパラメータを決定する処理を説明する図である。

ここで、「メディアストリーム」とは、配信の基本となる単位であり、１つもしくは複数のメディアからなり、同じ符号化手段によって符号化され、一連のまとまった表現を伝達するもので、例えば、一連の画像や音声をある符号化方法によって符号化した情報の単位である。一例を挙げれば、映画の動画映像、映画の音声、コンサートの音声、コンサートの動画像などは、いずれもメディアストリームである。同じ動画映像であっても、異なる符号化方法によって符号化されたものは、異なるメディアストリームである。

「情報単位」とは、１つのメディアストリームの一部を構成する要素であって、処理や伝送の単位となるものである。また、複数の情報単位を１つにまとめて、新たな情報単位とすることも可能である。例えば、音声であれば、一定周期でサンプリングを行ったＰＣＭ（ｐｕｌｓｅｃｏｄｅｍｏｄｕｌａｔｉｏｎ）データおよびそれを一定サンプリング数集めた音声パケットは情報単位であり、それらのＰＣＭデータや音声パケットの圧縮単位、ならびにそのような圧縮単位を複数個まとめたものなども情報単位である。また、画像であれば、１つのフレーム、隣接するフレームの差分情報、およびそれらの集合または部分などが情報単位である。さらに、情報単位には、再生処理や伝送制御に必要な情報、およびそのデータ長を含むこともある。

「番組」とは、配信サービスの基本となる単位であり、１つもしくは複数のメディアストリームから構成されるものである。例えば、映画においては動画像のメディアストリームと、音声のメディアストリームのペアが１つの番組を構成する。また、例えば映画において、１つの動画像のメディアストリームに２ヶ国語の音声のメディアストリームがある場合、動画像のメディアストリームと一ヶ国語のメディアストリームをあわせて１つの番組とするが、語学の学習などのために、動画像のメディアストリームと複数の音声のメディアストリームを１つの番組とすることも可能である。

《第１の実施形態》
図１Ａは、本発明の第１の実施形態のメディアストリーム配信システムを示している。この配信システムは、メディアストリーム送信装置１００と、メディアストリーム受信装置１４０〜１４５と、メディアストリーム送信装置１００とメディアストリーム受信装置１４０〜１４５を接続するネットワーク１３０と、から構成されている。ネットワーク１３０内には、マルチキャスト対応のルータ１３１〜１３４が配置している。メディアストリーム送信装置１００はルータ１３１に接続され、メディアストリーム受信装置１４０、１４１はルータ１３２に接続され、メディアストリーム受信装置１４２、１４３はルータ１３３に接続され、メディアストリーム受信装置１４４、１４５はルータ１３３に接続され、ルータ１３１は、ルータ１３２〜１３４と接続されている。

メディアストリーム送信装置１００は、各種のメディアストリームを１つのパケットに結合し、そのパケットをネットワーク１３０に対してマルチキャスト配信するものである。メディアストリーム送信装置１００は、それぞれのメディアストリームを伝達する複数の情報単位１１４〜１１４、１２５〜１２７を１つのパケットに結合するパケット組立部１０１と、パケット組立部１０１で組み立てられたパケットをネットワーク１３０に対してマルチキャスト送信するマルチキャストパケット送信部１０２と、を備えている。パケット組立部１０１は、情報単位の属する番組を識別する情報、情報単位の属するメディアストリームのメディアの種類、情報単位の属するメディアストリームの符号化情報のうちの少なくとも１つの情報をパケットに付加するようにしてもよい。マルチキャストを実施するための構成としては、当業者に公知のものを使用できる。

本実施形態において、複数の情報単位は、（ａ）１つの番組を構成している異なるメディアストリームの構成要素である、互いに異なる複数の情報単位、（ｂ）異なる番組を構成している異なるメディアストリームの構成要素である、互いに異なる複数の情報単位、（ｃ）互いに異なるメディア種別のメディアストリームの構成要素である、互いに異なる複数の情報単位、（ｄ）同じ内容を互いに異なる複数の方法で符号化した、互いに異なる複数の情報単位、（ｅ）同じ内容を同じ符号化方式により、異なる複数の圧縮率で符号化した、互いに異なる複数の情報単位、（ｆ）時間差をもって配信される、互いに異なる複数の情報単位、（ｇ）異なる秘匿化がなされた、互いに異なる複数の情報単位、及び（ｈ）異なる内容であって同じ秘匿化がなされた、互いに異なる複数の情報単位、のうちの少なくとも１つである。情報単位を構成する方法自体としては、当業者に公知の方法を用いることができる。

一方、メディアストリーム受信装置１４０は、マルチキャストで配信されたパケットを受信するマルチキャストパケット受信部１５０と、受信したパケットから、再生すべき情報要素を１つもしくは複数抽出する情報要素抽出部１５１と、取り出された情報要素のうち画像に対応する情報要素を復号する画像復号部１５２と、復号された画像の情報要素に応じて画像を表示する画像表示装置１５３と、取り出された情報要素のうち音声に対応する情報要素を復号する音声復号部１５４と、復号された音声の情報要素に応じて音声を再生する音声再生装置１５５と、を備えている。言い換えれば、情報要素抽出部１５１で抽出された情報要素の再生が、画像復号部１５３と画像表示装置１５４と音声復号部１５５と音声再生装置１５６とによって行われることになる。マルチキャストパケット受信部１５０は、さらに、情報単位の属する番組を識別する情報、情報単位の属するメディアストリームのメディアの種類、情報単位の属するメディアストリームの符号化情報のうちの少なくとも１つの情報を受信し、その受信した結果に基づいて、画像復号部１５３と画像表示装置１５４と音声復号部１５５と音声再生装置１５６とは情報要素の再生を行うようになっている。メディアストリーム受信装置１４１〜１４５も、メディアストリーム受信装置１４０と同じ構成であり、いずれも、マルチキャストパケット受信部と情報要素抽出部と画像復号部と画像表示装置と音声復号部と音声再生装置を備えている。

図示した例では、メディアストリーム送信装置１００に対し、映画ファイル１１０から映画番組が提供され、コンサート会場１２０からコンサート生中継番組が提供されている。映画ファイル１１０は、映画画像１１１とその映画の英語音声１１２とその映画の日本語音声１１３とを含んでおり、映画画像１１１から映画画像情報単位１１４が、英語音声１１２から映画英語音声情報単位１１５が、日本語音声１１３から映画日本語音声情報単位１１０が、パケット組立部１０１にそれぞれ入力している。コンサート会場１２０には、出演者２０１の音声を集音するマイクロホン１２２と、出演者２０１を撮影するカメラＡ１２２及びカメラＢ１２３とが設けられている。マイクロホン１２２で集音された音声は、符号化部１７０で符号化され、コンサート音声情報単位としてパケット組立部１０１に入力する。カメラＡ１２２及びカメラＢ１２３で撮影された画像は、それぞれ、符号化部１７１、１７２において符号化され、カメラＡ画像情報単位１２６及びカメラＢ画像情報単位１２７としてパケット組立部１０１に入力する。また、複数のメディアストリーム受信装置１４０〜１４５がメディアストリーム送信装置１００からメディアストリームの配信を受けるようになっているが、これらの受信装置のうち、メディアストリーム受信装置１４０、１４２、１４４では映画画像１１１とその映画の日本語音声１１３が視聴され、メディアストリーム受信装置１４１では映画画像１１１とその映画の英語音声１１２が視聴され、メディアストリーム受信装置１４３ではマイクロホン１２２によるコンサート音声とカメラＡ１２３によるコンサート画像とが視聴され、メディアストリーム受信装置１４５ではマイクロホン１２２によるコンサート音声とカメラＢ１２４によるコンサート画像とが視聴されているものとする。

次に、システムにおけるメディアストリームの配信について説明する。

このようなメディアストリーム配信システムでは、映画ファイル１１０からは、映画画像１１１、英語音声１１２、日本語音声１１３の情報が、それぞれ、映画画像情報単位１１４、映画英語音声情報単位１１５、映画日本語音声情報単位１１６として、周期的に、メディアストリーム送信装置１００に送信される。同様に、コンサート会場１２０からは、マイクロホン１２２のコンサート音声、カメラＡ１２３の画像、カメラＢ１２４の画像が、それぞれ符号化部１７０、１７１、１７２によって符号化され、コンサート音声情報単位１２５、カメラＡ画像情報単位１２６、カメラＢ画像情報単位１２７として、周期的に、メディアストリーム送信装置１００に送信される。

メディアストリーム送信装置１００は、周期的に送られてくる、もしくは、ファイルから読み込むことで得られる映画画像情報単位１１４、映画英語音声情報単位１１５、映画日本語音声情報単位１１６、コンサート音声情報単位１２５、カメラＡ画像情報単位１２６、カメラＢ画像情報単位１２７を、パケット組立部１０１によって、それぞれの情報単位にＲＴＰ（ＲｅａｌｔｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）ヘッダを付与して１つのＵＤＰ（ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃｏｌ）パケットにまとめ、マルチキャストパケット送信部１０２によって、ネットワーク１３０内のルータ１３１に、マルチキャストパケット１６０として送出する。このときのマルチキャストパケットのフォーマット例が、図１Ｂに示すマルチキャストパケット１６０である。ネットワーク１３０としてインターネットを想定すると、インターネット内ではＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）が用いられることから、マルチキャストパケット１６０は、マルチキャストＩＰヘッダで開始し、それに引き続いてＵＤＰヘッダを有する。ＵＤＰヘッダの後には、それぞれＲＴＰヘッダを前に置いて、各情報単位が続いている。

ルータ１３１は、すでに設定されているマルチキャストのルーチングに基づき、マルチキャストパケット１６０を、ルータ１３２、ルータ１３３、ルータ１３４に送信する。さらに、ルータ１３２はメディアストリーム受信装置１４０、１４１に、ルータ１３３はメディアストリーム受信装置１４２、１４３に、ルータ１３４は、メディアストリーム受信装置１４４、１４５に、それぞれマルチキャストパケット１６０を送信する。

メディアストリーム受信装置１４０は、マルチキャストパケット受信部１５０によって、マルチキャストパケット１６０を受信し、情報要素抽出部１５１によって、再生すべきメディアストリームである映画画像情報単位１１４と映画日本語音声情報単位１１６を抽出し、画像復号部１５２および画像表示装置１５３によって映画画像情報単位１１４を再生し、音声復号部１５４および音声再生装置１５５によって、映画日本語音声情報単位１１６を再生する。

上記手順が周期的に繰り返し行われることによって、メディアストリーム受信装置１４０では、映画ファイル１１０の映画画像１１１と日本語音声１１３による視聴が可能となる。

同様に、メディアストリーム受信装置１４２、１４４は、映画ファイル１１０の映画画像１１１とその日本語音声１１３の再生し、メディアストリーム受信装置１４１は、映画ファイル１１０の映画画像１１１とその英語音声１１２を再生し、メディアストリーム受信装置１４３はカメラＡ１２３の画像とマイクロホン１２２の音声を再生し、メディアストリーム受信装置１４５はカメラＢ１２４の画像とマイクロホン１２２の音声を再生する。

メディアストリーム送信装置１００から送られてくるパケットに、情報単位の属する番組を識別する情報、情報単位の属するメディアストリームのメディアの種類、情報単位の属するメディアストリームの符号化情報のうちの少なくとも１つの情報が含まれている場合には、マルチキャストパケット受信部１５０は、その情報を受信して、受信した結果に基づき、画像復号部１５３と画像表示装置１５４と音声復号部１５５及び音声再生装置１５６における情報要素の再生を制御する。

この実施形態では、１つのマルチキャストパケットの中に、複数の番組の構成要素である複数のメディアストリームの情報単位が含まれており、このパケットがマルチキャストによって、ネットワーク１３０を介して、複数のメディアストリーム受信装置１４０から１４５に配信されている。それぞれのメディアストリーム受信装置は、それ自身が再生したい部分のみを抽出して再生する。

これを従来技術と比較すると、本実施形態は、以下のような利点を有する。

第１に、メディアストリーム送信装置１００では、それぞれの端末向けにパケットを編集する必要がなく、ただ１つのパケットを編集すればよい。メディアストリーム受信装置数やそれぞれの端末が視聴する番組やメディアの組み合わせによって異なる編集をする必要がないため、メディアストリーム送信装置における負荷の低減が図れる。

第２に、ルータ１３１では、受信するパケット数およびルータ１３２〜１３４に転送するパケット数が少なくなり、ルータの処理能力の限界を決定する支配項である単位時間当たりの処理パケット数を少なくできる。したがって、ルータ１３１の負荷が軽減される。

第３に、ルータ１３２〜１３４では、受信するパケット数が少なくてすみ、送信するパケットについても、メディアストリーム受信装置との接続が一般的なシェアドＬＡＮである場合には、マルチキャストパケットを一個送出するだけで済む。したがって、送信パケット数を削減でき、ルータ１３２〜１３４の負荷が軽減される。

第４に、メディアストリーム送信装置１００とルータ１３１との間およびルータ間にあるリンクを通るパケットのパケットヘッダ総量が少なくなっているので、リンクの負荷が軽減される。

第５に、従来技術では、受信者が視聴するメディアストリームの組み合わせによっては、同じメディアストリームの情報単位が複数の別のパケットに出現するのに対し、本実施形態では同じメディアストリームは一つのマルチキャストパケットにしか現れない。このため、リンクの負荷をさらに軽減することができる。

本実施形態においては、映画の音声が英語と日本語の２ヶ国語で表されている場合を説明したが、二ヶ国語の組合せは、これに限られるものではない。また、３ヶ国語以上の音声が用意されている映画ファイルについても、本発明は適用できるものである。

《第２の実施形態》
本発明の第２の実施形態として、同じ番組を、異なる符号化がなされたメディアストリームで配信する場合、もしくは受信者がメディアストリームの種類を選択できる場合のメディアストリーム配信システムを説明する。

図２に示した第２の実施形態のメディアストリーム配信システムは、コンサート会場２００からのコンサート中継番組を、メディアストリーム送信装置２１０からネットワーク２２０を介して、複数のメディストリーム受信装置２３０〜２３２に配信するものであり、その際、メディアストリーム受信装置２３０〜２３２ごとに異なる符号化手法が用いられるものとしている。ネットワーク２２０は、図１に示したネットワーク１３０と同様のものである。

コンサート会場２００には、出演者２０１の音声を集音するマイクロホン２０２と、出演者２０１を撮影するカメラ２０３とが設けられている。メディアストリーム送信装置２００は、マイクロホン２０２で集音された音声を符号化する音声符号化部２０４と、カメラ２０３で撮影された画像に対して符号化を行う画像タイプ１符号化部２０５及び画像タイプ２符号化部２０６と、図１に示したシステムにおけるパケット組立部１０１と同様のパケット組立部２１１と、図１に示したシステムにおけるマルチキャストパケット送信部１０２と同様のマルチキャストパケット送信部２１２と、を備えている。画像タイプ１符号化部２０５と画像タイプ２符号化部２０６とは、画像のサイズ、アスペクト、色数、圧縮方式、圧縮率の一部または全部が相互に異なる符号化を行うものであり、その符号化された画像をそれぞれ画像タイプ１と画像タイプ２とする。音声符号化器２０４からのコンサート音声情報単位と、画像タイプ１符号化部２０５からの画像タイプ１情報単位と、画像タイプ２符号化部２０６からの画像タイプ２情報単位が、パケット組立部２１１に供給される。

メディアストリーム受信装置２３０〜２３２は、図１に示したシステムにおけるメディアストリーム受信装置１４１〜１４５と同様の構成のものであるが、本実施形態では、同一の画像を視聴する際に用いる符号化手法が、メディアストリーム受信装置ごとに異なっている。メディアストリーム受信装置２３０では、画像タイプ１の符号化による画像と音声とが視聴される。メディアストリーム受信装置２３１では、画像タイプ２の符号化による画像と音声とが視聴される。メディアストリーム受信装置２３２では、音声のみが視聴される。

このメディアストリーム配信システムでは、マイクロホン２０２で集音された音声とカメラ２０３で撮影された画像とがメディアストリーム送信装置２１０に入力すると、メディアストリーム送信装置２１０において、音声符号化部２０４が音声を符号化して音声情報単位を生成し、画像タイプ１符号化部２０５及び画像タイプ２符号化部２０６が画像を符号化してそれぞれ画像タイプ１情報単位と画像タイプ２情報単位とを生成する。パケット組立部２１１は、音声情報単位と画像タイプ１情報単位と画像タイプ２情報単位とをマルチキャストパケット２４０のフォーマットに編集し、マルチキャストパケット送信部２１２は、このマルチキャストパケット２４０をネットワーク２２０に対してマルチキャスト送信する。マルチキャストパケット２４０は、マルチキャストＩＰヘッダで開始し、それに引き続いてＵＤＰヘッダを有する。ＵＤＰヘッダの後には、それぞれＲＴＰヘッダを前に置いて、各情報単位が続いている。

ネットワーク２２０は、マルチキャストパケット２４０を、メディアストリーム受信装置２３０、２３１、２３２に中継する。その結果、メディアストリーム受信装置２３０は、受信したマルチキャストパケット２４０から、画像タイプ１情報単位と音声情報単位のみを抽出して再生する。メディアストリーム受信装置２３１は、受信したマルチキャストパケット２４０から、画像タイプ２情報単位と音声情報単位のみを抽出して再生する。メディアストリーム受信装置２３２は、受信したマルチキャストパケット２４０から、音声情報単位のみを抽出して再生する。

従来技術によれば、複数のメディアストリーム受信装置が、異なるメディアストリ−ムおよびそれらの組み合わせを抽出する場合には、それぞれの受信装置に応じたパケットを生成し配信する必要があった。しかしながら本実施形態では、画像タイプ１情報要素と画像タイプ２情報要素と音声情報要素とを１つのパケットにまとめ、これをマルチキャストしており、メディアストリーム受信装置は、所望の情報要素をマルチキャストパケットから抽出して再生する。このように本実施形態によれば、１つのマルチキャストパケットだけの生成、配信で、目的を達することができる。これにより、画像の有無、画像の品質、画像のサイズなどについて、メディアストリーム受信装置の能力や番組配信の価格差などによって利用者が選択した組み合わせでの視聴が可能となる。

《第３の実施形態》
本発明の第３の実施形態として、同一の番組を配信する際に、各視聴者の視聴開始時刻が異なっても、それぞれの視聴者が途中からではなく最初から視聴ができるようにするために、同じメディアストリ−ムを時間差をおいて配信するメディアストリーム配信システムを説明する。

図３に示した第３の実施形態のメディアストリーム配信システムは、コンサート会場３００からのコンサート中継番組を、メディアストリーム送信装置３１０からネットワーク３２０を介して、複数のメディストリーム受信装置３３０、３３１に配信するものである。その際、メディアストリーム受信装置３３０にはコンサートの音声と画像とが生中継で配信され、メディアストリーム受信装置３３１には音声と画像とが一定時間遅らされて配信されるようにしている。ネットワーク３２０は、図１に示したネットワーク１３０と同様のものである。

コンサート会場３００には、出演者３０１の音声を集音するマイクロホン３０２と、出演者３０１を撮影するカメラ３０３とが設けられている。メディアストリーム送信装置３００は、マイクロホン３０２で集音された音声を符号化して生音声情報単位を生成する音声符号化部３０４と、カメラ３０３で撮影された画像を符号化して生画像情報単位を生成する画像符号化部３０５と、生音声情報単位及び生画像情報単位をそれぞれ遅延させて遅延音声情報単位及び遅延画像情報単位を生成する遅延回路３０６と、図１に示したシステムにおけるパケット組立部１０１と同様のパケット組立部３１１と、図１に示したシステムにおけるマルチキャストパケット送信部１０２と同様のマルチキャストパケット送信部３１２と、を備えている。生音声情報単位と生画像情報単位と遅延音声情報単位と遅延画像情報単位とは、パケット組立部３１１に供給されている。

メディアストリーム受信装置３３０、３３１は、図１に示したシステムにおけるメディアストリーム受信装置１４１〜１４５と同様の構成のものであるが、メディアストリーム受信装置３３０では、コンサート中継が生中継で視聴され、メディアストリーム受信装置３３１では、コンサート中継３００が一定時間遅れて視聴される。

このメディアストリーム配信システムでは、マイクロホン３０２で集音された音声とカメラ３０３で撮影された画像とがメディアストリーム送信装置３１０に入力すると、メディアストリーム送信装置３１０において、音声符号化部３０４が音声を符号化して生音声情報単位を生成し、画像符号化部２０５が画像を符号化して生画像情報単位を生成する。これらの生音声情報単位と生画像情報単位とはパケット組立部３１１に供給されるとともに遅延回路３０６にも供給され、遅延回路３０６は、生音声情報単位と生画像情報単位とを一定時間遅延させて遅延音声情報単位と遅延画像情報単位とを生成し、遅延音声情報単位と遅延画像情報単位とをパケット組立部３１１に供給する。パケット組立部３１１は、生音声情報単位と生画像情報単位と遅延音声情報単位と遅延画像情報単位とを、マルチキャストパケット３４０のフォーマットに編集し、マルチキャストパケット送信部３１２は、このマルチキャストパケット３４０をネットワーク３２０に対してマルチキャスト送信する。マルチキャストパケット３４０は、マルチキャストＩＰヘッダで開始し、それに引き続いてＵＤＰヘッダを有する。ＵＤＰヘッダの後には、それぞれＲＴＰヘッダを前に置いて、生画像情報単位、生音声情報単位、遅延画像情報単位、遅延音声情報単位の順で各情報単位が続いている。

ネットワーク３２０は、マルチキャストパケット３４０を、メディアストリーム受信装置３３０、３３１に中継する。メディアストリーム受信装置３３０は、受信したマルチキャストパケット３４０から、生音声情報単位および生画像情報単位のみを抽出して再生し、メディアストリーム受信装置３３１は、受信したマルチキャストパケット３４０から、遅延音声情報単位および遅延画像情報単位のみを抽出して再生する。これによって、メディアストリーム受信装置３３０とメディアストリーム受信装置３３１では、同一の番組が時間差を持って視聴されることになる。

本実施形態では、コンサート中継という、リアルタイムの番組を時間差をもって配信する例を説明したが、映画ファイルのように蓄積型の番組においても、同様に、時間差を設けて配信することができる。映画ファイルの場合には、時間差を設ける方法として、遅延回路を設ける方法以外に、映画ファイルからの読み出しに時間差を設ける方法を用いることができる。

《第４の実施形態》
本発明では、情報単位を秘匿化して配信するようにすることができる。図４に示した本発明の第４の実施形態のメディアストリーム配信システムは、図１に示したシステムに対して、秘匿化の機能を付加したものであって、メディアストリーム送信装置１００内に秘匿化部４００、４０１が追加され、各メディアストリーム受信装置１４０〜１４５内に秘匿解除部４０２が追加されている。

秘匿化部４００は、映画ファイル１００に対応する情報単位である映画画像情報単位１１４、映画英語音声情報単位１１５及び映画日本語音声情報単位１１６に対して秘匿化を行い、秘匿化された各情報単位をパケット組立部１０１に供給する。同様に、秘匿化部４０１は、コンサート中継に対応する情報単位であるコンサート音声情報単位１２５、カメラＡ画像情報単位１２６及びカメラＢ画像情報単位１２７に対して秘匿化を行い、秘匿化された各情報単位をパケット組立部１０１に供給する。ここで、秘匿化部４００と秘匿化部４０１とは、異なる秘匿化方法を用いるか、同じ秘匿化方法であっても異なる秘匿化キーによって秘匿化を行うものとする。

秘匿解除部４０２は、情報要素抽出部１５１から抽出された情報要素に対して秘匿解除の処理を行い、秘匿化が解除された画像情報単位及び音声情報単位をそれぞれ画像復号部１５２、音声復号部１５４に供給する。秘匿解除部４０２が秘匿解除可能なものは、予め設定された秘匿化方法及び秘匿化キーによって秘匿化された情報単位に限定されており、それ以外の秘匿化方法で秘匿化された情報単位や、異なる秘匿化キーによって秘匿化された情報単位については、秘匿解除が行えないようになっている。

このメディアストリーム配信システムにおいて、映画ファイル１１０の映画画像情報単位１１４と映画英語音声情報単位１１５と映画日本語音声情報単位１１６とがメディアストリーム送信装置１００に供給されると、これらの情報単位は秘匿化部４００で秘匿化される。同様に、コンサート中継のコンサート音声情報単位１２５とカメラＡ画像情報単位１２６とカメラＢ画像情報単位１２７は、秘匿化部４０１で秘匿化される。パケット組立部１０１は、秘匿化後の情報単位１１４〜１１６、１２５〜１２７をマルチキャストパケット４０３のフォーマットに編集し、マルチキャストパケット送信部１０２は、ネットワーク１３０を介し、このマルチキャストパケット４０３をメディアストリーム受信装置１４０〜１４５に送出する。図４Ｂは、マルチキャストパケット４０３の構成例を示している。このマルチキャストパケット４０３が図１Ｂに示したマルチキャストパケット１００と異なるところは、各情報単位が秘匿化されていることである。

メディアストリーム受信装置１４０は、マルチキャストパケット４０３を受信すると、これから、映画画像および映画日本語音声についての秘匿化の解除を秘匿解除部４０２によって行い、再生を行う。このとき、メディアストリーム受信装置１４０は、秘匿化部４００で行われる秘匿化方法およびその解除キーを知っているが、秘匿化部４０１で行われる秘匿化方法およびその解除キーを知らない。したがって、マルチキャストパケット４０３に含まれるコンサート中継１２０に関する情報単位の秘匿化解除ができない。

メディアストリーム受信装置１４１〜１４５も同様に、それぞれ自身が再生する番組の秘匿化を解除の方法をあらかじめ知っており、そのような番組の再生を行うことができる。しかしながら、それ以外の番組の秘匿解除の方法を知らないために、秘匿解除の方法を知らない番組についてはその視聴が制限される。

これによって、番組が有料であってメディアストリームによってその課金が異なる場合などには、メディアストリームごとに異なる秘匿化手法や秘匿キーを設定し、それをあらかじめメディアストリーム受信装置に通知しておくことで、各メディアストリーム受信装置が再生する権利を有するメディアストリーム以外を再生できなくすることが可能となる。また、１つの番組を構成する各メディアストリームに同じ秘匿化手法と秘匿化キーを適用することにより、秘匿の復元を簡略化することも可能である。

秘匿化部４００と秘匿化部４０１とが、メディア情報単位ごとに異なった秘匿化方法を用いるか、同じ秘匿化方法であっても異なる秘匿化キーによって秘匿化すれば、それぞれの秘匿化の解除方法の通知の有無により、同じ番組でも、例えば特定の画像のみ、あるいは音声のみの視聴に制限することが可能である。さらに、秘匿化部４００と秘匿化部４０１が、メディア情報単位ごとに秘匿化の有無を選択することによっても、同様の効果を得ることができる。

《第５の実施形態》
本発明のメディアストリーム配信システムにおいては、メディアストリームの配信に際して、メディアストリーム送信装置とメディアストリーム受信装置との間でパラメータの整合が必要となる場合がある。以下では、送信装置と受信装置との間で、整合を必要とする各種のパラメータを決定することができるメディアストリーム配信システムについて説明する。

図５に示した本発明の第５の実施形態のメディアストリーム配信システムは、メディアストリーム送信装置５００と、メディアストリーム受信装置５３０とを有し、送信装置５００と受信装置５３０とは、図１に示したネットワーク１３０と同様のネットワーク５２０を介して接続している。ここでは。１個のメディアストリーム受信装置５３０しか描かれていないが、上述した各実施形態と同様に、複数個の受信装置５３０が設けられてよいことは、言うまでもない。

メディアストリーム送信装置５００は、接続呼制御部５０１と、送信管理部５０２と、第１のメディアストリームを生成するメディアストリーム１生成部５０３と、第２のメディアストリームを生成するメディアストリーム２生成部５０４と、第３のメディアストリームを生成するメディアストリーム３生成部５０５と、第１乃至第３のメディアストリームの情報単位についてそれぞれ秘匿化を実行する秘匿化部５０６、５０７、５０８と、パケット組立部５０９と、パケット送信部５１０と、から構成されている。

接続呼制御部５０１は、受信装置５３０に対して送信するマルチキャストアドレス、メディアストリームのメディアの種類、符号化情報、秘匿化の設定情報、情報単位のデータ長、のうち少なくとも１つについて、受信開始時に受信装置５３０側にネットワーク５２０を介して通知する機能を有する。

パケット組立部５０９は、図１に示したシステムにおけるパケット組立部１０１と同様の機能を有する。さらにパケット組立部５０９は、１つのパケットに含まれる１つもしくは複数の情報単位に関する、情報単位の属する番組を識別する情報、情報単位の属するメディアストリームのメディアの種類、情報単位の属するメディアストリームの符号化情報、隣接する２つの情報単位の境界を示す区切りマーカのうち少なくとも１つをパケットに付与する機能を有していてもよい。

パケット送信部５１０は、図１に示したシステムにおけるマルチキャストパケット送信部１０２と同様の機能を有するとともに、さらに、送信するマルチキャストアドレス、メディアストリームのメディアの種類、符号化情報、秘匿化の設定情報、情報単位のデータ長、のうち少なくとも１つについて、あらかじめ決定してある情報に基づいてパケットを構成する機能を有する。

送信設定部５１１は、送信するマルチキャストアドレス、メディアストリームのメディアの種類、符号化情報、秘匿化の設定情報、情報単位のデータ長、のうち少なくとも１つについて、送信装置５００内であらかじめ決定して設定しておくためのものである。

メディアストリーム受信装置５３０は、接続呼制御部５３１と、受信管理部５３２と、マルチキャストで配信されたパケットを受信するマルチキャストパケット受信部５３３と、マルチキャストパケット受信部５３３で受信したパケットから１または複数の情報要素を抽出する情報要素抽出部５３４と、取り出された情報要素の秘匿化を解除する秘匿解除部５３５と、秘匿解除された情報要素を復号する復号部５３６と、復号された情報要素に基づいて画像表示などを行う表示部５３７と、手動設定部５３８とから構成されている。

接続呼制御部５３１は、ネットワーク５２０を介して送信装置３００の接続呼制御部５０１と接続しており、受信するマルチキャストアドレス、メディアストリームのメディアの種類、符号化情報、秘匿化の設定情報、情報単位のデータ長、のうち少なくとも１つについて、送信装置５００の接続呼制御部５０１から通知された情報を受信する機能を有する。

マルチキャストパケット受信部５３３は、図１に示したシステムにおけるマルチキャストパケット受信部１５０と同様のものであるが、さらに、パケットに含まれている、情報単位の属する番組を識別する情報、情報単位の属するメディアストリームのメディアの種類、及び情報単位の属するメディアストリームの符号化情報、のうち少なくとも１つの情報を受信する機能を備えていてもよい。

手動設定部５３８は、送信するマルチキャストアドレス、メディアストリームのメディアの種類、符号化情報、秘匿化の設定情報、情報単位のデータ長、のうち少なくとも１つについて、あらかじめ受信装置５３０内で決定して設定しておくためのものである。

メディアストリーム送信装置５００において、あらかじめ、配信に用いるマルチキャストアドレス、マルチキャストパケットの構成、各メディアストリームごとの秘匿化情報を送信設定部５１１によって決定し、それらの情報を、送信管理部５０２を介して、メディアストリーム１生成部５０３と、メディアストリーム２生成部５０４と、メディアストリーム３生成部５０５と、秘匿化部５０６、５０７、５０８と、パケット組立部５０９と、マルチキャストパケット送信部５１０と、に設定しておく。

メディアストリーム受信装置５３０は、メディアストリームの視聴を開始するときに、接続呼制御部５３１によって、メディアストリーム送信装置５００の接続呼制御部５０１に対して、メディアストリーム受信の要求を行う。これに対して、メディアストリーム送信装置５００は、配信に用いるマルチキャストアドレス、マルチキャストパケットの構成情報、視聴するメディアストリームの秘匿化情報を、接続呼制御部５０１によって、メディアストリーム受信装置５３０の接続呼制御部５３１に通知する。

メディアストリーム受信装置５３０の接続呼制御部５３１は、送信装置５００の接続呼制御部５０１から通知された情報に基づき、受信管理部５３２を介して、マルチキャストパケット受信部５３３に、配信に用いるマルチキャストパケットアドレスを設定し、情報要素抽出部５３４にマルチキャストパケットの構成情報を設定し、秘匿解除部５３５に秘匿化情報を設定する。これによって、メディアストリーム受信装置５３０は配信を受信することが可能となる。

その後は、上述した各実施形態の場合と同様の処理によって、メディアストリームの配信と視聴とが行われることになる。

なお、メディアストリーム送信装置とメディアストリーム受信装置との間で整合が必要となる、マルチキャストパケットの構成などの各種パラメータを決定する方法としては、
（ａ）図５に示したメディアストリーム送信装置５００とメディアストリーム受信装置５３０との相互間の通信によってこれらのパラメータを得る方法、
（ｂ）紙媒体による番組表、ウェブなどを使った番組表、メールによる通知などの手段によって受信側に告知しておき、受信側で手動によってあらかじめ決定しておく方法、
（ｃ）メディアストリームの受信開始前に送信側と受信側でユニキャスト通信を行い、必要であればネゴシエーションを行い決定する方法、
（ｄ）マルチキャストパケットの中に、受信側で必要な情報を設定しておき、受信側ではそれを再生のために使用する方法、
（ｅ）（ａ）〜（ｄ）の方法の任意の組み合わせた方法、
などを採用することが可能であり、配信サービスの性格に応じて、これらの方法の中から適宜に選択することができる。上記（ｂ）の方法の場合には、メディアストリーム受信装置５３０の手動設定部５３８を用いて、あらかじめ決められている設定を行うことになる。

本実施形態では、メディアストリーム送信装置のパケット組立部５０９は、１つのパケットに含まれる１つもしくは複数の情報単位に関する情報単位の属する番組を識別する情報、情報単位の属するメディアストリームのメディアの種類、前記情報単位の属するメディアストリームの符号化情報、隣接する２つの情報単位の境界を示す区切りマーカ、のうち少なくとも１つの情報をパケットに付加するようにしてもよい。そのような情報がパケットに付加されている場合には、メディアストリーム受信装置５３０では、それらの情報を含むパケットはマルチキャストパケット受信部５３３によって受信され、受信された情報に基づいて、メディアストリームの再生が行われることになる。

本実施形態では、受信管理部５３２は、送信装置から通知された、送信するマルチキャストアドレス、メディアストリームのメディアの種類、符号化情報、秘匿化の設定情報などの情報に基づいて、受信者の選択、およびメディアストリーム受信装置５３０の能力の少なくとも一方に応じて、再生するメディアを選択するようにしてもよい。

図６Ａ〜図６Ｅは、いずれも、本実施形態で使用されるマルチキャストパケットのフォーマットの例を示すものである。いずれのフォーマット６００〜６０４も、先頭にＩＰヘッダが設けられ、それに引き続いてＵＤＰヘッダが設けられている。

図６Ａに示すフォーマット６００では、ＵＤＰヘッダに引き続いて１つのＲＴＰヘッダが設けられ、そのＲＴＰヘッダの後ろに３つのメディアの情報単位が続けられている。３つのメディア情報単位は、同一のメディアでありかつ同じ符号化則であって、メディア情報単位長を固定的に決定するかもしくは符号化則の規定による情報単位の分離ができる場合に用いることができる。情報単位の分離ができる場合ととしては、例えば、ＭＰＥＧ−４符号化方式の再同期マーカによるものが挙げられる。そのパケットのタイミングにおいて送信すべきデータがない場合には、メディア情報単位長が固定であれば、そのエリアに、例えばＭＰＥＧ−４符号化方式でのスタッフィングデータに相当するようなフィルデータを設定し、符号化則の規定による分離を行うときには、そのエリアに、再同期マーカのみを設定する。

受信側で、希望のメディアストリームを抽出するためには、あらかじめどの情報単位にどの内容が送られてくるのかを、上記の（ａ）〜（ｃ）のうちのいずれかの方法あるいはそれらの方法を組み合わせた方法によって知っておくか、または、内容を見て抽出する必要がある。

フォーマット６００を用いた場合には、ヘッダによるオーバヘッドが最も少なくなる。このフィーマット６００は、複数の常時設置カメラの映像を多数のメディアストリーム受信装置で閲覧する場合などに適している。

図６Ｂに示すフォーマット６０１は、ＵＤＰヘッダに引き続いて１つのＲＴＰヘッダが設けられ、さらに３つのメディアの情報単位が、それぞれ結合ヘッダのあとに続いたものである。結合ヘッダは、番組を識別する番組識別子、番組内メディアストリーム識別子、メディア符号化情報、ペイロード長からなる。

番組識別子は、そのメディア情報単位の属する番組を識別する情報である。番組内メディアストリーム識別子は、対応する情報単位が、番組を構成する複数のメディアストリームの構成要素であるメディア情報単位であるかを示す識別子である。メディア符号化情報は、そのメディア情報単位のメディアや符号化方式を示す情報である。これらの情報は、ＲＴＰヘッダに格納されたペイロードタイプ情報と重複し、矛盾し、あるいはそれを補完する場合がありうるが、矛盾した場合には、メディア符号化情報を優先して受信処理を行うものとする。ペイロード長は、その結合ヘッダで管理されている内容の長さを示し、ここではメディア情報単位のバイト長が用いられるものとする。

３つのメディア情報単位は、メディアおよび符号化則がそれぞれ異なっていてもよく、ペイロード長が固定長でなく、互いに異なっていてもよい。そのパケットのタイミングに送信すべきデータがない場合は、そのエリアに例えばＭＰＥＧ−４符号化方式でのスタッフィングデータに相当するようなフィルデータを設定するか、もしくは結合ヘッダのみを設定する。

フォーマット６０１を用いた場合、受信装置側で番組識別子および番組内メディアストリーム識別子と内容との対応をあらかじめ知っておき、マルチキャストパケット内の番組識別子および番組内メディアストリーム識別子によって希望のメディアストリームを抽出することができる。

図６Ｃに示すフォーマット６０２は、３つのメディア情報単位のそれぞれにＲＴＰヘッダを付与したものである。３つのメディア情報単位、およびペイロードの長さは、それぞれ、あらかじめ定められた、もしくは送信側より通知された固定長でなければならない。３つのメディアストリームのフレームレートが異なっていてもよい。そのパケットのタイミングに送信すべきデータがない場合は、そのエリアに、例えばＭＰＥＧ−４符号化方式でのスタッフィングデータに相当するようなフィルデータを設定する。

フォーマット６０２では、受信装置側で、上記の（ａ）〜（ｃ）のうちのいずれかの方法あるいはそれらの方法を組み合わせた方法によって、どの情報単位にどの内容が送られてくるのかを把握しておいて希望のメディアストリームを抽出するか、あるいはＲＴＰヘッダに含まれるペイロードタイプもしくはＳＳＲＣ（ＳｙｎｃｈｒｏｎｉｚａｔｉｏｎＳｏｕｒｃｅｉｄｅｎｔｉｆｉｅｒ）もしくはＣＳＲＣ（ＣｏｎｔｒｉｂｕｔｉｎｇＳｏｕｒｃｅｉｄｅｎｔｉｆｉｅｒ）により情報単位に含まれる内容を判断してメディアストリームを抽出することができる。

図６Ｄに示すフォーマット６０３は、３つのメディアの情報単位それぞれに結合ヘッダとＲＴＰヘッダを付与したものである。３つのメディア情報単位は、任意のものであってよい。フォーマット６０３では、受信装置側で、上記の（ａ）〜（ｃ）のうちのいずれかの方法あるいはそれらの方法を組み合わせた方法によって、どの情報単位にどの内容が送られてくるのかを把握しておいて希望のメディアストリームを抽出することができる。また、受信装置側において、番組識別子および番組内メディアストリーム識別子と内容の対応とを知っておいて、番組識別子および番組内メディアストリーム識別子によって希望のメディアストリームを抽出することもできる。

図６Ｅに示すフォーマット６０４は、メディア情報要素１、２、３の中には現れないビットまたはビット列を区切りマーカとして使用したフォーマットである。このとき、図６Ａに示したフォーマット６００とは異なり、それぞれのメディア情報単位は固定長ではなく、任意長であってもよい。希望のメディアストリームを抽出する方法は、フォーマット６０２の場合と同様である。

なお、複数の情報単位を１つのパケットにまとめる方法としては、上記に述べた方法に限られず、さまざまな方法を採用することができる。送信装置側と受信装置側で、パケットをまとめる方法に関して一致がとれていればよく、サービスの実施の形態にあわせて、パケットの構成方法を適宜に選択することができる。本実施形態においては、パケット組立部５０９によって上記のパケットフォーマットが組み立てられ、情報要素抽出部５３４によって、そのパケットが解釈され、必要な情報要素が抽出される。

《第６の実施形態》
本発明では、情報単位に対して誤り訂正符号化を行ってからそれを配信するようにすることができる。図７Ａに示した本発明の第６の実施形態のメディアストリーム配信システムは、図１に示したシステムに対して、誤り訂正の機能を付加したものであって、メディアストリーム送信装置１００内に誤り訂正符号データ生成部７００、７０１が追加され、各メディアストリーム受信装置１４０〜１４５内に誤り訂正符号データ処理部７０２が追加されている。したがって、本実施形態では、複数の情報単位には、さらに、少なくとも１つのメディアストリームから生成された誤り訂正情報単位、同じメディアストリームから異なる複数の方法で生成された、互いに異なる複数の誤り訂正符号情報単位、のうち、少なくとも１つが含まれる。

誤り訂正符号データ生成部７００は、映画ファイル１１０からの映画画像情報単位１１４から誤り訂正符号データ（映画画像誤り訂正情報単位）を生成し、誤り訂正符号データ生成部７０１は、コンサート中継１２０のカメラＡ画像情報単位１２６とカメラＢ画像情報単位１２７から誤り訂正符号データ（カメラＡ画像誤り訂正情報単位及びカメラＢ画像誤り訂正情報単位）を生成する。そして、これらの誤り訂正符号データは、映画画像情報単位１１４、映画英語音声情報単位１１５、映画日本語音声情報単位１１６、コンサート音声情報単位１２５、カメラＡ画像情報単位１２６及びカメラＢ画像情報単位１２７とともに、パケット組立部１０１において１つのパケットに組み立てられ、このパケットは、マルチキャストパケット７０３として、マルチキャストパケット送信部１０２から、ネットワーク１３０を介してメディアストリーム受信装置１４０〜１４５に送出される。

図７Ｂに示されるように、マルチキャストパケット７０３は、図１Ｂに示したマルチキャストパケット１６０において、さらに、映画画像誤り訂正情報単位、カメラＡ画像誤り訂正情報単位、カメラＢ画像誤り訂正情報単位を付加したものである。各誤り訂正情報単位には、それぞれ、ＲＴＰヘッダが前置されている。

本実施形態においては、誤り訂正符号データ生成部７００と誤り訂正符号データ生成部７０１は、相互に異なる誤り訂正符号化方式を用いてもよいし、同じ誤り訂正符号化方式を用いていてもよい。誤り訂正符号化方式には、リード・ソロモン符号や、ＬＤＰＣ（ＬｏｗＤｅｎｓｉｔｙＰａｒｉｔｙＣｈｅｃｋ）符号など、一般にＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ）と呼ばれる既存の技術を用いるためことができる。

ここでは、説明を簡単にするため、映画画像情報単位１１４、カメラＡ画像情報単位１２６、カメラＢ画像情報単位１２７のみに対して誤り訂正符号データを生成しているが、誤り訂正符号データの生成がこれらに限定されるものではないことは当然のことである。

誤り訂正符号データ処理部７０２は、各メディアストリーム受信装置１４０〜１４５において、情報要素検出部１５１と復号器１５２、１５４との間に設けられており、情報要素抽出部１５１から抽出された誤り訂正情報単位に基づいて、誤り訂正符号処理を実行する。その結果、各メディアストリーム受信装置１４０〜１４５は、マルチキャストパケット７０３を受信し、受信パケットにデータ誤りや欠落がある場合、再生しようとするメディアの他の情報単位および誤り訂正符号データ、あらかじめ得た誤り訂正符号化情報から、そのパケットに含まれている情報単位を復元し、再生を行う。

本実施形態では、誤り訂正符号データ生成部７００、７０１は、メディア情報単位ごとに誤り訂正符号データの生成を選択することによって、特定のメディア情報データにのみ、伝送路での誤り・損失耐性を強化することができ、利用できる帯域に応じた誤り耐性の強化が可能となる。

なお、本実施形態では、メディア情報単位から誤り訂正符号化データを生成しているが、上述した第４の実施形態で示した秘匿化処理と組み合わせて用いることができることは、当然のことである。この場合、秘匿化処理を行ったメディア情報単位から誤り訂正符号データを生成する。各受信装置において受信パケットに誤りや欠落があった場合は、誤り訂正符号によりメディア情報単位の復元を行い、その後、秘匿の復元を行ってメディアを再生する。

本実施形態によれば、誤り訂正符号データを含むパケットを送信することにより、伝送路でのデータ誤りや欠落に対して耐性を有するパケット配信ができ、再送要求によってさらに生じるネットワークへの負荷を軽減できる。

《第７の実施形態》
本発明のメディアストリーム配信システムにおいては、誤り訂正符号を用いる場合であっても、メディアストリームの配信に際して、メディアストリーム送信装置とメディアストリーム受信装置との間でパラメータの整合が必要となる場合がある。以下では、送信装置と受信装置との間で、整合を必要とする各種のパラメータを決定することができるメディアストリーム配信システムについて説明する。

図８に示した本発明の第７の実施形態のメディアストリーム配信システムは、図５に示した第５の実施形態のメディアストリーム配信システムにおいて、秘匿化部５０６〜５０８をそれぞれ誤り訂正符号データ生成部８００〜８０２に置き換え、秘匿解除部５３５を誤り訂正符号データ処理部８０３に置き換えたものである。もちろん、秘匿化及び秘匿解除の機能を維持しつつ、誤り訂正符号化処理機能を持たせることは可能である。

誤り訂正符号データ生成部８００〜８０２は、第１乃至第３のメディアストリームの情報単位についてそれぞれ誤り訂正符号データを生成する。誤り訂正符号データ処理部８０３は、情報要素抽出部１５３４から抽出された誤り訂正情報単位に基づいて、誤り訂正符号処理を実行する。

本実施形態において、接続呼制御部５０１は、受信装置５３０に対して送信するマルチキャストアドレス、メディアストリームのメディアの種類、メディアストリームのデータ長、符号化情報、誤り訂正符号化情報、情報単位のデータ長、誤り訂正符号データのデータ長、のうち少なくとも１つについて、受信開始時に受信装置５３０側にネットワーク５２０を介して通知する機能を有する。送信装置が秘匿化機能を有する場合には、接続呼制御部５０１は、受信開始時に、秘匿化情報を受信装置５３０側に送信してもよい。

パケット送信部５１０は、図１に示したシステムにおけるマルチキャストパケット送信部１０２と同様の機能を有するとともに、さらに、送信するマルチキャストアドレス、メディアストリームのメディアの種類、符号化情報、誤り訂正符号化情報、情報単位のデータ長、秘匿化の設定情報のうち少なくとも１つについて、あらかじめ決定してある情報に基づいてパケットを構成する機能を有する。

送信設定部５１１は、送信するマルチキャストアドレス、メディアストリームのメディアの種類、符号化情報、誤り訂正符号化情報、情報単位のデータ長、秘匿化の設定情報、メディアストリームのデータ長、誤り訂正符号データのデータ長のうち少なくとも１つについて、送信装置５００内であらかじめ決定して設定しておくためのものである。

接続呼制御部５３１は、ネットワーク５２０を介して送信装置３００の接続呼制御部５０１と接続しており、受信するマルチキャストアドレス、メディアストリームのメディアの種類、符号化情報、誤り訂正符号の設定情報、情報単位のデータ長、秘匿化の設定情報、メディアストリームのデータ長、誤り訂正符号で他のデータ長、のうち少なくとも１つについて、送信装置５００の接続呼制御部５０１から通知された情報を受信する機能を有する。

手動設定部５３８は、送信するマルチキャストアドレス、メディアストリームのメディアの種類、符号化情報、誤り訂正符号の設定情報、情報単位のデータ長、メディアストリームのデータ長、誤り訂正符号で他のデータ長、のうち少なくとも１つについて、あらかじめ受信装置５３０内で決定して設定しておくためのものである。配信システムが秘匿化機能を有する場合には、手動設定部５３８は、秘匿化の設定情報を決定して設定するようにしてもよい。

メディアストリーム送信装置５００において、あらかじめ、配信に用いるマルチキャストアドレス、マルチキャストパケットの構成、各メディアストリームごとの誤り訂正符号化情報を送信設定部５１１によって決定し、それらの情報を、送信管理部５０２を介して、メディアストリーム１生成部５０３と、メディアストリーム２生成部５０４と、メディアストリーム３生成部５０５と、誤り訂正符号データ生成部８００、８０１、８０２と、パケット組立部５０９と、マルチキャストパケット送信部５１０と、に設定しておく。

メディアストリーム受信装置５３０は、メディアストリームの視聴を開始するときに、接続呼制御部５３１によって、メディアストリーム送信装置５００の接続呼制御部５０１に対して、メディアストリーム受信の要求を行う。これに対して、メディアストリーム送信装置５００は、配信に用いるマルチキャストアドレス、マルチキャストパケットの構成情報、視聴するメディアストリームの誤り訂正符号化情報を、接続呼制御部５０１によって、メディアストリーム受信装置５３０の接続呼制御部５３１に通知する。

メディアストリーム受信装置５３０の接続呼制御部５３１は、送信装置５００の接続呼制御部５０１から通知された情報に基づき、受信管理部５３２を介して、マルチキャストパケット受信部５３３に、配信に用いるマルチキャストパケットアドレスを設定し、情報要素抽出部５３４にマルチキャストパケットの構成情報を設定し、誤り訂正符号データ処理部８０３に誤り訂正符号化情報を設定する。これによって、メディアストリーム受信装置５３０は配信を受信することが可能となる。

なお、メディアストリーム送信装置とメディアストリーム受信装置との間で整合が必要となる、マルチキャストパケットの構成などの各種パラメータを決定する方法としては、第５の実施形態における方法と同様のものが使用できる。

本実施形態では、受信管理部５３２は、送信装置から通知された、送信するマルチキャストアドレス、メディアストリームのメディアの種類、符号化情報、秘匿化の設定情報などの情報に基づいて、受信者の選択、およびメディアストリーム受信装置５３０の能力の少なくとも一方に応じて、再生するメディアを選択するようにしてもよい。受信管理部５３２は、受信情報単位の誤りもしくは欠落の状態により、抽出した誤り訂正情報から最適な誤り訂正情報単位を選択するようにしてもよい。

以上説明したメディアストリーム配信システムにおいて、メディアストリーム送信装置及びメディアストリーム受信装置は、いずれも、コンピュータを用いて実現することができる。すなわち、コンピュータ上でプログラムを実行することによって、上述したメディアストリーム送信装置、メディアストリーム受信装置での処理及び制御を実現できる。ここでいうコンピュータには、プロセッサやコントローラも含まれる。プログラムは、ネットワークを介して、あるいは、そのプログラムを格納したＣＤ−ＲＯＭのような記録媒体を介して、コンピュータに読み込まれる。本発明は、このようなプログラムあるいはプログラムプロダクトあるいは記録媒体をも包含するものである。さらには、そのようなプログラムを伝送する媒体も、本発明の範疇に含まれる。

Claims

複数のメディアストリームを送信するメディアストリーム送信方法であって、
それぞれのメディアストリームを伝達する情報単位の複数を１つのパケットに結合するステップと、
前記パケットをマルチキャスト送信するステップと、
を有するメディアストリーム送信方法。
前記の複数の情報単位に、
（ａ）１つの番組を構成している異なるメディアストリームの構成要素である、互いに異なる複数の情報単位、
（ｂ）異なる番組を構成している異なるメディアストリームの構成要素である、互いに異なる複数の情報単位、
（ｃ）互いに異なるメディア種別のメディアストリームの構成要素である、互いに異なる複数の情報単位、
（ｄ）同じ内容を互いに異なる複数の方法で符号化した、互いに異なる複数の情報単位、
（ｅ）同じ内容を同じ符号化方式により、異なる複数の圧縮率で符号化した、互いに異なる複数の情報単位、
（ｆ）時間差をもって配信される、互いに異なる複数の情報単位、
（ｇ）異なる秘匿化がなされた、互いに異なる複数の情報単位、及び
（ｈ）異なる内容であって同じ秘匿化がなされた、互いに異なる複数の情報単位、
からなる群に含まれる情報単位のうちの少なくとも１つが含まれる、請求項１に記載の方法。
前記の複数の情報単位に、
少なくとも１つのメディアストリームから生成された誤り訂正情報単位、及び
同じメディアストリームから異なる複数の方法で生成された、互いに異なる複数の誤り訂正符号情報単位、
からなる群に含まれる少なくとも１つの情報単位が含まれる、請求項１または２に記載の方法。
前記パケットに
（ｉ）情報単位の属する番組を識別する情報、
（ｉｉ）情報単位の属するメディアストリームのメディアの種類、
（ｉｉｉ）情報単位の属するメディアストリームの符号化情報、及び
（ｉｖ）隣接する２つの情報単位の境界を示す区切りマーカ、
からなる群に含まれる情報のうちの少なくとも１つの情報を付加するステップを有する、請求項１乃至３のいずれか１項に記載された方法。
・送信するマルチキャストアドレス、
・メディアストリームのメディアの種類、
・符号化情報、
・秘匿化の設定情報、
・情報単位のデータ長、
・誤り訂正符号化情報、及び
・メディアストリームおよび、誤り訂正符号データのうち少なくとも１つのデータ長、
のうち少なくとも１つをあらかじめ決定しておくステップをさらに有する、請求項１乃至４のいずれか１項に記載された方法。
受信開始時に、
・送信するマルチキャストアドレス、
・メディアストリームのメディアの種類、
・符号化情報、
・秘匿化の設定情報、
・情報単位のデータ長、
・誤り訂正符号化情報、及び
・メディアストリームおよび、誤り訂正符号データのうち少なくとも１つのデータ長、
のうち少なくとも１つを受信側に通知するステップを有する、請求項１乃至５のいずれか１項に記載の方法。
メディア入力に異なる符号化を施し異なる情報要素を生成するステップ、をさらに有する、請求項１または２に記載の方法。
メディア入力もしくは情報単位に一定の遅延をかけ、時間差のある情報単位を生成するステップ、をさらに有する、請求項１または２に記載の方法。
情報単位に異なる秘匿化を行って異なる情報単位を生成するステップ、をさらに有する、請求項１または２に記載の方法。
複数の情報単位に同じ秘匿化を行うステップ、をさらに有する、請求項１または２に記載の方法。
メディアストリームを受信するメディアストリーム受信方法であって、
マルチキャストで配信されたパケットを受信するステップと、
受信した前記パケットから再生すべき情報要素を１つもしくは複数抽出するステップと、
取り出した情報要素を再生するステップと、
を有するメディアストリーム受信方法。
さらに、前記情報要素が秘匿化されているときにはそれを復元して再生するステップを有する、請求項１１に記載の方法。
受信した前記パケットから誤り訂正情報単位を少なくとも１つ抽出するステップと、
受信情報単位に誤り、もしくは欠落があった場合、取り出した誤り訂正情報単位を用いて当該情報単位を復元するステップと、
を有する、請求項１１または１２に記載の方法。
さらに、受信情報単位の誤りもしくは欠落の状態に基づき、抽出した誤り訂正情報から最適な誤り訂正情報単位を選択するステップ、を有する、請求項１３に記載の方法。
（ｉ）情報単位の属する番組を識別する情報、
（ｉｉ）情報単位の属するメディアストリームのメディアの種類、及び
（ｉｉｉ）情報単位の属するメディアストリームの符号化情報、
のうち少なくとも１つの情報を受信するステップと、
受信した情報に基づいて再生を行うステップと、
を有する、請求項１１乃至１４のいずれか１項に記載の方法。
・送信するマルチキャストアドレス、
・メディアストリームのメディアの種類、
・符号化情報、
・秘匿化の設定情報、
・情報単位のデータ長、
・誤り訂正符号化情報、及び
・メディアストリームおよび、誤り訂正符号データのうち少なくとも１つのデータ長、
のうち少なくとも１つをあらかじめ決定しておくステップを有する、請求項１１乃至１５のいずれか１項に記載の方法。
・送信するマルチキャストアドレス、
・メディアストリームのメディアの種類、
・符号化情報、
・秘匿化の設定情報、
・情報単位のデータ長、
・誤り訂正符号化情報、及び
・メディアストリームおよび、誤り訂正符号データのうち少なくとも１つのデータ長、
のうち少なくとも１つについての送信側から通知された情報を受信するステップを有する、請求項１１乃至１６のいずれか１項に記載の方法。
前記送信側から通知された前記情報をもとに、利用者の選択により、再生するメディアを選択するステップを有する、請求項１７に記載の方法。
複数のメディアストリームを送信するメディアストリーム送信装置であって、
それぞれのメディアストリームを伝達する情報単位の複数を１つのパケットに結合する手段と、
前記パケットをマルチキャスト送信する手段と、
を有するメディアストリーム送信装置。
前記の複数の情報単位に、
（ａ）１つの番組を構成している異なるメディアストリームの構成要素である、互いに異なる複数の情報単位、
（ｂ）異なる番組を構成している異なるメディアストリームの構成要素である、互いに異なる複数の情報単位、
（ｃ）互いに異なるメディア種別のメディアストリームの構成要素である、互いに異なる複数の情報単位、
（ｄ）同じ内容を互いに異なる複数の方法で符号化した、互いに異なる複数の情報単位、
（ｅ）同じ内容を同じ符号化方式により、異なる複数の圧縮率で符号化した、互いに異なる複数の情報単位、
（ｆ）時間差をもって配信される、互いに異なる複数の情報単位、
（ｇ）異なる秘匿化がなされた、互いに異なる複数の情報単位、及び
（ｈ）異なる内容であって同じ秘匿化がなされた、互いに異なる複数の情報単位、
からなる群に含まれる情報単位のうちの少なくとも１つが含まれる、請求項１９に記載の装置。
前記の複数の情報単位に、
少なくとも１つのメディアストリームから生成された誤り訂正情報単位、及び
同じメディアストリームから異なる複数の方法で生成された、互いに異なる複数の誤り訂正符号情報単位、
からなる群に含まれる少なくとも１つの情報単位が含まれる、請求項１９または２０に記載の装置。
さらに、メディア入力に異なる符号化を施し異なる情報要素を生成する手段を有する、請求項１９乃至２１のいずれか１項に記載の装置。
さらに、メディア入力もしくは情報単位に一定の遅延をかけ、時間差のある情報単位を生成する手段を有する、請求項１９乃至２１のいずれか１項に記載の装置。
さらに、情報単位に異なる秘匿化を行って異なる情報単位を生成する手段を有する、請求項１９乃至２１のいずれか１項に記載の装置。
さらに、複数の情報単位に同じ秘匿化を行う手段を有する、請求項１９乃至２１のいずれか１項に記載の装置。
（ｉ）情報単位の属する番組を識別する情報、
（ｉｉ）情報単位の属するメディアストリームのメディアの種類、
（ｉｉｉ）情報単位の属するメディアストリームの符号化情報、及び
（ｉｖ）隣接する２つの情報単位の境界を示す区切りマーカ、
のうち少なくとも１つを前記パケットに付加する手段を有する、請求項１９乃至２５のいずれか１項に記載の装置。
・送信するマルチキャストアドレス、
・メディアストリームのメディアの種類、
・符号化情報、
・秘匿化の設定情報、
・情報単位のデータ長、
・誤り訂正符号化情報、及び
・メディアストリームおよび、誤り訂正符号データのうち少なくとも１つのデータ長、
のうち少なくとも１つについて、あらかじめ決定してある情報に基づいて、パケットを構成する手段を有する、請求項１９乃至２６に記載の装置。
受信開始時に、
・送信するマルチキャストアドレス、
・メディアストリームのメディアの種類、
・符号化情報、
・秘匿化の設定情報
・誤り訂正符号化情報、及び
・メディアストリームおよび、誤り訂正符号データのうち少なくとも１つのデータ長、
のうち少なくとも１つについて、受信側に通知する手段を有する、請求項１９乃至２７のいずれか１項に記載の装置。
メディアストリームの受信を行うメディアストリーム受信装置であって、
マルチキャストで配信されたパケットを受信する手段と、
受信した前記パケットから、再生すべき情報要素を１つもしくは複数抽出する手段と、
取り出した情報要素を再生する手段と、
を有するメディアストリーム受信装置。
さらに、情報要素が秘匿化されているときにはそれを復号する手段を有する、請求項２９に記載の装置。
受信した前記パケットから誤り訂正情報単位を少なくとも１つ抽出する手段と、
受信情報単位に誤り、もしくは欠落があった場合、取り出した誤り訂正情報単位を用いて当該情報単位を復元する手段と、
をさらに有する、請求項２９または３０に記載の装置。
受信情報単位の誤りもしくは欠落の状態に基づき、抽出した誤り訂正情報から最適な誤り訂正情報単位を選択する手段、を有する、請求項３１に記載の装置。
（ｉ）情報単位の属する番組を識別する情報、
（ｉｉ）情報単位の属するメディアストリームのメディアの種類、及び
（ｉｉｉ）情報単位の属するメディアストリームの符号化情報、
のうち少なくとも１つの情報を受信する手段と、
受信した情報に基づいて再生を行う手段と、
を有する、請求項２９乃至３２のいずれか１項に記載の装置。
・送信するマルチキャストアドレス、
・メディアストリームのメディアの種類、
・符号化情報、
・秘匿化の設定情報、
・情報単位のデータ長、
・誤り訂正符号化情報、及び
・メディアストリームおよび、誤り訂正符号データのうち少なくとも１つのデータ長、
のうち少なくとも１つについてあらかじめ決定しておく手段を有する、請求項２９乃至３３のいずれか１項に記載の装置。
・受信するマルチキャストアドレス、
・メディアストリームのメディアの種類、
・符号化情報、
・秘匿化の設定情報、
・情報単位のデータ長、及び
・誤り訂正符号化情報、
・メディアストリームおよび、誤り訂正符号データのうち少なくとも１つのデータ長、
のうち少なくとも１つについて、送信側から通知された情報を受信する手段を有する、請求項２９乃至３４のいずか１項に記載の装置。
前記送信側から通知された前記情報に基づいて、受信者の選択、および前記メディアストリーム受信装置の能力の少なくとも一方に応じて、再生するメディアを選択する手段を有する、請求項３４に記載の装置。
請求項１乃至１０のいずれか１項に記載のメディアストリーム送信方法によって前記マルチキャストパケットを送信するステップと、
マルチキャスト機能を有するネットワークによって前記マルチキャストパケットを配信するステップと、
請求項１１乃至１８のいずれか１項に記載のメディアストリーム受信方法によって、前記マルチキャストパケットを受信するステップと、
を有するメディアストリーム配信方法。
請求項１９乃至２８のいずれか１項に記載のメディアストリーム送信装置と、
請求項２９乃至３５のいずれか１項に記載のメディアストリーム受信装置と、
１つ以上のマルチキャスト対応ルータで構成されたネットワークと、
を備えるメディアストリーム配信システム。
コンピュータを請求項１９乃至２８のいずれか１項に記載のメディアストリーム送信装置として機能させるプログラム。
コンピュータを請求項２９乃至３５のいずれか１項に記載のメディアストリーム受信装置として機能させるプログラム。
コンピュータが読み取り可能な記録媒体であって、請求項３９に記載のプログラムを格納した記録媒体。
コンピュータが読み取り可能な記録媒体であって、請求項４０に記載のプログラムを格納した記録媒体。