JP6583171B2 - Ｍｍｔコンテンツ作成装置および作成プログラム - Google Patents

Description

本発明は、ＭＭＴコンテンツ作成装置および作成プログラムに関する。

従来、ＭＭＴＰ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）パケットを用いてコンテンツを伝送する技術が開発されている。

たとえば、非特許文献１（社団法人 電波産業会、”デジタル放送におけるＭＭＴによるメディアトランスポート方式 ＡＲＩＢ ＳＴＤ−Ｂ６０ １．６版”、［ｏｎｌｉｎｅ］、［平成２８年５月１６日検索］、インターネット〈ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ａｒｉｂ．ｏｒ．ｊｐ／ｅｎｇｌｉｓｈ／ｈｔｍｌ／ｏｖｅｒｖｉｅｗ／ｄｏｃ／２−ＳＴＤ−Ｂ６０ｖ１＿６．ｐｄｆ〉）には、放送システムにおけるクロック同期について記載されている。

より詳細には、ＭＭＴ規格は、クロックの伝送等について規定しないため、ＭＭＴを用いる放送システムにおける送出システムおよび受信機は以下の各要件を満たす必要がある。すなわち、送出システムは、ＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）タイムスタンプに基づくクロックを保持すること。送出システムでは、上記クロックと映像および音声のエンコード処理を行うクロックとが同期していること。受信機は、受信したＮＴＰ形式の時刻情報に基づくクロックを再生しかつ保持すること。受信機では、上記クロックを保持するためのシステムクロックと映像および音声等のデコード処理を行うクロックとが同期していること。

また、非特許文献２（ＩＰＴＶ規定 ＩＰ放送仕様、ＩＰＴＶＦＪ ＳＴＤ−０００４ １．３版、ＩＰＴＶフォーラム、２０１２年４月１３日）には、パケットロスに対処するためのＦＥＣ（Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ）について記載されている。

特表２０１５−５３６５９２号公報 特開２０１５−１４９６８０号公報

社団法人 電波産業会、"デジタル放送におけるＭＭＴによるメディアトランスポート方式 ＡＲＩＢ ＳＴＤ−Ｂ６０ １．６版"、［ｏｎｌｉｎｅ］、［平成２８年５月１６日検索］、インターネット〈ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ａｒｉｂ．ｏｒ．ｊｐ／ｅｎｇｌｉｓｈ／ｈｔｍｌ／ｏｖｅｒｖｉｅｗ／ｄｏｃ／２−ＳＴＤ−Ｂ６０ｖ１＿６．ｐｄｆ〉 ＩＰＴＶ規定 ＩＰ放送仕様、ＩＰＴＶＦＪ ＳＴＤ−０００４ １．３版、ＩＰＴＶフォーラム、２０１２年４月１３日 " Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ −− Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｃｏｄｉｎｇ ａｎｄ ｍｅｄｉａ ｄｅｌｉｖｅｒｙ ｉｎ ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｅｎｖｉｒｏｎｍｅｎｔｓ −− Ｐａｒｔ １： ＭＰＥＧ ｍｅｄｉａ ｔｒａｎｓｐｏｒｔ （ＭＭＴ）"、ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＳＴＡＮＤＡＲＤ、２０１４年６月１日、ＩＳＯ／ＩＥＣ ２３００８−１

非特許文献２に記載のＦＥＣ処理は、複数のパケットを含むブロック単位で行われることがある。このような場合、受信側の装置では、パケットロスの発生の有無に関わらず、ブロックを構成する全パケットを受信するまでパケットの処理を開始することができない。

また、非特許文献２に記載のＦＥＣ処理のようにブロックのサイズを固定的に運用する場合、送信側の装置においてコンテンツの取得が遅れると、その遅れが受信側の装置に波及してしまう。

非特許文献１に示すＮＴＰでは、絶対時刻である協定世界時（Ｃｏｏｒｄｉｎａｔｅｄ Ｕｎｉｖｅｒｓａｌ Ｔｉｍｅ， ＵＴＣ）が用いられるため、受信側の装置に遅れが波及すると、受信側の装置においてコンテンツの再生が困難になってしまうことがある。

この発明は、上述の課題を解決するためになされたもので、その目的は、複数のパケットからなるブロック単位でブロックの復元処理が行われる構成において、当該ブロックのサイズを適正にすることが可能なＭＭＴコンテンツ作成装置および作成プログラムを提供することである。

（１）上記課題を解決するために、この発明のある局面に係わるＭＭＴコンテンツ作成装置は、コンテンツを取得する取得部と、ＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）に従い、前記取得部によって取得された前記コンテンツを複数のパケットに分割するパケット生成部と、複数の前記パケットからなるブロック単位で、前記コンテンツの受信側の装置において前記ブロックを復元するための復元用パケットを前記ブロックに基づいて作成するパケット処理部とを備え、前記パケット処理部は、前記取得部による前記コンテンツの取得時刻に基づいて前記ブロックのサイズを決定する。

（４）上記課題を解決するために、この発明のある局面に係わる作成プログラムは、ＭＭＴコンテンツ作成装置において用いられる作成プログラムであって、コンピュータを、コンテンツを取得する取得部と、前記取得部によって取得された前記コンテンツを、ＭＭＴに従い複数のパケットに分割するパケット生成部と、複数の前記パケットからなるブロック単位で、前記コンテンツの受信側の装置において前記ブロックを復元するための復元用パケットを前記ブロックに基づいて作成するパケット処理部と、として機能させるためのプログラムであり、前記パケット処理部は、前記取得部による前記コンテンツの取得時刻に基づいて前記ブロックのサイズを決定する。

本発明は、このような特徴的な処理部を備えるＭＭＴコンテンツ作成装置として実現することができるだけでなく、ＭＭＴコンテンツ作成装置を備えるＭＭＴコンテンツ作成システムとして実現したり、かかる特徴的な処理をステップとする方法として実現したり、ＭＭＴコンテンツ作成装置の一部または全部を実現する半導体集積回路として実現したりすることができる。

本発明によれば、複数のパケットからなるブロック単位でブロックの復元処理が行われる構成において、当該ブロックのサイズを適正にすることができる。

図１は、本発明の第１の実施の形態に係るＭＭＴコンテンツ作成システムの構成を示す図である。 図２は、本発明の第１の実施の形態に係るＭＭＴコンテンツ作成装置の構成を示す図である。 図３は、本発明の第１の実施の形態に係るＭＭＴコンテンツ作成システムにおいて用いられるソースブロックおよびＦＥＣパケットを説明するための図である。 図４は、本発明の第１の実施の形態に係るＭＭＴＰパケットの欠損補償の一例を示す図である。 図５は、本発明の第１の実施の形態に係るＭＭＴコンテンツ作成装置におけるパケット処理部がＭＭＴＰパケットを受けるタイミングの一例を示す図である。 図６は、本発明の第１の実施の形態に係るＭＭＴコンテンツ作成装置がソースブロックおよびＦＥＣ符号化ブロックを作成する際の動作手順を定めたフローチャートである。 図７は、本発明の第２の実施の形態に係るＭＭＴコンテンツ作成システムの構成を示す図である。 図８は、本発明の第２の実施の形態に係るＭＭＴコンテンツ作成装置におけるパケット処理部がＭＭＴＰパケットを受けるタイミングの一例を示す図である。

最初に、本発明の実施形態の内容を列記して説明する。

（１）本発明の実施の形態に係るＭＭＴコンテンツ作成装置は、コンテンツを取得する取得部と、ＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）に従い、前記取得部によって取得された前記コンテンツを複数のパケットに分割するパケット生成部と、複数の前記パケットからなるブロック単位で、前記コンテンツの受信側の装置において前記ブロックを復元するための復元用パケットを前記ブロックに基づいて作成するパケット処理部とを備え、前記パケット処理部は、前記取得部による前記コンテンツの取得時刻に基づいて前記ブロックのサイズを決定する。

このような構成により、コンテンツの取得時刻に基づいて当該コンテンツの適正な取得タイミングからのずれを認識することができるので、認識したずれに応じてブロックのサイズを調整することができる。したがって、複数のパケットからなるブロック単位でブロックの復元処理が行われる構成において、当該ブロックのサイズを適正にすることができる。たとえば、コンテンツの取得が遅れている場合、その遅れ度合いに応じてブロックのサイズを小さくすることができる。これにより、受信側の装置では、より小さいブロック単位で復元処理を行うことができるので、ブロックを構成する全パケットの受信が完了するタイミングを早めることができる。すなわち、ＭＭＴコンテンツ作成装置においてコンテンツの取得が遅れても、受信側の装置においてブロックを構成するパケットの処理開始タイミングを早めることができるので、受信側の装置においてコンテンツの再生が困難になってしまう可能性を低減することができる。

（２）好ましくは、前記パケット処理部は、前記コンテンツの提示時刻に基づく時刻と前記取得時刻とに基づいて前記ブロックのサイズを決定する。

このような構成により、ブロックを構成する全パケットが、たとえば提示時刻の所定時間前までに受信側の装置により受信されるようにブロックのサイズを決定することができるので、受信側の装置は、当該全パケットの処理を提示時刻の所定時間前から開始することができる。

（３）好ましくは、前記取得部は、複数のコンテンツを取得可能であり、前記パケット処理部は、前記取得部による複数のコンテンツの各々の前記取得時刻に基づいて前記ブロックのサイズを前記コンテンツごとに決定する。

このような構成により、たとえば、同じ時刻に提示すべき複数のコンテンツの取得時刻が互いに異なる場合においても、取得が遅れているコンテンツに対して、その遅れ度合いに応じてブロックのサイズを小さくして受信側の装置へ送信することができるので、受信側の装置において、取得が遅れているコンテンツ側のブロックを構成するパケットの処理開始タイミングを早めることができる。これにより、受信側の装置において、取得が遅れているコンテンツの処理が開始されないために、これらのコンテンツの同期が困難になる可能性を低減させることができる。

（４）本発明の実施の形態に係る作成プログラムは、ＭＭＴコンテンツ作成装置において用いられる作成プログラムであって、コンピュータを、コンテンツを取得する取得部と、前記取得部によって取得された前記コンテンツを、ＭＭＴに従い複数のパケットに分割するパケット生成部と、複数の前記パケットからなるブロック単位で、前記コンテンツの受信側の装置において前記ブロックを復元するための復元用パケットを前記ブロックに基づいて作成するパケット処理部と、として機能させるためのプログラムであり、前記パケット処理部は、前記取得部による前記コンテンツの取得時刻に基づいて前記ブロックのサイズを決定する。

このような構成により、コンテンツの取得時刻に基づいて当該コンテンツの適正な取得タイミングからのずれを認識することができるので、認識したずれに応じてブロックのサイズを調整することができる。したがって、複数のパケットからなるブロック単位でブロックの復元処理が行われる構成において、当該ブロックのサイズを適正にすることができる。たとえば、コンテンツの取得が遅れている場合、その遅れ度合いに応じてブロックのサイズを小さくすることができる。これにより、受信側の装置では、より小さいブロック単位で復元処理を行うことができるので、ブロックを構成する全パケットの受信が完了するタイミングを早めることができる。すなわち、ＭＭＴコンテンツ作成装置においてコンテンツの取得が遅れても、受信側の装置においてブロックを構成するパケットの処理開始タイミングを早めることができるので、受信側の装置においてコンテンツの再生が困難になってしまう可能性を低減することができる。

以下、本発明の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。また、以下に記載する実施の形態の少なくとも一部を任意に組み合わせてもよい。

＜第１の実施の形態＞
［構成および基本動作］
図１は、本発明の第１の実施の形態に係るＭＭＴコンテンツ作成システムの構成を示す図である。

図１を参照して、ＭＭＴコンテンツ作成システム３０１は、ＭＭＴコンテンツ作成装置１０１と、エンコーダ１５１とを備える。

エンコーダ１５１、ＭＭＴコンテンツ作成装置１０１およびＭＭＴコンテンツ再生装置１７１は、たとえば、絶対時刻に従って動作する。

エンコーダ１５１は、コンテンツを作成する。ここで、コンテンツは、たとえば提示時刻が指定されている。具体的には、エンコーダ１５１は、たとえば映像および音声を含むコンテンツを作成する。なお、コンテンツは、映像および音声のいずれか一方であってもよい。

詳細には、エンコーダ１５１は、たとえば、スポーツ等を行う被写体を撮影する図示しないカメラから映像および音声を取得する。

より詳細には、映像には、複数の画像が含まれる。たとえば、６０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）のフレームレートで撮影された映像には、１秒あたり６０枚の画像が含まれる。

すなわち、エンコーダ１５１は、所定のフレームレートで撮影を行うカメラから、当該フレームレートの逆数であるフレーム周期ごとに画像を取得するとともに、当該カメラにより集音された音声を取得する。

エンコーダ１５１は、取得した画像および音声をエンコードし、エンコード結果を示す画像情報および音声情報をそれぞれ作成する。

また、エンコーダ１５１は、画像情報の示す画像を提示すべき時刻（以下、提示時刻とも称する。）を当該画像情報に含める。同様に、エンコーダ１５１は、音声情報の示す音声の提示時刻を当該音声情報に含める。そして、エンコーダ１５１は、画像情報および音声情報をＭＭＴコンテンツ作成装置１０１へ送信する。

図２は、本発明の第１の実施の形態に係るＭＭＴコンテンツ作成装置の構成を示す図である。

図２を参照して、ＭＭＴコンテンツ作成装置１０１は、コンテンツ取得部５１と、パケット生成部５２と、パケット処理部５３と、送信部５４と、絶対時刻保持部５５とを備える。

ＭＭＴコンテンツ作成装置１０１は、たとえばサーバであり、エンコーダ１５１によって作成されたコンテンツを含む、非特許文献１および３に記載のＭＭＴＰパケットを作成し、作成したＭＭＴＰパケットを送信する。

ＭＭＴコンテンツ作成装置１０１における絶対時刻保持部５５は、たとえば、カウンタであり、絶対時刻要求を受けると、ＵＴＣを示す絶対時刻情報を出力する。

コンテンツ取得部５１は、コンテンツを取得する。より詳細には、コンテンツ取得部５１は、エンコーダ１５１から画像情報および音声情報を受信すると、以下の処理を行う。

すなわち、コンテンツ取得部５１は、絶対時刻要求を絶対時刻保持部５５へ出力し、絶対時刻要求の応答である絶対時刻情報を絶対時刻保持部５５から受ける。

そして、コンテンツ取得部５１は、画像情報および音声情報をパケット生成部５２へ出力するとともに、絶対時刻保持部５５から受けた絶対時刻情報の示すＵＴＣをコンテンツの取得時刻としてパケット生成部５２に通知する。

パケット生成部５２は、ＭＭＴに従い、取得部５１によって取得されたコンテンツを複数のパケットに分割する。

具体的には、パケット生成部５２は、コンテンツ取得部５１から画像情報および音声情報を受けると、以下の処理を行う。すなわち、パケット生成部５２は、たとえば、非特許文献１に記載されたＭＭＴ規格に従い、画像情報または音声情報を含むＭＭＴＰパケットを生成する。そして、パケット生成部５２は、生成したＭＭＴＰパケットを、コンテンツ取得部５１から通知された取得時刻を示す取得時刻情報とともにパケット処理部５３へ出力する。

パケット処理部５３は、複数のパケットからなるブロック単位で、コンテンツの受信側の装置においてブロックを復元するための復元用パケットをブロックに基づいて作成する。

具体的には、パケット処理部５３は、たとえば、後述する方法により決定された個数のＭＭＴＰパケットからなるソースブロック単位で、復元用パケットであるＦＥＣパケットをソースブロックに基づいて作成する。

図３は、本発明の第１の実施の形態に係るＭＭＴコンテンツ作成システムにおいて用いられるソースブロックおよびＦＥＣパケットを説明するための図である。図３では、２０個のＭＭＴＰパケットを含むソースブロックＳＢ１の一例が示される。

図３を参照して、パケット処理部５３は、たとえば、非特許文献２に記載のＰｒｏ−ＭＰＥＧ（ｔｈｅ Ｐｒｏｆｅｓｓｉｏｎａｌ−ＭＰＥＧ） １Ｄ ＦＥＣ方式に準拠した処理を行うことにより、伝送経路の途中で欠損したＭＭＴＰパケットをＭＭＴコンテンツ再生装置１７１において復元できるようにする。

具体的には、パケット処理部５３は、たとえば、ソースブロックＳＢ１のサイズを、２０個のＭＭＴＰパケットが含まれるサイズに決定した場合、ＭＭＴＰパケット１からＭＭＴＰパケット２０までの２０個のＭＭＴＰパケットを含む４行５列のソースブロックＳＢ１を作成する。

ソースブロックＳＢ１には、２０個のＭＭＴＰパケットがたとえば左上から右方向へ番号順に並べられる。

そして、パケット処理部５３は、ソースブロックＳＢ１の各列におけるＭＭＴＰパケットのビットストリングに対して排他的論理和（ＸＯＲ）を計算し、計算した排他的論理和、すなわち各ビットストリングの冗長データをペイロードに含む復元用のＭＭＴＰパケット（以下、ＦＥＣパケットとも称する。）を作成する。以下、ソースブロックＳＢ１に対応する複数のＦＥＣパケットを、ＦＥＣ符号化ブロックＦＢ１とも称する。

具体的には、パケット処理部５３は、ソースブロックＳＢ１の１列目を構成するＭＭＴＰパケット１，ＭＭＴＰパケット６，ＭＭＴＰパケット１１，ＭＭＴＰパケット１６の各ビットストリングに対して排他的論理和を計算することにより、冗長データを取得する。

そして、パケット処理部５３は、上記冗長データにＭＭＴＰヘッダ（以下、ＦＥＣヘッダとも称する。）を付加することにより、ＦＥＣパケット１を作成する。ＦＥＣヘッダには、たとえばＰｒｏ−ＭＰＥＧ １Ｄ ＦＥＣといったＦＥＣ方式、ソースブロックＳＢ１のサイズおよびＦＥＣ符号化ブロックＦＢ１のサイズ等が含められる。

なお、上記サイズは、ソースブロックＳＢ１またはＦＥＣ符号化ブロックＦＢ１の行数および列数の積を示す。従って、ソースブロックＳＢ１のサイズは、当該ソースブロックに収容されるＭＭＴＰパケットの個数すなわち２０個を示す。また、ＦＥＣ符号化ブロックＦＢ１のサイズは、ＦＥＣ符号化ブロックＦＢ１に収容されるＦＥＣパケットの個数すなわち５個を示す。

パケット処理部５３は、ソースブロックＳＢ１の２列目から５列目についても同様の処理を行い、ＦＥＣパケット２〜ＦＥＣパケット５を作成する。ＦＥＣパケット１〜ＦＥＣパケット５は、ソースブロックＳＢ１に対応するＦＥＣ符号化ブロックＦＢ１を構成する。

図４は、本発明の第１の実施の形態に係るＭＭＴＰパケットの欠損補償の一例を示す図である。

図４を参照して、たとえば、ＭＭＴＰパケット１１が欠損した場合、「欠損」により示される位置に対応する列に属するＭＭＴＰパケット１，ＭＭＴＰパケット６，ＭＭＴＰパケット１６、および当該列に対応するＦＥＣパケット１に基づいて、欠損したＭＭＴＰパケット１１が復元される。

具体的には、ＭＭＴＰパケット１，ＭＭＴＰパケット６，ＭＭＴＰパケット１６の各ビットストリングおよびＦＥＣパケット１のビットストリングに対して計算された排他的論理和が、欠損したＭＭＴＰパケット１１のビットストリングと同じになる。これにより、欠損したＭＭＴＰパケット１１が復元される。

再び図２を参照して、パケット処理部５３は、取得部５１によるコンテンツの取得時刻に基づいてソースブロックのサイズを決定する。

より詳細には、パケット処理部５３は、たとえば、コンテンツの提示時刻に基づく時刻と取得時刻とに基づいてソースブロックのサイズを決定する。

図５は、本発明の第１の実施の形態に係るＭＭＴコンテンツ作成装置におけるパケット処理部がＭＭＴＰパケットを受けるタイミングの一例を示す図である。

図５を参照して、パケット処理部５３は、たとえば、パケット生成部５２からＭＭＴＰパケットａをソースブロックの先頭パケットとして受けると、以下の処理を行う。

すなわち、パケット処理部５３は、ＭＭＴＰパケットａに含まれる画像情報または音声情報を参照し、画像情報または音声情報に含まれる提示時刻ｔｐａを取得する。また、パケット処理部５３は、画像情報または音声情報とともにパケット生成部５２から受けた取得時刻情報の示す取得時刻ｔａ１を取得する。

そして、パケット処理部５３は、ＭＭＴコンテンツ再生装置１７１が、画像情報および音声情報を取得すべき時刻（以下、取得目標時刻とも称する。）を算出する。具体的には、パケット処理部５３は、取得した提示時刻ｔｐａから早着時間Ｔｒを差し引くことにより取得目標時刻を算出する。ここで、早着時間Ｔｒは、ＭＭＴコンテンツ再生装置１７１が、ＭＭＴＰパケットに含まれる画像または音声の提示時刻に対して先んじて取得すべき時間であり、たとえばＭＭＴコンテンツ作成装置１０１に予め登録されている。パケット処理部５３は、取得目標時刻から取得時刻ｔａ１を差し引くことにより、対象時間Ｔｓを算出する。

パケット処理部５３は、取得時刻ｔａ１から対象時間Ｔｓが経過するまでにパケット生成部５２から受けるＭＭＴＰパケットを蓄積し、蓄積したＭＭＴＰパケットの個数をソースブロックのサイズとして決定する。

図５の例では、パケット処理部５３は、ＭＭＴＰパケットａ〜ＭＭＴＰパケットｐの個数をソースブロックのサイズとして決定する。

パケット処理部５３は、決定したサイズのソースブロックを作成し、作成したソースブロックに基づいて対応のＦＥＣ符号化ブロックを作成する。そして、パケット処理部５３は、作成したソースブロックおよびＦＥＣ符号化ブロックを送信部５４へ出力する。

送信部５４は、パケット処理部５３からソースブロックおよびＦＥＣ符号化ブロックを受けると、受けたソースブロックおよびＦＥＣ符号化ブロックをＭＭＴコンテンツ再生装置１７１へ送信する。

より詳細には、送信部５４は、コンテンツをインターネット１０経由でＭＭＴコンテンツ再生装置１７１へ送信するように指定されている場合、たとえばソースブロックおよびＦＥＣ符号化ブロックにそれぞれ含まれるＭＭＴＰパケットおよびＦＥＣパケットに、ＵＤＰヘッダまたはＴＣＰヘッダを付加した後、ＩＰヘッダを付加することによりＩＰパケットを作成する。

そして、送信部５４は、作成したＩＰパケットをインターネット１０経由でＭＭＴコンテンツ再生装置１７１へ送信する。

一方、送信部５４は、コンテンツを放送装置１６１経由でＭＭＴコンテンツ再生装置１７１へ送信するように指定されている場合、たとえばソースブロックおよびＦＥＣ符号化ブロックにそれぞれ含まれるＭＭＴＰパケットおよびＦＥＣパケットに、ＵＤＰヘッダを付加した後、ＩＰヘッダを付加することによりＩＰパケットを作成する。

そして、送信部５４は、作成したＩＰパケットにＴＬＶ（Ｔｙｐｅ Ｌｅｎｇｔｈ Ｖａｌｕｅ）ヘッダを付加することによりＴＬＶパケットを作成し、作成したＴＬＶパケットを放送装置１６１へ送信する。

再び図１を参照して、放送装置１６１は、ＭＭＴコンテンツ作成装置１０１からＴＬＶパケットを受信すると、受信したＴＬＶパケットを含めた放送波を送信する。

ＭＭＴコンテンツ再生装置１７１は、インターネット１０経由でＩＰパケットを受信すると、受信したＩＰパケットからＭＭＴＰパケットおよびＦＥＣパケットを取得する。

また、ＭＭＴコンテンツ再生装置１７１は、放送装置１６１から放送波を受信すると、受信した放送波からＴＬＶパケットを取得し、取得したＴＬＶパケットからＭＭＴＰパケットおよびＦＥＣパケットを取得する。

ＭＭＴコンテンツ再生装置１７１は、たとえば、取得したＦＥＣパケットにおけるＦＥＣヘッダの内容からソースブロックのサイズおよびＦＥＣ符号化ブロックのサイズを認識し、取得したＭＭＴＰパケットおよびＦＥＣパケットからソースブロックおよびＦＥＣ符号化ブロックをそれぞれ作成する。

ＭＭＴコンテンツ再生装置１７１は、たとえば、ＭＭＴＰパケットに欠損がある場合、図４に示す方法を用いて、欠損したＭＭＴＰパケットを復元する。

また、ＭＭＴコンテンツ再生装置１７１は、図２に示す絶対時刻保持部５５と同様の絶対時刻保持部を備える。

ＭＭＴコンテンツ再生装置１７１は、ＭＭＴＰパケットに含まれる画像情報の示す画像を再生し、当該画像情報に含まれる提示時刻と絶対時刻保持部におけるＵＴＣのカウント値とが一致したタイミングで再生した画像を出力する。

同様に、ＭＭＴコンテンツ再生装置１７１は、ＭＭＴＰパケットに含まれる音声情報の示す音声を再生し、当該音声情報に含まれる提示時刻と絶対時刻保持部におけるＵＴＣのカウント値とが一致したタイミングで再生した音声を出力する。

ＭＭＴコンテンツ作成システムにおける各装置は、コンピュータを備え、当該コンピュータにおけるＣＰＵ等の演算処理部は、以下のシーケンス図またはフローチャートの各ステップの一部または全部を含むプログラムを図示しないメモリからそれぞれ読み出して実行する。これら複数の装置のプログラムは、それぞれ、外部からインストールすることができる。これら複数の装置のプログラムは、それぞれ、記録媒体に格納された状態で流通する。

［動作］
図６は、本発明の第１の実施の形態に係るＭＭＴコンテンツ作成装置がソースブロックおよびＦＥＣ符号化ブロックを作成する際の動作手順を定めたフローチャートである。

図６を参照して、まず、ＭＭＴコンテンツ作成装置１０１は、エンコーダ１５１から画像情報または音声情報を受信するまで待機する（ステップＳ１０２でＮＯ）。

そして、ＭＭＴコンテンツ作成装置１０１は、エンコーダ１５１から画像情報または音声情報を受信すると（ステップＳ１０２でＹＥＳ）、受信した画像情報または音声情報の取得時刻を取得する（ステップＳ１０４）。

次に、ＭＭＴコンテンツ作成装置１０１は、画像情報または音声情報を含むＭＭＴＰパケットを作成する（ステップＳ１０６）。

次に、ＭＭＴコンテンツ作成装置１０１は、作成したＭＭＴＰパケットがソースブロックの先頭にすべきＭＭＴＰパケットである場合（ステップＳ１０８でＹＥＳ）、対象時間Ｔｓを決定する（ステップＳ１２０）。

次に、ＭＭＴコンテンツ作成装置１０１は、エンコーダ１５１から新たな画像情報または音声情報を受信するまで待機する（ステップＳ１０２でＮＯ）。

一方、ＭＭＴコンテンツ作成装置１０１は、作成したＭＭＴＰパケットがソースブロックの先頭にすべきＭＭＴＰパケットでない場合（ステップＳ１０８でＮＯ）、ソースブロックの先頭にすべきＭＭＴＰパケットの取得時刻ｔａ１から対象時間Ｔｓが経過したか否かを判断する（ステップＳ１１０）。

ＭＭＴコンテンツ作成装置１０１は、取得時刻ｔａ１から対象時間Ｔｓが経過していないと判断した場合（ステップＳ１１０でＮＯ）、ＭＭＴＰパケットを蓄積する（ステップＳ１１２）。

次に、ＭＭＴコンテンツ作成装置１０１は、エンコーダ１５１から新たな画像情報または音声情報を受信するまで待機する（ステップＳ１０２でＮＯ）。

一方、ＭＭＴコンテンツ作成装置１０１は、取得時刻ｔａ１から対象時間Ｔｓが経過したと判断した場合（ステップＳ１１０でＹＥＳ）、以下の処理を行う。

すなわち、ＭＭＴコンテンツ作成装置１０１は、取得時刻ｔａ１から対象時間Ｔｓが経過するまでに作成したＭＭＴＰパケットの個数をソースブロックのサイズとして決定するとともに、取得時刻ｔａ１から対象時間Ｔｓが経過するまでに蓄積したＭＭＴＰパケットを含むソースブロックを作成する（ステップＳ１１４）。

次に、ＭＭＴコンテンツ作成装置１０１は、作成したソースブロックに対応するＦＥＣ符号化ブロックを作成する（ステップＳ１１６）。

次に、ＭＭＴコンテンツ作成装置１０１は、作成したソースブロックおよびＦＥＣ符号化ブロックを送信する（ステップＳ１１８）。

次に、ＭＭＴコンテンツ作成装置１０１は、エンコーダ１５１から新たな画像情報または音声情報を受信するまで待機する（ステップＳ１０２でＮＯ）。

なお、本発明の第１の実施の形態に係るＭＭＴコンテンツ作成装置では、パケット処理部５３は、コンテンツの提示時刻に基づく時刻とコンテンツの取得時刻とに基づいてソースブロックのサイズを決定する構成であるとしたが、これに限定するものではない。パケット処理部５３は、コンテンツの取得時刻に基づいてソースブロックのサイズを決定する構成であってもよい。具体的には、たとえば、コンテンツの取得が周期的に行われる構成において、パケット処理部５３は、コンテンツを取得すべき周期ごとのタイミングと取得時刻とに基づいて、コンテンツの取得タイミングの適正値からのずれを認識し、認識したずれに基づいてソースブロックのサイズを決定する。

また、本発明の第１の実施の形態に係るＭＭＴコンテンツ作成装置では、コンテンツ取得部５１は、エンコーダ１５１からコンテンツを受信する構成であるとしたが、これに限定するものではない。コンテンツ取得部５１は、コンテンツを作成して取得する構成であってもよいし、コンテンツが保存された記憶部から当該コンテンツを取得する構成であってもよい。

ところで、非特許文献２に記載のＦＥＣ処理は、複数のパケットを含むブロック単位で行われることがある。このような場合、受信側の装置では、パケットロスの発生の有無に関わらず、ブロックを構成する全パケットを受信するまでパケットの処理を開始することができない。

また、非特許文献２に記載のＦＥＣ処理のようにブロックのサイズを固定的に運用する場合、送信側の装置においてコンテンツの取得が遅れると、その遅れが受信側の装置に波及してしまう。

非特許文献１に示すＮＴＰでは、絶対時刻である協定世界時が用いられるため、受信側の装置に遅れが波及すると、受信側の装置においてコンテンツの再生が困難になってしまうことがある。

これに対して、本発明の第１の実施の形態に係るＭＭＴコンテンツ作成装置は、コンテンツ取得部５１は、コンテンツを取得する。パケット生成部５２は、ＭＭＴに従い、コンテンツ取得部５１によって取得されたコンテンツを複数のＭＭＴＰパケットに分割する。パケット処理部５３は、複数のＭＭＴＰパケットからなるソースブロック単位で、コンテンツの受信側の装置においてソースブロックを復元するためのＦＥＣパケットを当該ソースブロックに基づいて作成する。そして、パケット処理部５３は、コンテンツ取得部５１によるコンテンツの取得時刻に基づいてソースブロックのサイズを決定する。

このような構成により、コンテンツの取得時刻に基づいて当該コンテンツの適正な取得タイミングからのずれを認識することができるので、認識したずれに応じてソースブロックのサイズを調整することができる。したがって、複数のパケットからなるブロック単位でブロックの復元処理が行われる構成において、当該ブロックのサイズを適正にすることができる。たとえば、コンテンツの取得が遅れている場合、その遅れ度合いに応じてソースブロックのサイズを小さくすることができる。これにより、受信側の装置では、より小さいソースブロック単位で復元処理を行うことができるので、ソースブロックを構成する全ＭＭＴＰパケットの受信が完了するタイミングを早めることができる。すなわち、ＭＭＴコンテンツ作成装置１０１においてコンテンツの取得が遅れても、受信側の装置においてソースブロックを構成するＭＭＴＰパケットの処理開始タイミングを早めることができるので、受信側の装置においてコンテンツの再生が困難になってしまう可能性を低減することができる。

また、本発明の第１の実施の形態に係るＭＭＴコンテンツ作成装置は、パケット処理部５３は、コンテンツの提示時刻に基づく時刻と取得時刻とに基づいてソースブロックのサイズを決定する。

このような構成により、ソースブロックを構成する全ＭＭＴＰパケットが、たとえば提示時刻の早着時間前までに受信側の装置により受信されるようにソースブロックのサイズを決定することができるので、受信側の装置は、当該全ＭＭＴＰパケットの処理を提示時刻の早着時間前から開始することができる。

次に、本発明の他の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。

＜第２の実施の形態＞
本実施の形態は、第１の実施の形態に係るＭＭＴコンテンツ作成システムと比べて複数のエンコーダを備えるＭＭＴコンテンツ作成システムに関する。以下で説明する内容以外は第１の実施の形態に係るＭＭＴコンテンツ作成システムと同様である。

図７は、本発明の第２の実施の形態に係るＭＭＴコンテンツ作成システムの構成を示す図である。

図７を参照して、ＭＭＴコンテンツ作成システム３０２は、ＭＭＴコンテンツ作成装置１０１と、エンコーダ１５１であるエンコーダ１５１Ａ，１５１Ｂとを備える。なお、ＭＭＴコンテンツ作成システム３０２は、３つ以上のエンコーダ１５１を備える構成であってもよい。

エンコーダ１５１Ａは、たとえば、スポーツ等を行う被写体を撮影する図示しないカメラから映像および音声を取得する。エンコーダ１５１Ｂは、当該カメラの角度と異なる角度から当該被写体を撮影する図示しない他のカメラから映像および音声を取得する。

エンコーダ１５１Ａによってエンコードされた映像および音声は、たとえば放送装置１６１経由でＭＭＴコンテンツ再生装置１７１へ伝送される。また、エンコーダ１５１Ｂによってエンコードされた映像および音声は、たとえばインターネット１０経由でＭＭＴコンテンツ再生装置１７１へ伝送される。

再び図２を参照して、取得部５１は、たとえば複数のコンテンツを取得可能である。具体的には、コンテンツ取得部５１は、たとえば、エンコーダ１５１Ａから画像情報および音声情報を受信すると、絶対時刻保持部５５から絶対時刻情報を取得し、受信した画像情報および音声情報をパケット生成部５２へ出力するとともに、絶対時刻情報の示すＵＴＣをコンテンツの取得時刻としてパケット生成部５２に通知する。コンテンツ取得部５１は、エンコーダ１５１Ｂから受信する画像情報および音声情報についても同様に処理する。

パケット生成部５２は、エンコーダ１５１Ａからの画像情報および音声情報をコンテンツ取得部５１から受けると、以下の処理を行う。すなわち、パケット生成部５２は、たとえば、非特許文献１に記載されたＭＭＴ規格に従い、画像情報または音声情報を含むＭＭＴＰパケットＡを生成する。そして、パケット生成部５２は、生成したＭＭＴＰパケットＡを、コンテンツ取得部５１から通知された取得時刻を示す取得時刻情報とともにパケット処理部５３へ出力する。

同様に、パケット生成部５２は、エンコーダ１５１Ｂからの画像情報および音声情報をコンテンツ取得部５１から受けると、上記ＭＭＴ規格に従い、画像情報または音声情報を含むＭＭＴＰパケットＢを生成する。そして、パケット生成部５２は、生成したＭＭＴＰパケットＢを、コンテンツ取得部５１から通知された取得時刻を示す取得時刻情報とともにパケット処理部５３へ出力する。

図８は、本発明の第２の実施の形態に係るＭＭＴコンテンツ作成装置におけるパケット処理部がＭＭＴＰパケットを受けるタイミングの一例を示す図である。

図８を参照して、パケット処理部５３は、たとえば、取得部５１による複数のコンテンツの各々の取得時刻に基づいてブロックのサイズをコンテンツごとに決定する。

より詳細には、パケット処理部５３は、たとえば、パケット生成部５２からＭＭＴＰパケットＡａをソースブロックの先頭パケットとして受けると、以下の処理を行う。

すなわち、パケット処理部５３は、ＭＭＴＰパケットＡａに含まれる画像情報または音声情報を参照し、画像情報または音声情報に含まれる提示時刻ｔｐａを取得する。また、パケット処理部５３は、画像情報または音声情報とともにパケット生成部５２から受けた取得時刻情報の示す取得時刻ｔａ１を取得する。

そして、パケット処理部５３は、取得した提示時刻ｔｐａから早着時間Ｔｒおよび取得時刻ｔａ１を差し引くことにより対象時間Ｔｓａを算出する。

パケット処理部５３は、取得時刻ｔａ１から対象時間Ｔｓａが経過するまでにパケット生成部５２から受けるＭＭＴＰパケットＡを蓄積し、蓄積したＭＭＴＰパケットＡの個数を、放送装置１６１経由でＭＭＴコンテンツ再生装置１７１へ送信すべきソースブロックＳＢＡのサイズとして決定する。

図８の例では、パケット処理部５３は、ＭＭＴＰパケットＡａ〜ＭＭＴＰパケットＡｐの個数をソースブロックＳＢＡのサイズとして決定する。

パケット処理部５３は、決定したサイズのソースブロックＳＢＡを作成し、作成したソースブロックＳＢＡに基づいて対応のＦＥＣ符号化ブロックＦＢＡを作成する。そして、パケット処理部５３は、作成したソースブロックＳＢＡおよびＦＥＣ符号化ブロックＦＢＡを送信部５４へ出力する。

一方、たとえば、ＭＭＴＰパケットＡａの提示時刻ｔｐａと同一の提示時刻を含む画像情報または音声情報が格納されたＭＭＴＰパケットＢａが、取得時刻ｔａ１から時間Ｔｄ１経過した時刻においてパケット生成部５２からパケット処理部５３へ出力される。

パケット処理部５３は、パケット生成部５２からＭＭＴＰパケットＢａを受けると、受けたＭＭＴＰパケットＢａをソースブロックの先頭パケットとして処理すべきと認識し、以下の処理を行う。

すなわち、パケット処理部５３は、ＭＭＴＰパケットＢａに含まれる画像情報または音声情報から提示時刻ｔｐａを取得するとともに、画像情報または音声情報とともにパケット生成部５２から受けた取得時刻情報の示す取得時刻ｔｂ１すなわち（ｔａ１＋Ｔｄ１）を取得する。

そして、パケット処理部５３は、取得した提示時刻ｔｐａから早着時間Ｔｒおよび取得時刻ｔｂ１を差し引くことにより対象時間Ｔｓｂを算出する。

パケット処理部５３は、取得時刻ｔｂ１から対象時間Ｔｓｂが経過するまでにパケット生成部５２から受けるＭＭＴＰパケットＢを蓄積し、蓄積したＭＭＴＰパケットＢの個数を、インターネット１０経由でＭＭＴコンテンツ再生装置１７１へ送信すべきソースブロックＳＢＢのサイズとして決定する。

図８の例では、パケット処理部５３は、ＭＭＴＰパケットＢａ〜ＭＭＴＰパケットＢｉの個数をソースブロックＳＢＢのサイズとして決定する。

パケット処理部５３は、決定したサイズのソースブロックＳＢＢを作成し、作成したソースブロックＳＢＢに基づいて対応のＦＥＣ符号化ブロックＦＢＢを作成する。そして、パケット処理部５３は、作成したソースブロックＳＢＢおよびＦＥＣ符号化ブロックＦＢＢを送信部５４へ出力する。

送信部５４は、パケット処理部５３からソースブロックＳＢＡおよびＦＥＣ符号化ブロックＦＢＡを受けると、ソースブロックＳＢＡおよびＦＥＣ符号化ブロックＦＢＡにそれぞれ含まれるＭＭＴＰパケットおよびＦＥＣパケットに、ＵＤＰヘッダを付加した後、ＩＰヘッダを付加することによりＩＰパケットを作成する。

そして、送信部５４は、作成したＩＰパケットにＴＬＶヘッダを付加することによりＴＬＶパケットを作成し、作成したＴＬＶパケットを放送装置１６１へ送信する。

また、送信部５４は、パケット処理部５３からソースブロックＳＢＢおよびＦＥＣ符号化ブロックＦＢＢを受けると、ソースブロックＳＢＢおよびＦＥＣ符号化ブロックＦＢＢにそれぞれ含まれるＭＭＴＰパケットおよびＦＥＣパケットに、ＵＤＰヘッダまたはＴＣＰヘッダを付加した後、ＩＰヘッダを付加することによりＩＰパケットを作成する。

そして、送信部５４は、作成したＩＰパケットをインターネット１０経由でＭＭＴコンテンツ再生装置１７１へ送信する。

以上のように、本発明の第２の実施の形態に係るＭＭＴコンテンツ作成装置では、コンテンツ取得部５１は、複数のコンテンツを取得可能である。そして、パケット処理部５３は、コンテンツ取得部５１による複数のコンテンツの各々の取得時刻に基づいてソースブロックのサイズをコンテンツごとに決定する。

このような構成により、たとえば、同じ時刻に提示すべき複数のコンテンツの取得時刻が互いに異なる場合においても、取得が遅れているコンテンツに対して、その遅れ度合いに応じてソースブロックのサイズを小さくして受信側の装置へ送信することができるので、受信側の装置において、取得が遅れているコンテンツ側のソースブロックを構成するＭＭＴＰパケットの処理開始タイミングを早めることができる。これにより、受信側の装置において、取得が遅れているコンテンツの処理が開始されないために、これらのコンテンツの同期が困難になる可能性を低減させることができる。

なお、本発明の第１の実施の形態および第２の実施の形態に係る各装置の構成要素および動作のうち、一部または全部を適宜組み合わせることも可能である。

上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

以上の説明は、以下に付記する特徴を含む。

［付記１］
コンテンツを取得する取得部と、
ＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）に従い、前記取得部によって取得された前記コンテンツを複数のパケットに分割するパケット生成部と、
複数の前記パケットからなるブロック単位で、前記コンテンツの受信側の装置において前記ブロックを復元するための復元用パケットを前記ブロックに基づいて作成するパケット処理部とを備え、
前記パケット処理部は、前記取得部による前記コンテンツの取得時刻に基づいて前記ブロックのサイズを決定し、
前記コンテンツは、画像および前記画像の提示時刻を含む画像情報、ならびに音声および前記音声の提示時刻を示す音声情報を含み、
前記パケット生成部は、前記画像情報および前記音声情報を含む複数のＭＭＴＰ（ＭＭＴ Ｐｒｏｔｏｃｏｌ）パケットを生成し、
前記パケット処理部は、前記取得部により取得された前記コンテンツの取得時刻から所定の早着時間と前記コンテンツに含まれる前記画像の提示時刻または前記音声の提示時刻とを差し引くことにより対象時間を取得し、
前記パケット処理部は、前記取得時刻から前記対象時間が経過するまでに前記取得部により取得された前記コンテンツを含む前記ＭＭＴＰパケットの個数を前記サイズとして決定する、ＭＭＴコンテンツ作成装置。

１０ インターネット
５１ コンテンツ取得部
５２ パケット生成部
５３ パケット処理部
５４ 送信部
５５ 絶対時刻保持部
１０１ ＭＭＴコンテンツ作成装置
１５１ エンコーダ
１６１ 放送装置
１７１ ＭＭＴコンテンツ再生装置
３０１，３０２ ＭＭＴコンテンツ作成システム

Claims (4)

1. コンテンツを取得する取得部と、
   ＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）に従い、前記取得部によって取得された前記コンテンツを複数のパケットに分割するパケット生成部と、
   複数の前記パケットからなるブロック単位で、前記コンテンツの受信側の装置において前記ブロックを復元するための復元用パケットを前記ブロックに基づいて作成するパケット処理部とを備え、
   前記パケット処理部は、前記取得部による前記コンテンツの取得時刻に基づいて前記ブロックのサイズを決定する、ＭＭＴコンテンツ作成装置。
2. 前記パケット処理部は、前記コンテンツの提示時刻に基づく時刻と前記取得時刻とに基づいて前記ブロックのサイズを決定する、請求項１に記載のＭＭＴコンテンツ作成装置。
3. 前記取得部は、複数のコンテンツを取得可能であり、
   前記パケット処理部は、前記取得部による複数のコンテンツの各々の前記取得時刻に基づいて前記ブロックのサイズを前記コンテンツごとに決定する、請求項１または請求項２に記載のＭＭＴコンテンツ作成装置。
4. ＭＭＴコンテンツ作成装置において用いられる作成プログラムであって、
   コンピュータを、
   コンテンツを取得する取得部と、
   前記取得部によって取得された前記コンテンツを、ＭＭＴに従い複数のパケットに分割するパケット生成部と、
   複数の前記パケットからなるブロック単位で、前記コンテンツの受信側の装置において前記ブロックを復元するための復元用パケットを前記ブロックに基づいて作成するパケット処理部と、
   として機能させるためのプログラムであり、
   前記パケット処理部は、前記取得部による前記コンテンツの取得時刻に基づいて前記ブロックのサイズを決定する、作成プログラム。

Images