JP7053525B2 - バッファリング処理装置、通信システム、バッファリング処理方法、及びプログラム - Google Patents

Description

本発明は、パケットを伝送するネットワークの遅延量に基づいて、パケットのバッファリング処理を実行する技術に関連するものである。

カメラ・マイク等で取得した映像及び音声等のメディア信号をＩＰ変換してネットワークに送信する技術がある。

メディア信号のＩＰパケット化においては、標準的な規定により、各社の製品が製造されている。標準的な規定としては、例えば、ＳＭＰＴＥ（Society of Motion Picture and Television Engineers、米国映画テレビ技術者協会）が定めた標準規定ＳＴ２１１０があり、ＳＴ２１１０では、放送における映像・音声等メディア信号（ＳＤＩ：Serial Digital Interface信号）をＩＰパケット（Ｖｉｄｅｏ ｏｖｅｒ ＩＰ）に変換（あるいはその逆の変換）する方法が規定されている。

当該規定では、変換装置及び途中のＩＰネットワーク経路上のスイッチ等各装置で時刻同期をさせたうえで、同期をＩＰパケットに反映させることで、放送用途での同期を実現させている。なお、時刻同期に関しては、ＳＭＰＴＥ ＳＴ２０５９というＰＴＰ：Precision Time Protocol（ＩＥＥＥ１５８８）に基づく規定を利用して１μ秒以下の精度で時刻を合わせている。

特開２００５－３２２９９５号公報

複数拠点のカメラ・マイク等で取得した映像／音声を、それぞれの拠点でＩＰ変換してネットワーク送信することにより、複数拠点の映像／音声を合成して表示したり、複数拠点の映像／音声を切り替えて表示したりする用途が検討されている。

しかし、ＩＰ変換を行う各送信側拠点から、ＩＰパケットを受信する受信側拠点へのネットワーク遅延は、送信側拠点毎に異なる。そのため、各送信側拠点から伝送されたそれぞれのＩＰパケットを映像・音声信号に変換して表示した際に、送信側拠点間で同じ時刻に取得された映像／音声を同時に表示することができず、ずれが生じる。そのため、例えば、同じ対象物（スポーツにおける競技者等）を複数の送信側拠点で撮影し、受信側拠点において映像・音声信号を合成した場合に合成映像・音声内でずれが生じたり、切り替えて利用しようとすると切替前後で映像・音声の流れが少し前へ遡ったり、少し先へ飛んだりすることになる。このような現象を解消したいという要求がある。

また、例えば、単一系統のネットワークでパケットのストリームを流す場合において、ジッタ（各パケットの遅延のばらつき）をできるだけ抑えることで、安定したストリームを流したいという要求もある。

上記の各要求に対応するために、例えば、パケットを、ネットワークの遅延量に基づいてバッファリングすることが考えられる。しかし、ネットワークの遅延量は様々な条件により変動するものであり、条件に応じた適切な遅延量を用いてバッファリング処理を行うことは、従来技術では難しかった。

本発明は上記の点に鑑みてなされたものであり、ネットワークで伝送されるパケットを受信する受信側において、適切な遅延量を使用してバッファリング処理を行うことを可能とする技術を提供することを目的とする。

開示の技術によれば、ネットワークにおける条件毎の遅延時間を記録したテーブルを格納する記憶部と、
現在の条件に対応する遅延時間を前記記憶部から取得する制御部と、
前記ネットワークからパケットを受信する入力部と、
受信したパケットを格納するバッファ部と、
前記取得された遅延時間に基づき算出される時刻に、前記パケットを出力する出力部と
を備えるバッファリング処理装置が提供される。

開示の技術によれば、ネットワークで伝送されるパケットを受信する受信側において、適切な遅延量を使用してバッファリング処理を行うことを可能とする技術が提供される。

本発明の実施の形態におけるシステムの全体構成例を示す図である。 本発明の実施の形態におけるシステムの全体構成例を示す図である。 バッファリング処理装置の機能構成を示す図である。 バッファリング処理装置のハードウェア構成例を示す図である。 バッファリング処理装置の処理手順を示すフローチャートである。 予測最大遅延時間のテーブルの例を示す図である。 映像フレームの到着タイミングと送信タイミングとの関係を説明するための図である。 他の例を示す図である。

以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

本実施の形態では、複数拠点のそれぞれで取得されたメディア信号をＩＰ変換して送出し、ＩＰパケットの受信側においてタイミングを合わせて送信することを、本発明の適用先の例として説明しているが、本発明の適用先はこれに限られるわけではなく、本発明は様々な用途に適用可能である。後述する「他の例」は、様々な用途の中の一例である。

以下の説明では、映像、音声、データ（センサデータ、制御信号等）のそれぞれ、及びこれらの組み合わせ（映像＋音声、映像＋データ、音声＋データ、又は、映像＋音声＋データ）を総称してメディア信号と呼ぶ。

また、本実施の形態において、ＳＭＰＴＥ ＳＴ２１１０、及びＳＭＰＴＥ ＳＴ２０５９に準拠した動作を行う通信システムを説明しているが、当該通信システムにおいて、ＳＭＰＴＥ ＳＴ２１１０、及びＳＭＰＴＥ ＳＴ２０５９を用いることは一例に過ぎない。本発明は、ＳＭＰＴＥ ＳＴ２１１０、及びＳＭＰＴＥ ＳＴ２０５９を用いない場合にも適用可能である。

また、本実施の形態において、対象とするパケットはＩＰパケットに限らない。例えば、対象とするパケットが、Ｅｔｈｅｒフレームであってもよいし、その他の単位のデータ（パケット、フレーム、あるいはセルと呼ばれてもよい）であってもよい。

（システム構成）
図１に、本実施の形態における通信システムの構成例を示す。図１に示すように、本実施の形態における通信システムでは、映像撮影及び音声収集可能なカメラ（マイクを含む）が複数の拠点（図１の例では拠点Ａと拠点Ｂが示されている）に備えられている。各拠点は、１つの場所にあり、拠点毎の物理的な位置は異なっている。

なお、本実施の形態では、メディア信号として、カメラにより取得できる、映像単独、音声単独、あるいは映像と音声の組み合わせを用いることを想定しているが、例えば、センサ等から取得される振動データ等もメディア信号として用いることも可能である。この場合、例えば、ある拠点でコンサートの振動データをメディア信号として取得し、別の拠点で同じコンサートの映像・音声をメディア信号として取得し、受信側において、振動と映像・音声を同期させて出力することができる。

図１の例において、拠点Ａには、カメラ１１、メディア信号ＩＰ変換送出装置１２、及びＮＷスイッチ１３が備えられており、拠点Ｂには、カメラ２１、メディア信号ＩＰ変換送出装置２２、及びＮＷスイッチ２３が備えられている。

カメラ１１は、マイクも有しており、映像を撮影するとともに、音声を収集し、映像と音声からなるメディア信号としてのＳＤＩ信号を送信する。メディア信号ＩＰ変換送出装置１２は、カメラから受信するメディア信号（具体的にはＳＤＩ信号）をＩＰ変換し、ＩＰパケットを送出する。ＮＷスイッチ１３は、受信したＩＰパケットを所望の宛先に向けて送出する。

拠点Ｂにおけるカメラ２１、メディア信号ＩＰ変換送出装置２２、ＮＷスイッチ２３は、それぞれ拠点Ａにおけるカメラ１１、メディア信号ＩＰ変換送出装置１２、ＮＷスイッチ１３と同様の機能を備える。

拠点Ｏには、ＮＷスイッチ１４、２４、バッファリング処理装置１００、ＩＰ信号受信メディア変換装置１５、２５、再生装置１６、２６が備えられる。なお、再生装置１６、２６を備えることは一例に過ぎない。例えば、再生装置１６、２６に代えて、ＩＰ信号受信メディア変換装置１５、２５からのＳＤＩ信号を受信し、合成、切り替え等の編集を行って出力する配信サーバが備えられてもよい。

ＮＷスイッチ１４、２４は、受信したＩＰパケットを所望の宛先に送出する。バッファリング処理装置１００は、複数系統のネットワークから受信したＩＰパケットのタイミングを系統間で揃えてから当該ＩＰパケットを出力する。なお、後述する他の例で説明するように、バッファリング処理装置１００は、単一系統のネットワークから受信したパケットに対するバッファリング処理を行うこともできる。バッファリング処理装置１００の詳細は後述する。ＩＰ信号受信メディア変換装置１５、２５は、受信したＩＰパケットをメディア信号（具体的にはＳＤＩ信号）に変換し、出力する。

図１の例では、拠点Ａと拠点Ｏとの間（具体的には、ＮＷスイッチ１３とＮＷスイッチ１４との間）は、有線ネットワークで接続されている。また、拠点Ｂと拠点Ｏとの間（具体的には、ＮＷスイッチ２３とＮＷスイッチ２４との間）は、無線ネットワークと有線ネットワークが組み合わされたネットワークで接続されている。ここでは、拠点Ａと拠点Ｏとの間の経路を系統１と呼び、拠点Ｂと拠点Ｏとの間の経路を系統２と呼ぶ。無線ネットワークは、例えば５Ｇネットワークである。５Ｇネットワークにより、大容量でリアルタイム性のある通信が無線で可能になる。

図１に示す例において、それぞれの系統のネットワーク遅延は、伝送経路の距離や機器・回線種別によって異なる。例えば、無線区間では、カメラと基地局との距離や、周囲の建物の状況等によって、遅延が大きくなる場合がある。そのため、図１に示す例において、有線ネットワークのみで接続される拠点Ａと拠点Ｏとの間と、無線ネットワークと有線ネットワークが組み合わされたネットワークで接続される拠点Ｂと拠点Ｏとの間では、後者の遅延のほうが大きくなることが考えられる。

そのため、複数拠点のカメラで取得したメディア信号を、それぞれの拠点で、ＳＭＰＴＥ ＳＴ２１１０等の規定に従ってＩＰ変換してネットワークに送信する場合において、伝送されたそれぞれのＩＰパケットをメディア信号（映像・音声信号）に変換して表示した際に、各地点の映像・音声の撮影時時刻からの遅延時間が系統間でずれてしまう。

このずれたままの映像・音声信号を、放送や映像解析等に利用しようとすると、例えば、同じ対象物（スポーツにおける競技者等）を複数のカメラで撮影した（ＩＰ変換・伝送、映像・音声信号に戻された）映像・音声信号を合成した場合に合成映像・音声内でずれが生じたり、切り替えて利用しようとすると切替前後で映像・音声の流れが少し前へ遡ったり、少し先へ飛んだりすることになる。

そこで、本実施の形態では、予め、それぞれの系統のネットワークにＩＰパケットを流した際の遅延量を測定しておき、測定した遅延量を実際のメディア伝送時の予測遅延量として使用する。具体的には、後述するように、バッファリング処理装置１００において、系統間の遅延時間の最大値に合わせて、各系統のＩＰパケットをバッファに蓄積することで、各系統でタイミングを合わせて送信することとしている。

なお、本実施の形態では、メディア信号ＩＰ変換送出装置／ＩＰ信号受信メディア変換装置での変換にかかる時間は一定と見なしている。また、本実施の形態では、各装置における時刻はＰＴＰ：Precision Time Protocol（ＳＭＰＴＥ ＳＴ２０５９に基づくプロファイル）により、誤差１μ秒以内に合わせられていて、メディア信号ＩＰ変換送出装置でその時刻（映像／音声／データがカメラ等で撮影／収集／取得された時刻であると見なしてよい）がＩＰヘッダに正しく書き込まれる。そのため、各ＩＰパケットが送信タイミングからどれだけ遅延して到着しているかは、ＩＰヘッダに書き込まれた時刻とバッファリング処理装置側の時刻とを比較することで算出できる。

（装置構成）
図２は、図１における構成において、拠点Ａ，Ｂに加え、拠点Ｃが加えられた例を示す図である。図２は、拠点Ｃがあることを除き、実質的に図１と同じであるが、各系統の構成をより分かり易く示している。また、図２では、メディア信号ＩＰ変換送出装置１２、２２、３２は、その処理内容（メディア信号をパケット化）に着目してＥｎＣａｐｓｕｌａｔｉｏｎと記載している。また、ＩＰ信号受信メディア変換装置１５、２５、３５は、その処理内容（パケットをメディア信号化）に着目してＤｅＣａｐｓｕｌａｔｉｏｎと記載している。

図３に、バッファリング処理装置１００の機能構成図を示す。図３に示すように、バッファリング処理装置１００は、入力部１１０、バッファ部１２０、出力部１３０、制御部１４０、条件判断部１５０、テーブル記憶部１６０を有する。

入力部１１０は、各ＮＷスイッチからのＩＰパケットを受信し、入力する。バッファ部１２０は、例えば系統毎にバッファを備え、各バッファに各系統のＩＰパケットを格納する。出力部１３０は、各バッファからＩＰパケットを読み出し、送出する。制御部１４０は、ＩＰパケットのバッファへの格納、及びＩＰパケットのバッファからの読み出しの制御を行う。

条件判断部１５０は、現在の条件が、後述するテーブルにおけるどの条件に該当するかを決定し、決定した条件を制御部１４０に通知する。テーブル記憶部１６０は、条件と遅延時間とを対応付けたテーブルを格納する。詳細については後述する。

（ハードウェア構成例）
バッファリング処理装置１００は、例えば、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。

すなわち、バッファリング処理装置１００は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、当該バッファリング処理装置１００で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。

図４は、本実施の形態における上記コンピュータのハードウェア構成例を示す図である。図４のコンピュータは、それぞれバスＢで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、及び入力装置１００７等を有する。

当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、当該バッファリング処理装置１００に係る機能を実現する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。

（動作例）
次に、図２、図３に示す構成を有するバッファリング処理装置１００の動作例を図５のフローチャートの手順に沿って説明する。

なお、以下では、テーブル作成、条件判断、ｍａｘ＿Ｔ算出等の事前処理をバッファリング処理装置１００が行うこととしているが、これは一例であり、バッファリング処理装置１００以外の装置が事前処理を行って、当該装置からｍａｘ＿Ｔ等の値をバッファリング処理装置１００に設定することとしてもよい。

＜Ｓ１０１：テーブル作成、格納＞
本実施の形態では、事前に系統毎のネットワーク経路における、ＩＰパケットを流したときの遅延時間を測定しておく。遅延時間の測定方法は特定の方法に限られないが、例えば、系統毎に、カメラ等でメディア信号を取得し、メディア信号ＩＰ変換送出装置によりメディア信号をＩＰ変換し、送出し、受信側の拠点におけるＮＷスイッチあるいはバッファリング処理装置においてＩＰパケットの受信時刻からＩＰパケットのヘッダに付された時刻を引くことで遅延時間を測定する。上記の測定に関し、測定の目的のためにＩＰパケットを流すこととしてもよいし、メディア伝送のサービス提供中に測定を行うこととしてもよい。

上記の遅延時間の測定に際し、ネットワークの遅延時間に変化を与えるパラメータを決めておく。当該パラメータとして、例えば、使用したい帯域量、曜日、時間帯、天候（特に屋外の無線区間を含むネットワークの場合に有効）、ネットワークのホップ数、特別な日（祝日等）であるか否か、イベントの有無、等がある。なお、使用するパラメータの数は、例えば、これらのうちの１つであってもよいし、いずれか複数であってもよいし、全部であってもよい。

バッファリング処理装置１００（の制御部１４０）は、系統毎の過去の遅延時間の実績値と、遅延時間測定時のパラメータの値をメモリ等の記憶部（テーブル記憶部１６０であってもよい）に記録しておく。なお、パラメータの値の組み合わせ毎に、測定の目的のために遅延時間を測定することとしてもよい。

そして、バッファリング処理装置１００の制御部１４０は、記憶部に記憶した遅延時間から、系統毎、パラメータの値（の予め定めた範囲）の組み合わせ毎に、有効範囲における（無視できる特殊な場合における無効値（異常値）を除いた）最大値を抽出し、その最大値を、例えば、図６に示すテーブルの形で、テーブル記憶部１６０に格納する。

図６は、一例として、系統Ａについてのテーブルを示している。このようなテーブルが系統毎に格納される。図６の例では、パラメータとして、時間帯、必要帯域、天候を使用している。例えば、時間帯が「６：００～９：００」である時刻、天候が雨、必要帯域が「１００～４００Ｍｂｐｓ」の範囲の帯域である条件で測定された様々な遅延時間のうち、「８」が最大であったことが示されている。

なお、複数系統のＩＰパケットのタイミングを合わせる用途では「最大値」をテーブルに記録することとしているが、「最大値」である必要がない用途等においては、最大値を記録する必要はない。例えば、系統毎、パラメータの値（の予め定めた範囲）の組み合わせ毎に、遅延時間の平均値を記録することとしてもよい。

実際にＩＰパケットのタイミング調整を行う段階において、バッファリング処理装置１００の制御部１４０は、そのときの条件に対応したテーブルの値を利用することになる。バッファリング処理装置１００の制御部１４０は、実際にＩＰパケットのタイミング調整を行う段階において、ＩＰパケットに付された時刻ｘと、ＩＰパケットを受信した時刻とから遅延時間を算出し、テーブルに記録されている値を超える場合、当該遅延時間で、該当条件の最大値を更新することとしてもよい。

また、バッファリング処理装置１００の制御部１４０は、テーブルを作成した時点から、ネットワーク経路の中身の変化（ホップ数等の変化）が見込まれる場合等、作成時の状況から変化が見込まれる場合、当該変化に関連する条件に関わる最大値（古い値）を異常値として取り除くこととしてもよい。

以降、実際にＩＰパケットを送信し、タイミングを揃える段階の処理について説明する。以降の処理において、通信システム全体の各装置間では、ＳＭＰＴＥ ＳＴ２０５９（ＰＴＰ）等により時刻が同期して揃っているものとする。

＜Ｓ１０２：条件判断＞
まず、バッファリング処理装置１００における条件判断部１５０が、現在の条件を決定する。図６の例のパラメータを使用する場合において、条件判断部１５０は、例えば、自装置から現在時刻を取得する。また、オペレータの操作端末等から入力された情報（例：系統Ａにおいて２００Ｍｂｐｓ程度を使用する映像伝送を行う旨の情報）を基に、系統毎の必要帯域を取得する。更に、条件判断部１５０は、例えば、外部サーバにアクセスすることで、系統毎の拠点の天候を取得する。なお、これらの情報が全て、オペレータの操作端末等からバッファリング処理装置１００に入力されることとしてもよい。

＜Ｓ１０３：ｍａｘ＿Ｔを算出＞
バッファリング処理装置１００における制御部１４０は、系統毎に、条件判断部１５０により決定された現在の条件に対応する最大遅延時間をテーブルから取得し、これをｍａｘ＿ｔとする。また、バッファリング処理装置１００における制御部１４０は、各系統の最大遅延時間（ｍａｘ＿ｔ）のうちの最大値をｍａｘ＿Ｔとし、これらをメモリ等の記憶部に保持しておく。なお、制御部１４０が行う処理を出力部１３０が行うこととしてもよい。

バッファリング処理装置１００の制御部１４０は、系統毎に、例えばｍａｘ＿Ｔの時間長に相当するサイズのバッファをバッファ部１２０に設定する。ある時間長に相当するバッファのサイズは、ＩＰパケットの帯域（例：単位時間当たりの伝送バイト量等）と当該時間長を掛けることで得ることができる。なお、「バッファを設定する」とは、例えば、バッファとして使用するメモリ領域を確保することである。

系統毎に、ｍａｘ＿Ｔの時間長に相当するサイズのバッファを設定することは一例であり、例えば、系統毎にｍａｘ＿Ｔの時間長よりも大きなサイズのバッファを設定することとしてもよい。

なお、現在の条件に該当する最大遅延時間がテーブルに記録されていない場合があることが考えられる。その場合、バッファリング処理装置１００の制御部１４０は、現在の条件の前後の条件に該当する最大遅延時間を取得し、それらを用いて、補間により、現在の条件に該当する最大遅延時間を取得してもよい。

一例として、現在の条件が、７：００（つまり、６：００～９：００の時間帯）、必要帯域：５００Ｍｂｐｓ（つまり、４００～１０００Ｍｂｐｓ）、天候が雨であるとして、これに該当する最大遅延時間が図６のテーブルにない場合を考える（その他の条件の値はあるとする）。その場合、制御部１４０は、例えば、０：００～６：００の時間帯、４００～１０００Ｍｂｐｓ、雨に対応する値である「１０」と、９：００～１２：００の時間帯、４００～１０００Ｍｂｐｓ、雨に対応する値である「２４」を取得し、これらの平均である「１７」を、現在の条件に対応する値として使用することができる。

上記の準備の後、拠点Ａ～ＣのそれぞれにおけるＥｎＣａｐｓｕｌａｔｉｏｎに対してＳＤＩ→ＩＰ変換・送信の開始を指示し、拠点Ｏの各ＤｅＣａｐｓｕｌａｔｉｏｎにＩＰ受信・ＳＤＩ変換の開始を指示することで、ＩＰ化されたメディア信号の拠点間伝送が始まる。なお、ここでは、各カメラからのメディア信号送出が既に開始されている状態であるとする。また、送信側ＩＰパケットには、メディア信号がＩＰ変換された際の時刻ｘがＩＰヘッダに記される。当該時刻ｘは、カメラでメディア（映像等）が取得された時刻であると見なしてもよい。

＜ステップＳ１０４：ＩＰパケット入力、Ｓ１０５：バッファ蓄積＞
系統毎に、メディア信号をＩＰ化したＩＰパケットがバッファリング処理装置１００に到着すると、入力部１１０によりＩＰパケットが入力され、入力されたＩＰパケットは系統毎にバッファに格納される。

＜Ｓ１０６：ＩＰパケット出力＞
制御部１４０は、系統毎に、バッファに格納されているＩＰパケットのヘッダに記載されている時刻ｘ（メディア信号がＩＰ変換された時刻であり、映像等が撮影された時刻と見なしてよい）を確認し、時刻ｘからｍａｘ＿Ｔ時間が経過したＩＰパケットを検出すると、当該ＩＰパケットをバッファから読み出し、出力するよう、出力部１３０に指示する。指示を受けた出力部１３０は、当該時刻ｘのＩＰパケットを、その系統に対応するＤｅＣａｐｓｕｌａｔｉｏｎに送信する。なお、時刻ｘからｍａｘ＿Ｔ時間が経過したかどうか、つまり、ＩＰパケットを出力するかどうかの判断を出力部１３０が行うこととしてもよい。

上記の制御により、各系統のバッファには「ｍａｘ＿Ｔ－実際の遅延時間ｔ」分のＩＰパケットが蓄えられることになり、時刻ｘの古いもの（例：撮影順）から送信されることになる。

＜Ｓ１０７：ＩＰパケット削除＞
制御部１４０は、ＩＰパケットが送出されたバッファから当該ＩＰパケットを削除する。

各ＤｅＣａｐｓｕｌａｔｉｏｎでは、送られた順にＩＰパケットをＳＤＩ信号（映像・音声等）に変換する処理をして、当該ＳＤＩ信号を例えば再生装置に出力する。また上記により、ＤｅＣａｐｓｕｌａｔｉｏｎから出力されるＳＤＩ信号をそのまま合成したり、リアルタイムで切り替えて出力したりすることで、同期の取れた合成・切替が可能になっている。

バッファリング処理装置１００におけるＩＰパケットの到着タイミングとＤｅＣａｐｓｕｌａｔｉｏｎ（ＳＤＩ変換装置）に送信するタイミングとの関係の例を図７に示す。図７においては、理解のしやすさのために、ＩＰパケットを、ＳＤＩ変換後の映像フレームとして表現している。ただし、図７の「映像フレーム」をＩＰパケットであると見なして考えてもよい。また、図７は、図２の場合のように、３つの系統がある場合を示している。

図７に示すように、ｍａｘ＿ｔ３が、通信システム全体での遅延の最大値であり、前述したｍａｘ＿Ｔに相当する。また、ｔ１、ｔ２、ｔ３はそれぞれ、系統１、系統２、系統３における実際の遅延時間である。

図７に示す状態において、映像フレームＸは時刻ｘに取得された映像フレームである。これは、前述した時刻ｘのＩＰパケットに相当する。各系統において、時刻ｘからｍａｘ＿ｔ３が経過した時点で、当該映像フレームＸはＳＤＩ変換装置に送信される。例えば、系統１に関し、時刻ｘの映像フレームＸは、ｔ１の遅延でバッファされるので、時刻ｘからｍａｘ＿ｔ３が経過した時点の時刻は、バッファされてから「ｍａｘ＿ｔ３－ｔ１」が経過した時刻となる。よって、「ｍａｘ＿ｔ３－ｔ１」分のパケットがバッファに蓄積されたら時刻ｘの映像フレームＸが出力される。系統２、３も同様である。

系統１～３において、時刻ｘの映像フレームＸは、「時刻ｘからｍａｘ＿ｔ３が経過した時刻」に同時に出力される。それ以降の映像フレームも同様に、系統１～３において同時に出力される。

（シナリオ例）
本実施の形態に係る技術は様々な場面（シナリオ）において適用することが可能であり、特定のシナリオに限定して適用されるわけではない。本実施の形態に係る技術が適用されるシナリオの例として下記のシナリオ（１）～（３）がある。

（１）同じ被写体を撮影した際の、別のカメラ・マイクの映像・音声を合成する場合に、映像と音声をきちんと合わせたい場合。例えば、野球の試合において、バッターをカメラで遠隔から撮影するとともに、そのバッターの打球音をバッターに近いマイクで収集する場合において、バットに球が当たる映像と、打球音とが合うようにする。

（２）同じ被写体を別の角度から撮影した映像を切り替えて放送する際に、時刻が巻き戻ったり、シーンが飛んだりしないようにする場合。例えば、駅伝のテレビ中継において、中継車のカメラで撮影された映像と、定点カメラで撮影された映像とを切り替えて、走者の一連の動作を見せる。

（３）複数拠点の映像・音声を同時に並べて表示する場合。例えば、複数拠点での音楽セッション等でタイミングを合わせて演奏する様子を同時に並べて表示する際に、拠点間で映像・音声がずれないように表示を行う。

（その他の例）
バッファリング処理装置１００は、図１、２に示したような複数系統を有する通信システムではない通信システムにも適用可能である。

例えば、図８に示すように、ある拠点に設置された送信装置２００から受信装置５００に対し、ネットワーク３００とネットワーク４００を介してパケット（ＩＰパケットでもよいし、ＩＰ以外のパケットでもよい）を送信する通信システムにおいてもバッファリング処理装置１００を適用することができる。

ここでは、例えばネットワーク３００は無線区間を含むネットワークであり、各パケットの遅延時間の変動（ジッタ）が大きいことを想定する。そして、受信装置５００においては、ジッタの少ないパケットのストリームを受信することが要求されているものとする。また、送信装置２００から送出されるパケットには、パケットが生成された時刻が付されているものとする。

バッファリング処理装置１００は、前述した方法で、条件毎に、送信装置２００からバッファリング処理装置１００までの遅延時間（最大でもよいし、最大でなくてもよい。最大でない場合は例えば平均である）を測定し、図６に示すような形のテーブルを保持する。

送信装置２００からパケットを送信する段階において、バッファリング処理装置１００は、現在の条件に該当する遅延時間としてテーブルからＴを取得したとする。バッファリング処理装置１００は、受信したパケット（時刻ｘが付されている）をバッファ部１２０に格納し、時刻ｘからＴ（あるいはＴに所定の値Δを加えた時間）が経過したパケットを、ネットワーク４００に出力する。また、時刻ｘから既にＴが経過したパケットを受信した場合には、そのバケットをバッファせずにそのまま出力するか、そのパケットを破棄する。

上記の処理により、ネットワーク３００における遅延時間にばらつきが大きい（ジッタが大きい）場合でも、バッファリング処理装置１００によりジッタを吸収でき、安定したストリームを受信装置５００に流すことができる。

（実施の形態の効果について）
本実施の形態に係る技術により、適切な遅延量を使用してバッファリング処理を行うことが可能となる。

また、複数拠点のカメラ、マイク、センサ等で取得したメディア信号（映像、音声、データ等）を、それぞれの拠点でＩＰ変換してネットワーク送信するユースケースにおいては、系統間でのＩＰネットワーク遅延が異なる場合であっても、受信側において複数系統のＩＰパケットをタイミングを合わせて出力できる。これにより、例えば、放送や映像解析等において映像・音声信号を合成や切替等に利用する際に、合わせる作業を行わなくても、合成映像・音声内でずれが生じることがなくなり、また、切替前後で映像・音声の流れが少し前へ遡ったり、少し先へ飛んだりすることもなくなる。

なお、ずれを調整する方法として、ＩＰ変換前に（カメラ側で）調整する方法や、映像・音声信号（ＳＤＩ信号）に再変換後に調整する方法も考えられる。しかし、これらの方法では、ＳＤＩ信号としての同期のための放送基準信号（ＢＢ信号：Black Burst Signal等）の配布が必要になりコストがかかる。

他方、本実施の形態に係る技術では、ＩＰネットワーク上の機器で同期している時刻をそのまま参照できるので、放送基準信号の配布が不要でありコストメリットがある。また、本実施の形態に係る技術は、ＩＰネットワーク上での処理であるために、ＩＰネットワークにおける遅延量の変化に対応し易いというメリットもある。

（実施の形態のまとめ）
以上、説明したとおり、本明細書には、少なくとも、下記の各項に記載したバッファリング処理装置、通信システム、バッファリング処理方法、及びプログラムが開示されている。
（第１項）
ネットワークにおける条件毎の遅延時間を記録したテーブルを格納する記憶部と、
現在の条件に対応する遅延時間を前記記憶部から取得する制御部と、
前記ネットワークからパケットを受信する入力部と、
受信したパケットを格納するバッファ部と、
前記取得された遅延時間に基づき算出される時刻に、前記パケットを出力する出力部と
を備えるバッファリング処理装置。
（第２項）
複数系統のネットワーク毎に、条件毎の遅延時間を記録したテーブルを格納する記憶部と、
前記記憶部から、現在の条件に対応する前記複数系統のネットワークそれぞれの遅延時間を取得し、当該複数系統のネットワーク間での最大遅延時間を取得する制御部と、
前記複数系統のネットワークのそれぞれから、時刻が付されたパケットを受信する入力部と、
受信したパケットを系統毎に格納するバッファ部と、
系統毎に、パケットに付された時刻から前記最大遅延時間が経過した時刻に当該パケットを出力する出力部と
を備えるバッファリング処理装置。
（第３項）
現在の条件に対応する遅延時間が前記記憶部に格納されていない場合において、前記制御部は、前記記憶部に格納されている遅延時間に基づいて、現在の条件に対応する遅延時間を算出する
第１項又は第２項に記載のバッファリング処理装置。
（第４項）
前記条件は、少なくとも、帯域量、曜日、時間帯、天候、ネットワークのホップ数、特別な日であるか否か、イベントの有無のうちのいずれか１つ、又は、これらのうちのいずれか複数の組み合わせに基づく条件である
第１項ないし第３項のうちいずれか１項に記載のバッファリング処理装置。
（第５項）
ネットワークの受信側に、第１項ないし第４項のうちいずれか１項に記載の前記バッファリング処理装置を備え、
当該ネットワークの送信側に、時刻を付したパケットを送信する装置を備える
通信システム。
（第６項）
ネットワークにおける条件毎の遅延時間を記録したテーブルを格納する記憶部を備えるバッファリング処理装置が実行するバッファリング処理方法であって、
現在の条件に対応する遅延時間を前記記憶部から取得するステップと、
前記ネットワークからパケットを受信するステップと、
受信したパケットをバッファに格納するステップと、
前記取得された遅延時間に基づき算出される時刻に、前記パケットを出力するステップと
を備えるバッファリング処理方法。
（第７項）
コンピュータを、第１項ないし第４項のうちいずれか１項に記載のバッファリング処理装置における各部として機能させるためのプログラム。

以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１１、２１、３１ カメラ
１２、２２、３２ メディア信号ＩＰ変換送出装置
１３、１４、２３、２４、３３、３４ ＮＷスイッチ
１５、２５、３５ ＩＰ信号受信メディア変換装置
１６、２６、３６ 再生装置
１００ バッファリング処理装置
１１０ 入力部
１２０ バッファ部
１３０ 出力部
１４０ 制御部
１５０ 条件判断部
１６０ テーブル記憶部
２００ 送信装置
３００、４００ ネットワーク
５００ 受信装置
１０００ ドライブ装置
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インタフェース装置
１００６ 表示装置
１００７ 入力装置

Claims (7)

1. ネットワークにおける条件毎の遅延時間を記録したテーブルを格納する記憶部と、
   現在の条件に対応する遅延時間を前記記憶部から取得する制御部と、
   前記ネットワークからパケットを受信する入力部と、
   受信したパケットを格納するバッファ部と、
   前記取得された遅延時間に基づき算出される時刻に、前記パケットを出力する出力部と
   を備えるバッファリング処理装置。
2. 複数系統のネットワーク毎に、条件毎の遅延時間を記録したテーブルを格納する記憶部と、
   前記記憶部から、現在の条件に対応する前記複数系統のネットワークそれぞれの遅延時間を取得し、当該複数系統のネットワーク間での最大遅延時間を取得する制御部と、
   前記複数系統のネットワークのそれぞれから、時刻が付されたパケットを受信する入力部と、
   受信したパケットを系統毎に格納するバッファ部と、
   系統毎に、パケットに付された時刻から前記最大遅延時間が経過した時刻に当該パケットを出力する出力部と
   を備えるバッファリング処理装置。
3. 現在の条件に対応する遅延時間が前記記憶部に格納されていない場合において、前記制御部は、前記記憶部に格納されている遅延時間に基づいて、現在の条件に対応する遅延時間を算出する
   請求項１又は２に記載のバッファリング処理装置。
4. 前記条件は、少なくとも、帯域量、曜日、時間帯、天候、ネットワークのホップ数、特別な日であるか否か、イベントの有無のうちのいずれか１つ、又は、これらのうちのいずれか複数の組み合わせに基づく条件である
   請求項１ないし３のうちいずれか１項に記載のバッファリング処理装置。
5. ネットワークの受信側に、請求項１ないし４のうちいずれか１項に記載の前記バッファリング処理装置を備え、
   当該ネットワークの送信側に、時刻を付したパケットを送信する装置を備える
   通信システム。
6. ネットワークにおける条件毎の遅延時間を記録したテーブルを格納する記憶部を備えるバッファリング処理装置が実行するバッファリング処理方法であって、
   現在の条件に対応する遅延時間を前記記憶部から取得するステップと、
   前記ネットワークからパケットを受信するステップと、
   受信したパケットをバッファに格納するステップと、
   前記取得された遅延時間に基づき算出される時刻に、前記パケットを出力するステップと
   を備えるバッファリング処理方法。
7. コンピュータを、請求項１ないし４のうちいずれか１項に記載のバッファリング処理装置における各部として機能させるためのプログラム。

Images