JP5972616B2

JP5972616B2 - 受信装置、クロック復元方法及びプログラム

Info

Publication number: JP5972616B2
Application number: JP2012058374A
Authority: JP
Inventors: 秀一青木
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2012-03-15
Filing date: 2012-03-15
Publication date: 2016-08-17
Anticipated expiration: 2032-03-15
Also published as: JP2013192148A

Description

本発明は、ストリーミング再生に用いる受信装置、クロック復元方法及びプログラムに関し、特に、受信装置において、ＳＴＣ（ＳｙｓｔｅｍＴｉｍｅＣｌｏｃｋ：システムタイムクロック）を復元する技術に関するものである。

従来、デジタル放送で放送されるデジタルコンテンツを伝送するために、符号化及び復号を行う伝送システムの構築が進められている。このデジタル放送の伝送システムでは、送信装置が、映像信号等をＭＰＥＧ−２（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ−ｐｈａｓｅ２）等の技術により圧縮符号化し、受信装置が、その圧縮符号化データを復号し、ストリーミング再生を行う。これにより、視聴者は、映像及び音声を視聴することができる。

このような伝送システムにおいて、受信装置は、ストリーミング再生を行うために、ＳＴＣを復元する必要がある。受信装置がＳＴＣを復元できない場合には、送信装置にて符号化を行うエンコーダのクロックと、受信装置にて復号を行うデコーダのクロックとが同期しないことになり、圧縮符号化データが蓄積される受信装置のバッファにアンダーフローまたはオーバーフローが起こり、映像等のスキップまたはリピートが発生してしまう。そこで、受信装置におけるＳＴＣの復元は、視聴者が映像または音声を高品質に視聴するための重要な要素になっており、様々な手法が用いられている。

例えば、ＭＰＥＧ−２Ｓｙｓｔｅｍｓでは、ＳＴＣを復元するために、ＰＣＲ（ＰｒｏｇｒａｍＣｌｏｃｋＲｅｆｅｒｅｎｃｅ：プログラム時刻基準値）が用いられている（非特許文献１を参照）。送信装置は、ＳＴＣのカウンタ値（以下、ＳＴＣ値という。）を周期的にサンプルし、サンプルしたＳＴＣ値に基づいてＰＣＲを生成し、ＰＣＲを多重して受信装置へ送信する。受信装置は、送信装置からＰＣＲを周期的に受信し、ＰＣＲを用いてＳＴＣを復元する。

図５は、ＭＰＥＧ−２ＳｙｓｔｅｍｓにおけるＰＣＲの周期的な伝送について説明する図である。図５に示すように、送信装置から受信装置へ伝送される伝送データのうち、送信装置により多重されたＰＣＲは、周期的に受信装置へ送信される。

図６は、ＭＰＥＧ−２Ｓｙｓｔｅｍｓにおける従来の受信装置の構成を示すブロック図であり、受信装置に備えた構成部の一部を示している。従来の受信装置２００は、ＳＴＣ復元部２０１、映像処理部２０２及び音声処理部２０３を備えている。受信装置２００が送信装置から伝送データを受信すると、図示しない受信部は、受信した伝送データからＰＣＲ、映像ＰＥＳ（ＰａｃｋｅｔｉｚｅｄＥｌｅｍｅｎｔａｒｙＳｔｒｅａｍ：パケタイズドエレメンタリストリーム）及び音声ＰＥＳを抽出する。ＳＴＣ復元部２０１は、図示しない受信部からＰＣＲを入力し、ＰＣＲを、所定のクロック周波数でカウントアップするＳＴＣによるカウンタの初期値に設定し、ＳＴＣを復元する。これにより、ＳＴＣ値は、所定のクロック周波数にてカウントアップし、映像処理部２０２及び音声処理部２０３にて用いられる。また、図５に示したとおり、ＰＣＲは、送信装置から周期的に伝送されるから、ＳＴＣは、例えばＰＬＬ（ＰｈａｓｅＬｏｃｋｅｄＬｏｏｐ）等のクロック同期技術を用いて周期的に復元することになる。

映像処理部２０２は、映像ＰＥＳを蓄積するバッファ、及び映像を復号する映像デコーダを備えており、図示しない受信部から映像ＰＥＳを入力してバッファに蓄積すると共に、ＳＴＣ復元部２０１からＳＴＣ値を入力する。また、映像処理部２０２は、入力した映像ＰＥＳからＤＴＳ（ＤｅｃｏｄｉｎｇＴｉｍｅＳｔａｍｐ：復号時刻）及びＰＴＳ（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅＳｔａｍｐ：再生時刻）を抽出する。そして、映像処理部２０２は、入力したＳＴＣ値及び抽出したＤＴＳに基づいて、復号処理のタイミングを判断し、復号処理のタイミングにて、映像デコーダがバッファから映像ＰＥＳを読み出して復号する。そして、映像処理部２０２は、入力したＳＴＣ値及び抽出したＰＴＳに基づいて、再生処理のタイミングを判断し、再生処理のタイミングにて、復号した映像を出力して再生する。

音声処理部２０３は、音声ＰＥＳを蓄積するバッファ、及び音声を復号する音声デコーダを備えており、図示しない受信部から音声ＰＥＳを入力してバッファに蓄積すると共に、ＳＴＣ復元部２０１からＳＴＣ値を入力する。また、音声処理部２０３は、入力した音声ＰＥＳからＰＴＳを抽出し、入力したＳＴＣ値及び抽出したＰＴＳに基づいて、復号及び再生処理のタイミングを判断し、復号及び再生処理のタイミングにて、音声デコーダがバッファから音声ＰＥＳを読み出して復号し、復号した音声を出力して再生する。

このように、ＭＰＥＧ−２Ｓｙｓｔｅｍｓでは、ＰＣＲが送信装置から受信装置２００へ周期的に伝送され、受信装置２００において、ＰＣＲからＳＴＣが復元され、ＳＴＣ値に基づいて、映像及び音声の復号及び再生処理のタイミングがとられる。

また、例えば、ＳＴＣを復元するために、受信装置のバッファ量が常に一定となるようにクロック周波数を調整する手法が知られている。この手法は、受信装置において、送信装置から送信された伝送データをバッファに蓄積し、バッファ量が、予め設定された一定値を超える方向に変化する場合、ＳＴＣのクロック周波数を増加させ、逆に、バッファ量が一定値を下回る方向に変化する場合、クロック周波数を減少させる制御を行うことにより、ＳＴＣを復元するものである。これにより、クロック周波数に応じたＳＴＣ値が出力される（非特許文献２を参照）。

ＩＴＵ−ＴＲｅｃ．Ｈ．２２２．０｜ＩＳＯ／ＩＥＣ１３８１８−１，２００６，"Information Technology − Generic coding of moving pictures and associated audio information：Systems．" 深田陽一、他、「回線エミュレーション向け比例・積分・微分(PID)制御型適応クロック法の実装と評価」、電子情報通信学会、技術研究報告CS2005-43、2005年11月

前述のＰＣＲを用いた手法では、ＳＴＣを復元する際に、クロック周波数及びクロックの絶対値（ＳＴＣによるカウンタ値）のいずれも復元することができる。しかしながら、送信装置は、ＰＣＲを周期的に送信すると共に、伝送遅延変動を抑えるように送信する必要がある。ここで、ＰＣＲが、伝送遅延変動の発生する伝送環境の伝送路へ周期的に送信された場合、受信装置２００は、送信装置が多重した時間間隔と同じ間隔でＰＣＲを周期的に受信することができず、その結果、誤ったタイミングでＳＴＣの復元を行うため、ＳＴＣを正しく復元することができない。つまり、受信装置２００は、正しく復元することができなかったＳＴＣによるＳＴＣ値に基づいて、復号及び再生処理のタイミングを判断するから、そのタイミングは正しく判断されず、結果として、復号及び再生処理のタイミングが所望のタイミングに対してずれてしまうことになる。したがって、ＰＣＲを用いてＳＴＣを復元する手法は、パケット間隔が不定であって伝送遅延変動が発生する伝送環境のＩＰネットワーク等では用いることができない。

また、前述のバッファ量に基づいてクロック周波数を調整する手法では、クロック周波数は復元することができるが、クロックの絶対値は復元することができない。この場合、クロックの絶対値であるＳＴＣ値が復元されないから、結果として、復号及び再生処理のタイミングがコンテンツ全体としてずれてしまうことになる。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、パケット間隔が不定で伝送遅延変動が発生するＩＰネットワーク等の伝送環境においても、クロック周波数及びクロックの絶対値を復元することが可能な受信装置、クロック復元方法及びプログラムを提供することにある。

前記目的を達成するために、本発明による受信装置は、ＳＴＣ（システムタイムクロック）によるカウンタ値を示すＳＴＣ値に基づいて、コンテンツを復号及び再生するための第１の時刻情報を生成し、前記コンテンツの符号データに、前記第１の時刻情報、及び、送信装置及び受信装置にて共通に参照可能な第２の時刻情報を付加し、前記コンテンツの符号データをパケットに格納して送信する前記送信装置と、前記パケットを受信し、前記ＳＴＣを復元してＳＴＣ値を生成し、前記パケットに格納されたコンテンツの符号データを、前記ＳＴＣ値に基づいて復号し再生する前記受信装置と、を備えた伝送システムにおける前記受信装置であって、受信したパケットを蓄積するバッファと、前記ＳＴＣを復元してＳＴＣ値を生成するＳＴＣ復元部と、前記ＳＴＣ復元部により生成されたＳＴＣ値、及び前記受信したパケットに格納されたコンテンツの符号データに付加された第１の時刻情報に基づいて、前記コンテンツの符号データを復号及び再生するタイミングを判断し、前記タイミングにて前記復号及び再生を行う映像音声処理部と、を備え、前記ＳＴＣ復元部が、前記受信したパケットに格納されたコンテンツの符号データに付加された第２の時刻情報を抽出し、前記第２の時刻情報に基づいて、前記ＳＴＣ値の初期値を設定し、前記バッファに蓄積されたパケットの量に基づいて、前記ＳＴＣの周波数を調整し、前記ＳＴＣ値の初期値を前記ＳＴＣの周波数に応じてカウントアップし、前記映像音声処理部にて復号及び再生のタイミングを判断するために用いる前記ＳＴＣ値を生成する、ことを特徴とする。

また、本発明による受信装置は、さらに、前記コンテンツの符号データを復号及び再生するための情報及び所定の遅延値を含む制御用メタデータが格納されたパケットを受信し、前記受信したパケットに格納された制御用メタデータを抽出する制御用メタデータ処理部を備え、前記ＳＴＣ復元部が、前記受信したパケットに格納されたコンテンツの符号データに付加された第２の時刻情報を抽出し、前記第２の時刻情報に基づいて、前記送信装置のＳＴＣ値よりも前記所定の遅延値分遅れるように、前記ＳＴＣ値の初期値を設定し、前記バッファに蓄積されたパケットの量に基づいて、前記ＳＴＣの周波数を調整し、前記ＳＴＣ値の初期値を前記ＳＴＣの周波数に応じてカウントアップし、前記映像音声処理部にて復号及び再生のタイミングを判断するために用いる前記ＳＴＣ値を生成する、ことを特徴とする。

さらに、本発明によるクロック復元方法は、ＳＴＣによるカウンタ値を示すＳＴＣ値に基づいて、コンテンツを復号及び再生するための第１の時刻情報を生成し、前記コンテンツの符号データに、前記第１の時刻情報、及び、送信装置及び受信装置にて共通に参照可能な第２の時刻情報を付加し、前記コンテンツの符号データをパケットに格納して送信する前記送信装置と、前記パケットを受信し、前記ＳＴＣを復元してＳＴＣ値を生成し、前記パケットに格納されたコンテンツの符号データを、前記ＳＴＣ値に基づいて復号し再生する前記受信装置と、を備えた伝送システムにおける前記受信装置によりＳＴＣを復元する方法であって、受信したパケットをバッファに蓄積する第１のステップと、前記ＳＴＣを復元してＳＴＣ値を生成する第２のステップと、前記第２のステップにて生成したＳＴＣ値、及び前記受信したパケットに格納されたコンテンツの符号データに付加された第１の時刻情報に基づいて、前記コンテンツの符号データを復号及び再生するタイミングを判断し、前記タイミングにて前記復号及び再生を行う第３のステップと、を有し、前記第２のステップが、前記受信したパケットに格納されたコンテンツの符号データに付加された第２の時刻情報を抽出する第２−１のステップと、前記第２−１のステップにて抽出した第２の時刻情報に基づいて、前記ＳＴＣ値の初期値を設定する第２−２のステップと、前記バッファに蓄積されたパケットの量に基づいて、前記ＳＴＣの周波数を調整する第２−３のステップと、前記第２−２のステップにて設定したＳＴＣ値の初期値を、前記第２−３のステップにて調整したＳＴＣの周波数に応じてカウントアップし、前記第３のステップにて復号及び再生のタイミングを判断するために用いる前記ＳＴＣ値を生成する第２−４のステップと、を有することを特徴とする。

さらに、本発明によるプログラムは、コンピュータを、前記受信装置として機能させることを特徴とする。

以上のように、本発明によれば、コンテンツの符号データに付加された、復号または再生の目的のための時刻情報を用いてクロックの初期値を設定し、バッファ量を監視してクロック周波数を調整するようにした。これにより、クロックの値をサンプリングしたＰＣＲ等のデータを送信装置から受信装置へ伝送する必要がなく、パケット間隔が不定で伝送遅延変動が発生するＩＰネットワーク等の伝送環境においてストリーム配信を行う場合にも、クロック周波数及びクロックの絶対値を復元することができる。

本発明の実施形態による受信装置を含む伝送システムの概略構成を示す全体図である。ＭＵ（ＭｅｄｉａＵｎｉｔ：メディアユニット）の構成を説明する図である。本発明の実施形態による受信装置の構成を示すブロック図である。受信装置におけるＳＴＣ復元部の処理を示すフローチャートである。ＭＰＥＧ−２ＳｙｓｔｅｍｓにおけるＰＣＲの周期的な伝送について説明する図である。ＭＰＥＧ−２Ｓｙｓｔｅｍｓにおける従来の受信装置の構成を示すブロック図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔伝送システム〕
まず、本発明の実施形態による受信装置を含む伝送システムについて説明する。図１は、伝送システムの概略構成を示す全体図である。この伝送システムは、送信装置１、受信装置２及び放送ネットワーク／通信回線３を備えて構成される。放送ネットワーク／通信回線３は、放送ネットワークまたはインターネット等の通信回線の伝送路である。放送ネットワーク／通信回線３が放送ネットワークの伝送路である場合、送信装置１から送信されたＩＰパケットを含む放送波は、放送ネットワークの伝送路を介して受信装置２へ送信される。また、放送ネットワーク／通信回線３が通信回線の伝送路である場合、送信装置１及び受信装置２は、インターネット等の通信回線の伝送路を介して接続され、送信装置１から送信されたＩＰパケットは、通信回線の伝送路を介して受信装置２へ送信される。

（送信装置）
送信装置１は、映像信号、音声信号等の非圧縮信号を入力し、エンコーダにて、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ等の映像符号化方式またはＭＰＥＧ−４ＨＥ−ＡＡＣ等の音声符号化方式を用いて符号データを生成する。また、送信装置１は、エンコーダにて、発振器（ＣＬＫｅ）により生成されたＳＴＣ値に基づいて、受信装置２において符号データの復号時刻を示すＤＴＳ及び復号した信号を提示して表示する時刻（ＣＴＳ：ＣｏｍｐｏｓｉｔｉｏｎＴｉｍｅＳｔａｍｐ：合成時刻）を生成し、符号データにＤＴＳ及びＣＴＳを付加する。尚、ＣＴＳは、受信装置２側で出力される非圧縮信号を再生・表示出力するタイミングを示すものとして、ＰＴＳのより一般的な用語として用いる。また、送信装置１は、符号データにＤＴＳ及びＣＴＳを付加する際に、送信装置１及び受信装置２において共通に参照可能な時刻、例えばＵＴＣ（ＣｏｏｒｄｉｎａｔｅｄＵｎｉｖｅｒｓａｌＴｉｍｅ：協定世界時、以下、ＵＴＣ時刻という。）を参照時刻（Ｒｅｆｔｉｍｅ）に記述し、ＤＴＳ及びＣＴＳに加えて、ＵＴＣ時刻がＲｅｆｔｉｍｅとして付加された符号データをＩＰパケットに格納し、放送ネットワーク／通信回線３を介して受信装置２へ送信する。このＲｅｆｔｉｍｅは、映像及び音声のコンポーネント間を同期するために用いられ、ＤＴＳ及びＣＴＳの時刻の絶対値を示し、ＤＴＳ及びＣＴＳと同様に、受信装置２において復号等の目的のための時刻情報として用いられる。

ＤＴＳ及びＣＴＳの基準となるＳＴＣ値は、所定長ビットで表現される上限値までカウントアップし、上限値を超えるとリセットされ、再びカウントアップする。一方、Ｒｅｆｔｉｍｅに記述されるＵＴＣ時刻は、所定精度の年月日時分秒の情報からなる。このため、ＳＴＣ値とＵＴＣ時刻とは、一定の関係があり、その対応付けが与えられれば、ＳＴＣ値は、ＵＴＣ時刻を換算して求めることができる。したがって、受信装置２では、送信装置１から送信されたＲｅｆｔｉｍｅのＵＴＣ時刻をＳＴＣ値に換算し、これをクロックの初期値に設定することにより、ＳＴＣを復元する。詳細については後述する。

ここで、送信装置１は、発振器のエンコーダクロックに基づいて動作する。具体的には、発振器のクロックの周波数は２７ＭＨｚであり、発振器は、１秒間に27,000,000だけ進む値をカウントし、カウンタ値をエンコーダへ出力する。エンコーダは、発振器からカウンタ値を入力し、このカウンタ値を９０ＫＨｚ（２７ＭＨｚよりも精度の低い周波数）でサンプルした値、つまり、１秒間に90,000だけ進む値（１秒間に27,000,000だけ進む値よりも精度の低い値）に基づいて、ＤＴＳ及びＣＴＳを生成する。

尚、非圧縮信号が映像信号の場合、符号データの復号順序と提示あるいは合成順序が異なることから、一般に、ＤＴＳ及びＣＴＳの両方が、映像信号の符号データに付加される。これに対し、非圧縮信号が音声信号の場合、符号データの復号順序と提示あるいは合成順序が一致することから、ＣＴＳを省略し、ＤＴＳのみが音声信号の符号データに付加される。この場合、復号時刻が合成時刻となる。

また、送信装置１は、コンテンツを構成する映像及び音声のコンポーネントに関する情報、及び、各コンポーネントのバッファリング遅延値を含む制御用メタデータをＩＰパケットに格納し、放送ネットワーク／通信回線３を介して受信装置２へ周期的に送信する。

ここで、制御用メタデータは、同じコンテンツが伝送されている間、同じ情報が周期的に送信される。制御用メタデータに含まれるコンポーネントに関する情報とは、映像の解像度、フレームレート、音声のチャンネル数、映像と音声の組み合わせ方法、それらを伝送するＩＰパケットのＩＰアドレス等である。また、制御用メタデータに含まれるバッファリング遅延値は、ＳＴＣ値に対応した値が設定される。具体的には、バッファリング遅延値は、９０ＫＨｚのクロック数で示され、例えば、１秒間のバッファリング遅延の場合、90,000の値が設定され、０．５秒間のバッファリング遅延の場合、45,000の値が設定される。制御用メタデータは、伝送されるコンテンツに応じて予め設定され、バッファリング遅延値の基準となる９０ＫＨｚも、制御用メタデータに含まれる情報として予め設定される。

また、バッファリング遅延値は、送信装置１から受信装置２へ伝送データが送信される放送ネットワーク／通信回線３の伝送路環境に応じて予め設定される。より詳細には、バッファリング遅延値は、後述する図３に示す受信装置２における映像音声処理部２３のパケットロス復元部２３１に備えた映像音声バッファに滞在するＡＴＳパケットの滞在時間に加え、伝送遅延も含めた値であり、放送ネットワーク／通信回線３の遅延ジッタの最大値を超える値が設定される。

送信装置１の処理について具体的に説明する。送信装置１のエンコーダは、映像及び音声信号である非圧縮信号を入力し、符号化を行い、符号データのフレームまたはスライス等の符号化単位毎に、符号データからＡＵ（ＡｃｃｅｓｓＵｎｉｔ：アクセスユニット）を生成する。そして、エンコーダは、ＳＴＣ値に基づいて、ＤＴＳ及びＣＴＳを生成し、ＵＴＣ時刻をＲｅｆｔｉｍｅに記述し、映像及び音声のＭＵ（ＭｅｄｉａＵｎｉｔ：メディアユニット）を生成する。

図２は、ＭＵの構成を説明する図である。ＭＵは、１つのＡＵを単位としてＡＵが格納されたユニットであり、図２に示すように、２種類のＭＵが生成される。第１のＭＵは、ＤＴＳ、ＣＴＳ、Ｒｅｆｔｉｍｅ及びＡＵにより構成され、第２のＭＵは、ＤＴＳ、ＣＴＳ及びＡＵにより構成される。第１のＭＵは、ランダムアクセスポイントのＡＵのときに生成されるユニットであり、第２のＭＵは、ランダムアクセスポイントでないＡＵのときに生成されるユニットである。つまり、図２の左から１番目のＭＵでは、ＡＵ１がランダムアクセスポイントであるため、ＤＴＳ１、ＣＴＳ１、Ｒｅｆｔｉｍｅ１が付加されている。同様に、３，５番目のＭＵでは、ＡＵ２，３がランダムアクセスポイントであるため、ＤＴＳ２，３、ＣＴＳ２，３、Ｒｅｆｔｉｍｅ２，３が付加されている。また、２，４番目のＭＵでは、ＡＵがランダムアクセスポイントでないため、Ｒｅｆｔｉｍｅが付加されず、ＤＴＳ及びＣＴＳのみが付加されている。

ここで、ランダムアクセスポイントとは、復号を開始することができるＡＵ、すなわち、それ以前のＡＵとの間で符号の相関がないＡＵをいう。映像信号のＡＵには、そのＡＵから復号を開始することができるＡＵと、復号を開始することができないＡＵとがある。ランダムアクセスポイントは、前者のＡＵであり、それより以前のＡＵを参照することなく独立して符号化されたＡＵである。例えば、Ｈ．２６４／ＡＶＣでは、ランダムアクセスポイントのＡＵとして、ＩＤＲ（ＩｎｓｔａｎｔａｎｅｏｕｓＤｅｃｏｄｉｎｇＲｅｆｒｅｓｈ）フレームのＡＵが該当する。また、ランダムアクセスポイントでないＡＵとして、Ｐ（Ｐｒｅｄｉｃｔｉｏｎ）フレーム及びＢ（Ｂｉ−ｐｒｅｄｉｃｔｉｏｎ）フレームのＡＵが該当する。尚、音声信号のＡＵは、一般に、全てランダムアクセスポイントのＡＵである。

このように、ＭＵには、ランダムアクセスポイントのＡＵのときに、符号データの復号時刻を示すＤＴＳ及び合成時刻を示すＣＴＳに加え、コンポーネント間を同期するために必要な参照時刻を示すＲｅｆｔｉｍｅが付加されている。Ｒｅｆｔｉｍｅは、ＡＵにＤＴＳ及びＣＴＳが付加される場合、復号時刻の絶対値を示し、ＡＵにＣＴＳのみが付加される場合、合成時刻の絶対値を示す。Ｒｅｆｔｉｍｅに絶対値が記述されることにより、図２に示すように、ＤＴＳ及びＣＴＳが差分値またはオフセット値にて記述された場合であっても、複数のコンポーネントを同期し再生することができる。

尚、ＭＵのＲｅｆｔｉｍｅには、ＵＴＣ時刻が記述されるようにしたが、必ずしもＵＴＣ時刻である必要はなく、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）から時刻を取得し、このＧＰＳによる時刻がＲｅｆｔｉｍｅに記述されるようにしてもよい。要するに、Ｒｅｆｔｉｍｅには、送信装置１及び受信装置２のいずれもが共通に参照できる時刻が記述されればよい。

そして、送信装置１のエンコーダは、映像及び音声のＭＵを生成した後、ＭＵが、放送ネットワーク／通信回線３における伝送路のＭＴＵ（ＭａｘｉｍｕｍＴｒａｎｓｍｉｓｓｉｏｎＵｎｉｔ）の大きさに収まるように、ＭＵをＡＴＳパケットに分割する。例えば、放送ネットワーク／通信回線３が高度ＢＳデジタル放送の伝送路の場合、４ＫＢ程度以下の大きさになるように、ＭＵをＡＴＳパケットに分割し、放送ネットワーク／通信回線３がインターネットの伝送路の場合、１．５ＫＢ以下の大きさになるように、ＭＵをＡＴＳパケットに分割する。また、エンコーダは、前述の制御用メタデータを符号化した符号データを分割してＡＴＳパケットに格納する。ここで、映像及び音声のＭＵが格納されたＡＴＳパケットと、制御用メタデータが格納されたＡＴＳパケットとを区別するための識別情報は、ＡＴＳパケットのヘッダのタイプフィールドに設定される。

エンコーダは、映像及び音声のＭＵが格納されたＡＴＳパケット及び制御用メタデータが格納されたＡＴＳパケットをＩＰパケットのペイロードに格納し、ＩＰ／ＵＤＰヘッダを付加し、ＩＰパケットを生成する。そして、エンコーダは、放送ネットワーク／通信回線３が放送ネットワークの伝送路の場合、生成したＩＰパケットを含む放送波を、放送ネットワーク／通信回線３を介して受信装置２へ送信する。また、放送ネットワーク／通信回線３がインターネットの伝送路の場合、生成したＩＰパケットを、ＩＰのプロトコルにより放送ネットワーク／通信回線３を介して受信装置２へ送信する。

このように、図１に示した伝送システムを構成する送信装置１は、ＳＴＣ値に基づいてＤＴＳ及びＣＴＳを生成し、ＵＴＣ時刻をＲｅｆｔｉｍｅに記述してＭＵを生成し、ＭＵを分割してＡＴＳパケットを生成すると共に、バッファリング遅延値を含む制御用メタデータを格納してＡＴＳパケットを生成し、ＡＴＳパケットをＩＰパケットに収容し、放送ネットワーク／通信回線３を介して受信装置２へ送信する。これにより、受信装置２は、送信装置１から、ＤＴＳ、ＣＴＳ、Ｒｅｆｔｉｍｅが付加された映像及び音声の符号データが格納されたＩＰパケット、及び制御用メタデータが格納されたＩＰパケットを受信する。

（受信装置）
受信装置２は、放送ネットワーク／通信回線３を介してＩＰパケットを受信し、デコーダにて、ＩＰパケットに格納された制御用メタデータを取り出してバッファリング遅延値を抽出し、映像及び音声の符号データに付加されたＲｅｆｔｉｍｅの時刻情報をＳＴＣ値に対応する値に換算し、換算した値からバッファリング遅延値を減算し、クロックの初期値を設定する。これは、Ｒｅｆｔｉｍｅには、送信装置１におけるＳＴＣ値に対応したＵＴＣ時刻が記述されており、Ｒｅｆｔｉｍｅの時刻情報を換算してクロック値を求めることができ、バッファリング遅延値には、ＳＴＣ値に対応した値が記述されているからである。また、受信装置２は、ＩＰパケットに格納された映像及び音声の符号データを取り出してバッファに格納し、バッファ量に基づいて、クロック周波数を復元し、クロックに設定する。これにより、クロック周波数及びクロックの絶対値が復元され、ＳＴＣを復元することができる。つまり、受信装置２は、送信装置１のＳＴＣ値よりもバッファリング遅延値の時間分遅れたＳＴＣ値を得ることができる。

また、受信装置２は、デコーダにて、ＳＴＣ値に基づいて、符号データに付加されたＤＴＳのタイミングを判断して復号を行い、ＣＴＳのときに合成・提示を行う。

ここで、発振器のクロック周波数は２７ＭＨｚであり、この場合の発振器は、１秒間に27,000,000だけ進む値をカウントし、カウンタ値をデコーダへ出力する。また、発振器のクロック周波数は、バッファ量を一定とするように調整され、クロック周波数に応じたカウンタ値が出力される。デコーダは、発振器からカウンタ値を入力し、このカウンタ値を９０ＫＨｚでサンプルした値、つまり、１秒間に90,000だけ進む値に基づいて時刻をカウントし、ＤＴＳ及びＣＴＳのタイミングを判断して復号処理及び合成・提示処理を行う。

〔受信装置の構成〕
次に、図１に示した受信装置２の構成について説明する。図３は、受信装置２の構成を示すブロック図である。この受信装置２は、受信部２０、ＡＴＳパケット処理部２１、制御用メタデータ処理部２２、映像音声処理部２３及びＳＴＣ復元部２４を備えている。

受信部２０は、ＩＰパケットを蓄積するＩＰパケットバッファを備えている。受信部２０は、送信装置１から放送ネットワーク／通信回線３を介してコンテンツを伝送するＩＰパケットを受信し、受信したＩＰパケットのうち所定のコンテンツが含まれるＩＰパケットを、既に入力済みの制御用メタデータに基づいて選択し、選択したＩＰパケットをＩＰパケットバッファに蓄積する。そして、受信部２０は、ＩＰパケットバッファからＩＰパケットを読み出し、読み出したＩＰパケットからＩＰ／ＵＤＰヘッダを取り除き、ＩＰパケットのペイロードに格納されたＡＴＳパケットを取り出す。そして、受信部２０は、ＡＴＳパケットをＡＴＳパケット処理部２１に出力する。尚、ＩＰパケットを選択する際に用いる制御用メタデータは、受信したＩＰパケットのうち、予め設定されたＩＰアドレス及び宛先ポート番号を有するＩＰパケットから抽出される。

ＡＴＳパケット処理部２１は、ＡＴＳパケットを蓄積するＡＴＳパケットバッファを備えている。ＡＴＳパケット処理部２１は、受信部２０からＡＴＳパケットを入力し、入力したＡＴＳパケットをＡＴＳパケットバッファに蓄積する。そして、ＡＴＳパケット処理部２１は、ＡＴＳパケットバッファからＡＴＳパケットを読み出し、ＡＴＳパケットのヘッダのタイプフィールドに設定された識別情報に基づいて、制御用メタデータが格納されたＡＴＳパケットと、映像及び音声のＭＵが格納されたＡＴＳパケットとに分類し、前者のＡＴＳパケットを制御用メタデータ処理部２２に出力し、後者のＡＴＳパケットを映像音声処理部２３に出力する。

制御用メタデータ処理部２２は、制御用メタデータが格納されたＡＴＳパケットを蓄積する制御用メタデータバッファ、及び制御用メタデータを解析するデコーダを備えている。制御用メタデータ処理部２２は、ＡＴＳパケット処理部２１から、制御用メタデータが格納されたＡＴＳパケットを入力し、入力したＡＴＳパケットを制御用メタデータバッファに蓄積する。そして、制御用メタデータ処理部２２は、制御用メタデータバッファからＡＴＳパケットを読み出し、読み出したＡＴＳパケットのペイロードからデータを抽出し、抽出したデータを結合して制御用メタデータを復元する。そして、制御用メタデータ処理部２２は、制御用メタデータに含まれるコンポーネントに関する情報及びバッファリング遅延値等を出力する。この場合、制御用メタデータ処理部２２は、制御用メタデータに含まれるバッファリング遅延値をＳＴＣ復元部２４に出力する。

映像音声処理部２３は、パケットロス復元部２３１、ＭＵ復元部２３２、映像音声復元部２３３を備えている。映像音声処理部２３のパケットロス復元部２３１は、映像及び音声のＭＵが格納されたＡＴＳパケットを蓄積する映像音声バッファ、及びパケットロスしたＡＴＳパケットを復元するために復号処理を行うデコーダを備えている。パケットロス復元部２３１は、ＡＴＳパケット処理部２１から、映像及び音声のＭＵが格納されたＡＴＳパケットを入力し、入力したＡＴＳパケットを映像音声バッファに蓄積する。そして、パケットロス復元部２３１は、後述するＳＴＣ復元部２４からＳＴＣ値を入力し、ＳＴＣ値に基づいて、映像音声バッファからＡＴＳパケットを読み出し、読み出したＡＴＳパケットを用いて、パケットロスしたＡＴＳパケットを復元するためのＡＬ−ＦＥＣ（ＡｐｐｌｉｃａｔｉｏｎＬａｙｅｒ−ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ）の復号処理を行う。この復号処理は、ＳＴＣ値に同期して行われる。パケットロス復元部２３１は、復号処理後のＡＴＳパケットをＭＵ復元部２３２に出力する。

ＭＵ復元部２３２は、ＭＵが格納されたＡＴＳパケットを蓄積する映像音声バッファを備えている。ＭＵ復元部２３２は、パケットロス復元部２３１からＭＵが格納されたＡＴＳパケットを入力し、入力したＡＴＳパケットを映像音声バッファに蓄積する。そして、ＭＵ復元部２３２は、映像音声バッファからＡＴＳパケットを読み出し、読み出したＡＴＳパケットのペイロードからデータを抽出し、抽出したデータを結合して送信時のＭＵを復元する。そして、ＭＵ復元部２３２は、ＭＵのヘッダ部に付加されるタイプに基づいて、映像のＭＵと音声のＭＵとに分類し、分類したＭＵを映像音声復元部２３３に出力する。

映像音声復元部２３３は、映像のＭＵを蓄積する映像用ＭＵバッファ、映像を復号する映像デコーダ、音声のＭＵを蓄積する音声用ＭＵバッファ、及び音声を復号する音声デコーダを備えている。映像音声復元部２３３は、ＭＵ復元部２３２から映像のＭＵ及び音声のＭＵを入力し、映像のＭＵを映像用ＭＵバッファに蓄積し、音声のＭＵを音声用ＭＵバッファに蓄積する。そして、映像音声復元部２３３は、後述するＳＴＣ復元部２４からＳＴＣ値を入力すると共に、映像用ＭＵバッファから映像のＭＵを読み出し、読み出した映像のＭＵからＡＵ、ＤＴＳ及びＣＴＳを抽出し、入力したＳＴＣ値及び抽出したＤＴＳに基づいて、復号処理のタイミングを判断し、復号処理のタイミングにて、映像デコーダが映像のＡＵを復号する。また、映像音声復元部２３３は、入力したＳＴＣ値及び抽出したＣＴＳに基づいて、再生処理のタイミングを判断し、再生処理のタイミングにて、復号した映像を出力して再生する。

また、映像音声復元部２３３は、後述するＳＴＣ復元部２４からＳＴＣ値を入力すると共に、音声用ＭＵバッファから音声のＭＵを読み出し、読み出した音声のＭＵからＡＵ及びＤＴＳを抽出し、入力したＳＴＣ値及び抽出したＤＴＳに基づいて、復号及び再生処理のタイミングを判断し、復号及び再生処理のタイミングにて、音声デコーダが音声のＡＵを復号し、復号した音声を出力して再生する。

ＳＴＣ復元部２４は、発振器（ＣＬＫｄ）を備えており、クロック周波数を復元する機能及びクロックの絶対値を復元する機能を有する。ＳＴＣ復元部２４は、クロック周波数を復元するために、映像音声処理部２３のパケットロス復元部２３１に備えた映像音声バッファに蓄積されているＡＴＳパケットの量を監視し、ＡＴＳパケット量が常に一定値（例えば、映像音声バッファの容量の半分）となるように、クロック周波数を調整する。すなわち、ＳＴＣ復元部２４は、映像音声バッファに蓄積されているＡＴＳパケットの量が、予め設定された一定値を超える方向に変化する場合、クロック周波数を増加させ、逆に、ＡＴＳパケット量が一定値を下回る方向に変化する場合、クロック周波数を減少させる制御を行うことにより、クロック周波数を復元する。クロック周波数を復元する手法は既知であり、詳細については、前述の非特許文献２を参照されたい。

また、ＳＴＣ復元部２４は、クロックの絶対値を復元するために、クロックの初期値を設定する。具体的には、ＳＴＣ復元部２４は、映像音声処理部２３の映像音声復元部２３３に備えた映像用ＭＵバッファ及び音声用ＭＵバッファから、同一コンテンツのＭＵを読み出すと共に、制御用メタデータ処理部２２から制御用メタデータに含まれるバッファリング遅延値を入力する。そして、ＳＴＣ復元部２４は、読み出したＭＵに基づいて、映像または音声のコンポーネントのうち、映像用ＭＵバッファまたは音声用ＭＵバッファに最初に蓄積されたコンポーネントのＭＵについて、最も早い時刻に蓄積されたＭＵであって、Ｒｅｆｔｉｍｅを含むＭＵを特定し、そのＭＵからＲｅｆｔｉｍｅを抽出する。特定されるＭＵは、例えば選局が行われた後、または受信装置２の電源がＯＮになった後に、最も早い時刻に映像用ＭＵバッファまたは音声用ＭＵバッファに蓄積されたＭＵであって、Ｒｅｆｔｉｍｅを含むＭＵである。そして、ＳＴＣ復元部２４は、抽出したＲｅｆｔｉｍｅに記述された時刻情報の値をクロック値に換算し、換算したクロック値から、入力した制御用メタデータに含まれるバッファリング遅延値を減算し、その減算結果をクロックの初期値に設定する。

〔受信装置におけるＳＴＣ復元部の処理〕
次に、図１及び図３に示した受信装置２におけるＳＴＣ復元部２４の処理について説明する。図４は、ＳＴＣ復元部２４の処理を示すフローチャートである。まず、受信装置２において選局等が行われると（ステップＳ４０１：Ｙ）、受信装置２のＳＴＣ復元部２４は、映像音声処理部２３の映像音声復元部２３３に備えた映像用ＭＵバッファ及び音声用ＭＵバッファから、選局等に関するコンテンツのＭＵを読み出し、読み出したＭＵから、映像用ＭＵバッファまたは音声用ＭＵバッファに、最も早い時刻に蓄積され、Ｒｅｆｔｉｍｅを含むＭＵを特定する（ステップＳ４０２）。そして、ＳＴＣ復元部２４は、特定したＭＵからＲｅｆｔｉｍｅを抽出する（ステップＳ４０３）。

ＳＴＣ復元部２４は、制御用メタデータ処理部２２から、選局等に関するコンテンツの制御用メタデータに含まれるバッファリング遅延値を入力する（ステップＳ４０４）。そして、ＳＴＣ復元部２４は、ステップＳ４０３にて抽出したＲｅｆｔｉｍｅの時刻情報の値をクロック値に換算し、換算したクロック値から、ステップＳ４０４にて入力したバッファリング遅延値を減算し（ステップＳ４０５）、その減算結果をクロックの初期値に設定する（ステップＳ４０６）。

ステップＳ４０２〜ステップＳ４０６により、クロックの絶対値を復元するために、その初期値が設定される。そして、クロックの初期値が設定された後のＳＴＣ値は、クロック周波数に応じてカウントアップする。

ＳＴＣ復元部２４は、映像音声処理部２３のパケットロス復元部２３１に備えた映像音声バッファに蓄積されているＡＴＳパケットの量を監視し、ＡＴＳパケット量が常に一定値となるように、クロック周波数を調整する（ステップＳ４０７）。そして、ＳＴＣ復元部２４は、クロックの初期値を設定した後のＳＴＣ値を、調整後のクロック周波数に応じてカウントアップし、映像音声処理部２３のパケットロス復元部２３１及び映像音声復元部２３３に出力する（ステップＳ４０８）。そして、新たな選局等が行われない限り（ステップＳ４０１：Ｎ）、ステップＳ４０７及びステップＳ４０８の処理が行われ、ＳＴＣ復元部２４は、クロック周波数を調整し、クロック周波数に応じてカウントアップしたＳＴＣ値を出力する。また、受信装置２の電源がＯＦＦになる等して処理が終了しない限り（ステップＳ４０９：Ｎ）、ステップＳ４０１〜ステップＳ４０８の処理が行われる。

尚、図４に示したフローチャートでは、ＳＴＣ復元部２４は、ステップＳ４０２及びステップＳ４０３にて、新たな選局等に関するコンテンツの所定のＭＵを特定してＲｅｆｔｉｍｅを抽出し、その後に、ステップＳ４０４にて、選局等に関するコンテンツの制御用メタデータに含まれるバッファリング遅延値を入力するようにしたが、順番が逆の場合もあり得る。

以上のように、本発明の実施形態による受信装置２によれば、送信装置１から、バッファリング遅延値を含む制御用メタデータが格納されたＩＰパケット、及び、映像及び音声のＭＵが格納されたＩＰパケットを受信し、受信部２０が、受信したＩＰパケットからＡＴＳパケットを取り出し、ＡＴＳパケット処理部２１が、ＡＴＳパケットを、制御用メタデータが格納されたＡＴＳパケットと、ＭＵが格納されたＡＴＳパケットとに分類し、制御用メタデータ処理部２２が、制御用メタデータが格納されたＡＴＳパケットのペイロードからデータを抽出し、抽出したデータを結合して復号し、バッファリング遅延値を含む制御用メタデータを復元するようにした。また、映像音声処理部２３は、映像及び音声のＭＵが格納されたＡＴＳパケットのペイロードからデータを抽出し、抽出したデータを結合してＭＵを復元し、映像のＭＵからＡＵ、ＤＴＳ及びＣＴＳを抽出し、音声のＭＵからＡＵ及びＤＴＳを抽出し、ＳＴＣ復元部２４から入力したＳＴＣ値に基づいて、映像及び音声の復号及び再生を行うようにした。また、ＳＴＣ復元部２４は、同一コンテンツのＭＵのうち、最も早い時刻にバッファに蓄積され、Ｒｅｆｔｉｍｅを含むＭＵを特定し、特定したＭＵに含まれるＲｅｆｔｉｍｅの時刻情報の値をクロック値に換算し、換算したクロック値から、制御用メタデータに含まれるバッファリング遅延値を減算し、減算結果をクロックの初期値に設定し、さらに、バッファに蓄積された、映像及び音声のＭＵが格納されたＡＴＳパケットの量を監視し、このＡＴＳパケット量が常に一定値となるように、クロック周波数を調整するようにした。これにより、クロック周波数及びクロックの絶対値が復元され、送信装置１のＳＴＣ値よりもバッファリング遅延値の時間分（放送ネットワーク／通信回線３の遅延ジッタの最大値を超える時間分）遅れたＳＴＣ値が復元される。つまり、受信装置２では、送信装置１よりも前記時間分遅れて、映像及び音声の復号及び再生が行われる。したがって、クロックの値をサンプリングしたＰＣＲ等のデータを送信装置１から受信装置２へ伝送する必要がなく、パケット間隔が不定で伝送遅延変動が発生するＩＰネットワーク等の伝送環境においてストリーム配信を行う場合にも、クロックの復元を実現し、適切な復号及び再生を行うことができる。

尚、本発明の実施形態による受信装置２のハードウェア構成としては、通常のコンピュータを使用することができる。受信装置２は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。受信装置２に備えた受信部２０、ＡＴＳパケット処理部２１、制御用メタデータ処理部２２、映像音声処理部２３及びＳＴＣ復元部２４の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。送信装置１のハードウェア構成についても同様である。

１送信装置
２，２００受信装置
３放送ネットワーク／通信回線
２０受信部
２１ＡＴＳパケット処理部
２２制御用メタデータ処理部
２３映像音声処理部
２４，２０１ＳＴＣ復元部
２０２映像処理部
２０３音声処理部
２３１パケットロス復元部
２３２ＭＵ復元部
２３３映像音声復元部

Claims

ＳＴＣ（システムタイムクロック）によるカウンタ値を示すＳＴＣ値に基づいて、コンテンツを復号及び再生するための第１の時刻情報を生成し、前記コンテンツの符号データに、前記第１の時刻情報、及び、送信装置及び受信装置にて共通に参照可能な第２の時刻情報を付加し、前記コンテンツの符号データをパケットに格納して送信する前記送信装置と、前記パケットを受信し、前記ＳＴＣを復元してＳＴＣ値を生成し、前記パケットに格納されたコンテンツの符号データを、前記ＳＴＣ値に基づいて復号し再生する前記受信装置と、を備えた伝送システムにおける前記受信装置であって、
受信したパケットを蓄積するバッファと、
前記ＳＴＣを復元してＳＴＣ値を生成するＳＴＣ復元部と、
前記ＳＴＣ復元部により生成されたＳＴＣ値、及び前記受信したパケットに格納されたコンテンツの符号データに付加された第１の時刻情報に基づいて、前記コンテンツの符号データを復号及び再生するタイミングを判断し、前記タイミングにて前記復号及び再生を行う映像音声処理部と、を備え、
前記ＳＴＣ復元部は、
前記受信したパケットに格納されたコンテンツの符号データに付加された第２の時刻情報を抽出し、前記第２の時刻情報に基づいて、前記ＳＴＣ値の初期値を設定し、前記バッファに蓄積されたパケットの量に基づいて、前記ＳＴＣの周波数を調整し、前記ＳＴＣ値の初期値を前記ＳＴＣの周波数に応じてカウントアップし、前記映像音声処理部にて復号及び再生のタイミングを判断するために用いる前記ＳＴＣ値を生成する、ことを特徴とする受信装置。
請求項１に記載の受信装置において、
さらに、前記コンテンツの符号データを復号及び再生するための情報及び所定の遅延値を含む制御用メタデータが格納されたパケットを受信し、
前記受信したパケットに格納された制御用メタデータを抽出する制御用メタデータ処理部を備え、
前記ＳＴＣ復元部は、
前記受信したパケットに格納されたコンテンツの符号データに付加された第２の時刻情報を抽出し、前記第２の時刻情報に基づいて、前記送信装置のＳＴＣ値よりも前記所定の遅延値分遅れるように、前記ＳＴＣ値の初期値を設定し、前記バッファに蓄積されたパケットの量に基づいて、前記ＳＴＣの周波数を調整し、前記ＳＴＣ値の初期値を前記ＳＴＣの周波数に応じてカウントアップし、前記映像音声処理部にて復号及び再生のタイミングを判断するために用いる前記ＳＴＣ値を生成する、ことを特徴とする受信装置。
ＳＴＣによるカウンタ値を示すＳＴＣ値に基づいて、コンテンツを復号及び再生するための第１の時刻情報を生成し、前記コンテンツの符号データに、前記第１の時刻情報、及び、送信装置及び受信装置にて共通に参照可能な第２の時刻情報を付加し、前記コンテンツの符号データをパケットに格納して送信する前記送信装置と、前記パケットを受信し、前記ＳＴＣを復元してＳＴＣ値を生成し、前記パケットに格納されたコンテンツの符号データを、前記ＳＴＣ値に基づいて復号し再生する前記受信装置と、を備えた伝送システムにおける前記受信装置によりＳＴＣを復元する方法であって、
受信したパケットをバッファに蓄積する第１のステップと、
前記ＳＴＣを復元してＳＴＣ値を生成する第２のステップと、
前記第２のステップにて生成したＳＴＣ値、及び前記受信したパケットに格納されたコンテンツの符号データに付加された第１の時刻情報に基づいて、前記コンテンツの符号データを復号及び再生するタイミングを判断し、前記タイミングにて前記復号及び再生を行う第３のステップと、を有し、
前記第２のステップは、
前記受信したパケットに格納されたコンテンツの符号データに付加された第２の時刻情報を抽出する第２−１のステップと、
前記第２−１のステップにて抽出した第２の時刻情報に基づいて、前記ＳＴＣ値の初期値を設定する第２−２のステップと、
前記バッファに蓄積されたパケットの量に基づいて、前記ＳＴＣの周波数を調整する第２−３のステップと、
前記第２−２のステップにて設定したＳＴＣ値の初期値を、前記第２−３のステップにて調整したＳＴＣの周波数に応じてカウントアップし、前記第３のステップにて復号及び再生のタイミングを判断するために用いる前記ＳＴＣ値を生成する第２−４のステップと、を有することを特徴とするクロック復元方法。
コンピュータを、請求項１または２に記載の受信装置として機能させるためのプログラム。