JP6335775B2 - メディア受信装置 - Google Patents

Description

この発明は、メディア信号の送信元であるメディア送信装置と自メディア受信装置間での動作周波数差を算出して、自メディア受信装置の動作周波数を調整することで送受信間での動作周波数を同期化するメディア受信装置に関するものである。

近年、専用線を用いたデータ転送よりも比較的に安価で容易に構築できるＩＰネットワークが広く整備され、伝送速度の高速化が進んでいる。デジタル放送、映像配信サービス、監視カメラなどでは、映像、音声のようなメディア信号を符号化、多重化したデータ列をパケット化して伝送する際に高い伝送レートと安定した品質が要求されるため、従来は専用線を用いた伝送方式が用いられてきた。しかし、ＩＰネットワークの品質向上と低コスト化により、ＩＰネットワークを介してメディア伝送して視聴するサービスが普及してきている。専用線を用いた既存アプリケーションとの相互接続性、開発資源の再利用の観点から、メディア多重化にはＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格に準拠した方式を採用して、伝送パケットを構成する場合もある。また、ＩＰネットワーク上でのストリーム伝送のための規格としてＩＥＴＦ（Ｉｎｔｅｒｎｅｔ Ｅｎｇｉｎｅｅｒｉｎｇ Ｔａｓｋ Ｆｏｒｃｅ）にて定義されたＲＴＰ（Ｒｅａｌｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）規格を採用して、伝送パケットを構成する場合もある。

ＩＰネットワーク伝送ではさまざまな情報を伝達することが可能な反面、多種多様な通信プロトコルを定義し、混在して利用することが可能であるため、情報伝達に必要なパケット化に際しては各通信プロトコルの階層でヘッダ情報が必要となるなど、伝送上でのオーバヘッドも大きくなっている。そのため、伝送効率を高めるべく複数のメディアパケットを一つの伝送パケットに纏めて伝送している。その結果、メディアパケットとして個別に生成されたタイミングとは異なった出力タイミングに変化して、バースト転送となることもある。また、ＩＰネットワーク伝送では伝送遅延が保証されないため、時刻情報の伝達においても伝送ジッタが発生する。ＩＰネットワークを介したパケット伝送にはこのような伝送特性があるため、メディア送信装置とメディア受信装置間での動作周波数合わせが困難になる課題があった。

従来、このような問題に対処するため、たとえば、特許文献１に示されるメディア受信装置では、伝送パケット中に含まれる送信側の時刻カウンタ値のうち、伝送時のジッタの影響が少ないと推定される時刻カウンタ値を選択して、受信側の自端末の時刻カウンタ値の時間的な遷移の比較から送受信間での動作周波数差を算出して、自メディア受信端末の動作周波数を調整することで送受信間での動作周波数を同期化している。また、特許文献１には、メディアパケットを一時的に格納するバッファのメディアパケット数やデータ数の時間変化量から送受信間での動作周波数差を算出して、自メディア受信端末の動作周波数を調整することが示されている。

このように、従来の装置では送信側にて伝送パケットに付与される送信時刻カウンタ値と受信側での自時刻カウンタ値との比較、あるいは受信側でのパケット受信バッファ内の残量遷移を監視することで送受信間での動作周波数差を算出し、自装置の動作周波数を補正するようにしていた。しかしながら、伝送パケットの到着タイミングに偏りがある場合や、伝送対象であるメディアパケットが不定間隔、つまりメディア情報の情報発生量が不規則なためパケット生成速度が変化しながら送信される場合には、受信側ではパケット受信バッファに滞留するパケットの残量が一定に遷移せず、正確な送受信間での動作周波数差を算出できない課題が生じてしまう。

特開２０１１−１２０１４６号公報

実際にメディアパケットを伝送パケットに格納して伝送される場合には、複数のメディアパケットが伝送パケットに格納されることになってバースト転送のような状態になるため、メディアパケットに付与された送信時刻カウンタ値と自装置の時刻カウンタ値が必ずしも一定の関係を満たしていない。従って、メディア送信装置からの送信時刻カウンタ値と受信側での自時刻カウンタ値との差分に大きなジッタが発生することになるため、動作周波数差の算出に誤差が生じやすい問題がある。

このような送信側と受信側の時刻カウンタ値の差分に大きなジッタが発生するという問題に対処するには、一定期間分の時刻カウンタ値を平滑化する仕組みを用いるなどの対策が必要となる。しかしながら、ＩＰネットワーク伝送で生じる揺らぎは大きく、その吸収は高コストな構造の一因になるという課題があった。また、メディアパケットの生成量が一定でない場合にはバッファの遷移そのものが一定にならないため、完全なジッタ吸収は困難であった。

この発明は上記のような課題を解決するためになされたもので、低コストでかつ確実にメディア送信装置と同期化することのできるメディア受信装置を得ることを目的とする。

この発明に係るメディア受信装置は、メディア送信装置から送信された符号化信号から受信側で提示単位となるメディアフレームを復元するメディアストリーム復号部と、メディアフレームの提示時刻を示すメディアフレーム時刻情報を生成するメディアフレーム時刻情報生成部と、メディアフレーム時刻情報生成部からメディアフレーム時刻情報を取り込んだ個数と取り込んだメディアフレーム時刻情報を出力した個数の差分を示す内部に保持しているメディアフレーム時刻情報の保管量を、メディアフレーム時刻情報生成部からメディアフレーム時刻情報を取り込んだ場合に一つ加算し、メディアフレーム時刻情報の提示時刻情報を出力した場合に一つ減算してメディアフレーム時刻情報の保管量として出力するメディアフレーム時刻情報管理部と、メディアフレーム時刻情報管理部から出力された提示時刻情報で示される提示時刻と自装置の現在時刻を示す装置時刻情報とが一致した場合に該当するメディアフレームを出力するメディア信号出力部と、メディアフレーム時刻情報管理部から出力されたメディアフレーム時刻情報の保管量を逐次受け、受けた保管量の遷移からメディア送信装置側の動作クロックと自装置の動作クロックとの周波数差である送受信間クロック差を算出する送受信間クロック差算出部と、送受信間クロック差に基づいて、装置時刻情報の時刻を調整するクロック制御部とを備えたものである。

この発明のメディア受信装置は、メディアフレーム時刻情報生成部からメディアフレーム時刻情報を取り込んだ個数と取り込んだメディアフレーム時刻情報を出力した個数の差分を示す内部に保持しているメディアフレーム時刻情報の保管量を、メディアフレーム時刻情報生成部からメディアフレーム時刻情報を取り込んだ場合に一つ加算し、メディアフレーム時刻情報の提示時刻情報を出力した場合に一つ減算してメディアフレーム時刻情報の保管量として出力するメディアフレーム時刻情報管理部を設け、メディアフレーム時刻情報管理部から出力されたメディアフレーム時刻情報の保管量を逐次受け、受けた保管量の遷移からメディア送信装置側の動作クロックと自装置の動作クロックとの周波数差である送受信間クロック差を算出してこの送受信間クロック差に基づいて、自装置の時刻を調整するようにしたので、低コストでかつ確実にメディア送信装置との同期化を行うことができる。

この発明の実施の形態１によるメディア受信装置を含むメディア送受信システムを示す構成図である。 この発明の実施の形態１によるメディア受信装置で扱うネットワークパケット２の構造を示す構成図である。 この発明の実施の形態１によるメディア受信装置のメディアフレーム時刻情報保管量の遷移を示す説明図である。 この発明の実施の形態１によるメディア受信装置のメディアフレーム時刻情報保管量の変化量の微分値の遷移を示す説明図である。 この発明の実施の形態１によるメディア受信装置の現在時刻情報の遷移を示す説明図である。 この発明の実施の形態１によるメディア受信装置の自装置周波数と時刻情報に応じたシステムクロック制御を示す説明図である。 この発明の実施の形態２によるメディア受信装置を含むメディア送受信システムを示す構成図である。 この発明の実施の形態３によるメディア受信装置を含むメディア送受信システムを示す構成図である。 この発明の実施の形態４によるメディア受信装置を含むメディア送受信システムを示す構成図である。

実施の形態１．
図１は、この発明の実施の形態１によるメディア受信装置を含むメディア送受信システムを示す構成図である。
図１に示すメディア送受信システムは、メディア送信装置１とメディア受信装置３とを備えている。メディア送信装置１は、入力された映像、音声、またはデータ等のメディア信号を一定の区切り単位となるメディアフレーム単位で符号化して符号化ストリームを生成し、メディア多重用のパケット化を行い、さらにＩＰ伝送用に伝送パケットに格納してＩＰネットワークへ出力する装置である。また、メディア送信装置１では、符号化ストリームをメディアパケットに格納する際にはメディアフレームの提示タイミングを示すための提示時刻情報を格納し、送信装置側の現在時刻を受信装置側へ伝達するための時刻再生情報を格納している。また、ネットワークパケット２は、メディア送信装置１から出力され、ＩＰネットワークを介してメディア受信装置３に伝送される符号化メディア情報を含むパケットである。

メディア受信装置３は、メディア送信装置１が出力したネットワークパケット２を受信し、ネットワークパケット２から、映像、音声及びデータ等の符号化メディアストリームを分離、復号し、また付随する時刻情報を抽出して提示タイミングを調整してメディア信号を出力する装置であり、伝送パケット受信部４、メディアパケット解析分離部６、メディアストリーム復号部９、メディアフレーム時刻情報生成部１２、メディア信号出力部１６、メディアフレーム時刻情報管理部１８、送受信間クロック差算出部１９、クロック制御部２１を備えている。

伝送パケット受信部４は、メディア送信装置１が出力したネットワークパケット２を受信してネットワークパケット２中のメディアパケットを取り出す処理部であり、メディアパケット５は、伝送パケット受信部４がネットワークパケット２から取り出して出力したパケットである。メディアパケット解析分離部６は、メディアパケット５から符号化メディアストリーム、出力タイミングに関連する提示時刻情報、送信装置側の現在時刻に相当する時刻再生情報８を取り出す処理部であり、提示時刻情報を含む符号化メディアストリームである時刻情報付き符号化メディアストリーム７をメディアストリーム復号部９へ、また、時刻再生情報８をクロック制御部２１へ出力する。

メディアストリーム復号部９は、時刻情報付き符号化メディアストリーム７を取り込み、所定の符号化方式に従ってメディア復号処理を実施し、メディアフレームを復元するとともに、時刻情報付き符号化メディアストリーム７に含まれている提示時刻情報、符号化メディアストリームを復号して得られる当該メディアフレームを提示する順番、当該メディアフレームの提示間隔を抽出する処理部である。メディアフレーム１０は、メディアストリーム復号部９が時刻情報付き符号化メディアストリーム７から復元したメディア信号の１フレーム分にあたるメディアフレームで提示順番を含んでいる。また、メディアフレーム管理情報１１は、時刻情報付き符号化メディアストリーム７からメディアフレーム１０を復号した際に得られた当該メディアフレームの提示順番や提示間隔及び提示時刻情報で構成されるメディアフレームの管理情報である。

メディアフレーム時刻情報生成部１２は、メディアストリーム復号部９で生成されたメディアフレーム管理情報１１を取り込み、隣接するメディアフレーム管理情報を適用して提示時刻情報を含まないメディアフレームに対応する提示時刻情報を算出、あるいはメディアフレームと関連を持たない提示時刻情報を削除して、メディアフレームごとに提示時刻情報と提示順番を生成する処理部であり、メディアフレーム時刻情報１３は、メディアフレーム時刻情報生成部１２で生成された、提示時刻情報、提示順番及び提示間隔を含む情報である。

メディアフレーム時刻情報管理部１８は、メディアフレーム時刻情報１３を取り込んで保持するともに、メディア信号出力部１６からのメディアフレーム出力情報要求１４に従って、保持したメディアフレーム時刻情報１３から次の表示対象となるメディアフレームに関する提示時刻情報や提示順番を示す提示番号を取り出してメディアフレーム出力情報指示１５としてメディア信号出力部１６へ通知し、また、メディアフレーム時刻情報１３を取り込んだ個数とメディアフレーム出力情報指示１５へ取り出した個数の差分から内部に保持しているメディアフレーム時刻情報１３の保管量を算出し、これをメディアフレーム時刻情報保管量１７として送受信間クロック差算出部１９へ通知する処理部である。また、メディアフレーム出力情報要求１４は、メディア信号出力部１６からのメディア信号２５の出力時に、メディア信号出力周期に応じて次の出力対象となるメディアフレームに対する提示時刻情報、提示番号の提示を求めるための情報であり、メディアフレーム出力情報指示１５は、メディアフレーム出力情報要求１４に対するメディアフレーム時刻情報管理部１８の応答として、次の出力対象となるメディアフレームの提示時刻、提示番号を含む情報である。

メディア信号出力部１６は、メディアフレーム１０を取り込んで保持するともに、メディアフレーム１０の出力周期に合わせて、メディアフレーム出力情報要求１４によって次の出力対象となるメディアフレームに対する提示情報などをメディアフレーム時刻情報管理部１８へ要求し、その応答で提示されたメディアフレーム出力情報指示１５を受け取って、自装置の現在時刻である装置時刻情報２４と比較して保持しているメディアフレーム１０から出力対象となるメディアフレームを取り出し、メディア信号２５として出力する処理部である。メディア信号２５は、符号化メディアストリームを復号して得られたメディアフレームを提示時刻情報や装置時刻情報に従って提示番号の順序に並べ直して、メディア送信装置１に入力されたメディア信号相当に復元して出力される信号である。

送受信間クロック差算出部１９は、メディアフレーム時刻情報管理部１８から出力されるメディアフレーム時刻情報保管量１７を逐次検査してその遷移からメディア送信装置１側の動作クロックとメディア受信装置３側の動作クロックとの周波数差である送受信間クロック差２０を算出して出力する処理部である。

クロック制御部２１は、メディアパケット解析分離部６がメディアパケット５から抽出したメディア送信装置１側の現在時刻情報に相当する時刻再生情報８を取り込んで自装置の現在時刻にあたる装置時刻情報２４の初期値に適用し、送受信間クロック差２０を逐次検査してその遷移から自装置のシステムクロック２３を制御する量を算出する制御部であり、クロック制御信号２２は、クロック制御部２１が算出したメディア受信装置３側の動作クロックを制御する量にあたる制御信号である。また、システムクロック２３は、メディア受信装置３の動作の基準クロック源となるクロックである。装置時刻情報２４は、システムクロック２３を基準に生成したメディア受信装置３の現在時刻にあたる装置時刻情報であり、メディア信号出力部１６と送受信間クロック差算出部１９とに与えられる。

図２は、この発明の実施の形態１で扱うネットワークパケット２の構造を示す構成図である。
図２において、ネットワークパケット２は、送信元や受信先あるいは伝達される情報の種別を特定するための情報が格納されるネットワークヘッダ情報１０１と、映像配信などの用途に適用される伝送手順に従った伝送パケット１０２を含む。伝送パケット１０２は、伝送パケットヘッダ情報１０３と複数のメディアパケット１０４を含み、メディアパケット１０４は、メディアヘッダ情報１０５とメディアパケットペイロード１０６を含んでいる。メディアパケットペイロード１０６は、符号化メディアストリームあるいは制御情報のデータである。

次に、実施の形態１の動作について説明する。
メディア送信装置１は入力された映像メディア信号、音声メディア信号、データ信号などのメディア信号を各メディアに適用される符号化方式に応じた区切りの単位でメディアフレームを構成し、それぞれ映像符号化、音声符号化、データ符号化して符号化メディアストリームを生成する。映像符号化の一例ではＭＰＥＧ−２ Ｖｉｄｅｏ、ＭＰＥＧ−４ Ｖｉｄｅｏ、ＭＰＥＧ−４ ＡＶＣ、ＭＰＥＧ−Ｈ Ｖｉｄｅｏ（ＨＥＶＣ）、ＶＣ−１などの映像符号化規格に準拠して符号化されたデータ列が該当する。音声符号化の一例では、ＭＰＥＧ−１ Ａｕｄｉｏ、ＭＰＥＧ−２ Ａｕｄｉｏ、ＭＰＥＧ−２／４ ＡＡＣ、Ｄｏｌｂｙ（登録商標） ＡＣ−３などの音声符号化規格に準拠して符号化されたデータ列が該当するが、これらの符号化については実施の形態１の動作に直接関連しないためその詳細は省略する。

そして、複数のメディア情報を一つの伝送データに集約して伝送路への出力を容易にするために図２で示すようなパケット構造で伝送用のデータ列を形成してパケット化し、メディア送信装置１とメディア受信装置３間で伝達される。符号化メディアストリームを伝送するために所定の形式でメディアパケットペイロード１０６に格納し、どのような情報であるかを識別するメディアヘッダ情報１０５を付与してパケット化してメディアパケット１０４を生成する。そして、伝送効率を高めるために必要に応じてメディアパケット１０４を複数纏めて伝送パケット１０２に格納し、どのような情報であるか識別する伝送パケットヘッダ情報１０３を付与して伝送パケット１０２を生成する。最終的に伝送路へ出力するために、ネットワークヘッダ情報１０１を付与したネットワークパケット２が生成される。伝送パケットヘッダ情報１０３、またはメディアヘッダ情報１０５にあたる位置に提示時刻情報や現在時刻情報に相当する値が格納されてメディア送信装置１側からメディア受信装置３側へ伝達される。

メディアパケット化の一例ではデジタル放送、次世代ディスクなどで採用されるＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格に準拠したＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）形式のＴＳパケットにタイムスタンプを付与したＴＴＳパケット（タイムスタンプ付きＴＳパケット）が該当し、伝送パケット化の一例ではＩＥＴＦで規定されたＲＴＰ（Ｒｅａｌｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）形式でのＲＴＰパケットが、同じくインターネットで使用されるＵＤＰ／ＩＰ（Ｕｓｅｒ Ｄａｔａ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）形式のＵＤＰ／ＩＰパケットに従ってパケット多重されたデータ列が該当する。

あるいは、ＲＴＰプロトコルの別の適用方法でＲＴＰパケットのペイロードに、直接、符号化メディアストリームを格納して伝送する方式もある。また、ＲＴＰ以外に、ＭＰＥＧ−Ｈ ＭＭＴ（ＭＰＥＧ Ｍｕｌｔｉｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）をＵＤＰ／ＩＰに格納して伝送する方式もある。現在時刻の伝達では、ＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）などのＩＰネットワーク上の時刻を同期化する仕組みが適用されている。

いずれの場合であってもメディア送信装置１の現在時刻にあたる情報と、メディアフレームを提示するタイミングにあたる提示時刻情報を送信装置から受信装置へ伝達、または共有する仕組みにより、送信装置側が映像、音声などのメディア信号を取り込んだタイミングを受信装置側も再現して、映像、音声などのメディア信号の相対関係が保たれて自然な映像表示、音声出力となるように提示タイミングが制御されるようになっている。提示時刻情報や現在時刻の伝達、共有を実現する仕組みは本発明の動作には直接関連しないため、これら動作の詳細は省略する。

メディア受信装置３の伝送パケット受信部４は、メディア送信装置１が出力したネットワークパケット２を取り込んで、先に述べた伝送用プロトコルに従った処理でネットワークパケット２中のメディアパケット５（図２中のメディアパケット１０４に相当する）を取り出す。メディアパケット解析分離部６は伝送用プロトコルに従ってメディアパケット５から符号化メディアストリーム、出力タイミングに関連する提示時刻情報を取り出して時刻情報付き符号化メディアストリーム７として出力し、また、メディア送信装置１の現在時刻に関する時刻再生情報８を取り出す処理を実施する。

メディアストリーム復号部９は時刻情報付き符号化メディアストリーム７を取り込んで所定の符号化方式に従ってメディア復号処理を実施してメディアフレームを復元するとともに、時刻情報付き符号化メディアストリーム７に含まれている提示時刻情報、符号化メディアストリームを復号して得られる当該メディアフレームを提示する順番に相当する提示番号、当該メディアフレームの提示間隔を抽出してメディアフレーム管理情報１１として情報を取りまとめてメディアフレーム時刻情報生成部１２へ通知する。また、復号したメディアフレームについては当該メディアフレームを提示する順番に相当する番号を付与してメディア信号出力部１６へ通知する。この提示番号を復号したメディアフレームとメディアフレーム管理情報などの関連する情報を紐付けるタグとして適用する。もちろん他の管理番号を用いてメディアフレームと各種情報を紐付けて処理しても構わない。

メディア信号出力部１６はメディアフレーム１０を提示番号とともに取り込んで出力タイミングとなるまで保持する。メディア信号の出力は一般的に一定の規則に基づいた定周期での出力、たとえば映像メディアであれば、映像フレームレート（５９．９４ｆｐｓなど）にあたる時間間隔で出力することなり、この出力周期に合わせてメディアフレーム出力情報要求１４によって次の出力対象となるメディアフレームを選択するための情報をメディアフレーム時刻情報管理部１８から取り出す。そして、メディア信号出力部１６に予め保持していたメディアフレームからメディアフレーム出力情報指示１５で指定されたメディアフレームを取り出してメディア信号２５として出力する。これによって、符号化メディアストリームを復号して得られたメディアフレームを提示時刻情報や装置時刻情報に従って提示番号の順序に並べ直して、メディア送信装置１に入力されたメディア信号に相当に復元してメディア信号２５が出力される。

その際、取り出したメディアフレーム出力情報指示１５に格納された提示時刻情報と自装置の現在時刻にあたる装置時刻情報２４とを比較して、当該メディアフレームの提示時刻が既に過去の時刻となっていた場合、当該メディアフレームを破棄して次のメディアフレームの選択処理に移行する。また、逆に当該メディアフレームの提示時刻が次に出力するタイミングよりもさらに未来の時刻となっていた場合、当該メディアフレームの出力を一時保留して、さらに次の出力タイミングで出力するように処理する。保留した結果、次の出力タイミングに対応するメディアフレームが無くなってしまうが、その場合は、前回出力したメディアフレームを再度出力しても良いし、異常状態としてたとえば画面全体を緑色や青色などの単色映像等を出力しても良い。

メディアフレーム時刻情報生成部１２は、生成されたメディアフレーム管理情報１１を取り込み、隣接するメディアフレーム管理情報を適用して提示時刻情報を含まないメディアフレームに対応する提示時刻情報を算出し、一方、メディアフレームと関連を持たない提示時刻情報はメディアフレームの代わりに実体が存在しないことを示すフラグを付与してメディアフレーム時刻情報１３を無効化し、メディアフレームごとに提示時刻情報と提示順番を生成する。

すなわち、メディア送信装置１側から伝達されるメディアに関するメディアパケット５には、各メディアに対する提示タイミング（映像信号であれば、当該映像フレームを表示する時刻）に相当する時刻情報と対応する符号化ストリームが格納されている。理想的には処理単位（映像信号であれば映像フレーム単位）に提示タイミングがペアで存在することであるが、現実にはそうとは限らず、規格上そのように決められていないことから意図的に省略されているケースや、伝送エラー等の障害で欠損したケースがある。本発明では、処理単位であるメディアフレームと当該メディアフレームを提示する時刻情報をペアで扱って最終的な処理を行うこととし、そうなるようメディアフレーム時刻情報生成部１２において、事前に補正動作を行う。

これにより、メディア送信装置１が生成した符号化メディアストリームに格納されているメディアフレームと時刻情報とが１対１で生成されていない場合、あるいは伝送異常などで伝送パケットの解析や符号化ストリームの復号処理において処理異常となってメディアフレームと時刻情報とが１対１にならない状態になった場合であっても、これらの情報が１対１となるようにメディアフレーム管理情報を補填した、メディアフレーム単位のメディアフレーム時刻情報１３が生成される。なお、メディアフレーム時刻情報生成部１２における提示時刻情報を含まないメディアフレームに対応する提示時刻情報の算出については、たとえば特許文献１に記載されているような仮想的なメディア時刻カウンタ値の算出と同様の方法で行う。

メディアフレーム時刻情報管理部１８はメディアフレーム時刻情報生成部１２が生成したメディアフレーム時刻情報１３を内部に取り込んで保持するとともに、内部に保持しているメディアフレーム時刻情報１３の保持数を一つ増やす。なお、メディアフレーム時刻情報生成部１２で無効化されたメディアフレーム時刻情報１３については保持しない。また、メディア信号出力部１６からのメディアフレーム出力情報要求１４に従って保持したメディアフレーム時刻情報から次の表示対象となるメディアフレームに関する提示時刻情報や提示番号を取り出してメディアフレーム出力情報指示１５としてメディア信号出力部１６へ通知するとともに、内部に保持しているメディアフレーム時刻情報１３の保持数を一つ減らす。このようにして、メディアフレーム時刻情報管理部１８がメディアフレーム時刻情報１３を取り込んだ個数と取り出した個数の差分から内部に保持しているメディア時刻情報の保管量を算出し、この値をメディアフレーム時刻情報保管量１７として送受信間クロック差算出部１９へ通知する。

送受信間クロック差算出部１９はメディアフレーム時刻情報保管量１７を逐次検査してその遷移からメディア送信装置１側の動作クロックとメディア受信装置３側の動作クロックとの周波数差である送受信間クロック差２０を算出する。その際の算出方法について、メディアフレーム時刻情報保管量１７の遷移である図３及び図４を用いて説明する。

図３は、この発明の実施の形態１で扱う送受信間クロック差算出部１９におけるメディアフレーム時刻情報保管量１７の遷移２００を表している。なお、図３中、黒丸で示す値が時間毎のメディアフレーム時刻情報保管量１７の値である。図４は図３で示すメディアフレーム時刻情報保管量１７の時間的な変化、つまり微分相当の遷移を表している。
図３ではメディアフレーム時刻情報保管量１７が一定で変化がないときがメディア受信装置３側の動作クロックとメディア送信装置１側の動作クロックとが一致している場合に相当する。メディアフレーム時刻情報保管量１７が上昇傾向のとき（状態２０１）は自装置の周波数が低い、下降傾向のとき（状態２０２）は自装置の周波数が高いとなる。そして、メディアフレーム時刻情報保管量１７の推移が山の頂上／谷底部分は変化がないので、図４に示すように微分量は０（図中、破線で示す値）、その途中では微分量が正または負になり、また山から谷へ変化する部分（あるいはその逆）で微分量の変化が反転する。メディアフレーム時刻情報保管量１７が変化するペースが増える方向に変化しているときは微分量が正、変化するペースが減る方向に変化するときは微分量が負となる。

図３に示すメディアフレーム時刻情報保管量１７は、保管している個数そのもので、超過しても枯渇しても周波数調整の制御が破綻して問題となるため、制御の一例としては、保管可能な最大量がＮとした場合、中間量のＮ／２の位置を目標となるように制御する。その目標値にあたるのが図３中の破線で示す直線である。なお、中間値であることは必ずしも条件ではないが、一定の範囲内にメディアフレーム時刻情報保管量１７が落ち着くことが目標となる。
メディアフレーム時刻情報保管量１７の目標値は一定の区間の中央値（メディアン）や時間平均値で算出する方法を適用する。また、測定値を近似曲線で推定した平均値であっても良い。

図４では、メディアフレーム時刻情報保管量１７の微分量が０で一定であるとき、メディア受信装置３の動作クロックが一定で変化がない場合に相当する。破線で示す微分量が０の値に対して図の上部側にあるとき、メディア受信装置３の周波数の増加が進んでいることを示す（状態３０１）。逆に微分量の０の値に対して図の下部側にあるとき、メディア受信装置３の動作周波数の低下が進んでいることを示す（状態３０２）。

従って、図３、図４のいずれでみても、破線の位置で一定であるときには、メディア送信装置１とメディア受信装置３の動作周波数の差がなく、かつ動作周波数の変化もしておらず、安定した状態であることを示す。このようにして、時間あたりのメディアフレーム時刻情報保管量１７の変化量からメディア送信装置１とメディア受信装置３の送受信間クロック差２０を算出して、クロック制御部２１へ通知する。

クロック制御部２１はメディアパケット解析分離部６がメディアパケット５から抽出したメディア送信装置１側の現在時刻情報に相当する時刻再生情報８を取り込んで自装置の現在時刻にあたる装置時刻情報２４の初期値に適用し、送受信間クロック差２０を逐次検査してその遷移から自装置のシステムクロック２３を制御する量を算出して、メディア受信装置３の動作の基準クロック源となるシステムクロック２３の発振周波数を制御してメディア送信装置の現在時刻にあたる時刻再生情報８の遷移とメディア受信装置の現在時刻情報にあたる装置時刻情報２４の遷移が一致するようにメディア送信装置側の動作クロックを制御する。

なお、図４に示す微分値がメディア送信装置１とメディア受信装置３とのクロック差を示しているが、図３で示したメディアフレーム時刻情報保管量１７の絶対量の推移も重要であるため、すなわち、保管量の増加または減少がそのまま進行して処理が破綻してしまうことを避けるため、その次の動作として、図３で示したメディアフレーム時刻情報保管量１７が一定の水準を保つようにクロック制御部２１での制御に適用する。つまり、図３で言えば点線に近付いているときには周波数差があるとしても、いずれ中間点に到達すると考えられるで、何もしないでそのまま待つ、さらに考えればそのままで待っていると中間点を通り過ぎてしまうことが予想されるので中間点で止めるために周波数差の変化を調整することが考える。すなわち、中間点に近付いているときは周波数差があってもそのままにして、中間点付近に来たときに周波数差がなくなるように制御することで、周波数差がなく、保管量も中間で推移させるという動作とする。

図５は、この発明の実施の形態１で扱うメディア送信装置１とメディア受信装置３間で送受信間クロックが一致するようにクロック制御部２１で制御する場合の現在時刻情報の遷移を表している。図６は図５のよう動作クロックの周波数が一致するだけでなく時刻情報の値が一致する制御を容易にするために算出された周波数差に対して制御状態に応じて補正する際の対応関係を示している。

図５ではメディア送信装置１側の動作クロックを形式的に理想的な遷移をしている（破線４００で示す）ものとし、メディア受信装置３側の動作クロックをメディア送信装置１側の動作クロックへ追従させる動作で記載している。黒丸（●）はメディア送信装置１側の現在時刻情報であり、メディア受信装置３側では伝送パケット中の時刻再生情報８として抽出される時刻情報であり、白丸（○）は時刻再生情報８を抽出した時点でのメディア受信装置３の現在時刻情報を示している。メディア送信装置１とメディア受信装置３の動作クロックが一致している場合、黒丸が並んでいる破線４００で示される線上にメディア受信装置３の時刻情報がプロットされる状態になる。それに対して、メディア受信装置３の現在時刻情報が期間Ａのような遷移となった場合には時間あたりのメディア受信装置３の現在時刻情報の変化が相対的に少なく（破線４０１で示す）、メディア送信装置１よりもメディア受信装置３の方が、動作クロックが低いことを意味している。この場合、メディア受信装置３の動作周波数は低い状態であるが、時刻情報が進んでいるため、一致する方向に導く。逆に、期間Ｂのような遷移となった場合には時間あたりのメディア受信装置３の現在時刻情報の変化が相対的に多く（破線４０２で示す）、メディア送信装置１よりもメディア受信装置３の方が、動作クロックが高いことを意味している。この場合、メディア受信装置３の動作周波数は高い状態であるが、時刻情報が遅れているため、一致する方向に導く。

図６では図５で示すような動作クロックの遷移であったとき、動作クロックの周波数差をそのまま自装置の動作クロックに対するクロック制御信号２２に適用してシステムクロック２３を調整する方法も可能であるが、より高精度に制御するために制御状態に応じて動作周波数差を補正する方法を示している。たとえば、図５の期間Ａのような遷移であった場合は、動作周波数はメディア受信装置３側が低いが、現在の時刻情報はメディア受信装置３側が先を進んでいる場合は、図６の右上の「０」の部分に該当して、現在の状態を維持することで、いずれメディア送信装置１とメディア受信装置３の時刻情報が一致する方へ遷移する。期間Ｂのような遷移であった場合は、動作周波数が高いが、時刻情報は遅れている場合は、図６の左下の「０」の部分に該当して、やはり現在の状態を維持することで、いずれメディア送信装置１とメディア受信装置３の時刻情報が一致する方へ遷移する。期間Ｃのような遷移であった場合は、動作周波数が低くて、時刻情報も遅れている場合は、図６の左上の「＋ｋ２」の部分に該当して、動作周波数を算出された周波数差よりも多めに制御をかけて収束を早めるように制御する。図には記載していないが、動作クロックの周波数差あるいは時刻情報のいずれかが一致している状態では±ｋ１のように少なめに制御をかけて収束を微調整するように制御する。

また、図６では２段階の調整で記載したが、同様の方式を適用して、より制御をスムーズに収束させるために段階を細かく制御することも可能である。

このように、実施の形態１では、伝送パケットから抽出したメディアフレームに関する管理情報の保管量の変動状況を監視することで、伝送パケット中の時刻再生情報を用いた厳格なメディア送信装置側の動作周波数とメディア受信装置側の動作周波数差を算出する制御を適用しなくても、メディアフレーム単位での緩やかな制御によっても動作周波数差を算出し、両者が一致するようにメディア受信装置の動作クロックを調整できる効果を奏する。

なお、フレームレートが可変である場合、メディアフレームの発生頻度に応じてメディアフレーム時刻情報保管量１７に重みづけするようにしてもよい。
たとえば、テレビ放送であれば、映像は１秒に約３０ｆｐｓ（フレーム／秒）の固定、つまり、１／３０秒刻みの等間隔で発生する。しかしながら、規格や一部のアプリケーションでは等間隔であることは必須とせず可変であることがある。たとえば、１５ｆｐｓや７．５ｆｐｓのように疎らになることがある。さらには、ＭＰ４形式の映像ファイルで使われる映像Ｈ．２６４符号化方式ではｆｐｓという固定的な概念ではなく、ある映像フレームとある映像フレームの間隔を定義することもできる。なお、この映像Ｈ．２６４符号化方式では、間隔を変えなければ、固定という運用になる。

本発明では、提示時刻のような情報の個数の時間的遷移に着目してクロック再生や表示タイミングの調整を行うことを特徴としているため、個数の遷移を評価しやすくする仕組みが必要である。そこで、フレームレートが可変である場合や、伝送エラーでフレームが欠損したといった場合に、時間的な個数が変化して単純に個数だけで見ると本来検知したかった周波数差以外の要因で減ったり増えたりすることになって正しい評価ができないことに対処するために、フレームレートの変化を検知したときにその状態を保持する。

たとえばフレームレートが３０ｆｐｓから１５ｆｐｓへ減少したのであれば、頻度は１／２、重みは２倍とする。正規化を図るには、同じ例で単純に平均を取ると１秒あたり３０だったところがもっと少ない数値になってしまうことになるが、１５ｆｐｓになったとき３０ｆｐｓで考えれば２個分に相当するという換算をして評価する。しかし、ＭＰ４形式での説明で記載したように、必ずしても３０→１５→７．５→５ｆｐｓのような固定的な変化とは限らずに、映像フレーム毎にまちまちな間隔というものあり得る。そのため、特定の値を基準にして（たとえば３０ｆｐｓ相当を基準とするならば、時間間隔なら３３．３３３ｍｓｅｃ間隔にして）、単純に抽出できた映像フレームを一つと数えずに時間間隔が基準よりも広い場合は１よりも多い個数とし、たとえば時間の比率で換算、４０ｍｓｅｃ間隔になったら、４０／３３．３３３＝１．２個と換算して、狭い場合には１よりも少ない個数とする。

以上説明したように、実施の形態１のメディア受信装置によれば、メディア送信装置から送信された符号化信号から受信側で提示単位となるメディアフレームを復元するメディアストリーム復号部と、メディアフレームの提示時刻を示すメディアフレーム時刻情報を生成するメディアフレーム時刻情報生成部と、メディアフレーム時刻情報生成部からメディアフレーム時刻情報を取り込んだ個数と取り込んだメディアフレーム時刻情報を出力した個数の差分を示す内部に保持しているメディアフレーム時刻情報の保管量を、メディアフレーム時刻情報生成部からメディアフレーム時刻情報を取り込んだ場合に一つ加算し、メディアフレーム時刻情報の提示時刻情報を出力した場合に一つ減算してメディアフレーム時刻情報の保管量として出力するメディアフレーム時刻情報管理部と、メディアフレーム時刻情報管理部から出力された提示時刻情報で示される提示時刻と自装置の現在時刻を示す装置時刻情報とが一致した場合に該当するメディアフレームを出力するメディア信号出力部と、メディアフレーム時刻情報管理部から出力されたメディアフレーム時刻情報の保管量を逐次受け、受けた保管量の遷移からメディア送信装置側の動作クロックと自装置の動作クロックとの周波数差である送受信間クロック差を算出する送受信間クロック差算出部と、送受信間クロック差に基づいて、装置時刻情報の装置時刻を調整するクロック制御部とを備えたので、低コストで送受信装置間での動作周波数差を正確に算出し、自装置の時刻カウンタ値を送信側の時刻カウンタ値に適正に同期させることができる。

また、実施の形態１のメディア受信装置によれば、メディア送信装置の現在時刻に相当する時刻再生情報を抽出するメディアパケット解析分離部を備え、クロック制御部は、時刻再生情報の時刻を装置時刻情報の時刻の初期値とし、かつ、送受信間クロック差の変化量から、メディア送信装置の動作クロックとメディア受信装置の動作クロックの差が拡大傾向なのか縮小傾向なのかを推定するとともに、時刻再生情報の時刻と装置時刻情報の時刻との差が拡大傾向なのか縮小傾向なのかを推定して、時刻再生情報と装置時刻情報の時刻が一致するように制御するようにしたので、メディア送信装置側の動作周波数にメディア受信装置側の動作周波数が一致するよう、より高精度に制御することができる。

また、実施の形態１のメディア受信装置によれば、メディアストリーム復号部は、メディアフレームの提示時刻情報を含むメディアフレーム管理情報を出力し、メディアフレーム時刻情報生成部は、メディアフレーム管理情報を用いて、提示時刻情報を有しないメディアフレームに対しては、提示時刻情報を有するメディアフレームの提示時刻情報からメディアフレームに対する提示時刻情報を算出してメディアフレーム時刻情報を生成し、一方、提示時刻情報に関連するメディアフレームがない場合は、提示時刻に対応するメディアフレーム時刻情報を無効化するようにしたので、メディア送信装置が生成した符号化メディアストリームに格納されているメディアフレームと時刻情報とが１対１で生成されていない場合、あるいは伝送異常などで伝送パケットの解析や符号化ストリームの復号処理において処理異常となってメディアフレームと時刻情報とが１対１にならない状態になった場合であっても、これらの情報が１対１となるようにメディアフレーム管理情報を補填した、メディアフレーム単位のメディアフレーム時刻情報を生成することができる。従って、メディアフレームの間隔が一定でない場合や、メディアフレームに対して時刻情報が付与されていない場合であっても補正が容易に行え、メディアフレームの管理を容易に行うことができる。

また、実施の形態１のメディア受信装置によれば、メディアフレーム時刻情報生成部は、メディア送信装置でメディアストリームを符号化した際にメディアフレームの時間当たりの発生頻度であるフレームレートが可変であるとき、発生頻度を係数としてメディアフレーム時刻情報に含め、メディアフレーム時刻情報管理部は、メディアフレーム時刻情報の保管量を算出する際に、メディアフレーム時刻情報の保管量への重みとして発生頻度の係数を適用して正規化するようにしたので、フレームレートが可変である場合でも、低コストで送受信装置間での動作周波数差を正確に算出し、自装置の時刻カウンタ値を送信側の時刻カウンタ値に適正に同期させることができる。

実施の形態２．
図７は、この発明の実施の形態２によるメディア受信装置３ａを含むメディア送受信システムを示す構成図である。
図７に示すメディア送受信システムは、メディア送信装置１とメディア受信装置３ａとを備えており、メディア送信装置１は実施の形態１のメディア送信装置１と同様である。メディア受信装置３ａは、伝送パケット受信部４、メディアパケット解析分離部６、第１のメディア復号出力部３０−１、第２のメディア復号出力部３０−２、クロック制御部２１ａを備えている。ここで、伝送パケット受信部４及びメディアパケット解析分離部６は実施の形態１と同様である。また、第１のメディア復号出力部３０−１は、ネットワークパケット２に格納されている複数種類のメディアストリーム、たとえば映像や音声があったとき、そのうちの一つ目のメディアストリーム（たとえば映像）に関する処理を担当するメディア＃１の復号出力部であり、第１のメディア信号２５−１を出力する。また、第１の送受信間クロック差２０−１は第１のメディア復号出力部３０−１で生成した送受信間クロック差＃１である。

第２のメディア復号出力部３０−２は、複数種類のメディアストリームのうち、二つ目のメディアストリーム（たとえば音声）に関する処理を担当するメディア＃２の復号出力部であり、第２のメディア信号２５−２を出力する。また、第２の送受信間クロック差２０−２は、第２のメディア復号出力部３０−２で生成した送受信間クロック差＃２である。これら第１のメディア復号出力部３０−１及び第２のメディア復号出力部３０−２は、それぞれ、メディアストリーム復号部９、メディアフレーム時刻情報生成部１２、メディア信号出力部１６、メディアフレーム時刻情報管理部１８、送受信間クロック差算出部１９を備えており、これらの構成は実施の形態１と同様であるため、ここでの説明は省略する。
なお、第２のメディア復号出力部３０−２の内部構成は第１のメディア復号出力部３０−１と同様であるため、内部構成の図示は省略している。

クロック制御部２１ａは、第１の送受信間クロック差２０−１と第２の送受信間クロック差２０−２の二つの情報を適用して精度を高めたクロック制御を実施するメディア間補正を行うクロック制御部である。すなわち、クロック制御部２１ａは、第１のメディア復号出力部３０−１と第２のメディア復号出力部３０−２から出力された第１の送受信間クロック差２０−１と第２の送受信間クロック差２０−２の値に基づいてクロック制御信号２２ａを出力するとともに装置時刻情報２４を算出するよう構成されている。

次に、実施の形態２の動作について説明する。
基本的な動作は実施の形態１の動作と同様のため相違点を説明する。メディア送信装置１とメディア受信装置３ａ間でメディア伝送する際、伝送されるメディアストリームの種別は一つに限らず、たとえば映像、音声のような複数種類が同時に伝送されている。そのため、伝送パケットからメディアストリームを抽出して、復号・表示する仕組みが複数種類を有している。物理的に複数の回路を有しているか、一つの回路を転用して複数種類に対応する方法が考えられるが、それらの構成は実施の形態２の動作説明に直接関係しないので、いずれかの方式であるかは問わずに扱える。

第１のメディア復号出力部３０−１では、実施の形態１と同様の手順で第１の送受信間クロック差２０−１を算出し、第２のメディア復号出力部３０−２では実施の形態１と同様の手順で第２の送受信間クロック差２０−２を算出する。複数種のメディアストリームが、映像や音声であった場合、一般的には異なる周期で符号化処理や伝送処理が実施されるため、算出される二つの送受信間クロック差も異なる結果となる。クロック制御部２１ａでは、メディアフレーム時刻情報保管量１７の遷移で算出した二つの送受信間クロック差の平均を最終的な送受信間の動作クロックの周波数の差に適用してシステムクロック２３を制御するためのクロック制御信号２２ａを生成する。あるいは、送受信間クロック差の変化が緩やかな方を正確な値と判断して選択して送受信間の動作クロックの周波数の差に最終的な送受信間の動作クロックの周波数の差に適用しても良い。

なお、本説明では二つのメディアストリームがある場合を取り上げているが、映像、音声×２や映像、音声、データなどの三つ以上のメディアストリームがある場合には同様の方式で拡張しても良い。

このように、実施の形態２では、伝送パケットから抽出したメディアフレームに関する管理情報の保管量の変動状況を監視する際に、複数種類のメディアストリームの状況を個別に監視して、より適正な送受信間クロック差を算出することで、従来の伝送パケット中の時刻再生情報を用いた厳格なメディア送信装置側動作周波数とメディア受信装置側の動作周波数差を算出する制御を適用しなくても、メディアフレーム単位での緩やかな制御でも動作周波数差を算出し、制御の精度を高めて両者が一致するようにメディア受信装置の動作クロックを調整できる効果を奏する。

以上説明したように、実施の形態２のメディア受信装置によれば、メディア送信装置から送信された符号化信号から受信側で提示単位となるメディアフレームを復元するメディアストリーム復号部と、メディアフレームの提示時刻を示すメディアフレーム時刻情報を生成するメディアフレーム時刻情報生成部と、メディアフレーム時刻情報生成部からメディアフレーム時刻情報を取り込んだ個数と取り込んだメディアフレーム時刻情報を出力した個数の差分を示す内部に保持しているメディアフレーム時刻情報の保管量を、メディアフレーム時刻情報生成部からメディアフレーム時刻情報を取り込んだ場合に一つ加算し、メディアフレーム時刻情報の提示時刻情報を出力した場合に一つ減算してメディアフレーム時刻情報の保管量として出力するメディアフレーム時刻情報管理部と、メディアフレーム時刻情報管理部から出力された提示時刻情報で示される提示時刻と自装置の現在時刻を示す装置時刻情報とが一致した場合に該当するメディアフレームを出力するメディア信号出力部と、メディアフレーム時刻情報管理部から出力されたメディアフレーム時刻情報の保管量を逐次受け、受けた保管量の遷移からメディア送信装置側の動作クロックと自装置の動作クロックとの周波数差である送受信間クロック差を算出する送受信間クロック差算出部とからなる構成をメディア復号出力部とし、メディア復号出力部をメディア毎に複数設けるとともに、複数のメディア復号出力部から出力された複数の送受信間クロック差の値に基づいて装置時刻情報を算出するクロック制御部を備えたので、伝送されるメディアストリームの種別が複数の場合でも、低コストで送受信装置間での動作周波数差を正確に算出し、自装置の時刻カウンタ値を送信側の時刻カウンタ値に適正に同期させることができる。

実施の形態３.
図８は、この発明の実施の形態３によるメディア受信装置３ｂを含むメディア送受信システムを示す構成図である。
図８に示すメディア送受信システムは、メディア送信装置１とメディア受信装置３ｂとを備えており、メディア送信装置１は実施の形態１のメディア送信装置１と同様である。メディア受信装置３ｂは、伝送パケット受信部４、メディアパケット解析分離部６、メディアストリーム復号部９、メディアフレーム時刻情報生成部１２、メディア信号出力部１６、メディアフレーム時刻情報管理部１８ａ、クロック制御部２１ｂ、送受信間クロック差算出部４０、メディアフレーム時刻情報補正部４２を備えている。ここで、伝送パケット受信部４及びメディアパケット解析分離部６、メディアストリーム復号部９、メディアフレーム時刻情報生成部１２、メディア信号出力部１６は実施の形態１、２と同様であるため、対応する部分に同一符号を付してその説明を省略する。

送受信間クロック差算出部４０は、メディアフレーム時刻情報管理部１８ａが生成したメディアフレーム時刻情報保管量１７の遷移からメディア送信装置１とメディア受信装置３ｂ間での送受信間での動作クロック周波数差を算出するが、その周波数差が解消される方向へメディアフレームの時刻情報中の提示時刻が補正されるように補正量を算出し、これをメディアフレーム時刻情報補正量４１として出力する処理部である。メディアフレーム時刻情報補正部４２は、メディアフレーム時刻情報生成部１２が生成したメディアフレーム時刻情報１３に対して、送受信間クロック差算出部４０から出力されたメディアフレーム時刻情報補正量４１を適用して時刻情報中の提示時刻を補正する処理部であり、補正済みメディアフレーム時刻情報４３は、メディアフレーム時刻情報補正部４２で提示時刻を補正されたメディアフフレーム時刻情報である。クロック制御部２１ｂは、メディアパケット解析分離部６から出力される時刻再生情報８に基づいて自装置の現在時刻としての装置時刻情報２４を出力するとともに、自装置のシステムクロック２３を制御するためのクロック制御信号２２を出力するよう構成されている。

次に、実施の形態３の動作について説明する。
基本的な動作は実施の形態１の動作と同様のため相違点を説明する。送受信間クロック差算出部４０では実施の形態１と同様の手順で周波数差を算出した後、周波数差を解消する方向となるようにメディアフレーム時刻情報保管量１７が遷移するようメディアフレーム時刻情報を補正するためのメディアフレーム時刻情報補正量４１を算出する。そして、メディアフレーム時刻情報補正部４２では、通知されたメディアフレーム時刻情報補正量４１に基づいてメディアフレーム時刻情報生成部１２が生成したメディアフレーム時刻情報１３に格納された当該メディアフレームに対する提示時刻を補正して補正済みメディアフレーム時刻情報４３を生成する。メディアフレーム時刻情報管理部１８ａでのメディアフレーム時刻情報の扱いは、メディアフレーム時刻情報としての構成に変化がないため、補正済みか否かで影響されないことは明らかである。

送受信間クロック差算出部４０では、メディア受信装置３ｂの動作クロックの周波数が高い場合は、メディアフレーム時刻情報管理部１８ａが保持するメディアフレーム時刻情報の個数が増加する方向、つまりメディア信号出力部１６でのメディア出力が発生する頻度を低くする方向となるようにメディアフレーム時刻情報に格納される提示時刻が未来になるようにメディアフレーム時刻情報補正量４１を算出する。逆に、メディア受信装置３ｂの動作クロックの周波数が低い場合は、メディアフレーム時刻情報管理部１８ａが保持するメディアフレーム時刻情報の個数が減少する方向、つまりメディア信号出力部１６でのメディア出力が発生する頻度を高くする方向となるようにメディアフレーム時刻情報に格納される提示時刻を早めるようにメディアフレーム時刻情報補正量４１を算出する。

これにより最終的にはメディア信号出力部１６で各メディアフレームに付与された提示時刻とクロック制御部２１ｂで管理される装置時刻情報２４とを比較して出力タイミングを決定する制御にて、過剰となった場合にはメディアフレームは削除され、過少となった場合にはメディアフレームの出力が保留されて、不足したメディアフレーム分は前回出力されたメディアフレームが再度出力される等の手順によってメディア出力が維持される。

このように、実施の形態３では、伝送パケットから抽出したメディアフレームに関する管理情報の保管量の変動状況を監視して、その変動を解消する方向へメディアフレームの時刻情報を補正することで、従来の伝送パケット中の時刻再生情報を用いた厳格なメディア送信装置側の動作周波数とメディア受信装置側の動作周波数差を算出する制御を適用しなくても、メディアフレーム単位での緩やかな制御によっても動作周波数差に相当する分だけシステムクロックを直接制御することなく簡易な手法でメディア受信装置３ｂとメディア送信装置１とを同期化する効果を奏する。

以上説明したように、実施の形態３のメディア受信装置によれば、メディア送信装置から送信された符号化信号から受信側で提示単位となるメディアフレームを復元するメディアストリーム復号部と、メディアフレームの提示時刻を示すメディアフレーム時刻情報を生成するメディアフレーム時刻情報生成部と、メディアフレーム時刻情報を補正するメディアフレーム時刻情報補正部と、メディアフレーム時刻情報生成部からメディアフレーム時刻情報を取り込んだ個数と取り込んだメディアフレーム時刻情報を出力した個数の差分を示す内部に保持しているメディアフレーム時刻情報の保管量を、メディアフレーム時刻情報生成部からメディアフレーム時刻情報を取り込んだ場合に一つ加算し、メディアフレーム時刻情報の提示時刻情報を出力した場合に一つ減算してメディアフレーム時刻情報の保管量として出力するメディアフレーム時刻情報管理部と、メディアフレーム時刻情報管理部から出力された提示時刻情報で示される提示時刻と自装置の現在時刻を示す装置時刻情報とが一致した場合に該当するメディアフレームを出力するメディア信号出力部と、メディアフレーム時刻情報管理部から出力されたメディアフレーム時刻情報の保管量を逐次受け、受けた保管量の遷移からメディア送信装置側の動作クロックと自装置の動作クロックとの周波数差である送受信間クロック差を算出し、この算出した送受信間クロック差に基づいてメディアフレーム時刻情報補正量を算出する送受信間クロック差算出部とを備え、メディアフレーム時刻情報補正部は、送受信間クロック差算出部からのメディアフレーム時刻情報補正量に基づいて補正を行うようにしたので、簡易な手法でメディア受信装置とメディア送信装置とを同期化することができる。

実施の形態４.
図９は、この発明の実施の形態４によるメディア受信装置３ｃを含むメディア送受信システムを示す構成図である。
図９に示すメディア送受信システムは、メディア送信装置１とメディア受信装置３ｃとを備えており、メディア送信装置１は実施の形態１のメディア送信装置１と同様である。メディア受信装置３ｃは、伝送パケット受信部４、メディアパケット解析分離部６、第１のメディア復号出力部３０ａ−１、第２のメディア復号出力部３０ａ−２、クロック制御部２１ｂ、メディア間時刻補正量算出部５０を備えている。ここで、伝送パケット受信部４及びメディアパケット解析分離部６は実施の形態１〜３と同様である。また、第１のメディア復号出力部３０ａ−１は、実施の形態２の第１のメディア復号出力部３０−１と同様に、ネットワークパケット２に格納されている複数種類のメディアストリーム、たとえば映像や音声があったとき、そのうちの一つ目のメディアストリーム（たとえば映像）に関する処理を担当するメディア＃１の復号出力部である。第２のメディア復号出力部３０ａ−２は、実施の形態２の第２のメディア復号出力部３０−２と同様に、複数種類のメディアストリームのうち、二つ目のメディアストリーム（たとえば音声）に関する処理を担当するメディア＃２の復号出力部である。また、第１のメディア信号２５−１及び第２のメディア信号２５−２は、第１のメディア復号出力部３０−１及び第２のメディア復号出力部３０−２からの出力信号である。

第１のメディア復号出力部３０ａ−１及び第２のメディア復号出力部３０ａ−２は、それぞれ、メディアストリーム復号部９、メディアフレーム時刻情報生成部１２、メディア信号出力部１６、メディアフレーム時刻情報管理部１８ａ、送受信間クロック差算出部４０、メディアフレーム時刻情報補正部４２を備えており、これらは実施の形態３と同様であるため、ここでの説明は省略する。なお、第２のメディア復号出力部３０ａ−２の内部構成は第１のメディア復号出力部３０ａ−１と同様であるため、内部構成の図示は省略している。メディア間時刻補正量算出部５０は、第１のメディア復号出力部３０ａ−１の送受信間クロック差算出部４０から出力される第１のメディアフレーム時刻情報補正量４１−１と、第２のメディア復号出力部３０−２の送受信間クロック差算出部４０から出力される第２のメディアフレーム時刻情報補正量４１−２の二つの情報を適用して精度を高めた補正量を算出する処理部であり、メディアフレーム時刻情報補正量５１は、第１のメディア復号出力部３０ａ−１と第２のメディア復号出力部３０−２のメディアフレーム時刻情報補正部４２に通知する再補正後のメディアフレーム時刻情報補正量である。

次に、実施の形態４の動作について説明する。
基本的な動作は実施の形態３の動作と同様のため相違点を説明する。メディア送信装置１とメディア受信装置３ｃ間でメディア伝送する際、伝送されるメディアストリームの種別は一つに限らず、たとえば映像、音声のような複数種類が同時に伝送されている。そのため、伝送パケットからメディアストリームを抽出して、復号・表示する仕組みが複数種類を有している。物理的に複数の回路を有しているか、一つの回路を転用して複数種類に対応する方法が考えられるが、それらの構成は実施の形態４の動作説明には直接関係しないため、いずれかの方式であるかは問わずに扱える。

第１のメディア復号出力部３０ａ−１では、実施の形態３と同様の手順で第１のメディアフレーム時刻情報補正量４１−１を算出し、第２のメディア復号出力部３０ａ−２では実施の形態３と同様の手順で第２のメディアフレーム時刻情報補正量４１−２を算出する。複数種のメディアストリームが、映像や音声であった場合、一般的には異なる周期で符号化処理や伝送処理が実施されるため、算出される二つの送受信間クロック差も異なる結果となる。メディア間時刻補正量算出部５０では、メディアフレーム時刻情報の保管量の遷移で算出した二つのメディアフレーム時刻情報補正量の平均を最終的な送受信間の動作クロックの周波数の差に相当するメディアフレーム時刻情報補正量５１に適用して第１のメディア復号出力部３０ａ−１と第２のメディア復号出力部３０ａ−２へ通知する。あるいは、送受信間クロック差の変化が緩やかな方を正確な値と判断して選択してメディアフレーム時刻情報補正量５１に適用しても良い。

なお、本説明では二つのメディアストリームがある場合を取り上げているが、映像、音声×２や映像、音声、データなどの三つ以上のメディアストリームがある場合でも同様の方式で拡張しても良い。

このように、実施の形態４では、伝送パケットから抽出したメディアフレームに関する管理情報の保管量の変動状況を監視する際に、複数種類のメディアストリームの状況を個別に監視して、その変動を解消する方向へメディアフレームの時刻情報を補正することで、従来の伝送パケット中の時刻再生情報を用いた厳格なメディア送信装置側動作周波数とメディア受信装置側の動作周波数差を算出する制御を適用しなくても、メディアフレーム単位での緩やかな制御によっても動作周波数差に相当する分だけシステムクロックを直接制御することなく簡易な手法ながら制御の精度を高めてメディア受信装置３ｃとメディア送信装置１とを同期化する効果を奏する。

以上説明したように、実施の形態４のメディア受信装置によれば、メディア送信装置から送信された符号化信号から受信側で提示単位となるメディアフレームを復元するメディアストリーム復号部と、メディアフレームの提示時刻を示すメディアフレーム時刻情報を生成するメディアフレーム時刻情報生成部と、メディアフレーム時刻情報を補正するメディアフレーム時刻情報補正部と、メディアフレーム時刻情報生成部からメディアフレーム時刻情報を取り込んだ個数と取り込んだメディアフレーム時刻情報を出力した個数の差分を示す内部に保持しているメディアフレーム時刻情報の保管量を、メディアフレーム時刻情報生成部からメディアフレーム時刻情報を取り込んだ場合に一つ加算し、メディアフレーム時刻情報の提示時刻情報を出力した場合に一つ減算してメディアフレーム時刻情報の保管量として出力するメディアフレーム時刻情報管理部と、メディアフレーム時刻情報管理部から出力された提示時刻情報で示される提示時刻と自装置の現在時刻を示す装置時刻情報とが一致した場合に該当するメディアフレームを出力するメディア信号出力部と、メディアフレーム時刻情報管理部から出力されたメディアフレーム時刻情報の保管量を逐次受け、受けた保管量の遷移からメディア送信装置側の動作クロックと自装置の動作クロックとの周波数差である送受信間クロック差を算出し、この算出した送受信間クロック差に基づいてメディアフレーム時刻情報補正量を算出する送受信間クロック差算出部とからなる構成をメディア復号出力部とし、メディア復号出力部を、メディア毎に複数設けるとともに、複数のメディア復号出力部から出力された複数の送受信間クロック差の値に基づいて、複数のメディア復号出力部におけるメディアフレーム時刻情報の補正量を算出するメディア間時刻補正量算出部を設け、複数のメディア復号出力部それぞれのメディアフレーム時刻情報補正部は、メディア間時刻補正量算出部から出力された補正量に基づいて補正を行うようにしたので、伝送されるメディアストリームの種別が複数の場合でも、簡易な手法でメディア受信装置とメディア送信装置とを同期化することができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ メディア送信装置、２ ネットワークパケット、３，３ａ，３ｂ，３ｃ メディア受信装置、４ 伝送パケット受信部、５ メディアパケット、６ メディアパケット解析分離部、７ 時刻情報付き符号化メディアストリーム、８ 時刻再生情報、９ メディアストリーム復号部、１０ メディアフレーム、１１ メディアフレーム管理情報、１２ メディアフレーム時刻情報生成部、１３ メディアフレーム時刻情報、１４ メディアフレーム出力情報要求、１５ メディアフレーム出力情報指示、１６ メディア信号出力部、１７ メディアフレーム時刻情報保管量、１８，１８ａ メディアフレーム時刻情報管理部、１９ 送受信間クロック差算出部、２０ 送受信間クロック差、２０−１ 第１の送受信間クロック差、２０−２ 第２の送受信間クロック差、２１，２１ａ，２１ｂ クロック制御部、２２，２２ａ クロック制御信号、２３ システムクロック、２４ 装置時刻情報、２５ メディア信号、２５−１ 第１のメディア信号、２５−２ 第２のメディア信号、３０−１，３０ａ−１ 第１のメディア復号出力部、３０−２，３０ａ−２ 第２のメディア復号出力部、４０ 送受信間クロック差算出部、４１ メディアフレーム時刻情報補正量、４１−１ 第１のメディアフレーム時刻情報補正量、４１−２ 第２のメディアフレーム時刻情報補正量、４２ メディアフレーム時刻情報補正部、４３ 補正済みメディアフレーム時刻情報、５０ メディア間時刻補正量算出部、５１ メディアフレーム時刻情報補正量。

Claims (7)

1. メディア送信装置から送信された符号化信号から受信側で提示単位となるメディアフレームを復元するメディアストリーム復号部と、
   前記メディアフレームの提示時刻を示すメディアフレーム時刻情報を生成するメディアフレーム時刻情報生成部と、
   前記メディアフレーム時刻情報生成部からメディアフレーム時刻情報を取り込んだ個数と取り込んだメディアフレーム時刻情報を出力した個数の差分を示す内部に保持しているメディアフレーム時刻情報の保管量を、前記メディアフレーム時刻情報生成部から前記メディアフレーム時刻情報を取り込んだ場合に一つ加算し、前記メディアフレーム時刻情報の提示時刻情報を出力した場合に一つ減算してメディアフレーム時刻情報の保管量として出力するメディアフレーム時刻情報管理部と、
   前記メディアフレーム時刻情報管理部から出力された前記提示時刻情報で示される提示時刻と自装置の現在時刻を示す装置時刻情報とが一致した場合に該当するメディアフレームを出力するメディア信号出力部と、
   前記メディアフレーム時刻情報管理部から出力されたメディアフレーム時刻情報の保管量を逐次受け、受けた保管量の遷移から前記メディア送信装置側の動作クロックと自装置の動作クロックとの周波数差である送受信間クロック差を算出する送受信間クロック差算出部と、
   前記送受信間クロック差に基づいて、前記装置時刻情報の時刻を調整するクロック制御部とを備えたメディア受信装置。
2. メディア送信装置から送信された符号化信号から受信側で提示単位となるメディアフレームを復元するメディアストリーム復号部と、
   前記メディアフレームの提示時刻を示すメディアフレーム時刻情報を生成するメディアフレーム時刻情報生成部と、
   前記メディアフレーム時刻情報生成部からメディアフレーム時刻情報を取り込んだ個数と取り込んだメディアフレーム時刻情報を出力した個数の差分を示す内部に保持しているメディアフレーム時刻情報の保管量を、前記メディアフレーム時刻情報生成部から前記メディアフレーム時刻情報を取り込んだ場合に一つ加算し、前記メディアフレーム時刻情報の提示時刻情報を出力した場合に一つ減算してメディアフレーム時刻情報の保管量として出力するメディアフレーム時刻情報管理部と、
   前記メディアフレーム時刻情報管理部から出力された前記提示時刻情報で示される提示時刻と自装置の現在時刻を示す装置時刻情報とが一致した場合に該当するメディアフレームを出力するメディア信号出力部と、
   前記メディアフレーム時刻情報管理部から出力されたメディアフレーム時刻情報の保管量を逐次受け、受けた保管量の遷移から前記メディア送信装置側の動作クロックと自装置の動作クロックとの周波数差である送受信間クロック差を算出する送受信間クロック差算出部とからなる構成をメディア復号出力部とし、当該メディア復号出力部をメディア毎に複数設けるとともに、
   前記複数のメディア復号出力部から出力された複数の送受信間クロック差の値に基づいて前記装置時刻情報を算出するクロック制御部を備えたことを特徴とするメディア受信装置。
3. 前記メディア送信装置の現在時刻に相当する時刻再生情報を抽出するメディアパケット解析分離部を備え、
   前記クロック制御部は、前記時刻再生情報の時刻を前記装置時刻情報の時刻の初期値とし、かつ、前記送受信間クロック差の変化量から、前記メディア送信装置の動作クロックとメディア受信装置の動作クロックの差が拡大傾向なのか縮小傾向なのかを推定するとともに、前記時刻再生情報の時刻と前記装置時刻情報の時刻との差が拡大傾向なのか縮小傾向なのかを推定して、前記時刻再生情報と前記装置時刻情報の時刻が一致するように制御することを特徴とする請求項１または請求項２記載のメディア受信装置。
4. メディア送信装置から送信された符号化信号から受信側で提示単位となるメディアフレームを復元するメディアストリーム復号部と、
   前記メディアフレームの提示時刻を示すメディアフレーム時刻情報を生成するメディアフレーム時刻情報生成部と、
   前記メディアフレーム時刻情報を補正するメディアフレーム時刻情報補正部と、
   前記メディアフレーム時刻情報生成部からメディアフレーム時刻情報を取り込んだ個数と取り込んだメディアフレーム時刻情報を出力した個数の差分を示す内部に保持しているメディアフレーム時刻情報の保管量を、前記メディアフレーム時刻情報生成部から前記メディアフレーム時刻情報を取り込んだ場合に一つ加算し、前記メディアフレーム時刻情報の提示時刻情報を出力した場合に一つ減算してメディアフレーム時刻情報の保管量として出力するメディアフレーム時刻情報管理部と、
   前記メディアフレーム時刻情報管理部から出力された前記提示時刻情報で示される提示時刻と自装置の現在時刻を示す装置時刻情報とが一致した場合に該当するメディアフレームを出力するメディア信号出力部と、
   前記メディアフレーム時刻情報管理部から出力されたメディアフレーム時刻情報の保管量を逐次受け、受けた保管量の遷移から前記メディア送信装置側の動作クロックと自装置の動作クロックとの周波数差である送受信間クロック差を算出し、この算出した送受信間クロック差に基づいてメディアフレーム時刻情報補正量を算出する送受信間クロック差算出部とを備え、
   前記メディアフレーム時刻情報補正部は、前記送受信間クロック差算出部からのメディアフレーム時刻情報補正量に基づいて補正を行うことを特徴とするメディア受信装置。
5. メディア送信装置から送信された符号化信号から受信側で提示単位となるメディアフレームを復元するメディアストリーム復号部と、前記メディアフレームの提示時刻を示すメディアフレーム時刻情報を生成するメディアフレーム時刻情報生成部と、前記メディアフレーム時刻情報を補正するメディアフレーム時刻情報補正部と、前記メディアフレーム時刻情報生成部からメディアフレーム時刻情報を取り込んだ個数と取り込んだメディアフレーム時刻情報を出力した個数の差分を示す内部に保持しているメディアフレーム時刻情報の保管量を、前記メディアフレーム時刻情報生成部から前記メディアフレーム時刻情報を取り込んだ場合に一つ加算し、前記メディアフレーム時刻情報の提示時刻情報を出力した場合に一つ減算してメディアフレーム時刻情報の保管量として出力するメディアフレーム時刻情報管理部と、前記メディアフレーム時刻情報管理部から出力された前記提示時刻情報で示される提示時刻と自装置の現在時刻を示す装置時刻情報とが一致した場合に該当するメディアフレームを出力するメディア信号出力部と、前記メディアフレーム時刻情報管理部から出力されたメディアフレーム時刻情報の保管量を逐次受け、受けた保管量の遷移から前記メディア送信装置側の動作クロックと自装置の動作クロックとの周波数差である送受信間クロック差を算出し、この算出した送受信間クロック差に基づいてメディアフレーム時刻情報補正量を算出する送受信間クロック差算出部とからなる構成をメディア復号出力部とし、当該メディア復号出力部を、メディア毎に複数設けるとともに、
   前記複数のメディア復号出力部から出力された複数の送受信間クロック差の値に基づいて、前記複数のメディア復号出力部におけるメディアフレーム時刻情報の補正量を算出するメディア間時刻補正量算出部を設け、
   前記複数のメディア復号出力部それぞれのメディアフレーム時刻情報補正部は、前記メディア間時刻補正量算出部から出力された補正量に基づいて前記補正を行うことを特徴とするメディア受信装置。
6. 前記メディアストリーム復号部は、前記メディアフレームの提示時刻情報を含むメディアフレーム管理情報を出力し、
   前記メディアフレーム時刻情報生成部は、前記メディアフレーム管理情報を用いて、前記提示時刻情報を有しないメディアフレームに対しては、提示時刻情報を有するメディアフレームの提示時刻情報から当該メディアフレームに対する提示時刻情報を算出してメディアフレーム時刻情報を生成し、一方、提示時刻情報に関連するメディアフレームがない場合は、当該提示時刻に対応するメディアフレーム時刻情報を無効化することを特徴とする請求項１から請求項５のうちのいずれか１項記載のメディア受信装置。
7. 前記メディアフレーム時刻情報生成部は、前記メディア送信装置でメディアストリームを符号化した際にメディアフレームの時間当たりの発生頻度であるフレームレートが可変であるとき、前記発生頻度を係数として前記メディアフレーム時刻情報に含め、
   前記メディアフレーム時刻情報管理部は、メディアフレーム時刻情報の保管量を算出する際に、前記メディアフレーム時刻情報の保管量への重みとして前記発生頻度の係数を適用して正規化することを特徴とする請求項１から請求項６のうちのいずれか１項記載のメディア受信装置。

Images