JP6051847B2

JP6051847B2 - 映像情報再生方法及びシステム

Info

Publication number: JP6051847B2
Application number: JP2012281338A
Authority: JP
Inventors: 順司助野; 山田　和彦; 和彦山田; 龍　智明; 智明龍; 賢司南
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2012-12-25
Filing date: 2012-12-25
Publication date: 2016-12-27
Anticipated expiration: 2032-12-25
Also published as: JP2014127762A

Description

本発明は、ネットワーク経由で配信された符号化データや、蓄積メディアから読み出された符号化データの再生を行う映像情報再生方法及び映像情報再生システムに関するものである。

複数の映像情報再生装置に対して配信されたコンテンツを、バッファメモリがアンダーフローや、オーバーフローさせることなく再生同期をとる方法としては、複数の映像情報再生装置から代表となる映像情報再生装置を選び、他の映像情報再生装置のタイムスタンプ情報を代表となる映像情報再生装置のタイムスタンプ情報と合わせることにより、複数の映像情報再生装置の同期を行う方法が提案されている。（例えば、特許文献１参照。）

特開２００８−９６７５６号公報

しかしながら従来の方法では、複数の映像情報再生装置のうち、代表となる映像情報再生装置とその他の映像情報再生装置の同期を行う頻度は１秒間に６０回程度と回数が非常に多く、仕組みが煩雑になるといった問題があった。

また、代表となる映像情報再生装置は情報の送信を行い、その他の映像情報再生装置は情報の受信を行うというように異なった働きを分担している。このため、代表となる映像情報再生装置を任意に選ぶ場合、同期させるべき映像情報再生装置すべてにこれらの異なった機能、手段を同時に具備していなくてはならず、それらの映像情報再生装置は、代表となるかならないかにより、それぞれの映像情報再生装置において利用されない手段が存在することで無駄な構成を有することになる。

本発明は、上記の課題を解決するためになされたものであり、蓄積メディアからデータを読み出して複数の映像情報再生装置で再生したり、ネットワーク配信されたデータを複数の映像情報再生装置で受信して再生したりする場合において、高頻度で同期を行うことなく、映像情報再生装置間で再生の同期を取ることができる。

本発明に係る映像情報再生方法は、
ネットワークで接続されたコンテンツサーバーから、コンテンツを複数の映像情報再生装置で受信し、復号し再生する映像情報再生方法であって、
映像情報再生装置において、コンテンツ切替を検出し、そのタイミングを通知するコンテンツ切替通知ステップと、
コンテンツサーバーにおいて、コンテンツ切替通知ステップからのコンテンツ切替通知を受け、コンテンツ切替について同期すべき複数の映像情報再生装置を抽出する再生装置抽出ステップと、
コンテンツサーバーにおいて、再生装置抽出ステップにより抽出された複数の映像情報再生装置に対して、再生中の再生時刻を要求する再生時刻要求通知ステップと、
映像情報再生装置において、再生時刻要求通知ステップからの要求を受け、再生中の再生時刻を通知する再生時刻通知ステップと、
コンテンツサーバーにおいて、再生時刻通知ステップで得られた抽出された複数の映像情報再生装置の現在の再生時刻から、再生時刻の基準とする再生時刻を基準再生時刻として決定し、抽出された複数の映像情報再生装置に通知する基準再生時刻通知ステップと、
映像情報再生装置において、基準再生時刻通知ステップで得られた基準再生時刻と、再生時刻要求通知ステップにおいて、再生時刻要求を受けた時点の再生時刻とを比較し、映像情報再生装置の再生時刻要求を受けた時点の再生時刻が、基準再生時刻に対し、遅れている場合に映像情報再生装置の再生中の再生フレームをスキップ再生する、または、映像情報再生装置の再生時刻要求を受けた時点の再生時刻が、基準再生時刻に対し、進んでいる場合に、映像情報再生装置の再生中の再生フレームをリピート再生することにより、映像情報再生装置の再生中の再生フレームを調整する再生フレーム調整ステップと、を有し、
再生フレーム調整ステップにおいて、フレームのリピート再生機能でフレーム調整をする場合、
映像情報再生装置の再生時刻が基準再生時刻に対して映像情報再生装置により決定された時間内に収まる場合のフレーム再生のフレームリピート数は、
基準再生時刻に対して映像情報再生装置により決定された時間以上映像情報再生装置の前記再生時刻が進んでいる場合のフレーム再生のフレームリピート数より少なく、
基準再生時刻に対して映像情報再生装置により決定された時間以上映像情報再生装置の再生時刻が遅れている場合のフレーム再生のフレームリピート数より多い又は同じであり、
再生フレーム調整ステップにおいて、フレームのスキップ再生機能でフレーム調整をする場合、
映像情報再生装置の再生時刻が基準再生時刻に対して映像情報再生装置により決定された時間内に収まる場合のフレーム再生のフレームスキップ数は、
基準再生時刻に対して映像情報再生装置により決定された時間以上映像情報再生装置の再生時刻が進んでいる場合のフレーム再生のフレームスキップ数より多い又は同じであり、
基準再生時刻に対して映像情報再生装置により決定された時間以上映像情報再生装置の再生時刻が遅れている場合のフレーム再生のフレームスキップ数より少ないものである。

コンテンツの切替のタイミングで、フレーム調節を行うことにより、同期すべき複数の映像情報再生装置の再生フレームを同期させることが可能となる。また、同期は複数の映像情報再生装置に対しコンテンツサーバーの指示により行われるため、すべての映像情報再生装置は同じ働きをすればよく無駄となりうる構成は存在しない。

本発明に係る映像情報再生装置と該映像情報再生装置にネットワークを介して接続されるコンテンツサーバーを含む映像情報再生システム全体の構成を概念的に示す図である。本発明に係る映像情報再生方法の実施に用いられる映像情報再生装置の構成例を概略的に示すブロック図である。本発明に係る映像情報再生装置のバッファメモリの残量の推移の一例を示す図である。一般的なＴＳストリームのパケットの構成の一例を示す図である。本発明に係る映像情報再生システム内の再生時間が最も進んだ映像情報再生装置と、最も遅れた映像情報再生装置のバッファメモリの残量の推移の一例を示す図である。本発明の実施の形態１に係る映像情報再生方法を示すフローチャートである。本発明の実施の形態１に係るフレームスキップ機能、フレームリピート機能があるときの、ステップの一例の詳細を示すフローチャートである。本発明の実施の形態１に係る映像情報再生装置のフレーム調整の概念を示す図である。本発明の実施の形態１に係るフレームスキップ機能がないときの、ステップの一例の詳細を示すフローチャートである。本発明の実施の形態１に係る映像情報再生装置のフレーム調整の概念を示す図である。本発明の実施の形態１に係るフレームリピート機能がないときの、ステップの一例の詳細を示すフローチャートである。本発明の実施の形態１に係る映像情報再生装置のフレーム調整の概念を示す図である。本発明の実施の形態１に係る各映像情報再生装置で異なるコンテンツを再生させた場合の処理を説明するための図である。本発明の実施の形態２に係る映像情報再生方法を示すフローチャートである。本発明の実施の形態１に係る映像情報再生方法の実施に用いられる映像情報再生装置の変形構成例を概略的に示すブロック図である。

実施の形態１．
図１は、本発明の実施の形態１に係る映像情報再生装置とコンテンツサーバーを含む映像情報再生システム全体を概略的に示すブロック図である。コンテンツサーバー４１から、例えば、イーサネット（登録商標）で構成されるネットワーク４３を経由して各映像情報再生装置４２に、データが配信される。以下では、ネットワーク４３上にＵＤＰ（ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃｏｌ）を使ったマルチキャスト配信によりデータを配信することを前提として説明を行うが、再生装置４２毎に異なったコンテンツを配信する場合にはユニキャスト配信を、映像情報再生装置４２すべてに同じコンテンツを配信する場合にはブロードキャスト配信するなどしてもよく、このような場合にあっても同様に適用が可能である。

図２は、本発明の実施の形態１に係る映像情報再生方法の実施に用いられる映像情報再生装置４２の構成例を概略的に示すブロック図である。図１に示した映像情報再生装置４２は、コンテンツサーバー４１からネットワークを経由して配信されるコンテンツを再生する装置である。

図２に示される映像情報再生装置４２は、コンテンツサーバー４１から配信されたデータの再生手段としての再生部１０と、装置全体の制御を実行する再生制御手段としてのＣＰＵ２１と、装置全体の基準時刻を生成しているクロック回路２２を有する。再生部１０は、コンテンツサーバー４１から配信されたデータを受信するデータ受信部１１と、データ受信部１１で受信されたデータを一時的に蓄積しておくバッファメモリ１２と、バッファメモリ１２から読み出されたデータを、映像情報、音声情報の各情報に分離するデマルチプレクサ１３と、映像情報をデコードするビデオデコーダ１４と、音声情報をデコードするオーディオデコーダ１５とを有する。ビデオデコーダ１４から出力される映像信号は、外部表示装置３１に送られ、外部表示装置３１によって映像が表示される。オーディオデコーダ１５から出力される音声信号は、音声出力装置３２に送られ、音声が出力される。

なお、本発明の実施の形態１に係る映像情報再生装置４２は図１５に示すように受信部１１とバッファメモリ１２との間に大容量メモリ１６を備えたものでもよい。大容量メモリ１６には、コンテンツの一部、またはコンテンツ、または複数のコンテンツに関するデータを蓄積することができる。以下では、図２に示す映像情報再生装置４２により説明を行う。

本実施の形態１において、データ受信部１１に配信されるデータは、ＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）を想定している。この場合、映像情報、音声情報は、ＰＥＳ（ＰａｃｋｅｔｉｚｅｄＥｌｅｍｅｎｔａｒｙＳｔｒｅａｍ）パケットに分割された上で、さらにＴＳパケットに分割され、映像情報、音声情報が重畳された状態で配信される。

ＰＥＳパケットは、ＭＰＥＧ２や、Ｈ．２６４等で符号化されたＥＳ（ＥｌｅｍｅｎｔａｒｙＳｔｒｅａｍ）にＰＥＳヘッダ情報が付加されたものである。ＰＥＳパケットは、再生の時間管理を行う単位でパケット化したものであり、映像情報は、例えば、１枚の画像フレーム（ピクチャー）が１つのＰＥＳパケットとされる。ＰＥＳパケットのヘッダ情報には、タイムスタンプ、例えば、再生を行う時刻情報であるＰＴＳ（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅＳｔａｍｐ）が含まれる。

ＴＳパケットは固定長（１８８バイト）のものであり、それぞれのＴＳパケットのヘッダ部分には、それぞれのデータ種別に固有のＰＩＤ（ＰａｃｋｅｔＩＤ）が付与されている。このＰＩＤにより、映像情報であるか、音声情報であるか、システム情報（再生制御情報など）であるかの識別が可能である。デマルチプレクサ１３では、ＰＩＤを読み取り、映像情報であるか、音声情報であるかを識別し、それぞれのデコーダにデータを振り分ける。

なお、本実施の形態１においては、１８８バイトのＴＳパケットに分割されているものとして説明をしているが、映像情報であるか、音声情報であるかを識別することが可能な、データフォーマットであれば、ＴＳ以外のフォーマットでもよい。例えば、ＰＳ（ＰｒｏｇｒａｍＳｔｒｅａｍ）でもよい。また、音声情報が無く、映像情報のみのデータが配信されるような場合、ＴＳパケットに分解せずＰＥＳ（ＰａｃｋｅｔｉｚｅｄＥｌｅｍｅｎｔａｒｙＳｔｒｅａｍ）のままでもよい。この場合、再生部１０のデマルチプレクサ１３、オーディオデコーダ１５および音声出力装置３２は不要である。

本実施の形態の映像情報再生装置においては、ＣＰＵ２１は、矢印５１で示すようにバッファメモリ１２の容量を常時監視し、バッファメモリ１２がアンダーフローやオーバーフローを起こさないように制御を行う受信データの制御手段として動作する。

図３は、バッファメモリ１２の容量の推移を示す図である。ＣＰＵ２１は図２の矢印５１で示すようにバッファメモリ１２の容量を常にモニターしており、図２の矢印５３で示すようにバッファメモリ１２の残量を逐次、コンテンツサーバー４１に通知している。コンテンツサーバー４１がデータの配信を行っていない状態で、映像情報再生装置４２が再生を行い、その結果バッファメモリ１２のデータ残量が、図３に示すように、下限値（第１の所定の閾値）ＳＲ１まで減少すると、コンテンツサーバー４１は再生装置４２に対してデータの送信を開始（再開）し、バッファメモリ１２の残量が上限値（第２の所定の閾値）ＳＲ２に達すると、コンテンツサーバー４１は映像情報再生装置４２に対するデータの配信を停止する。次にバッファメモリ１２の残量が下限値ＳＲ１まで減少すると、コンテンツサーバー４１はデータの配信を再開する。以上の動作を繰り返すことで、バッファメモリ１２のデータ残量が上限値ＳＲ２と下限値ＳＲ１との間に収まるように配信データの制御を行う。

また、ＣＰＵ２１は、図２の矢印５２で示すように、同じ映像情報再生装置４２内のビデオデコーダ１４の再生時刻を監視し、矢印５３で示すように、コンテンツサーバー４１にその時刻を通知するとともに、矢印５４で示すように、コンテンツサーバー４１から通知される基準となる再生時刻に対して、同じ映像情報再生装置４２内のビデオデコーダ１４の再生時刻とのずれに従い、ビデオデコーダ１４を制御する手段としても動作する。詳細は後述する。

図４は、コンテンツサーバー４１から配信されるＴＳデータの、データ構成を示したものである。ＴＳデータでは、映像情報と音声情報は、１８８バイト単位のパケット（ＴＳパケット）に分割され、映像データが格納されたビデオパケットＶ１、Ｖ２、Ｖ３、・・・、Ｖｎ、音声データが格納されたオーディオパケットＡ１、Ａ２、Ａ３、・・・、Ａｎ、ＰＡＴ・ＰＭＴ等のシステム情報が格納されたＰＳＩ／ＳＩパケットＳ１、・・・、Ｓｎが、映像、音声の再生が途切れることがないように重畳されている。

コンテンツサーバー４１には、図４のように構成されたＴＳデータが複数存在し、各映像情報再生装置４２に対して、連続して配信される。ユーザーからコンテンツサーバー４１に対して、再生の指示が出されると、あらかじめ指示された順番で、コンテンツサーバー４１のＴＳデータの配信が開始される。

次に、コンテンツサーバー４１から配信されたコンテンツが再生されるまでのシーケンスについて図２を用いて説明する。ユーザーから、コンテンツサーバー４１に対して再生開始の要求（再生のためのデータ配信の要求）が出されると、コンテンツサーバー４１は、各映像情報再生装置４２に対する、ＴＳデータのマルチキャストでの送信を開始する。（この再生開始の要求は、映像情報再生装置４２のいずれかから信号を送ることにより行なわれる場合もあり、また図示しない別個の制御機器により与えられることもある。）

各映像情報再生装置４２は、配信されたＴＳデータをデータ受信部１１で受信し、バッファメモリ１２へ蓄積を開始する。なお、図１５に示すように、大容量メモリ１６を有する場合には大容量メモリ１６にＴＳデータの蓄積を開始する。この時、コンテンツサーバー４１は、図1に示す全映像情報再生装置４２の中から、同期させたいグループの代表となる映像情報再生装置４２を任意に決め、代表とした映像情報再生装置４２のバッファメモリ１２のデータ残量を逐次モニターをする。コンテンツサーバー４１は、バッファメモリ１２の残量が、図３に示した下限値ＳＲ１より大きく、上限値ＳＲ２より小さい第３の所定の閾値（初期再生開始値）ＳＲ３を超えたことを検知すると、同期させたいグループの全映像情報再生装置４２に対して再生の開始（再生装置における表示、出力の開始）を指示する。

図２において、コンテンツサーバー４１から再生指示が出されると、各映像情報再生装置４２において、バッファメモリ１２のＴＳデータのそれぞれのパケットはデマルチプレクサ１３に送出され、該パケットのＰＩＤに従って映像情報、音声情報、ＰＳＩ／ＳＩ情報とに分離される。分離された映像情報はビデオデコーダ１４へ送出され、デコードされた映像信号は、外部表示装置３１に出力される。また分離された音声情報は、オーディオデコーダ１５へ送出され、デコードされた音声信号は音声出力装置３２に送られ、音声が出力される映像と音声の再生が開始された後も、コンテンツサーバー４１からデータの配信が続けられる限り、バッファメモリ１２内の残量は時間とともに増加していく。但し、増加の速度は、映像情報再生装置４２で再生を行なっていないときに比べると遅くなり、そのため、再生の開始時刻より後の残量曲線の傾きは小さくなる。

先にも述べたように、ＣＰＵ２１はバッファメモリ１２の残量を逐次コンテンツサーバー４１に通知しており、バッファメモリ１２の残量が上限値ＳＲ２に達したことを、コンテンツサーバー４１が検知すると、コンテンツサーバー４１は、データの配信を停止する。データの配信が停止されると、各映像情報再生装置４２のバッファメモリ１２の残量は、デコーダでデータが消費されるに従って次第に減少する。代表となっている映像情報再生装置４２のバッファメモリ１２の残量が下限値ＳＲ１に達したことをコンテンツサーバー４１が検知すると、コンテンツサーバー４１はデータの配信を再開する。

以上の動作を繰り返すことで、バッファメモリ１２がアンダーフローやオーバ-フローを引き起こすことなく、音声や映像の途切れのない再生が継続される。但し、各コンテンツの最後の部分では、バッファメモリ１２の残量が下限値ＳＲ１に達したことが検知されても、それ以上配信すべきデータが存在しないので、図３に点線ＥＯＣで示すように、残量はさらに少なくなり、最後はゼロに達する。

闇値ＳＲ１、ＳＲ２、ＳＲ３の値については、バッファメモリ１２の容量、再生するビットレート等により最適な値に設定されるべきであるが、本出願には直接関わる値でないため、特に閾値の値については言及しない。

以上の手順で、同期させたいグループの全映像情報再生装置４２で一斉に再生が開始されるが、ビデオデコーダ１４の基準時刻を生成しているクロック回路２２内の水晶発振器の発振周波数は全く同一ではなく、映像情報再生装置４２間で発振周波数に差異がある。デコードした映像の出力時刻は、この基準時刻を元に映像情報中の（ＰＥＳパケットのヘッダ情報に含まれる）ＰＴＳに従って制御されている。即ち、各ＰＥＳは、該ＰＥＳのヘッダ情報に含まれるＰＴＳで指定された時刻（コンテンツの先頭を再生する時刻に対する相対時刻）になったことを、映像情報再生装置４２内の水晶発振器から発生されるクロックパルスのカウント結果との比較により、検知しながら、デコードを行なったり、デコード後の時間調整（遅延）を行なったりしながら、各ＰＥＳの画像を、当該ＰＥＳのヘッダ情報に含まれるＰＴＳで指定された時刻（コンテンツの再生開始からの相対時刻）に再生出力を行なうようにしている。上記の再生時刻のずれとは、あるＰＴＳを含むＰＥＳパケットの一つの映像情報再生装置４２における再生を、当該一つの映像情報再生装置４２内のクロック回路２２で計時した時刻と、同じＰＴＳを含むＰＥＳパケットの、別の再生装置における再生を、当該別の映像情報再生装置４２内のクロック回路２２で計時した時刻との差を意味する。

上記のような構成であるため、水晶発振器の周波数の誤差が原因となり、時間とともに各映像情報再生装置４２の再生時刻にずれが生じてくる。例えば、水晶発振器の精度が＋２０ｐｐｍとし、最も表示の進んだ映像情報再生装置４２と、最も表示の遅れた映像情報再生装置４２との間には、４０ｐｐｍの誤差が生じ、２４時間の連続再生を仮定すると、約３秒弱の時間のずれが生じる可能性がある。

また、コンテンツサーバー４１は、同期させたいグループの全映像情報再生装置４２の中の、一つを代表の映像情報再生装置４２として、そのバッファメモリ１２内のデータ残量をモニターしながら、データ配信の制御を行っているため、最も誤差の大きい映像情報再生装置４２を代表とした場合、他の再生装置４２のバッファメモリ１２でバッファのアンダーフローやオーバーフローが発生する可能性が高くなる。

図５は、当該最も時刻の進みが早い映像情報再生装置４２が代表で選択されている場合の、最も時刻の進みの早い再生装置（Ｆ）と、最も遅い映像情報再生装置（Ｓ）のバッファの残量の違移を示す一例である。最も早い再生装置（Ｆ）の残量が下限値ＳＲ１になった時刻Ｔ１より、コンテンツサーバー４１からのデータ配信が再開されるが、この時、最も遅い映像情報再生装置（Ｓ）の残量は、データがより多く残っている。

例えば、映像の符号化ビットレートが１０Ｍｂｐｓ、バッファメモリ１２の容量が１０Ｍｂｉｔ、下限値ＳＲ１が３Ｍｂｉｔ、上限値ＳＲ２が６Ｍｂｉｔの時、再生開始からおよそ２時間３０分後となる時刻Ｔ２で、再生装置（Ｆ）の残量は６Ｍｂｉｔ、再生装置（Ｓ）の残量は、９．６Ｍｂｉｔとなり、バッファメモリの容量の限界に近づいた状態になる。このことから、再生開始から２時間３０分後は、再生装置（Ｓ）には再生装置（Ｆ）よりも、３．６Ｍｂｉｔも多くデータが残っていることになる。このままコンテンツサーバー４１からのデータの配信をさらに継続すると、再生装置（Ｓ）のバッファメモリ１２の容量１０Ｍｂｉｔを超えたときに、再生すべきデータが捨てられ、一部フレームの抜けた映像が表示されることになる。

上記に説明したように、水晶発振器の周波数のばらつきが原因で、長時間再生を継続した場合、各映像情報再生装置４２間の表示の同期がとれなくなり、最悪の場合バッファメモリ１２のオーバーフローや、アンダーフローが発生し、再生の途切れや中断が発生するという問題があった。

図６（ａ）は、映像情報再生装置４２間の再生を同期させるための映像情報再生装置４２内処理のシーケンス図である。また、図６（ｂ）は、映像情報再生装置４２間の再生を同期させるためのコンテンツサーバー４１内処理のシーケンス図である。映像情報再生装置４２間の再生同期は、映像情報再生装置４２内の処理とコンテンツサーバー４１内の処理をあわせて実現される。

映像情報再生装置４２では、コンテンツ再生開始（ＳＴ１）の後、前のコンテンツ再生終了、あるいはコンテンツ切替後所定の時間経過後（ＳＴ１２）に、コンテンツサーバー４１からは、コンテンツの切替毎、あるいは、コンテンツの切替の複数回に１回、各映像情報再生装置４２に対して、現在の再生時刻要求を通知（ＳＴ１３）、各映像情報再生装置４２では、その再生時刻要求を受信する（ＳＴ２）。

コンテンツサーバー４１からの再生時刻要求に対して、各映像情報再生装置４２からは、現在の再生時刻をコンテンツサーバー４１に通知する（ＳＴ３）。コンテンツサーバー４１では、同期をとる複数の映像情報再生装置４２からの現在の再生時刻通知を受信して(ＳＴ１４)、そのうちから、基準となる基準再生時刻を決定（ＳＴ１５）、基準再生時刻を各映像情報再生装置４２に通知する(ＳＴ１６)。

映像情報再生装置４２では、コンテンツサーバー４１から基準再生時刻を受信し（ＳＴ４）、先ほど自身で通知した再生時刻と、コンテンツサーバー４１から通知された基準再生時刻との差から、基準の映像情報再生装置４２から、遅れて再生しているのか、進んで再生しているのかを認識し、再生時刻誤差検出（ＳＴ５）後、再生フレームを調整する（ＳＴ６）。再生フレームの調整については、後述する。

その後、現コンテンツと次コンテンツのコンテンツ切替を検出（ＳＴ７）、コンテンツサーバー４１にコンテンツ切替を通知する（ＳＴ８）。

コンテンツサーバー４１では、映像情報再生装置４２からのコンテンツ切替通知をうけ、図６（ｂ）のフローを開始し、全映像情報再生装置４２から同期させたい（同期調整したい）映像情報再生装置４２を抽出し（ＳＴ１１）、映像情報再生装置４２に対して、所定の時間が経過したかどうかを判定（ＳＴ１２）し、所定の時間経過していれば、現在の再生時刻要求を通知する（ＳＴ１３）。以降、繰り返す。

再生フレームの調整について記述する。図７〜図１２に一例を示す。

図７は、ビデオデコーダ１４にフレームスキップ機能、フレームリピート機能がともに備わっている場合の再生フレームの調整を示したものであるである。再生フレーム調整（ＳＴ６）では、コンテンツサーバー４１から通知された基準再生時刻に対して、映像情報再生装置４２が再生時刻要求を受けた時点（ＳＴ２）の再生時刻を比較し、その差が所定値以上、例えば１フレーム以上かどうかの判断を行なう。１フレーム以上遅れている場合には、フレームスキップを実施する（ＳＴ２３）。１フレーム以上遅れていない場合には、さらに、１フレーム以上進んでいないか判断し（ＳＴ２２）、１フレーム以上進んでいる場合には、フレームリピートを実施する（ＳＴ２４）。１フレーム以上進んでいなければ、フレーム調整処理をしない。なお、再生フレームの調整を行うかどうかを判断するための、基準再生時刻とＳＴ２時点の再生時刻との差は１フレームに限るものではない。

図８は、ビデオデコーダ１４にフレームスキップ機能、フレームリピート機能がともに備わっている場合のコンテンツ切替前後の、各映像情報再生装置４２の再生フレームの遷移を表した図である。図８の番号は再生フレーム番号である。基準となる映像情報再生装置を４２Ｓとする。上記のシーケンスに従って再生を行うと、基準再生時刻に対して遅れている映像情報再生装置４２Ｂは次のフレームをスキップし、進んでいる映像情報再生装置４２Ｆは次のフレームをリピートすることで、次のコンテンツのＴＳデータの再生の開始タイミングを１フレーム以内の時間差以下にあわせることが可能となる。

図９は、ビデオデコーダ１４にフレームスキップ機能がなく、フレームリピート機能のみが備わっている場合の再生フレームの調整を示したものであるである。再生フレーム調整（ＳＴ６）では、コンテンツサーバー４１から通知された基準再生時刻に対して、映像情報再生装置４２の再生時刻要求を受けた時点（ＳＴ２）の再生時刻を比較し、その差が所定値以上、例えば１フレーム以上かどうかの判断を行なう。１フレーム以上遅れている場合には、フレーム調整処理をしない、１フレーム以上遅れていない場合には、さらに、１フレーム以上進んでいないか判断し（ＳＴ２２）、１フレーム以上進んでいる場合には、フレームリピートを２回行い（ＳＴ２５）、１フレーム以上進んでいなければ、フレームリピートを１回行う（ＳＴ２６）。なお、再生フレームの調整を行うかどうかを判断するための、基準再生時刻とＳＴ２時点の再生時刻との差は１フレームに限るものではない。

図１０は、ビデオデコーダ１４にフレームスキップ機能がなく、フレームリピート機能のみが備わっている場合のコンテンツ切替前後の、各映像情報再生装置４２の再生フレームの選移を表した図である。図１０の番号は再生フレーム番号である。基準となる映像情報再生装置を４２Ｓとする。上記のシーケンスに従って再生を行うと、基準再生時刻に対して、遅れている映像情報再生装置４２Ｂはそのまま再生し、進んでいる映像情報再生装置４２Ｆは、次のフレームと次々フレームをリピートし、それ以外の映像情報再生装置は次フレームをリピートすることで、次のコンテンツのＴＳデータの再生の開始タイミングを１フレーム以内の時間差以下にあわせることが可能となる。

図１１は、ビデオデコーダ１４にフレームリピート機能がなく、フレームスキップ機能のみが備わっている場合の再生フレームの調整を示したものである。再生フレーム調整（ＳＴ６）では、コンテンツサーバー４１から通知された基準再生時刻に対して、映像情報再生装置４２の再生時刻要求を受けた時点（ＳＴ２）の再生時刻を比較し、その差が所定値以上、例えば１フレーム以上かどうかの判断を行なう。１フレーム以上遅れている場合には、フレームスキップを２回行い（ＳＴ２７）、１フレーム以上遅れていない場合には、さらに、１フレーム以上進んでいないか判断し（ＳＴ２２）、１フレーム以上進んでいる場合には、フレーム調整処理を行わず、１フレーム以上進んでいなければ、フレームスキップを１回行う（ＳＴ２８）。なお、再生時間の調整を行うかどうかを判断するための、基準再生時刻とステップＳＴ２時点の再生時刻との差は１フレームに限るものではない。

図１２は、ビデオデコーダ１４にフレームリピート機能がなく、フレームスキップ機能のみが備わっている場合のコンテンツ切替前後の、各映像情報再生装置４２の再生フレームの選移を表した図であり、図中の番号は再生フレーム番号である。上記のシーケンスに従って再生を行うと、基準となる映像情報再生装置４２Ｓの基準再生時刻に対して、遅れている映像情報再生装置４２Ｂは、次のフレームと次々のフレームを２フレームスキップし、進んでいる映像情報再生装置４２Ｆは、そのまま再生し、それ以外の映像情報再生装置は次のフレームをリピートすることで、次のコンテンツのＴＳデータの再生の開始タイミングを１フレーム以内の時間差以下にあわせることが可能となる。

図６では、再生フレーム調整（ＳＴ６）を、基準再生時刻受信（ＳＴ４）後、調整が必要な時間差があれば、コンテンツ再生の途中で行うものとして記載しているが、コンテンツ再生の経過をフレーム単位で把握でき、再生を制御可能な場合には、コンテンツの最後、つまり、コンテンツ切替検出（ＳＴ７）のタイミングで行ってもよく、フレームのリピート／スキップをより目立たなくする点でより好ましい。一方、現状では、リピート／スキップ挿入タイミングをフレーム単位で制御する必要がない点が好ましい。

次に、各映像情報再生装置４２から通知された基準再生時刻の決定方法について記載する。基準再生時刻は、平均の時刻であっても、最も遅れた時刻であっても、最も進んだ時刻であってもよい。ビデオデコーダ１４がフレームリピート機能、フレームスキップ機能をともに備える場合には、調整の余地を広げるという観点から平均の時刻を基準再生時刻として採用することが望ましいが、フレームスキップ機能しか備えていない場合には、最も早い時刻を基準再生時刻に採用して、フレームスキップ機能による再生時刻を進める調整の余地を広げることが望ましく、フレームリピート機能しか備えていない場合には、最も遅い時刻を基準再生時刻に採用して、フレームリピート機能による再生時刻を遅らせる調整の余地を広げることが望ましい。

図１３は、各映像情報再生装置４２で異なるコンテンツを再生させた場合の処理を説明するための図である。図１３（ａ）は、各映像情報再生装置４２の再生コンテンツの一例を示したものである。広告コンテンツは、５秒、１０秒、１５秒といったように、ある最小時間（例えば５秒）のＮ倍の長さで作られ、再生される。必ずしも、５秒である必要はなく、３秒でも構わない。映像情報再生装置４２Ａは、コンテンツａ（再生時刻Ｔａ１〜Ｔａ３：１５秒）、コンテンツｂ（再生時刻Ｔａ３〜Ｔａ５：１５秒）、コンテンツｃ（再生時刻Ｔａ５〜Ｔａ７：１５秒）を再生する。映像情報再生装置４２Ｂは、コンテンツｄ（再生時刻Ｔａ１〜Ｔａ２：１０秒）、コンテンツｅ（再生時刻Ｔａ２〜Ｔａ４：１５秒）、コンテンツｆ（再生時刻Ｔａ４〜Ｔａ６：１０秒）、コンテンツｇ（再生時刻Ｔａ６〜Ｔａ７：１０秒）を再生、映像情報再生装置４２Ｃは、コンテンツｍ（再生時刻Ｔａ１〜Ｔａ３：１５秒）、コンテンツｈ（再生時刻Ｔａ３〜Ｔａ４：１０秒）、コンテンツｆ（再生時刻Ｔａ４〜Ｔａ６：１０秒）、コンテンツｇ（再生時刻Ｔａ６〜Ｔａ７：１０秒）を再生する。ここで、再生時刻Ｔａ１〜Ｔａ３（１５秒）に、映像情報再生装置４２Ａと映像情報再生装置４２Ｃで異なるコンテンツａとコンテンツｍを再生し、再生時刻Ｔａ４〜Ｔａ６（１０秒）に、映像情報再生装置４２Ｂと映像情報再生装置４２Ｃが同じコンテンツｆを再生している、同様に、再生時刻Ｔａ６〜Ｔａ７（１０秒）に、映像情報再生装置４２Ｂと映像情報再生装置４２Ｃが同じコンテンツｇを再生している。

図１３（ｂ）は、映像情報再生装置４２からのコンテンツ切替通知（ＳＴ８）が行われるコンテンツ切替通知時刻Ｔａ、再生時刻通知ＳＴ３が行われる再生時刻通知時刻Ｔｃ、再生フレーム調整（ＳＴ６）が行われるフレーム調整時刻Ｔｅ、コンテンツサーバー４１からの再生時刻要求通知（ＳＴ１３）が行われる再生時刻要求通知時刻Ｔｂ、基準再生時刻通知（ＳＴ１６）が行われる基準再生時刻通知時刻Ｔｄの一例を示したものである。ここでは、映像情報再生装置４２Ａ、映像情報再生装置４２Ｂ、映像情報再生装置４２Ｃは、同期の対象となるグループを構成しているものとする。一部同じ時刻に同じコンテンツを再生しているが、基本的には別々のコンテンツを再生することを前提としているため、ユニキャスト配信されているものとする。映像情報再生装置毎の各時刻は、伝送遅延や、システムクロックの違いによって、必ずしも同時刻ではないが、記載の簡便さのため、同じ添え字とする。コンテンツサーバー４１は、各映像情報再生装置４２の正確な再生フレームは把握できないが、現在、どの映像情報再生装置４２で何を再生しているか、何秒のコンテンツであるかなど大まかな再生スケジュールを管理、把握をしている。

時刻Ｔａ１において、映像情報再生装置４２Ａ、映像情報再生装置４２Ｂ、映像情報再生装置４２Ｃから、コンテンツ切替通知がコンテンツサーバー４１に通知されると、コンテンツサーバー４１では、同期処理の対象となるグループの全映像情報再生装置４２からコンテンツ切替通知（ＳＴ８）を受けた後、所定の時間Ｔｂ１経過後、全映像情報再生装置４２に対して各映像情報再生装置４２の現在の再生時刻を要求する再生時刻要求通知（ＳＴ１３）を行う。各映像情報再生装置４２では時刻Ｔｃ１において、再生時刻要求通知（ＳＴ１３）を受け、コンテンツサーバー４１に対し現在の再生時刻を通知する再生時刻通知（ＳＴ３）を行う。コンテンツサーバー４１は、時刻Ｔｄ１において、各映像情報再生装置４２から受信した各映像情報再生装置４２の再生時刻から基準となる再生時刻を抽出し、各映像情報再生装置４２に基準再生時刻通知（ＳＴ１６）を行う。基準となる映像情報再生装置４２はその都度、現在の再生時刻をもとに更新してもよいし、初期段階で決定した映像情報再生装置４２のままとしてもよい。コンテンツサーバー４１から基準再生時刻を受信した各映像情報再生装置４２は、Ｔｃ１の時点で、コンテンツサーバー４１に通知した再生時刻と比較のうえ、時刻Ｔｅ１において再生フレーム調整ＳＴ６を行う。

時刻Ｔａ２において、映像情報再生装置４２Ｂから、コンテンツサーバー４１に対し、コンテンツ切替通知（ＳＴ８）が通知される。このとき、コンテンツサーバー４１では、再生スケジュールから判断して、映像情報再生装置４２Ａ、映像情報再生装置４２Ｃからのコンテンツ切替通知（ＳＴ８）を待つことなく、また、基準となる映像情報再生装置４２Ｃがコンテンツの切り目でないため、映像情報再生装置４２Ｂに対し再生時刻要求通知（ＳＴ８）以降の処理を行わない。なお、基準となる映像情報再生装置４２がないが、その他にコンテンツ切替があった映像情報再生装置４２が複数あった場合には、それら映像情報再生装置４２間で、同期のための以降の処理を行ってもよい。ここでは基準となる映像情報再生装置４２からのコンテンツ切替通知がない場合には、以降の処理を行わないものとして記載する。

時刻Ｔａ３において、映像情報再生装置４２Ａ、映像情報再生装置４２Ｃから、コンテンツ切替通知ＳＴ８がコンテンツサーバー４１に通知される。コンテンツサーバー４１では、再生スケジュールから判断して、映像情報再生装置４２Ｂからのコンテンツ切替通知（ＳＴ８）を待つことなく、時刻Ｔｂ３に、コンテンツ切替通知のあった映像情報再生装置４２Ａ、映像情報再生装置４２Ｃに対して現在の再生時刻を要求する再生時刻要求通知（ＳＴ１３）を行う。各映像情報再生装置４２では、再生時刻要求通知（ＳＴ１３）を受け、時刻Ｔｃ３において、コンテンツサーバー４１に対して、現在の再生時刻を通知する再生時刻通知（ＳＴ３）を行う。コンテンツサーバー４１は、各映像情報再生装置４２から受信した各映像情報再生装置４２の再生時刻から基準となる再生時刻を抽出し、時刻Ｔｄ３において、各映像情報再生装置４２に基準再生時刻通知ＳＴ１６を行う。コンテンツサーバー４１から基準再生時刻通知ＳＴ１６を受信した各映像情報再生装置４２は、時刻Ｔｃ３においてコンテンツサーバー４１に通知した再生時刻と比較のうえ、時刻Ｔｅ３において、再生フレーム調整（ＳＴ６）を行う。

時刻Ｔａ４において、映像情報再生装置４２Ｂ、映像情報再生装置４２Ｃから、コンテンツ切替通知（ＳＴ８）がコンテンツサーバー４１に通知される。コンテンツサーバー４１では、再生スケジュールから判断して、映像情報再生装置４２Ａからのコンテンツ切替通知を待つことなく、時刻Ｔｂ４に、コンテンツ切替通知のあった映像情報再生装置４２Ｂ、映像情報再生装置４２Ｃに対して現在の再生時刻を要求する再生時刻要求通知（ＳＴ１３）を行う。各映像情報再生装置４２では、再生時刻要求通知Ｓ（Ｔ１３）を受け、時刻Ｔｃ４において、コンテンツサーバー４１に対して、現在の再生時刻を通知する再生時刻通知（ＳＴ３）を行う。コンテンツサーバー４１は、各映像情報再生装置４２から受信した各映像情報再生装置４２の再生時刻から基準となる再生時刻を抽出し、時刻Ｔｄ４において各映像情報再生装置４２に基準再生時刻通知（ＳＴ１６）を行う。コンテンツサーバー４１から基準再生時刻を受信した各映像情報再生装置４２は、時刻Ｔｃ４においてコンテンツサーバー４１に通知した再生時刻と比較のうえ、時刻Ｔｅ４において、再生フレーム調整（ＳＴ６）を行う。

時刻Ｔａ５において、映像情報再生装置４２Ａから、コンテンツ切替通知（ＳＴ８）がコンテンツサーバー４１に通知される。このとき、コンテンツサーバー４１では、再生スケジュールから判断して、映像情報再生装置４２Ｂ、映像情報再生装置４２Ｃからのコンテンツ切替通知（ＳＴ８）を待つことなく、また、基準となる映像情報再生装置４２Ｃがコンテンツの切り目でないため、再生時刻要求通知（ＳＴ１３）知以降の処理を行わない。

時刻Ｔａ６において、映像情報再生装置４２Ｂ、映像情報再生装置４２Ｃから、コンテンツ切替通知（ＳＴ８）がコンテンツサーバー４１に通知される。コンテンツサーバー４１では、再生スケジュールから判断して、映像情報再生装置４２Ａからのコンテンツ切替通知（ＳＴ８）を待つことなく、時刻Ｔｂ６に、コンテンツ切替通知のあった映像情報再生装置４２Ｂ、映像情報再生装置４２Ｃに対して現在の再生時刻を要求する再生時刻要求通知（ＳＴ１３）を行う。各映像情報再生装置４２では、再生時刻要求通知（ＳＴ１３）を受け、時刻Ｔｃ６において、コンテンツサーバー４１に対して、現在の再生時刻を通知する再生時刻通知（ＳＴ３）を行う。コンテンツサーバー４１は、各映像情報再生装置４２から受信した各映像情報再生装置４２の再生時刻から基準となる再生時刻を抽出し、時刻Ｔｄ６において、各映像情報再生装置４２に基準再生時刻通知（ＳＴ１６）を行う。コンテンツサーバー４１から基準再生時刻を受信した各映像情報再生装置４２は、時刻Ｔｃ６においてコンテンツサーバー４１に通知した再生時刻と比較のうえ、時刻Ｔｅ６において前述のように再生フレーム調整（ＳＴ６）を行う。

図１３（ｃ）は、各映像情報再生装置４２毎の各再生コンテンツ内の再生フレームを示す。破線の再生時刻Ｔｅ１、Ｔｅ３、Ｔｅ４、Ｔｅ６で再生フレーム数を増減させることによって、各コンテンツの再生フレームが調整され、結果、次のコンテンツの再生開始時刻が調整され、次に現在の再生時刻要求に対する応答である再生時刻通知（ＳＴ３）に反映されることにより、複数の映像情報再生装置４２の同期が実現できる。また、このとき、同時に再生し、同期させるコンテンツが同じコンテンツである必要はない。例えば、映像情報再生装置４２Ａで再生するコンテンツａと映像情報再生装置４２Ｃで再生するコンテンツｍは異なっていても同じく、コンテンツ間の切替タイミングを同期させることが可能である。

以上、説明したように、同期させたい複数の映像情報再生装置４２について、複数の映像情報再生装置４２からコンテンツサーバー４１に通知されるコンテンツ切替通知（ＳＴ８）を基に、コンテンツサーバー４１において次に同期のための再生フレーム調整（ＳＴ６）の対象となる映像情報再生装置４２を抽出する。抽出した映像情報再生装置４２にのみ現在の再生時刻要求（ＳＴ１３）を行い、映像情報再生装置４２からの再生時刻通知（ＳＴ３）を受けて、基準再生時刻を決定する。次に、各映像情報再生装置４２に基準再生時刻を通知して、映像情報再生装置４２で、現在の再生時刻要求時に算出した再生時刻と比較することにより、ビデオデコーダ１４での再生フレームをスキップ／リピートして再生フレーム調整（ＳＴ６）を行うことにより、再生時刻を１フレーム以内で同期させることが可能となる。

再生フレームのスキップ／リピートにより、再生時刻の同期を行うため、ＶＣＸＯ等の特別なクロックとその制御を必要としない。

また、現在の再生時刻要求時に算出した再生時刻と基準再生時刻との差に応じて、フレームスキップ機能がない場合には、フレームリピート数を調整することにより、フレームリピート機能がない場合には、フレームスキップ数を調整することにより、フレームスキップ機能、フレームリピート機能がある場合と同様に再生時刻を１フレーム以内で同期させることができる。

ビデオデコーダ１４がフレームリピート機能、フレームスキップ機能をともに備える場合には、基準再生時刻を平均値に最も近い再生時刻に採用することにより、最も調整の余地を広げることができる。一方、ビデオデコーダ１４がフレームスキップ機能しか備えていない場合に、最も進んでいる再生時刻を基準再生時刻に採用することにより、フレームスキップ機能による再生時刻を進める調整の余地を広げることができる。さらに、ビデオデコーダ１４がフレームリピート機能しか備えていない場合に、最も遅れている再生時刻を基準再生時刻に採用することにより、フレームリピート機能による再生時刻を遅らせる調整の余地を広げることができる。

再生フレーム調整はＭＰＥＧ２やＨ．２６４で符号化されたコンテンツを復号するビデオデコーダ１４の機能として実現されるものであり、同期のためにコンテンツを特別に加工する必要がない。

コンテンツ切替のタイミングを同じくするコンテンツであれば、異なるコンテンツ同士であっても、再生時刻を調整することが可能である。

コンテンツサーバー４１と映像情報再生装置４２との間で再生時刻を送受するものとして説明したが、再生時刻の代わりに再生フレーム番号を送受しても同様に効果がある。また、再生装置４２間で異なるコンテンツを再生した場合にも、コンテンツサーバー４１で映像情報再生装置４２間の再生フレームの対応関係がわかっていれば同様の動作を行うことができ、同様の効果が得られる。

上述した映像情報再生方法を行うために、本発明に係る映像情報再生システムにおいては、
映像情報再生装置において、コンテンツ切替を検出し、そのタイミングを通知するコンテンツ切替通知手段と、
コンテンツサーバーにおいて、コンテンツ切替通知手段からのコンテンツ切替通知を受け、コンテンツ切替について同期すべき複数の映像情報再生装置を抽出する再生装置抽出手段と、
再生装置抽出手段により抽出された複数の映像情報再生装置に対して、再生中の再生時刻を要求する再生時刻要求通知手段と、
映像情報再生装置において、再生時刻要求通知手段からの要求を受け、再生中の再生時刻を通知する再生時刻通知手段と、
コンテンツサーバーにおいて、再生時刻通知手段で得られた抽出された複数の映像情報再生装置の現在の再生時刻から、再生時刻の基準とする再生時刻を基準再生時刻として決定し、抽出された複数の映像情報再生装置に通知する基準再生時刻通知手段と
映像情報再生装置において、基準再生時刻通知手段で得られた基準再生時刻と、再生時刻要求通知手段において、再生時刻要求を受けた時点の再生時刻とを比較し、同期すべき複数の映像情報再生装置の再生時刻要求を受けた時点の再生時刻が、基準再生時刻に対し、遅れているか、進んでいるかに応じて、同期すべき複数の映像情報再生装置の再生中の再生フレームをスキップ再生、ないし、リピート再生することにより、同期すべき複数の映像情報再生装置の再生中の再生フレームを調整する再生フレーム調整手段とを有している。
映像情報再生装置は、コンテンツ切替通知手段と再生時刻通知手段と再生フレーム調整手段とを有し、
コンテンツサーバーは、再生装置抽出手段と再生時刻要求通知手段と基準再生時刻通知手段とを有している。

本発明は、例えば自動車、列車、建物などにおいて複数の画面に表示を行なう映像情報再生装置に適用することができ、複数の映像情報再生装置間の再生時刻を１フレーム内で同期させることができるという効果が得られる。

実施の形態２
実施の形態１では、各映像情報再生装置４２間の再生時刻のばらつきが数フレーム数以内に収まっている場合の調整方法について説明をおこなった。しかし、映像情報再生装置４２内でＣＰＵ２１に急な負荷がかったり、また電気的なノイズの影響で映像情報再生装置４２にリセットがかかってしまったりして、再生準備可能となる前に、コンテンツサーバー４１からのデータ配信が開始されてしまった場合、大幅に再生同期がずれてしまう場合がある。この場合、ずれ時間が、数秒間にもなるため、実施の形態１の調整方法で、同期がとれるまでに、数十分から数時間を要する場合がある。

図１４は、このように大幅に再生時刻がずれてしまった時に、短時間に調整を行うために改良されたシーケンス図である。図１４において、ステップ（ＳＴ３６）及び（ＳＴ３７）は、コンテンツサーバー４１で行なわれる処理であり、その他のステップは、各映像情報再生装置４２で行なわれる処理である。まず、基準となっている映像情報再生装置４２の再生時刻に対して、実施の形態１で説明した調整方法で、同期化が可能な範囲内のずれ量かどうか（実施の形態１で説明した方法で、調整が可能な範囲内かどうか）を判断する（ＳＴ３１）

同期が可能な範囲内であると判断された場合は、ステップ（ＳＴ３２）へ進み、図７、図９、図１１で示すような通常の調整を行う。ステップ（ＳＴ３２）での調整の詳細については、実施の形態１で詳細に説明を行ったので、省略する。再生時刻のずれ量が、同期化が可能な範囲外であると判断されると、現在再生中のコンテンツの再生を中断し、バッファメモリ１２に蓄積されているすべてのデータをクリアする（ＳＴ３３）。

再生を中断した映像情報再生装置４２は、現在再生中のコンテンツのＴＳデータの配信が完了し、次のコンテンツの先頭のＴＳパケットの先頭パケットが配信されるのを待つ（ＳＴ３４）。次のコンテンツの先頭のＴＳパケットを検出すると、ＣＰＵ２１は、データのバッファメモリ１２への蓄積を開始する（ＳＴ３５）。

次に、コンテンツサーバー４１は、基準となっている映像情報再生装置４２に対して、次のコンテンツの先頭のフレームの再生が開始されたら、コンテンツサーバー４1に通知するよう指示し、基準となっている映像情報再生装置４２から、次のコンテンツの再生が開始されたことが、コンテンツサーバー４１に通知される（ＳＴ３６）と、コンテンツサーバー４１は、再生を中断した映像情報再生装置４２に対して、再生開始指示を出し（ＳＴ３７）、再生を中断した映像情報再生装置４２におけるコンテンツの再生が再開される。

基準となっている映像情報再生装置４２から、コンテンツサーバー４１に再生開始が通知され、コンテンツサーバー４１から、再生を中断した映像情報再生装置４２に再生開始指示が伝わるまで、ネットワークによる遅延、ソフトウェアの処理時間による遅延、ビデオデコーダ１４に再生指示を出してから最初のフレームが表示されるまでの遅延があるため、この時点では、再生を中断した映像情報再生装置４２の再生時刻は、他の映像情報再生装置４２に対し数フレーム遅れた状態にある。しかし、この遅れは通常の同期を調整するシーケンスで調整可能な範囲内であるため、次回の調整シーケンスで同期を一致させることが可能である。

以上説明したように、再生時刻が大幅にずれた映像情報再生装置４２に対しては、一旦再生を中断し、基準となっている映像情報再生装置４２が、次のコンテンツの先頭フレームを再生開始するタイミングで、再生を再開することで、次のコンテンツの調整で速やかに再生時刻の同期を図ることが可能となる。

本映像情報再生方法を行うためのシステムにおいては、
再生時刻誤差検出手段で検出された再生時刻の誤差が、再生フレーム調整手段による調整により同期化が可能な範囲内かどうか判断する判断手段と、
上記判断手段で化が可能な範囲内ではないと判断された場合、現在再生中のコンテンツの再生を中断し、バッファメモリに蓄積されているコンテンツのデータを破棄する破棄手段と、
再生を中断した映像情報再生装置において、次のコンテンツを受信した時点より、コンテンツのデータをバッファメモリに蓄積する蓄積手段と、
コンテンツサーバーから、基準となる映像情報再生装置が次のコンテンツの再生を開始したタイミングの通知を受け、再生を中断した映像情報再生装置が次のコンテンツの再生を開始する開始制御手段とをさらに有している。

本発明は、例えば自動車、列車、建物などにおいて複数の画面に表示する表示装置に適用することができ、複数の映像情報再生装置間の再生時刻の同期を短時間に合わせることができるという効果が得られる。

なお、列車の複数の画面に表示を適用する場合、同期させるべき映像情報再生装置は同じ車両に搭載されている映像情報再生装置単位とすることで、同一車両内の映像を同期させることができる。

ＤＶＤプレーヤーやＢｌｕ−ｒａｙプレーヤーなどの、ＩＴＵ−Ｔ（ＩｎｔｅｒｎａｔｉｏｎａｌＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎＵｎｉｏｎ−Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓｅｃｔｏｒ）勧告Ｈ．２６ｘやＩＳＯ／ＩＥＣ（ＩｎｔｅｒｎａｔｉｏｎａｌＯｒｇａｎｉｚａｔｉｏｎｆｏｒＳｔａｎｄａｒｄｉｚａｔｉｏｎ／ＩｎｔｅｒｎａｔｉｏｎａｌＥｌｅｃｔｒｏｔｅｃｈｎｉｃａｌＣｏｍｍｉｓｓｉｏｎ）標準ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）などの蓄積メディアから読み出された符号化データを再生するときは、これらの蓄積メディアをコンテンツサーバー４１を介して映像情報再生装置４２に配信手段をとっても構わない。

１０再生部、１１データ受信部、１２バッファメモリ、１３デマルチプレクサ、１４ビデオデコーダ、１５オーディオデコーダ、２1 ＣＰＵ（判別手段、再生制御手段）、２２クロック回路、３１外部表示装置、４１コンテンツサーバー、４２映像情報再生装置、４３ネットワーク

Claims

ネットワークで接続されたコンテンツサーバーから、コンテンツを複数の映像情報再生装置で受信し、復号し再生する映像情報再生方法であって、
前記映像情報再生装置において、コンテンツ切替を検出し、そのタイミングを通知するコンテンツ切替通知ステップと、
前記コンテンツサーバーにおいて、前記コンテンツ切替通知ステップからのコンテンツ切替通知を受け、前記コンテンツ切替について同期すべき前記複数の前記映像情報再生装置を抽出する再生装置抽出ステップと、
前記コンテンツサーバーにおいて、前記再生装置抽出ステップにより前記抽出された前記複数の前記映像情報再生装置に対して、再生中の再生時刻を要求する再生時刻要求通知ステップと、
前記映像情報再生装置において、前記再生時刻要求通知ステップからの要求を受け、前記再生中の前記再生時刻を通知する再生時刻通知ステップと、
前記コンテンツサーバーにおいて、前記再生時刻通知ステップで得られた前記抽出された前記複数の前記映像情報再生装置の現在の前記再生時刻から、基準とする再生時刻を基準再生時刻として決定し、前記抽出された前記複数の前記映像情報再生装置に通知する基準再生時刻通知ステップと、
前記映像情報再生装置において、前記基準再生時刻通知ステップで得られた前記基準再生時刻と、前記再生時刻要求通知ステップにおいて、前記再生時刻要求を受けた時点の前記再生時刻とを比較し、前記映像情報再生装置の前記再生時刻要求を受けた時点の前記再生時刻が、前記基準再生時刻に対し、遅れている場合に、前記映像情報再生装置の再生中の再生フレームをスキップ再生する、または、前記映像情報再生装置の前記再生時刻要求を受けた時点の前記再生時刻が、前記基準再生時刻に対し、進んでいる場合に、前記映像情報再生装置の再生中の再生フレームをリピート再生することにより、前記映像情報再生装置の前記再生中の前記再生フレームを調整する再生フレーム調整ステップと、を有し、
前記再生フレーム調整ステップにおいて、フレームのリピート再生機能でフレーム調整をする場合、
前記映像情報再生装置の再生時刻が前記基準再生時刻に対して前記映像情報再生装置により決定された時間内に収まる場合のフレーム再生のフレームリピート数は、
前記基準再生時刻に対して前記映像情報再生装置により決定された前記時間以上前記映像情報再生装置の前記再生時刻が進んでいる場合のフレーム再生のフレームリピート数より少なく、
前記基準再生時刻に対して前記映像情報再生装置により決定された前記時間以上前記映像情報再生装置の前記再生時刻が遅れている場合のフレーム再生のフレームリピート数より多い又は同じであり、
前記再生フレーム調整ステップにおいて、フレームのスキップ再生機能でフレーム調整をする場合、
前記映像情報再生装置の再生時刻が前記基準再生時刻に対して前記映像情報再生装置により決定された時間内に収まる場合のフレーム再生のフレームスキップ数は、
前記基準再生時刻に対して前記映像情報再生装置により決定された前記時間以上前記映像情報再生装置の前記再生時刻が進んでいる場合のフレーム再生のフレームスキップ数より多い又は同じであり、
前記基準再生時刻に対して前記映像情報再生装置により決定された前記時間以上前記映像情報再生装置の前記再生時刻が遅れている場合のフレーム再生のフレームスキップ数より少ないことを特徴とした映像情報再生方法。
ネットワークで接続されたコンテンツサーバーから、コンテンツを複数の映像情報再生装置で受信し、復号し再生する映像情報再生方法であって、
前記映像情報再生装置において、コンテンツ切替を検出し、そのタイミングを通知するコンテンツ切替通知ステップと、
前記コンテンツサーバーにおいて、前記コンテンツ切替通知ステップからのコンテンツ切替通知を受け、前記コンテンツ切替について同期すべき前記複数の前記映像情報再生装置を抽出する再生装置抽出ステップと、
前記コンテンツサーバーにおいて、前記再生装置抽出ステップにより前記抽出された前記複数の前記映像情報再生装置に対して、再生中の再生時刻を要求する再生時刻要求通知ステップと、
前記映像情報再生装置において、前記再生時刻要求通知ステップからの要求を受け、前記再生中の前記再生時刻を通知する再生時刻通知ステップと、
前記コンテンツサーバーにおいて、前記再生時刻通知ステップで得られた前記抽出された前記複数の前記映像情報再生装置の現在の前記再生時刻から、基準とする再生時刻を基準再生時刻として決定し、前記抽出された前記複数の前記映像情報再生装置に通知する基準再生時刻通知ステップと、
前記映像情報再生装置において、前記基準再生時刻通知ステップで得られた前記基準再生時刻と、前記再生時刻要求通知ステップにおいて、前記再生時刻要求を受けた時点の前記再生時刻とを比較し、前記同期すべき前記複数の前記映像情報再生装置の前記再生時刻要求を受けた時点の前記再生時刻が、前記基準再生時刻に対し、遅れているか、進んでいるかに応じて、前記同期すべき前記複数の前記映像情報再生装置の再生中の再生フレームをスキップ再生、または、リピート再生することにより、前記同期すべき前記複数の前記映像情報再生装置の前記再生中の前記再生フレームを調整する再生フレーム調整ステップと、を有し、
前記再生フレーム調整ステップにおいて、フレームのリピート再生機能でフレーム調整をする場合、
前記映像情報再生装置の再生時刻が前記基準再生時刻に対して前記映像情報再生装置により決定された時間内に収まる場合のリピート再生のフレームリピート数は、
前記基準再生時刻に対して前記映像情報再生装置により決定された前記時間以上前記映像情報再生装置の前記再生時刻が進んでいる場合のリピート再生のフレームリピート数より少なく、
前記基準再生時刻に対して前記映像情報再生装置により決定された前記時間以上前記映像情報再生装置の前記再生時刻が遅れている場合のリピート再生のフレームリピート数より多いことを特徴とした映像情報再生方法。
ネットワークで接続されたコンテンツサーバーから、コンテンツを複数の映像情報再生装置で受信し、復号し再生する映像情報再生方法であって、
前記映像情報再生装置において、コンテンツ切替を検出し、そのタイミングを通知するコンテンツ切替通知ステップと、
前記コンテンツサーバーにおいて、前記コンテンツ切替通知ステップからのコンテンツ切替通知を受け、前記コンテンツ切替について同期すべき前記複数の前記映像情報再生装置を抽出する再生装置抽出ステップと、
前記コンテンツサーバーにおいて、前記再生装置抽出ステップにより前記抽出された前記複数の前記映像情報再生装置に対して、再生中の再生時刻を要求する再生時刻要求通知ステップと、
前記映像情報再生装置において、前記再生時刻要求通知ステップからの要求を受け、前記再生中の前記再生時刻を通知する再生時刻通知ステップと、
前記コンテンツサーバーにおいて、前記再生時刻通知ステップで得られた前記抽出された前記複数の前記映像情報再生装置の現在の前記再生時刻から、基準とする再生時刻を基準再生時刻として決定し、前記抽出された前記複数の前記映像情報再生装置に通知する基準再生時刻通知ステップと、
前記映像情報再生装置において、前記基準再生時刻通知ステップで得られた前記基準再生時刻と、前記再生時刻要求通知ステップにおいて、前記再生時刻要求を受けた時点の前記再生時刻とを比較し、前記同期すべき前記複数の前記映像情報再生装置の前記再生時刻要求を受けた時点の前記再生時刻が、前記基準再生時刻に対し、遅れているか、進んでいるかに応じて、前記同期すべき前記複数の前記映像情報再生装置の再生中の再生フレームをスキップ再生、または、リピート再生することにより、前記同期すべき前記複数の前記映像情報再生装置の前記再生中の前記再生フレームを調整する再生フレーム調整ステップと、を有し、
前記再生フレーム調整ステップにおいて、フレームのスキップ再生機能でフレーム調整をする場合、
前記映像情報再生装置の再生時刻が前記基準再生時刻に対して前記映像情報再生装置により決定された時間内に収まる場合のスキップ再生のフレームスキップ数は、
前記基準再生時刻に対して前記映像情報再生装置により決定された前記時間以上前記映像情報再生装置の前記再生時刻が進んでいる場合のスキップ再生のフレームスキップ数より多く、
前記基準再生時刻に対して前記映像情報再生装置により決定された前記時間以上前記映像情報再生装置の前記再生時刻が遅れている場合のスキップ再生のフレームスキップ数より少ないことを特徴とした映像情報再生方法。
基準再生時刻通知ステップにおいて、抽出された複数の映像情報再生装置から通知される再生時刻を集計し、平均値に最も近い再生時刻を基準再生時刻として、前記抽出された複数の映像情報再生装置に通知する
ことを特徴とした請求項１から請求項３のいずれか１項に記載の映像情報再生方法。
基準再生時刻通知ステップにおいて、抽出された複数の映像情報再生装置から通知される再生時刻を集計し、最も遅れた再生時刻を基準再生時刻として、前記抽出された複数の映像情報再生装置に通知することを特徴とした請求項１から請求項３のいずれか１項に記載の映像情報再生方法。
基準再生時刻通知ステップにおいて、再生誤差検出ステップに基づいた基準再生時刻を、抽出された複数の映像情報再生装置から通知される再生時刻を集計し、最も進んだ再生時刻を前記基準再生時刻として、前記抽出された複数の映像情報再生装置に通知することを特徴とした請求項１から請求項３のいずれか１項に記載の映像情報再生方法。
再生時刻誤差検出ステップで検出された再生時刻の誤差が、再生フレーム調整ステップによる調整により同期化が可能な範囲内かどうか判断する判断ステップと、
前記判断ステップで同期化が可能な範囲内ではないと判断された場合、現在再生中のコンテンツの再生を中断し、バッファメモリに蓄積されているコンテンツのデータを破棄する破棄ステップと、
再生を中断した映像情報再生装置において、次のコンテンツを受信した時点より、コンテンツのデータをバッファメモリに蓄積する蓄積ステップと、
コンテンツサーバーから、基準となる映像情報再生装置が次のコンテンツの再生を開始したタイミングの通知を受け、前記再生を中断した映像情報再生装置が次のコンテンツの再生を開始する開始制御ステップと、
をさらに有することを特徴とする請求項１から請求項６のいずれか１項に記載の映像情報再生方法。
コンテンツがＭＰＥＧ２またはＨ．２６４で符号化されたものであることを特徴とする請求項１から請求項７のいずれか１項に記載の映像情報再生方法。
ネットワークで接続されたコンテンツサーバーから、コンテンツを複数の映像情報再生装置で受信し、復号し再生する映像情報再生システムであって、
前記映像情報再生装置において、コンテンツ切替を検出し、そのタイミングを通知するコンテンツ切替通知手段と、
前記コンテンツサーバーにおいて、前記コンテンツ切替通知手段からのコンテンツ切替通知を受け、前記コンテンツ切替について同期すべき前記複数の前記映像情報再生装置を抽出する再生装置抽出手段と、
前記コンテンツサーバーにおいて、前記再生装置抽出手段により前記抽出された前記複数の前記映像情報再生装置に対して、再生中の再生時刻を要求する再生時刻要求通知手段と、前記映像情報再生装置において、前記再生時刻要求通知手段からの要求を受け、前記再生中の前記再生時刻を通知する再生時刻通知手段と、
前記コンテンツサーバーにおいて、前記再生時刻通知手段で得られた前記抽出された前記複数の前記映像情報再生装置の現在の前記再生時刻から、基準とする再生時刻を基準再生時刻として決定し、抽出された前記複数の前記映像情報再生装置に通知する基準再生時刻通知手段と
前記映像情報再生装置において、前記基準再生時刻通知手段で得られた前記基準再生時刻と、前記再生時刻要求通知手段において、前記再生時刻要求を受けた時点の前記再生時刻とを比較し、前記映像情報再生装置の前記再生時刻要求を受けた時点の前記再生時刻が、前記基準再生時刻に対し、遅れている場合に、前記映像情報再生装置の再生中の再生フレームをスキップ再生する、または、前記映像情報再生装置の前記再生時刻要求を受けた時点の前記再生時刻が、前記基準再生時刻に対し、進んでいる場合に、前記映像情報再生装置の再生中の再生フレームをリピート再生することにより、前記映像情報再生装置の前記再生中の前記再生フレームを調整する再生フレーム調整手段と、を有し、
再生フレーム調整手段において、フレームのリピート再生機能でフレーム調整をする場合、前記映像情報再生装置の再生時刻が基準再生時刻に対して前記映像情報再生装置により決定された時間内に収まる場合のフレーム再生のフレームリピート数は、前記基準再生時刻に対して前記映像情報再生装置により決定された前記時間以上前記映像情報再生装置の前記再生時刻が進んでいる場合のフレーム再生のフレームリピート数より少なく、
前記基準再生時刻に対して前記映像情報再生装置により決定された前記時間以上前記映像情報再生装置の前記再生時刻が遅れている場合のフレーム再生のフレームリピート数より多い又は同じであり、
前記再生フレーム調整手段において、フレームのスキップ再生機能でフレーム調整をする場合、前記映像情報再生装置の再生時刻が前記基準再生時刻に対して前記映像情報再生装置により決定された時間内に収まる場合のフレーム再生のフレームスキップ数は、前記基準再生時刻に対して前記映像情報再生装置により決定された前記時間以上前記映像情報再生装置の前記再生時刻が進んでいる場合のフレーム再生のフレームスキップ数より多い又は同じであり、
前記基準再生時刻に対して前記映像情報再生装置により決定された前記時間以上前記映像情報再生装置の前記再生時刻が遅れている場合のフレーム再生のフレームスキップ数より少ないことを特徴とした映像情報再生システム。
基準再生時刻通知手段において、抽出された複数の映像情報再生装置から通知される再生時刻を集計し、平均値に最も近い再生時刻を基準再生時刻として、前記抽出された複数の映像情報再生装置に通知することを特徴とした請求項９に記載の映像情報再生システム。
基準再生時刻通知手段において、抽出された複数の映像情報再生装置から通知される再生時刻を集計し、最も遅れた再生時刻を基準再生時刻として、前記抽出された複数の映像情報再生装置に通知することを特徴とした請求項９に記載の映像情報再生システム。
基準再生時刻通知手段において、再生誤差検出手段に基づいた基準再生時刻を、抽出された複数の映像情報再生装置から通知される再生時刻を集計し、最も進んだ再生時刻を前記基準再生時刻として、前記抽出された複数の映像情報再生装置に通知することを特徴とした請求項９に記載の映像情報再生システム。
再生時刻誤差検出手段で検出された再生時刻の誤差が、再生フレーム調整手段による調整により同期化が可能な範囲内かどうか判断する判断手段と、
前記判断手段で同期化が可能な範囲内ではないと判断された場合、現在再生中のコンテンツの再生を中断し、バッファメモリに蓄積されているコンテンツのデータを破棄する破棄手段と、
再生を中断した映像情報再生装置において、次のコンテンツを受信した時点より、コンテンツのデータをバッファメモリに蓄積する蓄積手段と、
コンテンツサーバーから、基準となる映像情報再生装置が次のコンテンツの再生を開始したタイミングの通知を受け、前記再生を中断した映像情報再生装置が次のコンテンツの再生を開始する開始制御手段と、
をさらに有することを特徴とする請求項９から請求項１２のいずれか１項に記載の映像情報再生システム。
コンテンツがＭＰＥＧ２またはＨ．２６４で符号化されたものであることを特徴とする請求項９から請求項１３のいずれか１項に記載の映像情報再生システム。