JP4188402B2 - 映像受信装置 - Google Patents

Description

この発明は、ネットワークを介して伝送されてきた映像データの受信時に発生する遅延時間を軽減して映像再生を行う映像受信装置に関するものである。

近年、ネットワークを経由させて、送信側より映像・音声の高能率符号化の標準ＭＰＥＧ（Moving Picture Experts Group）−４ビデオ等に代表される映像データを伝送し、受信側においてこれを復号化して映像再生を行う映像伝送システムが実現されるようになった。このようなシステムでは、受信側で復号化後、送信側における映像サンプリング時のタイムスタンプに合わせて映像データを出力させている。この受信再生方法では、第１映像フレーム目として伝送する映像データのサイズがネットワークの伝送速度に比べて大きい場合、その映像フレームの伝送遅延が原因となり再生側の表示に遅延が生じ、その後の映像ストリームが全てその遅延を有するまま再生されることになっていた。例えば第１映像フレーム目のサイズをＳｖ１とし、ネットワーク伝送速度をＲｖとすると、第１映像フレームのネットワーク伝送時間はＳｖ１／Ｒｖとなる。通常、第１映像フレームが再生開始可能となった時間を起点として映像表示を開始し、続く映像フレームは各映像フレームに設定されている表示時間に合わせて表示を行っている。このことにより、撮影した映像と同じ動きの映像の再生がネットワーク経由で可能となる。

しかし、上記状況下では、第１フレーム目の映像については、先頭のパケットが到着してから上記ネットワーク伝送時間Ｓｖ１／Ｒｖ後に全てのデータが揃うことになり、送信側遅延やデコード遅延とは別に少なくともＳｖ１／Ｒｖの遅延が生じることになる。Ｓｖ１≪Ｒｖの場合はその遅延は小さいが、Ｓｖ１≫Ｒｖの場合は遅延が大きく、さらに第１フレーム目の表示時間を起点として表示タイミングを計算する後続の映像フレーム全てがその遅延を有して再生されることになる。このような現象はライブ配信等のリアルタイム性が要求される場合においては大きな問題となっていた。

この問題を解決するのに適用できそうな方法として、特開平１１−２６２００８号公報（文献１とする。）に記載された技術がある。文献１に記載されているものは、符号化ストリームのビットレートが変動するシステムにおいて、ビットレートが低く設定された場合にも遅延時間を短く維持可能とする符号化装置である。この技術は、主にＭＰＥＧをターゲットにしており、ストリームのビットレートが低く設定された場合にはＶＢＶ（Video Buffering Verifier）バッファ容量を減少させることにより、ストリーム配信中にビットレートが低ビットレートに変更された場合でも、復号化側における遅延が増加することなく映像データをストリーム配信可能とするものである。

文献１に記載された技術を上記問題点を解決するために適用する場合、最大許容遅延時間で復号化可能なＶＢＶバッファ量を設定し、そのＶＢＶバッファサイズを使用して送信側で映像を符号化することで遅延時間を最大許容遅延時間内に抑えることが可能である。しかしながら、アプリケーションによってはＶＧＡ（Video Graphics Array；640×480のサイズの表示解像度）レベルの比較的大きな画面の映像を低帯域ネットワークで送信するシステム要求も存在するので、そのような場合には最大許容遅延時間を満足するようにＶＢＶバッファを設定すると画質面で問題が生じる可能性がある。特に、第１映像フレーム目の画像はイントラフレームである可能性が高いため、最大許容遅延時間を満たすＶＢＶバッファ容量で符号化したストリームの場合、画像の劣化が予想される。

この発明は、上記のような課題を解決するためになされたもので、受信側でデコード画像の表示時間管理を行うことにより、ＶＢＶバッファ容量をネットワーク帯域に対応して制限することなく、低帯域のネットワークを介して映像データを受信する場合でも遅延時間を少なくして再生可能にする映像受信装置を得ることを目的とする。

この発明に係る映像受信装置は、符号化された映像データとこの映像データの表示タイムスタンプをパケットによりネットワークを介して受信し、第１パケットの受信時に第１パケット到着通知を出力すると共に、各パケットを順次出力する映像受信部と、順次入力されるパケットから１映像フレーム分ごとの映像データを復号して該当映像フレームの表示タイムスタンプと共に出力する映像復号化部と、映像復号化部からの映像データと該当映像フレームの表示タイムスタンプを受信した際、入手した現在の表示時間と表示タイムスタンプに基づいて映像の表示を開始すると共に、表示開始通知を出力する映像出力部と、映像データの受信開始後から第１映像フレーム目の表示を行うまでの最大許容遅延時間が予め設定されており、第１パケット到着通知を受けると時間計測を開始し、当該計測値が前記最大許容遅延時間に達する前に映像出力部からの表示開始通知を受信した場合、および第１パケット到着通知を受けてから表示開始通知を受ける前に最大許容遅延時間を経過した場合のいずれか早い方の場合を起点にして表示時間の計測を行う表示時間管理を開始し、また映像出力部からの問い合わせに対して現在の表示時間を返す時間管理部とを備え、映像出力部は、計測された表示時間に基づいて次の映像フレームの映像データの表示を開始するようにしたものである。

このことによって、第１映像フレームは伝送時間が大きく、最大許容遅延時間を越えて復号化された場合でも、第２映像フレーム以降は表示時間通りに表示することが可能となり、ＶＢＶバッファ容量をネットワーク帯域に対応して制限することなく、低帯域のネットワークを介して映像データを受信する場合でも遅延時間を少なくして再生可能にする効果がある。

この発明の実施の形態１および実施の形態２による映像受信装置が適用された映像伝送システムの基本構成を示すブロック図である。 この発明の実施の形態１による映像受信装置の機能構成を示すブロック図である。 この発明の実施の形態１に係る時間管理部の動作を示すフローチャートである。 この発明の実施の形態１に係る映像フレームの送受信および表示の状況を簡易的に示したタイムチャートである。 最大許容遅延時間の設定機能を有さない映像受信装置適用時の映像フレームの送受信および表示の状況を簡易的に示したタイムチャートである。 この発明の実施の形態２による映像受信装置の機能構成を示すブロック図である。 この発明の実施の形態３乃至実施の形態５の映像受信装置が適用される映像・音声伝送システムの基本構成を示すブロック図である。 この発明の実施の形態３による映像受信装置の機能構成を示すブロック図である。 この発明の実施の形態４による映像受信装置の機能構成を示すブロック図である。 この発明の実施の形態５による映像受信装置の機能構成を示すブロック図である。

以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
実施の形態１と実施の形態２では、映像としてＭＰＥＧ−４ビデオを使用し、ＩＰネットワーク上でＩＥＴＦ（Internet Engineering Task Force） ＲＦＣ（Request for Comments）３５５０で規定されているＲＴＰ（Real-time Transport Protocol）を使用して映像や音声のリアルタイムデータを伝送する映像伝送システムを例に説明を行う。本例ではＭＰＥＧ−４の１ＶＯＰ（Video Object Plane）は複数のＲＴＰ（Real-time Transport Protocol）パケットに分割されて送信され、ＭＰＥＧ−４ビデオをＲＴＰパケットに格納する方式についてはＩＥＴＦ ＲＦＣ３０１６で規定されている形式を使用するものとする。

図１はこの発明の実施の形態１および実施の形態２による映像受信装置が適用された映像伝送システムの基本構成を示すブロック図である。このシステムは、映像送信装置１０１、映像受信装置１０２、カメラ１０３、モニタ１０４およびネットワーク１０５から構成されている。
図において、カメラ１０３から取り込まれた映像データは、映像送信装置１０１でＭＰＥＧ−４ビデオに符号化され、ＲＴＰパケットによりネットワーク１０５を介して映像受信装置１０２に送信される。このとき、ＲＴＰパケットには、映像データを構成する映像フレームごとのサンプリング時間を表すタイムスタンプも共に組み込まれる。このタイムスタンプは、再生する際の表示時間として用いられる。映像受信装置１０２では、受信したＲＴＰパケットから得られる符号化映像データを復号し、復号された映像データに対応する映像再生をモニタ１０４で行う。

図２は実施の形態１による映像受信装置１０２の機能構成を示すブロック図である。図において、映像受信装置１０２は、映像受信部２０１、映像復号化部２０２、映像出力部２０３および時間管理部２０４を備えている。なお、時間管理部２０４は、ここでは機能の説明上、映像出力部２０３と別に示されているが、映像出力部２０３内に含まれていてもよく、このことは実施の形態２においても同様である。
図２において、時間管理部２０４では、映像データを受信開始後から第１映像フレーム目の表示を行うまでの時間に対する最大許容値を表す最大許容遅延時間を予め設定しておく。映像受信部２０１は、ネットワーク１０５を通じて映像送信装置１０１から送信されたＲＴＰパケットを受信する。映像受信部２０１では、第１パケットを受信すると、時間管理部２０４に対し第１パケット到着通知を送り、パケットの順序入れ替えを保証するためにバッファリングを行う。バッファリング後、映像受信部２０１は、第１パケットから順に映像復号化部２０２にパケットを入力していく。映像復号化部２０２では、入力されたパケットが１映像フレーム分揃うと、１映像フレーム分の復号した映像データを生成し、表示用のタイムスタンプと共に映像出力部２０３に渡す。

映像出力部２０３では、映像復号化部２０２からの映像データと表示用のタイムスタンプを受信すると、時間管理部２０４に対して表示開始通知を送り、モニタ１０４で映像の表示を開始する。ここで、映像の表示は、映像復号化部２０２から入力された表示用のタイムスタンプが示す表示時間のタイミングに合わせて行われるものとする。現在の表示時間については定期的に映像出力部２０３が時間管理部２０４に問い合わせることで知ることができるようになっている。時間管理部２０４は、第１パケット到着通知を受けてから表示開始通知を受けるまでの間に、設定した最大許容遅延時間が経過した場合、表示開始通知が到着する前であっても表示時間の時間管理を開始する。

次に、第１パケット受信から表示時間管理開始までの時間管理部２０４の動作を図３のフローチャートで説明する。
映像受信部２０１から第１パケット到着通知を受信すると（ステップＳＴ１）、時間管理部２０４は内蔵した表示遅延タイマにより時間計測を開始する（ステップＳＴ２）。この表示遅延タイマの計測値が予め設定されている最大許容遅延時間を越えたかどうかを監視する（ステップＳＴ３）。計測値が最大許容遅延時間に達する前に映像出力部２０３より表示開始通知を受信した場合（ステップＳＴ４）、表示遅延タイマは時間計測を終了し、その時点を起点に内蔵した表示時間タイマを用いて表示時間の計測を行う表示時間管理を開始する（ステップＳＴ５）。この場合、表示開始通知を出した映像出力部２０３は映像の表示を開始する。

一方、ステップＳＴ３において、映像出力部２０３から表示開始通知を未だ受信していない状態で表示遅延タイマが予め設定されている最大許容遅延時間に達した場合、その時点で表示時間タイマによる表示時間を計測する表示時間管理を開始する（ステップＳＴ５）。その後、映像出力部２０３から表示開始通知を受信した場合、時間管理部２０４は、すでに表示時間管理が開始されている旨と表示時間タイマの現在の表示時間とを映像出力部２０３へ応答する。これにより映像出力部２０３は最大許容遅延時間を超えていることを認識し、第１映像フレーム分を受け取った時点で映像の表示を開始する。

映像の表示を開始した後、映像出力部２０３は、定期的に時間管理部２０４に問い合わせることにより現在の表示時間を獲得し、復号映像データを映像復号化部２０２から受け取った時点で、その復号映像データの表示用のタイムスタンプが現在の表示時間よりも以前の値の場合には直ちに映像の表示を実施する。

図４は、映像送信装置１０１のカメラ１０３により取り込まれた各映像フレームが映像受信装置１０２に伝送され、表示されるまでの状況を簡易的に示したタイムチャートである。９０１は時間軸を表している。一方、図５は、図４に対比させたタイムチャートで、最大許容遅延時間の設定機能を持たない映像受信装置を用いた場合の状況を示したものである。１００１は時間軸、１００２は最大許容遅延時間の設定機能を有さない映像受信装置である。図４と図５を用いてこの発明の効果について説明する。

両図において、映像送信装置１０１は、カメラ１０３から入力された映像をサンプリングし、符号化し、ネットワークを介して映像送信装置に送信する。ＶＯＰは映像フレームを表しており、ＶＯＰ１のサンプリング時間を表すタイムスタンプＴＳは０、ＶＯＰ２のタイムスタンプＴＳはＴ１、ＶＯＰ３のタイムスタンプＴＳはＴ２、ＶＯＰ４のタイムスタンプＴＳはＴ３である。映像送信装置１０１において、時間０にサンプリングした映像を符号化し、映像フレームＶＯＰ１を取得したとする。この映像フレームＶＯＰ１を、映像送信装置１０１からネットワーク１０５を介して映像受信装置１０２に伝送すると、ネットワーク伝送時間としてＴ１時間費やす。ここでは、映像フレームＶＯＰ１は複数のＲＴＰパケットに分割され伝送されているものとする。次の符号化される映像はＴ１時間後の映像となり、符号化した映像フレームはＶＯＰ２である。同様にＶＯＰ３、ＶＯＰ４も符号化されていく。

映像送信装置１０１から送信された信号が図５に示される最大許容遅延時間の設定機能を持たない映像受信装置１００２で受信された場合、映像受信装置１００２は、映像フレームＶＯＰ１の全てのＲＴＰパケットを受信すると、映像フレームのデータを復号し、表示可能になった時点で表示時間の計測を行う表示時間管理を開始する。そのため、基本的には映像フレームＶＯＰ２はＶＯＰ１の表示後のＴ１時間後に表示が行われ、映像フレームＶＯＰ３はＶＯＰ２表示後のＴ２時間後に表示が実施される。このため、第１映像フレームＶＯＰ１に生じた遅延は、ＶＯＰ２以降の映像フレームにも影響を与え、ＶＯＰ２以降の映像フレームもその遅延を有したまま再生を続けることになる。

一方、映像送信装置１０１から送信された信号が図４に示される最大許容遅延時間の設定を有する映像受信装置１０２で受信された場合、映像受信装置１０２は、映像フレームＶＯＰ１をペイロードに格納する先頭パケットを受信したところで、表示遅延タイマにより最大遅延時間の計測を開始する。この例では、第１映像フレームＶＯＰ１は伝送速度に対して大きなサイズとなっており、ＶＯＰ１の最初のパケットを受信開始して、ＶＯＰ１の最終パケットを受信し終える前に最大許容遅延時間を経過してしまうことになる。そのため、映像フレームＶＯＰ１を表示する前に表示時間管理を開始する。この場合、映像フレームＶＯＰ１が表示可能になった時点では、既に表示時間管理は開始されているため、ＶＯＰ１は直ちに表示される。続く映像フレームＶＯＰ２では、ネットワーク伝送時間に対して大きな映像フレームではなく、その映像フレームに設定されている表示時間より前に復号が可能であるため、設定された表示時間通りに表示される。その後、映像フレームＶＯＰ３、ＶＯＰ４、…と順次それぞれの設定された表示時間通りに表示することが可能である。

以上のように、第１映像フレームＶＯＰ１は伝送時間が最大許容遅延時間より長かったため管理している平均的な表示時間より遅れて表示を開始するが、第２映像フレームＶＯＰ２以降は表示時間通りに表示することが可能となる。つまり、伝送速度に対してサイズが大きい映像フレームが第１映像フレーム目に存在した場合でも、第１映像フレームの映像表示は最大許容遅延時間分より遅延するが、その後システムで想定している平均的なサイズの映像フレームで構成される映像が送信される場合には、第１映像フレーム目の遅延は後続の映像フレームの表示時間には影響せず、映像ストリームの第１パケットを受信してから最大でも最大許容遅延時間の遅延で時間管理をしながら映像表示を行うことが可能となる。なお、映像出力部２０３において、表示時間に遅れて復号された映像フレームについては復号のみ行い、表示を実施しないことも可能である。その場合、この発明では、映像フレーム落ちは発生するが、遅れて到着した映像フレームを表示したことにより生じる不自然な速度の動きの発生を防止することも可能となる。

以上のように、この実施の形態１によれば、時間管理部２０４において、映像データの受信開始後から第１映像フレーム目の表示を行うまでの最大許容遅延時間が予め設定されており、映像受信部２０１から第１パケット到着通知を受けると時間計測を開始し、当該計測値が最大許容遅延時間に達する前に映像出力部２０３からの表示開始通知を受信した場合、および第１パケット到着通知を受けてから表示開始通知を受ける前に最大許容遅延時間を経過した場合のいずれか早い方の場合を起点にして表示時間の計測を行う表示時間管理を開始し、また映像出力部２０３からの問い合わせに対して現在の表示時間を返すようにし、映像出力部２０３が、計測された表示時間に基づいて次の映像フレームの映像データの表示を開始するようにしている。したがって、第１映像フレームは伝送時間が大きく、最大許容遅延時間を越えて復号化された場合でも、第２映像フレーム以降は表示時間通りに表示することが可能となる。そのため、ＶＢＶバッファ容量をネットワーク帯域に対応して制限することなく、低帯域のネットワークを介して映像データを受信する場合でも遅延時間を少なくして再生可能にする。

実施の形態２．
図６は実施の形態２による映像受信装置の機能構成を示すブロック図である。この図に示される映像受信装置１０２の構成は、実施の形態１の図２と比較すると、表示時間変換部３０１が追加され、映像出力部２０３の代わりに映像出力部３０３が設けられている。この映像出力部３０３は、上記映像出力部２０３の機能に加え、映像表示前に表示する映像フレームの表示用のタイムスタンプと現在の表示時間を表示時間変換部３０１に渡す機能を有している。表示時間変換部３０１は、表示時間に遅れた映像フレームの当該表示時間を徐々に戻すための予め設定された所定の時間パラメータを用いタイムスタンプと現在の表示時間に遅れによる差がある場合、その後順次受信される映像フレームのタイムスタンプを現在の表示時間と一致するまで徐々に補正していく手段である。以下の説明において、図２に相当する部分に対する重複説明を原則として省略するものとする。

映像出力部３０３は、映像復号化部２０２で復号された映像フレームを受信すると、時間管理部２０４に現在の表示時間を問い合わせる。映像出力部３０３は、得られた現在の表示時間を、受信した映像フレームの表示用のタイムスタンプと共に表示時間変換部３０１に渡す。表示時間変換部３０１は、受け取ったタイムスタンプを現在の表示時間と比較し、そのタイムスタンプが現在の表示時間よりも遅れている場合には、遅延時間ΔＴｄを求め、その遅延時間ΔＴｄと現在の表示時間Ｔｍを記憶し、タイムスタンプと現在の表示時間についてはそのまま映像出力部３０３に対して返す。映像出力部３０３は、その映像フレームをモニタ１０４に表示させ、その後、続く次の映像フレームを映像復号化部２０２より受信すると、時間管理部２０４に現在の表示時間を問い合わせ、同様に表示時間変換部３０１にその映像フレームの表示用のタイムスタンプＴＳｐと現在の表示時間Ｔｐを渡す。

ここで、表示時間変換部３０１には、表示時間に遅れた映像フレームが存在した場合にその表示時間を徐々に戻すための時間パラメータＴｒが予め設定されているものとする。表示時間変換部３０１では、記憶していた遅延時間ΔＴｄを時間パラメータＴｒで割った値（ΔＴｄ÷Ｔｒ）を得る。次に、記憶している表示時間ＴｍとタイムスタンプＴＳｐの差分をこの（ΔＴｄ÷Ｔｒ）に乗算した値ΔＴを求め、さらにΔＴを遅延時間ΔＴｄから減じた値を計算し、映像出力部３０３から受け取ったタイムスタンプＴＳｐに（ΔＴｄ−ΔＴ）を加算した値ＴＳｐ’を補正後の表示用のタイムスタンプとして返す。この補正動作は、映像出力部３０３が復号化した映像を受け取る度に一度のみ実行する。

最終的に表示時間変換部３０１が映像出力部３０３に返す補正後の表示用のタイムスタンプＴＳｐ’の計算式は（１）、（２）式のようになる。
ΔＴ＝（ＴＳｐ−Ｔｍ）×（ΔＴｄ÷Ｔｒ） （１）
ＴＳｐ’＝ＴＳｐ＋（ΔＴｄ−ΔＴ） （２）
ここで、（ΔＴｄ−ΔＴ）が負の値になった場合には表示時間変換処理は終了し、受信した表示用のタイムスタンプをそのまま返すこととする。また、表示用のタイムスタンプＴＳｐに（ΔＴｄ−ΔＴ）を加算した値（補正後の表示用タイムスタンプＴＳｐ’）が現在の表示時間より小さかった（過去の時間を示している）場合、再度遅延時間ΔＴと現在の表示時間Ｔｍを受信した値として記憶し直す。

以上のように、この実施の形態２によれば、表示時間変換部３０１において、復号された映像フレームを順次受信した際に映像出力部３０３が時間管理部２０４から得た現在の表示時間を、対応する映像フレームのタイムスタンプと共に受信し、最初の映像フレームのタイムスタンプが現在の表示時間よりも遅れている場合にはその遅延時間を求めて現在の表示時間と共に記憶しておき、表示時間に遅れた映像フレームの当該表示時間を徐々に戻すための予め設定された所定の時間パラメータと、記憶していた遅延時間および表示時間と、次に受け取った映像フレームに関する現在の表示時間に基づいて、次に受け取ったタイムスタンプを補正し、映像出力部３０３が、表示時間変換部３０１から返される元のタイムスタンプまたは補正後のタイムスタンプと、対応した現在の表示時間に基づいて映像の表示を行うようにしている。したがって、管理する表示時間に対し、表示時間に遅延して復号された映像フレームが存在した場合には、次映像フレーム以降の映像の表示時間を一度に正常に戻すと、動きが不自然になる可能性があるが、上記のように一定時間かけて徐々に正常な表示時間に近付けることで、自然に表示時間を元に戻すことが可能となる。

実施の形態３．
この実施の形態３では、上記各実施の形態と同様に、映像としてＭＰＥＧ−４ビデオを使用し、ＩＰネットワーク上でＩＥＴＦ ＲＦＣ３５５０で規定されているＲＴＰを使用して伝送する映像・音声伝送システムを例に説明する。また、ＭＰＥＧ−４の１ＶＯＰは複数のＲＴＰパケットに分割されて送信され、ＭＰＥＧ−４ビデオをＲＴＰパケットに格納する方式についてはＩＥＴＦ ＲＦＣ３０１６で規定されている形式を使用するものとする。なお、続く実施の形態４および実施の形態５の場合も同じ条件に適用されたものとする。

図７は実施の形態３乃至実施の形態５の映像受信装置が適用される映像・音声伝送システムの基本構成を示すブロック図である。この場合の映像伝送システムは、映像送信装置４０１、映像受信装置４０２、マイク４０３、スピーカ４０４およびネットワーク１０５から構成されている。
図において、映像送信装置４０１は、カメラ１０３から入力された映像データとマイク４０３から入力された音声データを符号化し、両者を同期させて別々のポートを使用してＲＴＰでストリーミング送信を行う。映像受信装置４０２は、別々のポートで受信した映像と音声のストリームから映像データと音声データを復号し、それぞれのタイムスタンプ情報を基に同期してそれぞれモニタ１０４とスピーカ４０４に出力し、映像と音声の再生を行う。

図８は実施の形態３による映像受信装置４０２の機能構成を示すブロック図である。図において、映像受信装置４０２は、映像受信部５０１、映像復号化部５０２、映像出力部５０３、時間管理部５０４、音声受信部５０５、音声復号化部５０６および音声出力部５０７を備えている。映像受信部５０１と映像復号化部５０２は、図２の映像受信部２０１と映像復号化部２０２と機能的に同じである。
図８において、映像受信部５０１は、映像の第１パケットを受信すると、時間管理部５０４に対し第１パケット到着通知を送る。映像復号化部５０２では、バッファリング後、映像受信部５０１から入力されるパケットが１映像フレーム分揃うと、１映像フレーム分の復号した映像データを生成し、表示用のタイムスタンプと共に映像出力部５０３に渡す。映像出力部５０３では、復号された第１映像フレームを映像復号化部５０２より受け取ると、表示準備完了通知とその第１映像フレームの表示用のタイムスタンプを時間管理部５０４に対して送る。

一方、音声受信部５０５は、音声パケットを受信すると、時間管理部５０４に対して第１パケットの到着通知を送り、映像と同様にバッファリングすることでパケットの順序入れ替わりを保証し、その後、音声復号化部５０６に音声パケットを出力する。音声復号化部５０６では、符号化された音声を復号化し、復号データとしてＰＣＭ（Pulse Code Modulation）データを音声出力部５０７に出力する。音声出力部５０７では、最初のＰＣＭデータを音声復号化部５０６より受信すると、時間管理部５０４に対して、表示準備完了通知と先頭のＰＣＭデータのタイムスタンプを送る。

時間管理部５０４では、映像と音声のタイムスタンプの同期をとる機能を有している。時間管理部５０４は、あらかじめ同一時刻を示す映像と音声のタイムスタンプの対応付けを知っており、双方の表示準備完了通知を受け取った場合、双方のタイムスタンプの内、時刻として過去を表しているタイムスタンプを起点に時間管理を開始して、その時点で、映像出力部５０３と音声出力部５０７に対して表示開始指示を返す。映像出力部５０３と音声出力部５０７は、表示開始指示を受信すると、定期的に時間管理部５０４に対して表示時間の問い合わせを行いながら同期したタイムスタンプに基づいて映像の表示と音声の再生を行う。ここで時間管理部５０４は各メディアのタイムスタンプの時刻表示に変換した値で時間情報を返すものとする。

また、時間管理部５０４には、図２の時間管理部２０４と同様に最大許容遅延時間が設定されている。時間管理部５０４は、映像または音声のいずれか一方の第１パケット到着通知を受信すると内蔵の表示遅延タイマにより時間計測を開始し、当該第１パケット到着通知を受けてから映像表示準備完了通知を受けるまでの間に、設定した最大許容遅延時間が経過した場合、映像の表示準備完了通知が到着する前であっても、その時点で、内蔵の表示時間タイマを用いて表示時間の計測を行う表示時間管理を開始する。この表示時間管理の開始時点では、既に音声出力部５０７からの音声の表示準備完了通知を受信しているので、表示開始指示を音声出力部５０７に送り音声の第１パケットのタイムスタンプを起点に表示時間管理を開始して、映像の表示と音声の再生を行わせる。

以上のように、この実施の形態３によれば、時間管理部５０４において、最大許容遅延時間の設定に加え、かつ映像と音声のタイムスタンプの同期関係を知っており、映像または音声のいずれか一方の第１パケット到着通知を受けると時間計測を開始し、当該計測値が最大許容遅延時間に達する前に映像側の表示準備完了通知を受けた場合、および第１パケット到着通知を受けてから映像側の表示準備完了通知を受ける前に最大許容遅延時間を経過した場合のいずれか早い方を起点にして表示時間の計測を行う表示時間管理を開始し、当該表示時間管理の開始時点に表示開始指示を映像出力部と前記音声出力部に対して送り、また前記映像出力部と前記音声出力部からの定期的な問い合わせに対して現在の表示時間を返すようにし、映像出力部５０３と音声出力部５０７は、前記表示開始指示をそれぞれ受信すると、タイムスタンプと現在の表示時間に基づいて映像の表示および音声の再生を開始するようにしている。

通常、音声の１サンプルはネットワーク帯域と比較してネットワーク伝送時間が問題になるほど大きなサイズになることは無いため、この実施の形態３でも、最大許容遅延時間の処理対象は映像ストリームについて行うことになる。したがって、伝送速度に対してサイズが大きい映像フレームが第１映像フレーム目に存在した場合には、その第１映像フレームの映像表示は最大許容遅延時間分より遅延して行われる。そのため、本来対応している音声と同期しないことになる。しかし、その後、この映像・音声伝送システムで想定している平均的なサイズの映像フレームで構成される映像が送信される場合、第１映像フレーム目の遅延は、この実施の形態３で許容範囲に補正されることにより、後続する映像フレームの表示時間には影響を及ぼさなくなる。その結果、音声は、第１映像フレームを構成する最終のパケットを受信してから最大でも最大許容遅延時間分の遅延で映像表示と同期しながら再生されることが可能となる。

実施の形態４．
図９は実施の形態４による映像受信装置の機能構成を示すブロック図である。この図に示される映像受信装置４０２の構成は、実施の形態３の図８と比較すると、表示履歴記憶部６０１が追加され、時間管理部５０４の代わりに時間管理部６０４が設けられている。表示履歴記憶部６０１は映像の表示用のタイムスタンプと対応する表示時間を表示履歴情報として記憶する手段である。また、映像出力部６０２は、映像を出力した時間とタイムスタンプを時間管理部６０４に通知する機能を加えたものである。時間管理部６０４は、図８の時間管理部５０４の機能に追加して、表示履歴記憶部６０１の表示履歴情報を監視し、タイムスタンプが表示時間に対して一定以上の時間連続して遅れた場合には一時停止時間を含む再同期通知を行う機能を有している。以下の説明において、図８に相当する部分に対する重複説明は原則として省略するものとする。

時間管理部６０４は、最大許容遅延時間を経過した場合の表示時間管理を開始したときには、映像フレームの表示用のタイムスタンプと対応する表示時間を表示履歴記憶部６０１に記録して、表示履歴情報を監視する。表示履歴情報において、タイムスタンプが一定以上の時間連続して対応する表示時間に対して遅れている場合、再同期通知を音声出力部５０７に送る。この再同期通知は一時停止時間を含むものである。一時停止時間は、表示履歴記憶部６０１の表示履歴情報に基づいて、映像が表示時間に合わせて十分表示可能となるように設定されている。再同期通知を行った場合、音声出力部５０７は一時停止時間に合わせて音声の再生を停止し、映像が表示可能となった状態で再開する。再同期通知以降、時間管理部６０４は一時停止時間分遅れた時間を現在の表示時間として映像出力部６０２および音声出力部５０７からの問い合わせに対し返すようにし、音声出力部５０７は返された一時停止時間分遅れた現在の表示時間に基づいて音声を再生する。

以上のように、この実施の形態４によれば、時間管理部６０４は、最大許容遅延時間を経過した場合の表示時間管理の開始において該当する映像のタイムスタンプと対応する表示時間を表示履歴情報として表示履歴記憶部６０１に記憶し、この表示履歴情報におけるタイムスタンプが対応する表示時間に対して一定以上の時間連続して遅れている場合には一時停止時間を含む再同期通知を音声出力部５０７に通知し、その再同期通知以降、一時停止時間分遅れた時間を現在の表示時間として映像出力部６０２と音声出力部５０７からの問い合わせに対し返し、音声出力部５０７は、時間管理部６０４から受信した再同期通知の一時停止時間に従って音声の再生を停止し、その後返された一時停止時間分遅れた現在の表示時間に基づいて音声を再生するようにしている。したがって、最大許容遅延時間の設定時に想定していた平均的なサイズ以上の映像フレームが続いた場合には、音声の再生を一時停止し、再同期を行うことで映像の表示と音声の同期を可能にする。

実施の形態５．
図１０は実施の形態５による映像受信装置の機能構成を示すブロック図である。この図に示される映像受信装置４０２の構成は、実施の形態４の図９と比較すると、出力時間変換部７０１が追加され、音声出力部５０７の代わりに音声出力部７０７が設けられている。音声出力部７０７は、上記音声出力部５０７のように一時停止通知の受信時に音声再生の一時停止を行うのではなく、出力時間変換部７０１で変換されたタイムスタンプに合わせて音声を出力する機能を有しているものである。そのため、出力時間変換部７０１は、後述するように、音声データと映像データ間の遅延時間を算出し、音声のタイムスタンプを当該遅延時間で補正した変換タイムスタンプを生成する手段である。

図１０の場合の音声出力部７０７では、時間管理部６０４より一時停止時間を含む再同期通知を受信すると、出力時間変換部７０１に対して、現在の表示時間と一時停止時間を通知する。出力時間変換部７０１は、受信した一時停止時間Ｔｓを予め設定された再同期処理時間で除算した値ΔＴｐを求める。その後出力する音声データが音声出力部７０７に到着した場合、音声出力部７０７は、時間管理部６０４に問い合わせて得た音声の表示用のタイムスタンプＴＳｐを出力時間変換部７０１に渡す。出力時間変換部７０１では、タイムスタンプＴＳｐから一時停止時間Ｔｓを減算した値Ｔｔを求める。さらに、タイムスタンプＴＳｐと再同期通知が到着した時間Ｔｍの差分を上記値ΔＴｐに乗算し、その積を上記値Ｔｔに加算した結果ＴＳｐ’を、出力タイムスタンプとして音声出力部７０７に返す。最終的に出力時間変換部７０１が音声出力部７０７に返す変換タイムスタンプＴＳｐ’の計算式は（３）、（４）式のようになる。
Ｔｔ＝ＴＳｐ−Ｔｓ （３）
ＴＳｐ’＝Ｔｔ＋（ＴＳｐ−Ｔｍ）×ΔＴｐ （４）

出力時間変換部７０１は、再同期通知が到着した時刻から、設定されている再同期処理時間が経過した時点で出力時間変換の処理を終了する。音声出力部７０７は、変換タイムスタンプによる出力時間に合わせて音声を出力することになり、音声が途切れることなく、映像の表示と音声の再生を再同期することが可能となる。但し音声の場合は、サンプリングタイミングと同様のタイミングで再生を行わないと雑音や歪みが発生する可能性があり、サンプルの補正等を行うことも必要となるが、その方法についてはこの実施の形態５では特定せず、一般的な方法を使用することとする。

以上のように、この実施の形態５によれば、出力時間変換部７０１により、一時停止時間、予め設定された再同期処理時間、音声のタイムスタンプおよび再同期通知が到着した時間に基づいて、音声データと映像データ間の遅延時間を算出し、音声のタイムスタンプに当該遅延時間を加算した変換タイムスタンプを生成して音声出力部７０７に返し、音声出力部７０７が、この変換タイムスタンプに合わせて音声の再生を行うようにしたものである。したがって、音声データの再生開始後、一定時間経過後も音声データと映像データ間に遅延時間が存在し、同期再生処理が不可能な場合には、映像データと音声データとの同期再生が正常に戻るまで音声の再生時間に遅延時間を加算して再生することができる。

以上のように、この発明に係る映像受信装置は、受信側でデコード画像の表示時間管理を行うことにより、低帯域のネットワークを介して映像データを受信する場合において遅延時間を少なくして再生可能にすることができるので、リアルタイムな映像を遠隔で扱う監視システムに適している。

Claims (6)

1. 符号化された映像データとこの映像データの表示タイムスタンプをパケットによりネットワークを介して受信し、第１パケットの受信時に第１パケット到着通知を出力すると共に、各パケットを順次出力する映像受信部と、
   順次入力されるパケットから１映像フレーム分ごとの映像データを復号して該当映像フレームの表示タイムスタンプと共に出力する映像復号化部と、
   復号された映像データと該当映像フレームの表示タイムスタンプを受信した際、入手した現在の表示時間と前記表示タイムスタンプに基づいて映像の表示を開始すると共に、表示開始通知を出力する映像出力部と、
   映像データの受信開始後から第１映像フレーム目の表示を行うまでの最大許容遅延時間が予め設定されており、前記第１パケット到着通知を受けると時間計測を開始し、当該計測値が前記最大許容遅延時間に達する前に前記映像出力部からの表示開始通知を受信した場合、および前記第１パケット到着通知を受けてから前記表示開始通知を受ける前に前記最大許容遅延時間を経過した場合のいずれか早い方の場合を起点にして表示時間の計測を行う表示時間管理を開始し、また前記映像出力部からの問い合わせに対して現在の表示時間を返す時間管理部とを備え、
   前記映像出力部は、計測された表示時間に基づいて次の映像フレームの映像データの表示を開始することを特徴とする映像受信装置。
2. 復号された映像フレームを順次受信した際に映像出力部が時間管理部から得た現在の表示時間を、対応する映像フレームの表示タイムスタンプと共に受信し、最初の映像フレームの表示タイムスタンプが現在の表示時間よりも遅れている場合にはその遅延時間を求めて現在の表示時間と共に記憶しておき、表示時間に遅れた映像フレームの当該表示時間を徐々に戻すための予め設定された所定の時間パラメータと、前記記憶していた遅延時間および表示時間と、次に受け取った映像フレームに関する現在の表示時間に基づいて、次に受け取った表示タイムスタンプを補正していく表示時間変換部を備え、
   前記映像出力部は、前記表示時間変換部から返される元の表示タイムスタンプまたは補正後の表示タイムスタンプと、対応した現在の表示時間に基づいて映像の表示を行うようにしたことを特徴とする請求の範囲第１項記載の映像表示装置。
3. 映像データに同期した符号化された音声データのパケットを受信し、音声の第１パケットの受信時に第１パケット到着通知を出力すると共に、音声パケットを順次出力する音声受信部と、
   順次入力される音声パケットから音声データを復号してその表示タイムスタンプと共に出力する音声復号化部と、
   最初の復号音声データを受信した際に表示準備完了通知と、対応する表示タイムスタンプとを出力し、その後入力される表示開始指示に従って音声の再生を開始する音声出力部と、
   時間管理部は、最大許容遅延時間の設定に加え、同一時刻を示す映像と音声の表示タイムスタンプの対応づけをあらかじめ知っており、映像または音声のいずれか一方の第１パケット到着通知を受けると時間計測を開始し、当該計測値が最大許容遅延時間に達する前に映像側の表示準備完了通知を受けた場合、および前記第１パケット到着通知を受けてから映像側の表示準備完了通知を受ける前に前記最大許容遅延時間を経過した場合のいずれか早い方を起点にして表示時間の計測を行う表示時間管理を開始し、当該表示時間管理の開始時点に表示開始指示を映像出力部と前記音声出力部に対して送り、また前記映像出力部と前記音声出力部からの定期的な問い合わせに対して現在の表示時間を返すようにし、
   前記映像出力部と前記音声出力部は、前記表示開始指示をそれぞれ受信すると、表示タイムスタンプと現在の表示時間に基づいて映像の表示および音声の再生を開始することを特徴とする請求の範囲第１項記載の映像受信装置。
4. 映像の表示タイムスタンプと対応する表示時間を表示履歴情報として記憶する表示履歴記憶部を備え、
   時間管理部は、最大許容遅延時間を経過した場合の表示時間管理の開始において該当する映像の表示タイムスタンプと対応する表示時間を表示履歴情報として前記表示履歴記憶部に記憶し、前記表示履歴情報における表示タイムスタンプが対応する表示時間に対して一定以上の時間連続して遅れている場合には一時停止時間を含む再同期通知を音声出力部に通知し、当該再同期通知以降、一時停止時間分遅れた時間を現在の表示時間として前記映像出力部と前記音声出力部からの問い合わせに対し返し、
   前記音声出力部は、前記時間管理部から受信した再同期通知の一時停止時間に従って音声の再生を停止し、その後返された一時停止時間分遅れた現在の表示時間に基づいて音声を再生することを特徴とする請求の範囲第３項記載の映像受信装置。
5. 一時停止時間、予め設定された再同期処理時間、音声の表示タイムスタンプおよび再同期通知が到着した時間に基づいて、音声データと映像データ間の遅延時間を算出し、前記音声の表示タイムスタンプに当該遅延時間を加算した変換表示タイムスタンプを生成して音声出力部に返す出力時間変換部を備え、
   前記音声出力部は、前記変換表示タイムスタンプに合わせて音声の再生を行うことを特徴とする請求の範囲第４項記載の映像受信装置。
6. 復号された映像フレームを順次受信した際に映像出力部が時間管理部から得た現在の表示時間を、対応する映像フレームのタイムスタンプと共に受信し、最初の映像フレームのタイムスタンプが現在の表示時間よりも遅れている場合にはその遅延時間を求めて現在の表示時間と共に記憶しておき、表示時間に遅れた映像フレームの当該表示時間を徐々に戻すための予め設定された所定の時間パラメータと、前記記憶していた遅延時間および表示時間と、次に受け取った映像フレームに関する現在の表示時間に基づいて、次に受け取ったタイムスタンプを補正していく表示時間変換部を備え、
   前記映像出力部は、前記表示時間変換部から返される元のタイムスタンプまたは補正後のタイムスタンプと、対応した現在の表示時間に基づいて映像の表示を行うようにしたことを特徴とする請求の範囲第３項記載の映像受信装置。

Images