JP5141437B2 - 同期出力装置及び同期確立方法 - Google Patents

Description

本願の開示は、一般に同期出力装置及び同期確立方法に関し、詳しくは受信デジタル信号に含まれる映像データ及び音声データを指定のタイミングで出力する同期出力装置及び同期確立方法に関する。

地上波デジタル放送やＢＳデジタル放送等のデジタル信号は、映像（ビデオ）データや音声（オーディオ）データ等を一定のサイズで区切ったＴＳ（トランスポートストリーム）パケット（以下単にパケットと呼ぶ）として送信される。この際、映像データのパケットとビデオデータのパケットとを適当な順序で並べてデジタル信号のストリームを構成する。映像又は音声の単一のメディア情報のパケットを、プレゼンテーション単位で複数個纏めることにより、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケットを構成する。このＰＥＳパケットがメディア情報を表示するための時間管理の単位となる。以降、このＰＥＳパケット等の一塊の表示単位の大きさのデータをフレームと呼ぶ。複数個の映像データのパケットが纏まって１つの映像フレームを形成し、複数個の音声データのパケットが纏まって１つの音声フレームを形成する。それぞれの映像フレーム及び音声フレームには、それぞれの表示時刻を３３ビットにより１／９０ｋＨｚの精度で示す表示時刻情報ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）がヘッダ情報として含まれている。

ある映像フレームのＰＴＳと受信機側のシステムクロックとが一致するタイミングで、その映像フレームのデータを表示する。またある音声フレームのＰＴＳと受信機側のシステムクロックとが一致するタイミングで、その音声フレームのデータを音声出力する。これにより、受信機側でそれぞれ別々に復号化される映像データと音声データとを、同期を取り正しいタイミングで出力再生することが可能となる。

受信したデジタル信号中のＰＴＳは、放送側の機器の誤動作や伝送中のノイズ混入等により、期待される時刻情報からずれた時刻情報となる場合がある。この場合、映像が何も表示されなかったり、映像の途中のシーンで停止したりする。また音声の無音状態が続いたりする。

特許文献１には、既に録画されている映像と音声のデジタル信号を編集する際に表示時刻を補正してＡＶ同期（音声及び映像の同期）を取る方法が開示されている。特許文献２には、デジタル信号の情報内に特別な情報を付加する符号化／復号化システムによりＡＶ同期をとる方法が開示されている。特許文献３には、再生装置のシステムクロックを映像や音声の表示時刻で補正する方法が開示されている。

従来のＡＶ同期方法は、同じ映像あるいは同じ音声を繰り返して出力させる等の単一の方法で同期を取っていた。この場合、映像データ及び音声データのＰＴＳのずれ量が小さい時には直ちに同期が取れる。しかしずれ量が大きい時は、長時間に渡り映像が止まったり、音声の無音状態が続いたりし、表示装置としては好ましくない動作をしてしまう。
特開２００６−６０７４２号公報 特開２００５−１５９６７９号公報 特開２００５−１２３７８９号公報

以上を鑑みると、映像データや音声データのＰＴＳがずれた場合に適切にずれを吸収できる同期方法が望まれる。

同期出力装置は、タイミングを示すクロック値を生成するクロック発生装置と、受信したデジタル信号に含まれる連続する複数の映像フレームと前記複数の映像フレームのそれぞれに対応する時刻情報とを受け取り、前記各映像フレームを受け取る毎に、前記各映像フレームに対応する前記時刻情報と前記クロック値との間の差分を求め、前記差分に基づいて前記映像フレームを出力する映像同期装置とを含み、前記映像同期装置は、前記複数の映像フレームの内の第１の映像フレームを受け取った時に、前記差分が±１フレーム以内の第１の状態である場合に、前記時刻情報が示す時刻に前記第１の映像フレームを出力し、前記差分が＋１フレームより大きく＋Ｎ（Ｎは３以上の自然数）フレーム以下の第２の状態である場合に、前記時刻情報を前記クロック値で書き換えて当該書き換えた時刻情報が示す時刻に前記第１の映像フレームを出力すると共に、前記第２の状態であることを記憶し、前記差分が−Ｍ（Ｍは２以上の自然数）フレーム以上で−１フレームより小さい第３の状態である場合に、前記時刻情報を前記クロック値で書き換えて当該書き換えた時刻情報が示す時刻に前記第１の映像フレームを出力すると共に、前記第３の状態であることを記憶し、前記差分が−Ｍ（Ｍは２以上の自然数）フレームより小さい、あるいは＋Ｎ（Ｎは３以上の自然数）フレームより大きい第４の状態である場合に、前記時刻情報を前記クロック値で書き換えて当該書き換えた時刻情報が示す時刻に前記第１の映像フレームを出力すると共に、前記第４の状態であることを記憶し、前記第１の映像フレームの次の第２の映像フレームを受け取った時に、前記差分が前記第２の状態であり、且つ前記第１の映像フレームを受け取った時の前記差分が前記第２の状態であった場合に、前記時刻情報を前記クロック値で書き換えて当該書き換えた時刻情報が示す時刻に前記第１の映像フレームと同じ映像フレームを出力すると共に、前記第２の状態であることを記憶し、前記差分が前記第３の状態であり、且つ前記第１の映像フレームを受け取った時の前記差分が前記第３の状態であった場合に、映像フレームを出力せず、前記第３の状態であることを記憶することを特徴とする。

同期確立方法は、タイミングを示すクロック値を生成し、連続する複数の映像フレームと前記複数の映像フレームのそれぞれに対応する時刻情報とを受け取り、前記各映像フレームを受け取る毎に、前記各映像フレームに対応する前記時刻情報と前記クロック値との間の差分を求め、前記差分に基づいて前記映像フレームを出力する各段階を含み、前記映像フレームを出力する段階は、前記複数の映像フレームの内の第１の映像フレームを受け取った時に、前記差分が±１フレーム以内の第１の状態である場合に、前記時刻情報が示す時刻に前記第１の映像フレームを出力し、前記差分が＋１フレームより大きく＋Ｎ（Ｎは３以上の自然数）フレーム以下の第２の状態である場合に、前記時刻情報を前記クロック値で書き換えて当該書き換えた時刻情報が示す時刻に前記第１の映像フレームを出力すると共に、前記第２の状態であることを記憶し、前記差分が−Ｍ（Ｍは２以上の自然数）フレーム以上で−１フレームより小さい第３の状態である場合に、前記時刻情報を前記クロック値で書き換えて当該書き換えた時刻情報が示す時刻に前記第１の映像フレームを出力すると共に、前記第３の状態であることを記憶し、前記差分が−Ｍ（Ｍは２以上の自然数）フレームより小さい、あるいは＋Ｎ（Ｎは３以上の自然数）フレームより大きい第４の状態である場合に、前記時刻情報を前記クロック値で書き換えて当該書き換えた時刻情報が示す時刻に前記第１の映像フレームを出力すると共に、前記第４の状態であることを記憶し、前記第１の映像フレームの次の第２の映像フレームを受け取った時に、前記差分が前記第２の状態であり、且つ前記第１の映像フレームを受け取った時の前記差分が前記第２の状態であった場合に、前記時刻情報を前記クロック値で書き換えて当該書き換えた時刻情報が示す時刻に前記第１の映像フレームと同じ映像フレームを出力すると共に、前記第２の状態であることを記憶し、前記差分が前記第３の状態であり、且つ前記第１の映像フレームを受け取った時の前記差分が前記第３の状態であった場合に、映像フレームを出力せず、前記第３の状態であることを記憶することを特徴とする。

少なくとも１つの実施例によれば、ずれが所定値未満であるか所定値以上であるかに応じて、それぞれの状況に適した異なる方式で映像データとシステムクロックとの同期を確立する。従って、映像データのＰＴＳがずれた場合に適切にずれを吸収することができる。

以下に、本発明の実施例を添付の図面を用いて詳細に説明する。

図１は、デジタル信号の構成の一例を示す図である。映像データは所定のサイズのパケットＶｉｄｅｏ１−１、Ｖｉｄｅｏ１−２、Ｖｉｄｅｏ１−３、Ｖｉｄｅｏ２−１等として送信される。音声データも同様に、所定のサイズのパケットＡｕｄｉｏ１−１、Ａｕｄｉｏ１−２、Ａｕｄｉｏ２−１、Ａｕｄｉｏ２−２、Ａｕｄｉｏ３−１等として送信される。デジタル信号１０は、これらの映像データのパケットや音声データのパケット等を適当な順序で並べたストリームとして構成される。

デジタル信号１０から映像データ１１及び音声データ１２をそれぞれ別個に抽出することにより単一のメディア情報のストリームが形成される。図１に示す例の場合、３つの映像データのパケットで１つの映像フレームを形成し、２つの音声データのパケットで１つの音声フレームを形成する。これらのフレームが、各メディア情報を表示するための時間管理の単位となる。それぞれの映像フレーム及び音声フレームには、それぞれの表示時刻を３３ビットにより１／９０ｋＨｚの精度で示す表示時刻情報ＰＴＳがヘッダ情報として含まれている。

ＭＰＥＧ−２等のデジタル信号の映像データのＰＴＳは、各国毎に採用している規格により定まる一定の間隔で、規則正しく設定される。日本では、等間隔で１秒間に３０フレーム表示するようＰＴＳが設定される。デジタル信号の音声データのＰＴＳは、ＡＣ−３、ＡＡＣ、ＬＰＣＭ、ＭＰＥＧ１−Ｌａｙｅｒ２等の各音声フォーマットによって間隔が異なる。以下に説明する実施例では、映像データ及び音声データのＰＴＳが、期待される時刻からずれた場合、まず映像の連続性を確保しながら映像データとシステムクロックとの同期を確立する。映像データの表示時刻とシステムクロックとの同期を確立したうえで、音声データとシステムクロックとの同期を確立する。

図２は、受信したデジタル信号を復号化して表示装置に出力すると共に再符号化する受信装置の構成の一例を示す図である。受信装置（同期出力装置）２０は、復号化装置２１、ＳＣ発生装置２２、映像同期装置２３、音声同期装置２４、及び符号化装置２５を含む。復号化装置２１は、例えば図１に示されるようなデジタル信号を受信して、受信デジタル信号から映像データと音声データとを別々に復号化する。ＳＣ発生装置２２は、時刻を示す値を有するシステムクロックＳＣを生成する。映像同期装置２３は、復号化装置２１により復号化されたデジタル信号に含まれる映像フレームと当該映像フレームに対応する表示時刻情報ＰＴＳとを受け取り、システムクロックＳＣに基づいて表示時刻情報ＰＴＳが示す時刻に映像フレームを出力する。ここで映像フレームとは、表示単位の大きさの映像データである。出力された映像フレームは、例えば液晶表示装置などの画像表示装置に供給される。音声同期装置２４は、復号化装置２１により復号化されたデジタル信号に含まれる音声フレームと当該音声フレームに対応する表示時刻情報ＰＴＳとを受け取り、システムクロックＳＣに基づいて表示時刻情報ＰＴＳが示す時刻に音声フレームを出力する。ここで音声フレームとは、表示単位の大きさの音声データである。出力された音声フレームは、例えばスピーカなどの音声出力装置に供給される。映像同期装置２３が出力する映像フレームと音声同期装置２４が出力する音声フレームとは、表示装置（出力装置）に供給されると共に、符号化装置２５に供給されてよい。符号化装置２５は、供給される映像データと音声データとを再符号化して、符号化デジタル信号として出力する。この出力された符号化デジタル信号は、例えばＤＶＤ記録装置等に供給されてよい。ＳＣ発生装置２２が生成するシステムクロックＳＣの値は、後程説明するように、映像同期装置２３での処理結果に応じて修正される（補正される）。

図３は、映像同期装置２３が実行する処理の流れの一例を示すフローチャートである。このフローチャートに示す処理を実行することにより、受信映像フレームのＰＴＳが期待される時刻情報からずれた場合に、映像フレームとシステムクロックＳＣとの同期を確立して適切な映像表示を実現する。

新たな映像データ（１つの映像フレーム）が入力されると、ステップＳ１で、システムクロックＳＣと映像データのＰＴＳとが一致するか不一致であるかを判断する。即ち、連続するタイミングで順次出力する一連の映像データのうち、次のタイミングで出力する映像データのＰＴＳと次のタイミングを示すシステムクロック値との間に、ずれが有るか否かを判断する。映像同期装置２３が映像データを受け取る段階では、その映像データのＰＴＳが示す出力すべき時刻は、ＳＣ発生装置２２が発生するシステムクロックＳＣの示す現在の時刻よりも少し先の未来を示している。その後システムクロックＳＣの示す現在の時刻がＰＴＳの示す時刻に一致すると、そのタイミングにおいて、映像同期装置２３は当該映像データを出力する。順次出力する一連の映像データのうち前回出力したタイミングでのシステムクロックＳＣの示す時刻がｎである場合、次のタイミングで出力する映像データのＰＴＳはｎ＋３３ｍｓ（ミリ秒）を示すべきである。映像同期装置２３は、次のタイミングで出力する映像データのＰＴＳと次のタイミングを示すシステムクロック値（ｎ＋３３ｍｓ）との間に、ずれが有るか否かを判断する。

ステップＳ１でずれが無いと判断された場合、ステップＳ２で、映像同期装置２３は内部の状態フラグを０に設定する。次にステップＳ３で、映像同期装置２３は現在の映像データをそのまま出力する。即ち、次のタイミングで出力すべき映像データを、その映像データのＰＴＳが示す時刻で出力する。

ステップＳ１でずれがあると判断された場合、ステップＳ４で、映像同期装置２３はシステムクロックＳＣと映像データのＰＴＳとの差が±１フレーム以内であるか否かを判定する。即ち、次のタイミングで出力する映像データのＰＴＳと次のタイミングを示すシステムクロック値との間にずれがあるが、そのずれが±１フレームの許容値内であるか否かを判定する。

ずれが±１フレーム以内（許容値内）である場合には、映像同期装置２３は第１補正方式を実行する。即ちまずステップＳ５で、映像同期装置２３は内部の状態フラグを１に設定する。次にステップＳ６で、映像同期装置２３は現在の映像データをそのまま出力する。即ち、次のタイミングで出力すべき映像データを、その映像データのＰＴＳが示す時刻で出力する。なお上記の許容範囲±１フレームは限定を意図しない一例であり、例えば±０．５フレームの許容範囲についてステップＳ４で判定を行ない、±０．５フレーム内のずれについて、ステップＳ５及びＳ６の処理を実行するようにしてもよい。

ステップＳ４でずれが±１フレーム以上であると判断された場合、ステップＳ７で、映像同期装置２３はシステムクロックＳＣと映像データのＰＴＳとの差が＋１〜＋３フレームの範囲内であるか否かを判定する。即ち、次のタイミングで出力する映像データのＰＴＳと次のタイミングを示すシステムクロック値との間にずれがあり、そのずれが±１フレームの許容値以上であり且つ所定値（＋３フレーム）未満であるか否かを判定する。

ずれが＋１〜＋３フレームの範囲内である場合には、映像同期装置２３は第２補正方式を実行する。即ちまずステップＳ８で、映像同期装置２３は内部の状態フラグを２に設定する。次にステップＳ９で、次のタイミングで出力すべき映像データのＰＴＳを、次のタイミングを示すシステムクロック値により書き替える。次のステップＳ１０は、ステップＳ７から分岐する時点で既に状態フラグが２の状態であった場合、即ちフローチャートのこの経路を続けて２回以上通過した場合の２回目以降に実行される。例えばステップＳ７とステップＳ８との間で、状態フラグ≠２ならカウンタ値を１に設定し、状態フラグ＝２であればカウンタ値をカウントアップする処理を実行し、このカウント値が２以上であるか否かを判断すればよい。このステップＳ１０では、次のタイミングで出力すべき映像データを例えば２回繰り返す。即ち、ステップＳ９の処理に加え、更に、次のタイミングで出力すべき映像データをコピーし、そのＰＴＳを２回後のタイミング（次の次のタイミング）を示すシステムクロック値により書き替える。なお実際に映像データをコピーするのではなく、一度出力した後に同一の映像データを再度出力するように構成すればよい。

ステップＳ１１で、映像同期装置２３は現在の映像データをそのまま出力する。即ち、次のタイミングで出力すべき映像データを、その映像データのＰＴＳが示す時刻（即ち上記書き替え後のＰＴＳが示す時刻）で出力する。ステップＳ１０を実行していた場合には、更にその次のタイミングにも同一の映像データを出力する。このように、次のタイミングで出力する映像データのＰＴＳが次のタイミングを示すシステムクロック値よりも未来（＋１〜＋３）を示す場合、連続する映像データの少なくとも１つを同一データとして繰り返し出力する。これにより、映像データのＰＴＳとシステムクロックＳＣとを徐々に近づけていく。また上記例のように１フレーム毎に同一の映像データを繰り返すことにより、映像表示の視覚的な連続性を維持しながら、ずれを収束させることができる。なお上記の範囲＋１〜＋３は一例であり、より狭い範囲或いはより広い範囲のずれについて、ステップＳ８乃至Ｓ１１の処理を実行するようにしてもよい。

ステップＳ７でずれが＋１〜＋３フレームの範囲内でないと判断された場合、ステップＳ１２で、映像同期装置２３はシステムクロックＳＣと映像データのＰＴＳとの差が−２〜−１フレームの範囲内であるか否かを判定する。即ち、次のタイミングで出力する映像データのＰＴＳと次のタイミングを示すシステムクロック値との間にずれがあり、そのずれが±１フレームの許容値以上であり且つ所定値（−２フレーム）未満であるか否かを判定する。

ずれが−２〜−１フレームの範囲内である場合には、映像同期装置２３は第３補正方式を実行する。即ちまずステップＳ１３で、映像同期装置２３は内部の状態フラグを３に設定する。次のステップＳ１４は、ステップＳ１２からこの経路に分岐するのが連続して奇数回目（初回も含む）の場合に実行される。連続して奇数回目であるか否かの判断は、例えばステップＳ１２とステップＳ１３との間で、状態フラグ≠３ならカウンタ値を１に設定し、状態フラグ＝３であればカウンタ値をカウントアップする処理を実行し、このカウント値の奇数／偶数を判断すればよい。このステップＳ１４では、次のタイミングで出力すべき映像データのＰＴＳを、次のタイミングを示すシステムクロック値により書き替える。次のステップＳ１５は、ステップＳ１２からこの経路に分岐するのが連続して偶数回目の場合に実行される。このステップＳ１５では、次のタイミングで出力すべき映像データを削除する。即ち、この映像データを出力せずにスキップする。

ステップＳ１６で、この経路が奇数回目の場合には、映像同期装置２３が現在の映像データをそのまま出力する。即ち、奇数回目の場合において、次のタイミングで出力すべき映像データを、その映像データのＰＴＳが示す時刻（即ち上記書き替え後のＰＴＳが示す時刻）で出力する。またステップＳ１６で、この経路が偶数回目の場合には、映像同期装置２３は何も出力しない。何故なら、偶数回目の場合において、次のタイミングで出力すべき映像データは既に削除されているからである。このように、次のタイミングで出力する映像データのＰＴＳが次のタイミングを示すシステムクロック値よりも過去（−２〜−１）を示す場合、連続する映像データの少なくとも１つを破棄してよい。これにより、映像データのＰＴＳとシステムクロックＳＣとを徐々に近づけていく。また上記例のように１フレーム毎に映像データを削除することにより、映像表示の視覚的な連続性を維持しながら、ずれを収束させることができる。なお上記の範囲−２〜−１は一例であり、より狭い範囲或いはより広い範囲のずれについて、ステップＳ１３乃至Ｓ１６の処理を実行するようにしてもよい。

ステップＳ１２でずれが−２〜−１フレームの範囲内でないと判断された場合、映像同期装置２３は第４補正方式を実行する。即ちまずステップＳ１７で、映像同期装置２３は内部の状態フラグを４に設定する。次のステップＳ１８は、ステップＳ１７からこの経路に分岐するのが連続して４回目以内の場合に実行される。例えばステップＳ１２とステップＳ１７との間で、状態フラグ≠４ならカウンタ値を１に設定し、状態フラグ＝４であればカウンタ値をカウントアップする処理を実行し、このカウント値が４以下であるか否かを判断すればよい。このステップＳ１８では、次のタイミングで出力すべき映像データのＰＴＳを、次のタイミングを示すシステムクロック値により書き替える。次のステップＳ１９は、ステップＳ１７からこの経路に分岐するのが連続して５回目の場合に実行される。このステップＳ１９では、ＰＴＳに基づきシステムクロックＳＣを書き替える。即ち、次のタイミングを示すシステムクロック値がＰＴＳと同値となるように修正する。

ステップＳ２０で、映像同期装置２３は現在の映像データをそのまま出力する。即ち、連続４回目までであれば、次のタイミングで出力すべき映像データを、その映像データのＰＴＳが示す時刻（即ち上記書き替え後のＰＴＳが示す時刻）で出力する。連続５回目であれば、次のタイミングで出力すべき映像データを、修正後のシステムクロックＳＣに基づいてその映像データのＰＴＳが示す時刻に出力する。この第４補正方式を適用する場合のようにずれの大きさが異常に大きい場合には、例えばノイズの混入によりＰＴＳが破壊されて全く異なる値になっている、或いは信号伝送の異常により大量のフレームが損失した等が考えられる。ノイズの混入によりＰＴＳが破壊されて全く異なる値になっている場合には、ある程度待てば元の正しいＰＴＳに戻る可能性がある。これを考慮して連続４回目までであればＰＴＳを修正して対応する。しかし大量のフレームが損失した場合等には、いつまで待っても元の正しいＰＴＳに戻る可能性はない。これを考慮して連続４回以内にずれが無くならない場合には、システムクロックＳＣの方を書き替えることにより対応する。

図４は、図３に示した処理内容を纏めた表を示す図である。表の各行は、システムクロックＳＣと映像データのＰＴＳとの差（ずれ）の範囲を分類した場合の各範囲に対応する。表の各列は、特定の範囲にずれが入る場合が連続して起こる場合に連続何回目であるかを示す。ずれが±１フレーム範囲内である場合には、連続何回目であるかに関わらず、補正を行なわない。ずれが＋１〜＋３フレームの範囲内である場合には、初回にＰＴＳを書き替え、２回目以降ではＰＴＳ書き換えと共にリピート処理を行なう。ずれが−２〜−１フレームの範囲内である場合には、初回にＰＴＳを書き替え、２回目にスキップ処理（映像データ破棄）し、３回目にＰＴＳを書き替え、４回目にスキップ処理（映像データ破棄）し、その後同様に処理を行なう。ずれが−２〜＋３フレームの範囲外である場合には、初回から４回目まではＰＴＳを書き替えて対応し、５回目にはシステムクロックＳＣを更新（修正）する。

図５は、＋１〜＋３フレームの範囲内であるようなずれが発生した場合の処理を模式的に示した図である。最上段にはシステムクロックＳＣの値を示してある。この例では、説明を単純にするためにシステムクロックＳＣの値はミリ秒に対応し、初期状態の値０から３３ミリ秒間隔で示した値（０，３３，６６，９９，１３２・・・）が、連続する各映像フレームの出力タイミングに対応する。図５の上から２段目には、１番目から８番目までの映像フレームが示される。映像フレームを表現する四角の枠の上段にはフレームの受け取った順序を示す番号が示され、下段にはそのフレームのＰＴＳの値が示される。図５の最下段には、連続して出力する映像フレームが示される。映像フレームを表現する四角の枠の上段にはフレームの出力順序を示す番号が示され、下段にはそのフレームのＰＴＳの値が示される。

図５に示すように、第１フレームから第３フレームまでは、受け取った映像フレーム（次に出力する映像フレーム）のＰＴＳは、次に出力すべきタイミングを示すシステムクロックＳＣの値（最上段に示すＳＣの値）に一致している。この状態は正常な状態である。第４フレームでは、受け取った映像フレーム（次に出力する映像フレーム）のＰＴＳは１９８であり、次に出力すべきタイミングを示すシステムクロックＳＣの値９９とは異なっている。このずれの大きさは９９であり＋３フレーム分に相当する。従って、図３及び図４に示す第２補正方式（＋１〜＋３フレーム範囲内の場合の処理）が実行される。初回の映像フレーム３０は、そのＰＴＳがＳＣの値（＝９９）に書き替えられ、映像フレーム４０として出力される。連続２回目の映像フレーム３１は、そのＰＴＳがＳＣの値（＝１３２）に書き替えられ、映像フレーム４１として出力される。またこの同一の映像フレーム３１は、リピート処理によりＰＴＳがＳＣの値（＝１６５）に書き替えられ、映像フレーム４２として出力される。以下同様にして、連続３回目の映像フレーム３２は映像フレーム４３及び４４として出力され、連続４回目の映像フレーム３３は映像フレーム４５及び４６として出力される。次に受け取る映像フレーム３４は、そのＰＴＳが次に出力すべきタイミングを示すシステムクロックＳＣの値（＝３３０）に一致している。この状態は正常な状態であり、映像フレーム３４がそのまま映像フレーム４７として出力される。

図６は、−２〜−１フレームの範囲内であるようなずれが発生した場合の処理を模式的に示した図である。図の表示形態は図６と図５とで同様である。

図６に示すように、第１フレームから第３フレームまでは、受け取った映像フレーム（次に出力する映像フレーム）のＰＴＳは、次に出力すべきタイミングを示すシステムクロックＳＣの値（最上段に示すＳＣの値）に一致している。この状態は正常な状態である。第４フレームでは、受け取った映像フレーム（次に出力する映像フレーム）のＰＴＳは３３であり、次に出力すべきタイミングを示すシステムクロックＳＣの値９９とは異なっている。このずれの大きさは６６であり−２フレーム分に相当する。従って、図３及び図４に示す第３補正方式（−２〜−１フレーム範囲内の場合の処理）が実行される。初回の映像フレーム５０は、そのＰＴＳがＳＣの値（＝９９）に書き替えられ、映像フレーム６０として出力される。連続２回目の映像フレーム５１は、スキップ処理により破棄されて、出力されることはない。連続３回目の映像フレーム５２は、そのＰＴＳが次に出力するタイミングのＳＣの値（＝１３２）に書き替えられ、映像フレーム６１として出力される。連続４回目の映像フレーム５３は、スキップ処理により破棄されて、出力されることはない。連続５回目の映像フレーム５４は、そのＰＴＳが次に出力するタイミングのＳＣの値（＝１６５）に書き替えられ、映像フレーム６２として出力される。次に受け取る映像フレーム５５は、そのＰＴＳが次に出力すべきタイミング（出力映像フレーム６２の出力タイミングの次のタイミング）を示すシステムクロックＳＣの値（＝１９８）に一致している。この状態は正常な状態であり、映像フレーム５５がそのまま映像フレーム６３として出力される。

図７は、音声同期装置２４が実行する処理の流れの一例を示すフローチャートである。このフローチャートに示す処理を実行することにより、受信音声フレームのＰＴＳが期待される時刻情報からずれた場合に、音声フレームとシステムクロックＳＣとの同期を確立して適切な音声表示（音声出力）を実現する。

新たな音声データ（１つの音声フレーム）が入力されると、ステップＳ１で、システムクロックＳＣと音声データのＰＴＳとが一致するか不一致であるかを判断する。即ち、連続するタイミングで順次出力する一連の音声データのうち、次のタイミングで出力する音声データのＰＴＳと次のタイミングを示すシステムクロック値との間に、ずれが有るか否かを判断する。音声同期装置２４が音声データを受け取る段階では、その音声データのＰＴＳが示す出力すべき時刻は、ＳＣ発生装置２２が発生するシステムクロックＳＣの示す現在の時刻よりも少し先の未来を示している。その後システムクロックＳＣの示す現在の時刻がＰＴＳの示す時刻に一致すると、そのタイミングにおいて、音声同期装置２４は当該音声データを出力する。順次出力する一連の音声データのうち前回出力したタイミングでのシステムクロックＳＣの示す時刻がｎである場合、次のタイミングで出力する音声データのＰＴＳはｎ＋αミリ秒（αは音声出力間隔）を示すべきである。音声同期装置２４は、次のタイミングで出力する音声データのＰＴＳと次のタイミングを示すシステムクロック値（ｎ＋αミリ秒）との間に、ずれが有るか否かを判断する。

ステップＳ１でずれが無いと判断された場合、ステップＳ２で、音声同期装置２４は内部の状態フラグを０に設定する。次にステップＳ３で、音声同期装置２４は現在の音声データをそのまま出力する。即ち、次のタイミングで出力すべき音声データを、その音声データのＰＴＳが示す時刻で出力する。

ステップＳ１でずれがあると判断された場合、ステップＳ４で、音声同期装置２４はシステムクロックＳＣと音声データのＰＴＳとの差が±１フレーム以内であるか否かを判定する。即ち、次のタイミングで出力する音声データのＰＴＳと次のタイミングを示すシステムクロック値との間にずれがあるが、そのずれが±１フレームの許容値内であるか否かを判定する。

ずれが±１フレーム以内（許容値内）である場合には、音声同期装置２４は第１補正方式を実行する。即ちまずステップＳ５で、音声同期装置２４は内部の状態フラグを１に設定する。次にステップＳ６で、音声同期装置２４は現在の音声データをそのまま出力する。即ち、次のタイミングで出力すべき音声データを、その音声データのＰＴＳが示す時刻で出力する。なお上記の許容範囲±１フレームは限定を意図しない一例であり、例えば±０．５フレームの許容範囲についてステップＳ４で判定を行ない、±０．５フレーム内のずれについて、ステップＳ５及びＳ６の処理を実行するようにしてもよい。

ステップＳ４でずれが±１フレーム以上であると判断された場合、音声同期装置２４は第２補正方式を実行することになり、ステップＳ７に進む。ステップＳ７において、状態フラグ≠２なら連続カウンタのカウンタ値を１に設定し、状態フラグ＝２であれば連続カウンタのカウンタ値をカウントアップする処理を実行する。以上の処理の後に、状態フラグを２に設定する。ステップＳ８で、連続カウンタのカウンタ値が２であり且つシステムクロックＳＣと音声データのＰＴＳとの差が１回目と同じであるか否かを判断する。ＹＥＳの場合には、ステップＳ９で、連続カウンタのカウンタ値を０に設定する。更にステップＳ１０で、音声同期装置２４は現在の音声データをそのまま出力する。即ち、次に出力するデータとして保持されている音声データを、その音声データのＰＴＳが示す時刻で出力する。

ステップＳ８の判定の結果がＮＯの場合には、ステップＳ１１で、音声データを削除する。またこのとき、連続カウンタのカウンタ値が２であるなら、カウンタ値を１に設定する。これにより今回削除した音声データが、次回の処理において第１回目のデータとして取り扱われる。次にステップＳ１２で、音声同期装置２４は何も出力しない。この場合の何も出力しないとは、映像データの場合とは異なり、次に出力すべきであったタイミングにおいて無音状態とすることを意味する。この場合、次回の処理において、「次に出力するタイミング」とは、無音状態とした次のタイミングのことである。

以上の音声データの処理を更に説明するために、連続するタイミングで順次出力するために音声同期装置２４が受け取った第１及び第２の音声フレームを考える。まず、第２のタイミングで出力する第２の音声フレームのＰＴＳと第２のタイミングを示すシステムクロック値とのずれが許容値以上（±１フレーム以上）であるとする。このとき、第１の音声フレームのＰＴＳと第２の音声フレームのＰＴＳとが連続しない（即ち差が上記αでない）ならば、システムクロックＳＣと音声データのＰＴＳとの差が第１の音声フレームの場合の差と同じでないので、図７のステップＳ１１が実行される。即ち、第２の音声データを破棄して出力しない。また第１の音声フレームのＰＴＳと第２の音声フレームのＰＴＳとが連続する（即ち差が上記αである）ならば、第１及び第２の音声フレームが両方共に正常であるか、或いは図７のステップＳ９が実行される場合ということになる。何れの場合にせよ、図７のステップＳ３或いはＳ１０に示されるように、第２の音声データのＰＴＳが示す時刻に第２の音声データを出力することになる。

図８は、図７に示した処理内容を纏めた表を示す図である。表の各行は、システムクロックＳＣと映像データのＰＴＳとの差（ずれ）の範囲を分類した場合の各範囲に対応する。表の各列は、特定の範囲にずれが入る場合が連続して起こる場合に連続何回目であるかを示す。ずれが±１フレーム範囲内である場合には、何回目であるかに関わらず、補正を行なわない。ずれが±１フレームの範囲外である場合には、初回には音声データを削除して、次に出力すべきであったタイミングを無音状態とする。連続２回目には、補正をせずに、次に出力するデータとして保持されている音声データを、その音声データのＰＴＳが示す時刻で出力する。なお図８に示す表において、連続２回目とは、システムクロックＳＣと音声データのＰＴＳとの差が１回目と同じ場合のことを意味する。±１フレーム範囲外のずれが連続して２回発生した２回目において、ＳＣとＰＴＳとの差が１回目と異なるのであれば、今回のデータを１回目のデータとして取り扱う。この場合の処理は図８の表において、「１回目」の欄に示されている。

音声のずれについては、ずれ量が±１フレーム範囲外である場合、速やかに補正する必要がある。範囲外のずれが１回目の場合は、異常な音を出力するよりは無音状態の方が適切であるので、音声データを削除することにより対応する。範囲外のずれが連続２回目であっても、１回目と２回目とでＰＴＳが連続しないのであれば、雑音等によりデータが破壊されている可能性がある。従って、この場合にも、異常な音を出力するよりは無音状態の方が適切であるので、音声データを削除することにより対応する。範囲外のずれが連続２回目であり、１回目と２回目とでＰＴＳが連続する場合は、途中のデータが失われたものの正しいデータが受信できていると判断して、補正を行わないで対応する。

以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。

デジタル信号の構成の一例を示す図である。 受信したデジタル信号を復号化して表示装置に出力すると共に再符号化する受信装置の構成の一例を示す図である。 映像同期装置が実行する処理の流れの一例を示すフローチャートである。 図３に示した処理内容を纏めた表を示す図である。 ＋１〜＋３フレームの範囲内であるようなずれが発生した場合の処理を模式的に示した図である。 −２〜−１フレームの範囲内であるようなずれが発生した場合の処理を模式的に示した図である。 音声同期装置が実行する処理の流れの一例を示すフローチャートである。 図７に示した処理内容を纏めた表を示す図である。

符号の説明

１０ デジタル信号
１１ 映像データ
１２ 音声データ
２０ 受信装置
２１ 復号化装置
２２ ＳＣ発生装置
２３ 映像同期装置
２４ 音声同期装置
２５ 符号化装置

Claims (7)

1. タイミングを示すクロック値を生成するクロック発生装置と、
   受信したデジタル信号に含まれる連続する複数の映像フレームと前記複数の映像フレームのそれぞれに対応する時刻情報とを受け取り、前記各映像フレームを受け取る毎に、前記各映像フレームに対応する前記時刻情報と前記クロック値との間の差分を求め、前記差分に基づいて前記映像フレームを出力する映像同期装置と
   を含み、
   前記映像同期装置は、前記複数の映像フレームの内の第１の映像フレームを受け取った時に、
   前記差分が±１フレーム以内の第１の状態である場合に、前記時刻情報が示す時刻に前記第１の映像フレームを出力し、
   前記差分が＋１フレームより大きく＋Ｎ（Ｎは３以上の自然数）フレーム以下の第２の状態である場合に、前記時刻情報を前記クロック値で書き換えて当該書き換えた時刻情報が示す時刻に前記第１の映像フレームを出力すると共に、前記第２の状態であることを記憶し、
   前記差分が−Ｍ（Ｍは２以上の自然数）フレーム以上で−１フレームより小さい第３の状態である場合に、前記時刻情報を前記クロック値で書き換えて当該書き換えた時刻情報が示す時刻に前記第１の映像フレームを出力すると共に、前記第３の状態であることを記憶し、
   前記差分が−Ｍ（Ｍは２以上の自然数）フレームより小さい、あるいは＋Ｎ（Ｎは３以上の自然数）フレームより大きい第４の状態である場合に、前記時刻情報を前記クロック値で書き換えて当該書き換えた時刻情報が示す時刻に前記第１の映像フレームを出力すると共に、前記第４の状態であることを記憶し、
   前記第１の映像フレームの次の第２の映像フレームを受け取った時に、
   前記差分が前記第２の状態であり、且つ前記第１の映像フレームを受け取った時の前記差分が前記第２の状態であった場合に、前記時刻情報を前記クロック値で書き換えて当該書き換えた時刻情報が示す時刻に前記第１の映像フレームと同じ映像フレームを出力すると共に、前記第２の状態であることを記憶し、
   前記差分が前記第３の状態であり、且つ前記第１の映像フレームを受け取った時の前記差分が前記第３の状態であった場合に、映像フレームを出力せず、前記第３の状態であることを記憶する
   ことを特徴とする同期出力装置。
2. 前記映像同期装置は、
   前記第２の映像フレームの次の第３の映像フレームを受け取った時に、
   前記差分が前記第２の状態であり、且つ前記第２の映像フレームを受け取った時の前記差分が前記第２の状態であった場合に、前記時刻情報を前記クロック値で書き換えて当該書き換えた時刻情報が示す時刻に前記第１の映像フレームと同じ映像フレームを出力すると共に前記第２の状態であることを記憶し、
   前記差分が前記第３の状態であり、且つ前記第２の映像フレームを受け取った時の前記差分が前記第３の状態であった場合に、前記時刻情報を前記クロック値で書き換えて当該書き換えた時刻情報が示す時刻に前記第３の映像フレームを出力すると共に前記第３の状態であることを記憶する
   ことを特徴とする請求項１記載の同期出力装置。
3. 前記映像同期装置は、
   前記第３の映像フレームの次の第４の映像フレームを受け取った時に、
   前記差分が前記第２の状態であり、且つ前記第３の映像フレームを受け取った時の前記差分が前記第２の状態であった場合に、前記時刻情報を前記クロック値で書き換えて当該書き換えた時刻情報が示す時刻に前記第１の映像フレームと同じ映像フレームを出力すると共に前記第２の状態であることを記憶し、
   前記差分が前記第３の状態であり、且つ前記第３の映像フレームを受け取った時の前記差分が前記第３の状態であった場合に、映像フレームを出力せず、前記第３の状態であることを記憶する
   ことを特徴とする請求項２記載の同期出力装置。
4. 前記映像同期装置は、
   前記第４の映像フレームの次の第５の映像フレームを受け取った時に、
   前記差分が前記第４の状態であり、且つ前記第４の映像フレームを受け取った時の前記差分が前記第４の状態であった場合に、前記時刻情報に基づいて前記クロック値を書き換える
   ことを特徴とする請求項３記載の同期出力装置。
5. 前記受信したデジタル信号に含まれる連続する複数の音声フレームと前記複数の音声フレームのそれぞれに対応する時刻情報とを受け取り、前記各音声フレームを受け取る毎に、前記各音声フレームに対応する前記時刻情報と前記クロック値との間の差分を判定し、当該判定結果に基づいて前記音声フレームを出力する音声同期装置を更に含み、
   前記音声同期装置は、
   前記複数の音声フレームの内の第１の音声フレームを受け取った時に、
   前記第１の音声フレームに対応する前記時刻情報と前記クロック値との間の差分が±１フレーム以内の第５の状態である場合に、当該クロック値に基づいて当該時刻情報が示す時刻に前記第１の音声フレームを出力し、
   前記第１の音声フレームに対応する前記時刻情報と前記クロック値との間の差分が＋１フレームより大きい、あるいはー１フレームより小さい第６の状態である場合に、前記第１の音声フレームを出力しない
   ことを特徴とする請求項１乃至４いずれか一項記載の同期出力装置。
6. タイミングを示すクロック値を生成し、
   連続する複数の映像フレームと前記複数の映像フレームのそれぞれに対応する時刻情報とを受け取り、前記各映像フレームを受け取る毎に、前記各映像フレームに対応する前記時刻情報と前記クロック値との間の差分を求め、前記差分に基づいて前記映像フレームを出力する
   各段階を含み、前記映像フレームを出力する段階は、
   前記複数の映像フレームの内の第１の映像フレームを受け取った時に、
   前記差分が±１フレーム以内の第１の状態である場合に、前記時刻情報が示す時刻に前記第１の映像フレームを出力し、
   前記差分が＋１フレームより大きく＋Ｎ（Ｎは３以上の自然数）フレーム以下の第２の状態である場合に、前記時刻情報を前記クロック値で書き換えて当該書き換えた時刻情報が示す時刻に前記第１の映像フレームを出力すると共に、前記第２の状態であることを記憶し、
   前記差分が−Ｍ（Ｍは２以上の自然数）フレーム以上で−１フレームより小さい第３の状態である場合に、前記時刻情報を前記クロック値で書き換えて当該書き換えた時刻情報が示す時刻に前記第１の映像フレームを出力すると共に、前記第３の状態であることを記憶し、
   前記差分が−Ｍ（Ｍは２以上の自然数）フレームより小さい、あるいは＋Ｎ（Ｎは３以上の自然数）フレームより大きい第４の状態である場合に、前記時刻情報を前記クロック値で書き換えて当該書き換えた時刻情報が示す時刻に前記第１の映像フレームを出力すると共に、前記第４の状態であることを記憶し、
   前記第１の映像フレームの次の第２の映像フレームを受け取った時に、
   前記差分が前記第２の状態であり、且つ前記第１の映像フレームを受け取った時の前記差分が前記第２の状態であった場合に、前記時刻情報を前記クロック値で書き換えて当該書き換えた時刻情報が示す時刻に前記第１の映像フレームと同じ映像フレームを出力すると共に、前記第２の状態であることを記憶し、
   前記差分が前記第３の状態であり、且つ前記第１の映像フレームを受け取った時の前記差分が前記第３の状態であった場合に、映像フレームを出力せず、前記第３の状態であることを記憶する
   ことを特徴とする同期確立方法。
7. 連続する複数の音声フレームと前記複数の音声フレームのそれぞれに対応する時刻情報とを受け取り、前記各音声フレームを受け取る毎に、前記各音声フレームに対応する前記時刻情報と前記クロック値との間の差分を判定し、当該判定結果に基づいて前記音声フレームを出力する段階を更に含み、前記音声フレームを出力する段階は、
   前記複数の音声フレームの内の第１の音声フレームを受け取った時に、
   前記第１の音声フレームに対応する前記時刻情報と前記クロック値との間の差分が±１フレーム以内の第５の状態である場合に、当該クロック値に基づいて当該時刻情報が示す時刻に前記第１の音声フレームを出力し、
   前記第１の音声フレームに対応する前記時刻情報と前記クロック値との間の差分が＋１フレームより大きい、あるいはー１フレームより小さい第６の状態である場合に、前記第１の音声フレームを出力しない
   ことを特徴とする請求項６記載の同期確立方法。

Images