JP4359024B2

JP4359024B2 - Synchronous control method and apparatus, synchronous playback apparatus and television receiver using the same

Info

Publication number: JP4359024B2
Application number: JP2002167734A
Authority: JP
Inventors: 茂之岡田; 英樹山内
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2002-06-07
Filing date: 2002-06-07
Publication date: 2009-11-04
Anticipated expiration: 2022-06-07
Also published as: JP2004015553A

Description

【０００１】
【発明の属する技術分野】
この発明は、画像情報と音声情報を含むストリームを復号するときの画像と音声の同期技術に関する。さらにこの同期技術を有する再生装置、テレビジョン受信装置に関する。
【０００２】
【従来の技術】
大量の情報を高速に処理するためには、データの圧縮・伸長技術が不可欠である。この技術としてＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）方式が挙げられる。ＭＰＥＧは３つのパートから構成されている。「ＭＰＥＧシステムパート」は、画像データと音声データの多重化構造等を規定する。「ＭＰＥＧビデオパート」は、画像データの高能率符号化方式等を規定する。「ＭＰＥＧオーディオパート」は、音声データの高能率符号化方式等を規定する。さらにＭＰＥＧは、主として適応領域に応じてＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４などに分類される。
【０００３】
ＭＰＥＧにおける符号化から復号までの流れは以下の通りである。ＭＰＥＧシステム符号化器（以下、符号化器）は、画像データと音声データ間の連係を保ちながらそれぞれＭＰＥＧビデオパートとＭＰＥＧオーディオパートに準拠して符号化を行い、ＭＰＥＧビデオストリーム（以下、画像ストリーム）とＭＰＥＧオーディオストリーム（以下、音声ストリーム）を生成する。次に、マルチプレクサは、ＭＰＥＧシステムパートに準拠して画像ストリームと音声ストリームの時分割多重化を行い、ひとつのＭＰＥＧシステムストリーム（以下、システムストリーム）を作成する。このシステムストリームは、伝送媒体を介して伝送されるか、または記録媒体に記録される。
デマルチプレクサは、システムストリームを画像ストリームと音声ストリームに分離する。次に、ＭＰＥＧシステム復号器（以下、復号器）は、各ストリームを個別に復号して、画像データと音声データを生成する。画像データはディスプレイへ出力され、音声データはＤ／Ａコンバータ及び低周波増幅器を介してスピーカへ出力される。
【０００４】
復号器では、画像データと音声データの同期再生に関して、「リップシンク」を考慮する必要がある。リップシンクとは、ディスプレイに映し出されている画像と音声の同期がとれていることである。画像と音声にずれが生じ、その差が人間の感覚の検知限界以上になると、聴覚者は違和感を覚える。
画像データと音声データを同期再生するために、通常、復号器はシステムストリーム中のタイムスタンプを使用する。ＭＰＥＧシステムにおいて、このタイムスタンプには、一般にＰＴＳ（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅＳｔａｍｐ）とＤＴＳ（ＤｅｃｏｄｉｎｇＴｉｍｅＳｔａｍｐ）の２種類がある。ＰＴＳは、再生出力の時刻を管理するための情報であり、通常９０ｋＨｚのクロックで計測した値が３２ビット長で表される。復号器では、ＰＴＳと基準クロックであるＳＴＣ（ＳｙｓｔｅｍＴｉｍｅＣｌｏｃｋ）が一致したときに、各ストリームを復号し、再生出力を生成する。一方、ＤＴＳは復号開始時刻を管理するための情報である。ＤＴＳはその値がＰＴＳと異なる場合のみ付加される。なお、ＳＴＣは、システムストリーム中のＳＣＲ（ＳｙｓｔｅｍＣｌｏｃｋＲｅｆｅｒｅｎｃｅ）を使用して、符号化器が意図した値にセットおよび校正される。
【０００５】
従来の復号器では一般に、画像ストリームは、ＳＣＲと画像用ＰＴＳ（以下、ＰＴＳ−Ｖ）によって与えられたタイミングで復号される。また音声ストリームは、ＳＣＲと音声用ＰＴＳ（以下、ＰＴＳ−Ａ）によって与えられたタイミングで復号される。
【０００６】
【発明が解決しようとする課題】
上述の通り、復号器で画像データと音声データの同期再生を行うために、一般には、システムストリーム中のタイムスタンプが使用される。この場合、符号器で付加されるタイムスタンプの精度はリップシンクのずれを生じない程度の正確性を必要とする。しかし、実際には符号化器の設計や部品精度その他の事情により、精度の悪いタイムスタンプも存在する。さらに、ひとつのシステムストリームは多数の番組で構成されているが、番組ごとに符号化器または編集方法が異なるため、システムストリームには千差万別の精度を持つタイムスタンプが含まれる。
【０００７】
本発明者はこうした状況下、以下の課題を認識するに至った。タイムスタンプによる同期を厳密に運用し、画像と音声のタイムスタンプが少しでもずれれば即座に再同期させるとすると、タイムスタンプの精度の悪いストリームでは、そのタイムスタンプをもとに判断する限り画像と音声のずれが大きいため、頻繁にこれらの再同期が行わる。そのため、再同期によって画像や音声のスキップやリピートが多く生じ、再生される画像の動きや音声がかえって不自然なものになるという課題があった。また、タイムスタンプによる同期を粗く運用し、画像と音声のタイムスタンプが大きくずれたときのみ再同期させるとすると、タイムスタンプの精度の良いストリームでも画像と音声のタイムスタンプの同期が不十分になるため、再生された画像と音声にずれが生じるという課題があった。
【０００８】
本発明はこれらの課題を解決するためになされたものであり、その目的は、タイムスタンプの精度に対して適応的な同期処理を行うことである。すなわち、タイムスタンプが高精度の場合、タイムスタンプを有効利用して正確に画像と音声の同期をとることである。一方、タイムスタンプが低精度の場合、あまり有効でないタイムスタンプへの依存を減らし、画像と音声の再同期を減少させることである。
【０００９】
【課題を解決するための手段】
本発明のある態様は、同期制御装置に関する。この装置は、取得したストリームに含まれるタイムスタンプと所定の基準となるタイムスタンプの時間差の追跡結果により前記時間差のばらつきを測定し、前記測定結果をもとに、ストリームに含まれるタイムスタンプの精度を判定し、この判定結果に応じて時間差に関する許容値を設定するタイムスタンプ精度判定部と、許容値と時間差の比較結果をもとに、ストリームに含まれるタイムスタンプと基準となるタイムスタンプの同期の処理を行う同期処理部とを含む。
「タイムスタンプの精度」とは、符号化器で付加されるタイムスタンプの値に含まれる誤差の程度を意味する。この誤差が大きい場合、タイムスタンプのタイミングをもとに復号しても、再生された画像と音声にずれが生じる。
「同期」とは、本来再生時における画像と音声のタイミングが一致していることである。ここでは、それを実現する技術に関連して、複数種のタイムスタンプが示すタイミングやそのタイムスタンプを生成するもとになったクロックの周波数が概略一致していることも含むものとする。
「ストリームに含まれるタイムスタンプ」とは、ストリーム中に存在する情報に対するタイムスタンプであり、例えば画像や音声に関するタイムスタンプである。
「基準となるタイムスタンプ」には、ストリームに含まれるタイムスタンプと当該装置で生成されるタイムスタンプが含まれる。
「時間差に関する許容値」とは、例えば、タイムスタンプの精度が悪くなればその範囲が大きくなり、またタイムスタンプの精度が良くなればその範囲が小さくなる性質を有する値である。
この装置によれば、ストリームに含まれるタイムスタンプの精度を判定し、その結果にあわせて処理を変更するため、タイムスタンプの精度に応じた適応的な同期処理が可能である。
【００１０】
タイムスタンプ精度判定部は、ストリームに含まれるタイムスタンプと所定の基準となるタイムスタンプの時間差が単調増加または単調減少した場合に、ストリームに含まれるタイムスタンプの精度の判定を中止し、ストリームに含まれるタイムスタンプと基準となるタイムスタンプが同期していないと予備的に判断してもよい。その結果、後述のごとく必要に応じて装置内部のクロック周波数を調整してもよい。
【００１１】
「単調増加または単調減少」とは、ある値が一定時間の間連続して増加または減少する状態を意味するが、ここではさらに巨視的に増加または減少する状態も含むものとする。このとき、微視的な変化を無視してもよい。
【００１２】
この装置によれば、ストリームに含まれるタイムスタンプの精度の判定結果として、ストリームに含まれるタイムスタンプと基準となるタイムスタンプの時間差に関する許容値を設定し、後の処理をこの許容値にもとづいて行わせる。この許容値はタイムスタンプの精度の変化に追従して変化するため、タイムスタンプの精度に応じた適応的な同期処理が可能である。
【００１３】
同期処理部は、時間差が許容値よりも小さい場合に、ストリームに含まれるタイムスタンプと基準となるタイムスタンプが同期していると判断してもよい。また、許容値が所定の値より大きい場合に、ストリームに含まれるタイムスタンプの進行速度の平均値をもとに同期を制御してもよい。
「タイムスタンプの進行速度」とは、タイムスタンプの値の時間変化率である。これは、ふたつの基準時間ｔ１とｔ２におけるタイムスタンプの値をそれぞれＴＳ（ｔ１）とＴＳ（ｔ２）とした場合、ＴＳ（ｔ２）−ＴＳ（ｔ１）をｔ２−ｔ１で除算して求められる。
【００１４】
基準となるタイムスタンプは当該装置にて局所的に生成されたものであってもよい。その場合、基準となるタイムスタンプは、ストリームに含まれているタイムスタンプではなく、当該装置で生成されているため、一定のタイミングで処理することができる。
【００１６】
本発明のさらに別の態様は、同期再生装置に関する。この装置は、同期制御装置と、ストリームを取得し、同期制御装置に備えられた同期処理部による処理結果を受けてストリームを復号する復号部とを含む。
「復号部」とは、符号化された信号を符号化される前の信号に変換する部分であるが、ここでは復号のために必要なタイミング同期、クロック生成などの処理を行う部分も含むものとする。この装置によれば、タイムスタンプの精度に応じた適応的な同期処理のもと復号が行われるので、自然な画像と音声の再生が可能である。
【００１７】
本発明のさらに別の態様は、テレビジョン受信装置に関する。受信した放送波を復調してストリームを生成する受信ブロックと、同期再生装置と、復号部により復号されたストリームをもとに音声を出力する音声出力部と、復号部により復号されたストリームをもとに画像を表示する画像表示部とを含む。
「放送波」とは、放送衛星、通信衛星、地上波テレビジョン送信装置などが送信する画像、音声、文字などの情報の伝送を目的とした電波を意味するが、ここではさらに無線回線における電波だけでなく有線回線を伝達する信号も含むものとする。
この装置によれば、タイムスタンプの精度に応じた適応的な同期処理のもと復号が行われるので、自然な画像と音声の再生が可能なテレビジョン受信装置を実現できる。
【００１８】
同期処理部は、ストリームに含まれるタイムスタンプと基準となるタイムスタンプが同期していないと判断した場合に、ストリームに含まれる画像の出力を制御することにより同期を制御してもよい。タイムスタンプ精度判定部または同期処理部は、ストリームに含まれるタイムスタンプと基準となるタイムスタンプが同期していないと判断した場合に、ストリームに含まれるタイムスタンプをもとに出力を制御してもよい。タイムスタンプ精度判定部または同期処理部は、ストリームに含まれるタイムスタンプと基準となるタイムスタンプが同期していないと判断した場合に、送信側と受信側のクロックタイミングを同期させてもよい。
【００１９】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
（実施の形態１）
図１は、実施の形態１に係る同期再生装置１００の構成図である。同期再生装置１００は、タイムスタンプ抽出部１０、復号器１６、同期制御装置２００を有する。また同期制御装置２００は、タイムスタンプ精度判定部１２、同期処理部１４を有する。
【００２１】
タイムスタンプ抽出部１０は、入力されたシステムストリームからタイムスタンプを選択する。図２は、システムストリームの一例である。ひとつのシステムストリームには画像ストリームと音声ストリームが多重化されており、ヘッダＨおよびパケットＶ１、Ｖ２、Ａ１、Ｖ３、Ａ２・・・を含む。ここで、Ｖ１、Ｖ２等は画像ストリームを構成するパケットであり、Ａ１、Ａ２等は音声ストリームを構成するパケットである。ここでは、Ｖ１とＡ１の先頭にＰＴＳ−ＶとＰＴＳ−Ａが付加されている。図１のタイムスタンプ抽出部１０はタイムスタンプ精度判定部１２と同期処理部１４へＰＴＳ−Ｖを出力する。
【００２２】
タイムスタンプ精度判定部１２は、ＰＴＳ−Ｖと復号器１６で生成されたタイムスタンプ（以下、自走ＴＳ）の時間差をもとにＰＴＳ−Ｖの精度の判定結果としてＰＴＳ−Ｖと自走ＴＳの時間差に関する許容値を出力する。ここで、自走ＴＳとは、システムストリームから得た情報とＳＴＣから生成されるタイムスタンプである。システムストリームから得た情報とは、例えば画像ならば３０枚／秒、音声ならば４４．１ｋＨｚなどである。ＰＴＳ−Ｖと自走ＴＳの時間差とＰＴＳ−Ｖの精度の関係は図７に示される。図は２種類のＰＴＳ−Ｖと自走ＴＳの時間差を○印と×印で示す。図中の○印の各点は、×印の各点と比較してばらつきが小さく、時間差０付近に存在する。このとき、○印で表されたＰＴＳ−Ｖの精度は、×印で表されたものより一般に高いといえる。なぜなら、一般に正確なタイミングを有するＳＴＣと既知の情報から生成される自走ＴＳに近いタイムスタンプを有するからである。さらに図１のタイムスタンプ精度判定部１２は、図７に示されるこれらのデータをもとにＰＴＳ−Ｖと自走ＴＳの時間差に関する許容値（以下、許容時間差）を設定し、これを許容時間差情報７０として同期処理部１４へ出力する。この設定方法は後述する。
【００２３】
同期処理部１４は、ＰＴＳ−Ｖと自走ＴＳの時間差を許容時間差と比較する。これらの時間差が許容時間差の範囲内にある場合、ＰＴＳ−Ｖと自走ＴＳの同期のずれは無視できるものとし、復号器１６へは何の情報も出力しない。一方、ＰＴＳ−Ｖと自走ＴＳの時間差が許容時間差の上限値よりも大きい場合、ＰＴＳ−Ｖと自走ＴＳの同期のずれが大きく、画像データの出力が遅れているものとし、復号器１６へ復号時に画像データをスキップする指示の情報を出力する。また、一方、ＰＴＳ−Ｖと自走ＴＳの時間差が許容時間差の下限値よりも小さい場合、画像データの出力が進んでいるものとし、復号器１６へ復号時に画像データをリピートする指示の情報を出力する。ここで一般に、音声データは画像データよりスキップやリピートなどのタイミング調整によって不自然感が大きくなるため、音声データのタイミング調整は行わないものとしている。そのため、ＰＴＳ−Ａと自走ＴＳのずれは基本的に無視している。
【００２４】
復号器１６は、画像ストリームと音声ストリームをそれぞれ画像データと音声データに復号する。最初のシステムストリームが入力されたときに、その中のＰＴＳ−ＶとＰＴＳ−Ａより画像データと音声データの出力を同期させる。その後は、自走ＴＳにより与えられたタイミングで復号を行う。同期処理部１４からスキップ・リピート情報７２の指示を受けた場合、復号器１６はそれに従って画像データをスキップまたはリピートし、画像データと音声データの同期を維持する。最終的に復号器１６は、復号された画像データと音声データを出力する。
【００２５】
図３は、画像ストリームの同期制御処理の手順を示す図である。復号器１６は、ＰＴＳ−ＶとＰＴＳ−Ａを使用して画像データ出力と音声データ出力を同期させる（Ｓ１０）。タイムスタンプ精度判定部１２は、ＰＴＳ−Ｖと自走ＴＳの時間差から許容時間差を設定する（Ｓ１２）。同期処理部１４は、ＰＴＳ−Ｖと自走ＴＳの時間差が許容時間差の範囲にあるか否かを判定し、その結果に応じた処理を行う（Ｓ１４）。以上の処理は、画像ストリームが終了するまで繰り返し行われる（Ｓ１６のＮ）。これより許容時間差の値は逐次更新される。
【００２６】
図４は、精度判定処理（Ｓ１２）の手順を示す図である。タイムスタンプ精度判定部１２は、ＰＴＳ−Ｖと自走ＴＳの時間差を計算する（Ｓ２０）。この値が図８のように、単調増加あるいは単調減少する場合（Ｓ２２のＹ）、復号器１６において再びＰＴＳ−ＶとＰＴＳ−Ａを使用して画像データ出力と音声データ出力を再同期させる（Ｓ２４）。精度を判定する以前に、ＰＴＳ−Ｖと自走ＴＳが同期していないと考えられるからである。一方、単調増加あるいは単調減少しない場合（Ｓ２２のＮ）、ＰＴＳ−Ｖと自走ＴＳの時間差からＰＴＳ−Ｖの精度に対応した許容時間差を設定する（Ｓ２６）。図９は、ＰＴＳ−Ｖと自走ＴＳの時間差対時間を示す図である。この図の中で許容時間差は最小値Ｔ１と最大値Ｔ２の幅を有する。Ｔ１とＴ２の値は、例えば、それまで測定した時間差の最小値と最大値の８０％値であってもよいし、すべての時間差から統計的に導出した値であってもよい。Ｔ１とＴ２は許容時間差情報７０として、同期処理部１４に出力される（Ｓ２８）。
【００２７】
図５は、同期判定処理（Ｓ１４）の手順を示す図である。同期処理部１４は、ＰＴＳ−Ｖと自走ＴＳの時間差Ｔを計算する（Ｓ３０）。タイムスタンプ精度判定部１２から許容時間差を示すＴ１とＴ２を入力する（Ｓ３２）。時間差ＴをＴ１およびＴ２と比較する。その結果、ＴがＴ１＜Ｔ＜Ｔ２となる値であれば、ＰＴＳ−Ｖと自走ＴＳの同期のずれは無視できるものとする（Ｓ３４のＹ）。一方、Ｔ＞Ｔ２またはＴ＜Ｔ１の場合（Ｓ３４のＮ）、前者では、画像データの出力が遅れているものとし、復号器１６へ復号時に画像データをスキップする指示の情報をスキップ・リピート情報７２として出力する。また、後者では、画像データの出力が進んでいるものとし、復号器１６へ復号時に画像データをリピートする指示の情報をスキップ・リピート情報７２として出力する（Ｓ３６）。
【００２８】
同期処理部１４は、画像データのスキップとリピートによって、自走ＴＳがＰＴＳ−Ｖに一致するように処理を行う。例えば、ＰＴＳ−Ｖと自走ＴＳの時間差の間に表示される画像データをスキップしたり、ＰＴＳ−Ｖと自走ＴＳの時間差の間で同一の画像データをリピートして表示する指示をする。しかし、ＰＴＳ−Ｖの精度が悪い場合、自走ＴＳをＰＴＳ−Ｖに一致させても再生される画像と音声にずれが生じる可能性がある。ＰＴＳ−Ｖ自体の誤差が大きいと考えられるためである。この場合、自走ＴＳをＰＴＳ−Ｖではなく、ＰＴＳ−Ｖの進行速度の平均値から決定される値に一致させるよう処理を行う。この値は、図１０において点線で示される。この点線は、プロットされた各点の平均的な値を示し、例えば各点の最小二乗法により求められる。この点線を時間で微分したものが、ＰＴＳ−Ｖの進行速度の平均値である。
【００２９】
上記のＰＴＳ−Ｖの精度が悪いとの判断は、同期処理部の中の比較部（図示せず）によって、例えば、Ｔ２とＴ１の差とあらかじめ定められている値との比較によりなされる。また、上記のＰＴＳ−Ｖの進行速度の平均値から決定される値は、同期処理部の中の計算部（図示せず）によって、計算される。
【００３０】
図６は、音声ストリームの同期制御処理の手順を示す図である。復号器１６は、ＰＴＳ−ＡとＰＴＳ−Ｖを使用して音声データ出力と画像データ出力を同期させる（Ｓ４０）。その後、復号器１６は、音声ストリームが記録されているバッファの状態を確認する（Ｓ４２）。このバッファは、例えば、メインメモリやハードディスクである。このバッファがオーバーフローまたはアンダーフローしている場合（Ｓ４４のＹ）、Ｓ４０と同様にＰＴＳ−ＡとＰＴＳ−Ｖを使用して音声データ出力と画像データ出力を再同期させる（Ｓ４６）。バッファがオーバーフローしている場合は、音声データの出力が遅れ、アンダーフローしている場合は、音声データの出力が進んでいると考えられるからである。以上の処理は、音声ストリームが終了するまで繰り返し行わる（Ｓ４８のＮ）。この処理は、バッファにおける音声ストリームの記録量を監視しているだけのため、容易に実施できる。
【００３１】
このように本実施の形態によれば、タイムスタンプの精度に応じて適応的に許容時間差を決定し、それをもとに画像データと音声データの同期を判定しているため、タイムスタンプの精度に対して最適な同期処理を行うことができる。すなわち、タイムスタンプの精度が良ければ、許容時間差の範囲を狭くし、正確に画像と音声を同期させる。タイムスタンプの精度が悪ければ、許容時間差の範囲を広くし、画像と音声の再同期を減少させる。また基準となるタイムスタンプを復号器内部で一般に精度の高いＳＴＣと既知の情報から生成しているため、安定した動作が可能である。さらに、システムストリームに含まれるタイムスタンプの精度が悪い場合、基準タイムスタンプがタイムスタンプの進行速度の平均値から決定される値に一致するように、データのスキップとリピートする時間を調節していることから、システムストリームに含まれるタイムスタンプの誤差の影響を軽減することが可能である。
【００３２】
（実施の形態２）
図１１は、実施の形態２に係る同期再生装置１１０の構成図である。同期再生装置１１０は、タイムスタンプ抽出部１０、復号器１６、同期制御装置２００、システムクロック同期処理部１８を有する。このうち、タイムスタンプ抽出部１０、復号器１６、同期制御装置２００は図１と同一である。図１２はシステムクロック同期処理部１８の構成図である。システムクロック同期処理部１８は、クロックデータ抽出部６０、減算器６２、ＬＰＦ（ローパスフィルタ：ＬｏｗＰａｓｓＦｉｌｔｅｒ）６４、ＶＣＸＯ（電圧制御水晶発振器：ＶｏｌｔａｇｅＣｏｎｔｒｏｌｌｅｄＣｒｙｓｔａｌＯｓｃｉｌｌａｔｏｒ）６６、カウンタ６８を有する。
【００３３】
システムクロック同期処理部１８は、復号器における基準クロックＳＴＣ７４を符号化器が意図した値にセットおよび校正し、出力する。自走ＴＳは復号器１６でこのＳＴＣ７４をもとに、例えば分周により生成される。また、システムクロック同期処理部１８は、図に示されていないがタイムスタンプ精度判定部１２からの指示により、ＰＴＳ−Ｖと自走ＴＳの時間差が単調増加または単調減少する場合に、ＳＴＣ７４の再同期を行う。
【００３４】
クロックデータ抽出部６０は、入力されたシステムストリームからＳＣＲを選択する。減算器６２は、ＳＣＲとＳＴＣ７４の差を計算する。ＬＰＦ６４はこの差の高周波の雑音成分を除去する。その結果は電圧値で表され、符号化器と復号器のＳＴＣの差に比例する。
ＶＣＸＯ６６は、電圧値に応じた周波数の信号を発振する。この信号は、カウンタ６８によりＳＴＣ７４に変換される。ＳＴＣ７４は、例えば、ＭＰＥＧ１で９０ｋＨｚ、ＭＰＥＧ２で２７ＭＨｚである。ＳＴＣ７４は復号器１６に入力され、自走ＴＳが生成される。
【００３５】
図８に示すようなＰＴＳ−Ｖと自走ＴＳの時間差が単調増加あるいは単調減少する場合、これらの周波数自体が一致していない可能性がある。そのとき、図１１のシステムクロック同期処理部１８でＳＴＣ７４を再同期させ、ＰＴＳ−Ｖと自走ＴＳの周波数を一致させることが、有効であると考えられる。なぜなら、あるタイミングでＰＴＳ−Ｖと自走ＴＳを同期させても、これらの周波数が一致していないので、次第に同期もずれるからである。図４のＳ２４のステップで以上の処理が行われる。
このように本実施の形態によれば、基準タイムスタンプとシステムストリーム中のタイムスタンプの周波数を同期させることが可能である。
【００３６】
（実施の形態３）
図１３は、実施の形態３に係る同期再生装置１２０の構成図である。同期再生装置１２０は、タイムスタンプ抽出部２０、復号器２２、同期制御装置２１０を有する。また、同期制御装置２１０はタイムスタンプ精度判定部１２、同期処理部１４を有する。
【００３７】
タイムスタンプ抽出部２０は、入力されたシステムストリームからＰＴＳ−ＡとＰＴＳ−Ｖを選択し、これらを同期制御装置２１０に出力する。
同期制御装置２１０におけるタイムスタンプ精度判定部１２と同期処理部１４は、図１と同一である。しかし、タイムスタンプ精度判定部１２と同期処理部１４は共にＰＴＳ−Ｖと自走ＴＳの時間差でなく、ＰＴＳ−ＶとＰＴＳ−Ａの時間差を計算し、この値をもとに、図４と図５に示す精度判定処理と同期判定処理を行う。
復号器２２は、図１と同様に、画像ストリームと音声ストリームをそれぞれ画像データと音声データに復号する。復号処理は、自走ＴＳまたはＰＴＳ−Ａのタイミングで行われる。
【００３８】
このように本実施の形態によれば、時間差を計算するときの基準タイムスタンプにＰＴＳ−Ａを使用しているため、ＰＴＳ−ＶとＰＴＳ−Ａの時間差の検出が確実である。さらに、ＰＴＳ−ＶとＰＴＳ−Ａの時間差から許容時間差を決定し、それをもとに画像データと音声データの同期を判定しているため、タイムスタンプの精度に対して適応的に同期処理を行うことができる。
【００３９】
（実施の形態４）
図１４は、実施の形態４に係る同期再生装置１３０の構成図である。同期再生装置１３０は、音声タイムスタンプ抽出部２４、画像タイムスタンプ抽出部２６、音声同期制御装置２２０、画像同期制御装置２３０、復号器１６を有する。また、音声同期制御装置２２０は音声タイムスタンプ精度判定部２８、音声同期処理部３０を有し、画像同期制御装置２３０は画像タイムスタンプ精度判定部３２、画像同期処理部３４を有する。このうち復号器１６は、図１と同一であり、画像タイムスタンプ抽出部２６、画像タイムスタンプ精度判定部３２、画像同期処理部３４は図１のタイムスタンプ抽出部１０、タイムスタンプ精度判定部１２、同期処理部１４と名称は異なるが同一である。ここで図１４は、図１と異なり、同期制御装置２００を画像ストリームだけでなく音声ストリームにも適用している。
【００４０】
音声タイムスタンプ抽出部２４は、入力されたシステムストリームからＰＴＳ−Ａを選択し、音声タイムスタンプ精度判定部２８と音声同期処理部３０に出力する。
音声タイムスタンプ精度判定部２８と音声同期処理部３０は、図１のタイムスタンプ精度判定部１２と同期処理部１４と同様の処理を行う。しかし、これらは共にＰＴＳ−Ｖと自走ＴＳの時間差でなく、ＰＴＳ−Ａと自走ＴＳの時間差を計算し、この値をもとに、図４と図５に示す精度判定処理と同期判定処理を行う。
復号器１６は音声ストリームと画像ストリームを復号し、音声データと画像データを出力する。このとき、音声データに対しても音声同期処理部３０からの指示にもとづきスキップとリピート処理を施す。
【００４１】
このように本実施の形態によれば、音声データについてもＰＴＳ−Ａの精度に応じて適応的に許容時間差を決定し、それをもとに画像データと音声データの同期を判定しているため、音声データもタイムスタンプの精度に対して最適な同期処理を行うことができる。
【００４２】
（実施の形態５）
図１５は、実施の形態５に係るテレビジョン受信装置１５０の構成図である。テレビジョン受信装置１５０は、アンテナ４８、受信ブロック４０、処理ブロック４２、再生ブロック４４を有する。受信ブロック４０は、チューナ４６を有する。処理ブロック４２はＣＰＵ５０、メモリ５２、同期再生装置１００を有する。再生ブロック４４は音声出力部５４、スピーカ５８、表示装置５６を有する。ここで、処理ブロック４２における同期再生装置１００は図１と同一である。
【００４３】
受信ブロック４０は、アンテナ４８を介して放送波を受信する。受信ブロック４０に含まれるチューナ４６は受信した放送波の中からユーザが選んだチャネルに対して復調を施す。この復調は、例えば、放送衛星を使ったデジタル放送において８ＰＳＫである。復調で得られたシステムストリームは、処理ブロック４２に出力される。
処理ブロック４２の同期再生装置１００はＣＰＵ５０およびメモリ５２と連携し、放送局で符号化され送信された画像及び音声ストリームを復号する。同期再生装置１００の動作は前述の通りである。同期再生装置１００は復号された音声データを音声出力部５４へ、復号された画像データを表示装置５６へ出力する。
音声出力部５４は、入力された音声データに所定の処理を施し、最終的に音声をスピーカ５８へ出力する。また、表示装置５６は、入力された画像データに所定の処理を施し、最終的に画像をモニタ等へ出力する。
このように本実施の形態によれば、タイムスタンプの精度に対して最適な同期処理を行う機能を有するテレビジョン受信装置を実現することが可能である。
【００４４】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そうした変形例をいくつか説明する。
【００４５】
実施の形態１では、精度判定処理において許容時間差を逐次更新している。しかし、許容時間差は所定の値を固定的に使用してもよい。例えば、最初に決定されたものを使用することである。要は、同期しているか否かの判断基準がタイムスタンプの精度に対応して定められればよい。
【００４６】
実施の形態１では、精度判定処理の先頭においてＰＴＳ−Ｖと自走ＴＳの時間差が単調増加あるいは単調減少する場合に、ＰＴＳ−ＶとＰＴＳ−Ａを使用して画像データ出力と音声データ出力を再同期させている。しかし、単調増加あるいは単調減少する場合に限られず、所定の関数に従う場合に、再同期を行ってもよい。さらにこれらの処理を処理の先頭以外で行ってもよい。要は、ＰＴＳ−Ｖと自走ＴＳの周波数が一致していないことが検出できればよい。
【００４７】
実施の形態１では、同期判定処理部においてＰＴＳ−Ｖと自走ＴＳの時間差と許容時間差を比較してこれらが同期しているかを判断している。しかし、この判断条件に別の条件が付加されてもよい。複数回の比較結果をもとになされてもよい。例えば、所定回数の時間差が連続して許容時間差の上限値より大きくなった場合に、同期していないと判断してもよい。要は、特定の基準により同期しているか否かの判断がされればよい。
実施の形態１では、画像と音声の同期を判断するために、ＰＴＳを使用している。しかし、これはＰＴＳでなくてもよい。例えば、ＤＴＳでよい。要は、画像と音声を再生するタイミングが分かればよい。
【００４８】
実施の形態４では、音声データの出力における同期処理を画像データと同一のものとしている。しかし、これらは完全に同一である必要はない。例えば、音声データの許容時間差に重み付けを行い、この範囲を測定結果よりも広げることによって、音声データはスキップおよびリピートされにくくしてもよい。要は、自然に画像と音声が再生されればよい。結果として、より自然な再生が実現する。
【００４９】
【発明の効果】
本発明によれば、タイムスタンプの精度に対して適応的な同期処理を行うことができる。すなわち、タイムスタンプが高精度の場合、タイムスタンプを有効利用して正確に画像と音声の同期をとることができる。一方、タイムスタンプが低精度の場合、あまり有効でないタイムスタンプへの依存を減らし、画像と音声の再同期を減少させることができる。
【図面の簡単な説明】
【図１】実施の形態１に係る同期再生装置を示す図である。
【図２】図１の装置に入力されるシステムストリームを示す図である。
【図３】図１の装置による画像ストリームの同期制御処理の手順を示すフローチャートである。
【図４】図３の手順における精度判定処理の手順を示すフローチャートである。
【図５】図３の手順における同期判定処理の手順を示すフローチャートである。
【図６】図１の装置による音声ストリームの同期制御処理の手順を示すフローチャートである。
【図７】図１の装置におけるＰＴＳ−Ｖと自走ＴＳの時間差とＰＴＳ−Ｖの精度の関係を示す図である。
【図８】図１の装置におけるＰＴＳ−Ｖと自走ＴＳの時間差が単調増加していることを示す図である。
【図９】図１の装置における許容時間差を示す図である。
【図１０】図１の装置におけるタイムスタンプの進行速度の平均値を示す図である。
【図１１】実施の形態２に係る同期再生装置を示す図である。
【図１２】図１１の装置におけるシステムクロック同期処理部を示す図である。
【図１３】実施の形態３に係る同期再生装置を示す図である。
【図１４】実施の形態４に係る同期再生装置を示す図である。
【図１５】実施の形態５に係るテレビジョン受信装置を示す図である。
【符号の説明】
１０タイムスタンプ抽出部、１２タイムスタンプ精度判定部、１４同期処理部、１６復号器、１８システムクロック同期処理部、２０タイムスタンプ抽出部、２２復号器、２４音声タイムスタンプ抽出部、２６画像タイムスタンプ抽出部、２８音声タイムスタンプ精度判定部、３０音声同期処理部、３２画像タイムスタンプ精度判定部、３４画像同期処理部、４０受信ブロック、４２処理ブロック、４４再生ブロック、４６チューナ、４８アンテナ、５０ＣＰＵ、５２メモリ、５４音声出力部、５６表示装置、５８スピーカ、６０クロックデータ抽出部、６２減算器、６４ＬＰＦ、６６ＶＣＸＯ、６８カウンタ、７０許容時間差情報、７２スキップ・リピート情報、７４ＳＴＣ、１００同期再生装置、１１０同期再生装置、１２０同期再生装置、１３０同期再生装置、１５０テレビジョン受信装置、２００同期制御装置、２１０同期制御装置、２２０音声同期制御装置、２３０画像同期制御装置。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a technique for synchronizing an image and audio when decoding a stream including image information and audio information. Furthermore, the present invention relates to a reproducing apparatus and a television receiving apparatus having this synchronization technique.
[0002]
[Prior art]
Data compression / decompression technology is indispensable for processing a large amount of information at high speed. As this technique, there is an MPEG (Moving Picture Expert Group) system. MPEG consists of three parts. The “MPEG system part” defines a multiplexing structure of image data and audio data. “MPEG video part” defines a high-efficiency encoding method of image data. “MPEG audio part” defines a high-efficiency encoding method for audio data. Furthermore, MPEG is classified into MPEG1, MPEG2, MPEG4, etc. mainly according to the application area.
[0003]
The flow from encoding to decoding in MPEG is as follows. An MPEG system encoder (hereinafter referred to as an encoder) performs encoding according to an MPEG video part and an MPEG audio part while maintaining linkage between image data and audio data, respectively, and MPEG video stream (hereinafter referred to as an image stream). ) And an MPEG audio stream (hereinafter referred to as an audio stream). Next, the multiplexer performs time division multiplexing of the image stream and the audio stream in accordance with the MPEG system part to create one MPEG system stream (hereinafter, system stream). This system stream is transmitted via a transmission medium or recorded on a recording medium.
The demultiplexer separates the system stream into an image stream and an audio stream. Next, an MPEG system decoder (hereinafter referred to as a decoder) decodes each stream individually to generate image data and audio data. Image data is output to a display, and audio data is output to a speaker via a D / A converter and a low frequency amplifier.
[0004]
In the decoder, it is necessary to consider “lip sync” regarding synchronous reproduction of image data and audio data. The lip sync means that the image and sound shown on the display are synchronized. When there is a gap between the image and the sound and the difference exceeds the human detection limit, the listener feels uncomfortable.
In order to reproduce image data and audio data synchronously, a decoder normally uses a time stamp in the system stream. In an MPEG system, there are generally two types of time stamps, PTS (Presentation Time Stamp) and DTS (Decoding Time Stamp). The PTS is information for managing the time of reproduction output, and a value measured with a clock of 90 kHz is usually represented by a 32-bit length. In the decoder, when the PTS and STC (System Time Clock) which is a reference clock match, each stream is decoded and a reproduction output is generated. On the other hand, DTS is information for managing the decoding start time. The DTS is added only when the value is different from the PTS. The STC is set and calibrated to a value intended by the encoder using an SCR (System Clock Reference) in the system stream.
[0005]
In a conventional decoder, an image stream is generally decoded at a timing given by an SCR and an image PTS (hereinafter PTS-V). The audio stream is decoded at a timing given by the SCR and the audio PTS (hereinafter referred to as PTS-A).
[0006]
[Problems to be solved by the invention]
As described above, in order to perform synchronous reproduction of image data and audio data by a decoder, a time stamp in a system stream is generally used. In this case, the accuracy of the time stamp added by the encoder needs to be accurate enough not to cause a lip sync shift. However, there are actually time stamps with inaccuracy due to the design of the encoder, component accuracy, and other circumstances. Furthermore, although one system stream is composed of a large number of programs, since the encoder or editing method differs for each program, the system stream includes time stamps having various accuracy.
[0007]
Under such circumstances, the present inventor has come to recognize the following problems. If the synchronization with the time stamp is strictly operated and if the time stamp of the image and the sound is even slightly shifted, it is immediately re-synchronized. Since there is a large difference in voice, these re-synchronizations are frequently performed. For this reason, many skips and repeats of images and sounds occur due to re-synchronization, and there has been a problem that the motion and sounds of the reproduced images become rather unnatural. In addition, if the synchronization by time stamp is coarsely operated and resynchronization is performed only when the time stamp of the image and the audio is greatly shifted, the synchronization of the time stamp of the image and the audio becomes insufficient even in a stream having a good time stamp accuracy. For this reason, there has been a problem that a difference between the reproduced image and the sound occurs.
[0008]
The present invention has been made to solve these problems, and an object thereof is to perform an adaptive synchronization process with respect to the accuracy of the time stamp. That is, when the time stamp is highly accurate, the time stamp is effectively used to accurately synchronize the image and the sound. On the other hand, if the time stamp is of low accuracy, the dependency on the less effective time stamp is reduced and the resynchronization of the image and the sound is reduced.
[0009]
[Means for Solving the Problems]
  One embodiment of the present invention relates to a synchronous control device. This device uses the time difference between the time stamp included in the acquired stream and the predetermined reference time stamp.Measure the variation of the time difference according to the tracking result,Based on the measurement result, the accuracy of the time stamp included in the stream is determined, and based on the result of the comparison between the allowable value and the time difference, the time stamp accuracy determination unit sets the allowable value related to the time difference according to the determination result. A synchronization processing unit that performs processing for synchronizing the time stamp included in the stream and the reference time stamp.
  “Time stamp accuracy” means the degree of error included in the time stamp value added by the encoder. If this error is large, even if decoding is performed based on the timing of the time stamp, there is a difference between the reproduced image and sound.
  “Synchronization” means that the timing of the image and the sound at the time of reproduction is consistent. Here, in relation to the technology for realizing this, it is assumed that the timings indicated by a plurality of types of time stamps and the frequency of the clock from which the time stamps are generated substantially match.
  The “time stamp included in the stream” is a time stamp for information existing in the stream, for example, a time stamp for an image or sound.
  The “reference time stamp” includes a time stamp included in the stream and a time stamp generated by the apparatus.
  The “allowable value relating to time difference” is a value having a property that, for example, the range becomes larger when the accuracy of the time stamp becomes worse, and the range becomes smaller when the accuracy of the time stamp becomes better.
  According to this apparatus, since the accuracy of the time stamp included in the stream is determined and the processing is changed according to the result, adaptive synchronization processing according to the accuracy of the time stamp is possible.
[0010]
  The time stamp accuracy determination unit stops determining the accuracy of the time stamp included in the stream and includes it in the stream when the time difference between the time stamp included in the stream and the predetermined reference time stamp monotonously increases or decreases monotonously. A preliminary determination may be made that the time stamp to be used and the reference time stamp are not synchronized. As a result, the clock frequency inside the apparatus may be adjusted as necessary as described later..
[0011]
  "“Monotone increase or monotonic decrease” means a state in which a certain value continuously increases or decreases for a certain period of time, but here also includes a state in which the value increases or decreases macroscopically. At this time, microscopic changes may be ignored..
[0012]
According to this apparatus, as a determination result of the accuracy of the time stamp included in the stream, an allowable value related to the time difference between the time stamp included in the stream and the reference time stamp is set, and subsequent processing is performed based on the allowable value. Let it be done. Since this allowable value changes following the change in the accuracy of the time stamp, an adaptive synchronization process according to the accuracy of the time stamp is possible.
[0013]
The synchronization processing unit may determine that the time stamp included in the stream and the reference time stamp are synchronized when the time difference is smaller than the allowable value. Further, when the allowable value is larger than a predetermined value, the synchronization may be controlled based on the average value of the time stamp progress rates included in the stream.
The “time stamp progress rate” is the time change rate of the time stamp value. This is obtained by dividing TS (t2) -TS (t1) by t2-t1, where TS (t1) and TS (t2) are the time stamp values at the two reference times t1 and t2, respectively.
[0014]
The reference time stamp may be generated locally by the apparatus. In this case, the reference time stamp is not the time stamp included in the stream, but is generated by the apparatus, and can be processed at a fixed timing.
[0016]
Yet another embodiment of the present invention relates to a synchronous playback device. This apparatus includes a synchronization control device and a decoding unit that acquires a stream and receives a processing result from a synchronization processing unit provided in the synchronization control device, and decodes the stream.
The “decoding unit” is a part that converts an encoded signal into a signal before being encoded, but here also includes a part that performs processing such as timing synchronization and clock generation necessary for decoding. . According to this apparatus, decoding is performed under an adaptive synchronization process according to the accuracy of the time stamp, so that it is possible to reproduce natural images and sounds.
[0017]
Yet another embodiment of the present invention relates to a television receiver. A reception block that demodulates the received broadcast wave to generate a stream, a synchronous playback device, an audio output unit that outputs audio based on the stream decoded by the decoding unit, and a stream that is decoded by the decoding unit And an image display unit for displaying an image.
“Broadcast wave” means a radio wave for the purpose of transmitting information such as images, sounds, and characters transmitted by broadcast satellites, communication satellites, terrestrial television transmitters, etc. In addition to signals transmitted over wired lines.
According to this apparatus, since decoding is performed under an adaptive synchronization process according to the accuracy of the time stamp, a television receiving apparatus capable of reproducing natural images and sounds can be realized.
[0018]
When the synchronization processing unit determines that the time stamp included in the stream and the reference time stamp are not synchronized, the synchronization processing unit may control the synchronization by controlling the output of the image included in the stream. When the time stamp accuracy determination unit or the synchronization processing unit determines that the time stamp included in the stream is not synchronized with the reference time stamp, the time stamp accuracy determination unit or the synchronization processing unit may control output based on the time stamp included in the stream. Good. The time stamp accuracy determination unit or the synchronization processing unit may synchronize the clock timings of the transmission side and the reception side when determining that the time stamp included in the stream and the reference time stamp are not synchronized.
[0019]
It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(Embodiment 1)
FIG. 1 is a configuration diagram of a synchronized playback device 100 according to the first embodiment. The synchronized playback apparatus 100 includes a time stamp extraction unit 10, a decoder 16, and a synchronization control apparatus 200. The synchronization control device 200 includes a time stamp accuracy determination unit 12 and a synchronization processing unit 14.
[0021]
The time stamp extraction unit 10 selects a time stamp from the input system stream. FIG. 2 is an example of a system stream. An image stream and an audio stream are multiplexed in one system stream, and includes a header H and packets V1, V2, A1, V3, A2,. Here, V1, V2, etc. are packets constituting the image stream, and A1, A2, etc. are packets constituting the audio stream. Here, PTS-V and PTS-A are added to the heads of V1 and A1. The time stamp extraction unit 10 of FIG. 1 outputs the PTS-V to the time stamp accuracy determination unit 12 and the synchronization processing unit 14.
[0022]
The time stamp accuracy determination unit 12 uses the time difference between the PTS-V and the time stamp (hereinafter referred to as a free-running TS) generated by the decoder 16 as a determination result of the accuracy of the PTS-V and the free-running TS. Outputs the tolerance for the time difference. Here, the self-running TS is information obtained from the system stream and a time stamp generated from the STC. The information obtained from the system stream is, for example, 30 images / second for images and 44.1 kHz for audio. The relationship between the time difference between the PTS-V and the free-running TS and the accuracy of the PTS-V is shown in FIG. In the figure, the time difference between the two types of PTS-V and the free-running TS is indicated by ◯ and X. Each point marked with a circle in the figure has a smaller variation than each point marked with a cross, and exists near a time difference of zero. At this time, it can be said that the accuracy of the PTS-V represented by a circle is generally higher than that represented by a cross. This is because it generally has a time stamp close to a self-running TS generated from STC having accurate timing and known information. Further, the time stamp accuracy determination unit 12 in FIG. 1 sets an allowable value (hereinafter referred to as an allowable time difference) regarding the time difference between the PTS-V and the self-running TS based on these data shown in FIG. Information 70 is output to the synchronization processing unit 14. This setting method will be described later.
[0023]
The synchronization processing unit 14 compares the time difference between the PTS-V and the free-running TS with the allowable time difference. If these time differences are within the allowable time difference range, the synchronization deviation between the PTS-V and the free-running TS can be ignored, and no information is output to the decoder 16. On the other hand, when the time difference between the PTS-V and the free-running TS is larger than the upper limit value of the allowable time difference, it is assumed that the synchronization difference between the PTS-V and the free-running TS is large and the output of the image data is delayed. Outputs instruction information for skipping image data during decoding. On the other hand, when the time difference between the PTS-V and the free-running TS is smaller than the lower limit value of the allowable time difference, it is assumed that the output of the image data has progressed, and the decoder 16 is instructed to repeat the image data at the time of decoding. Output. Here, in general, the audio data is more unnatural than image data due to timing adjustment such as skip or repeat, and therefore the timing adjustment of the audio data is not performed. Therefore, the difference between PTS-A and free-running TS is basically ignored.
[0024]
The decoder 16 decodes the image stream and the audio stream into image data and audio data, respectively. When the first system stream is input, the output of image data and audio data is synchronized by PTS-V and PTS-A therein. Thereafter, decoding is performed at the timing given by the free-running TS. When receiving the instruction of the skip / repeat information 72 from the synchronization processing unit 14, the decoder 16 skips or repeats the image data accordingly, and maintains the synchronization between the image data and the audio data. Finally, the decoder 16 outputs the decoded image data and audio data.
[0025]
FIG. 3 is a diagram illustrating a procedure of image stream synchronization control processing. The decoder 16 synchronizes image data output and audio data output using PTS-V and PTS-A (S10). The time stamp accuracy determination unit 12 sets an allowable time difference from the time difference between the PTS-V and the self-running TS (S12). The synchronization processing unit 14 determines whether or not the time difference between the PTS-V and the self-running TS is within the allowable time difference range, and performs processing according to the result (S14). The above processing is repeated until the image stream ends (N in S16). Thus, the value of the allowable time difference is sequentially updated.
[0026]
FIG. 4 is a diagram illustrating a procedure of the accuracy determination process (S12). The time stamp accuracy determination unit 12 calculates the time difference between the PTS-V and the free-running TS (S20). When this value monotonously increases or monotonously decreases as shown in FIG. 8 (Y in S22), the decoder 16 uses PTS-V and PTS-A again to resynchronize the image data output and audio data output ( S24). This is because it is considered that the PTS-V and the free-running TS are not synchronized before the accuracy is determined. On the other hand, if it does not monotonously increase or decrease monotonously (N in S22), an allowable time difference corresponding to the accuracy of PTS-V is set from the time difference between PTS-V and the free-running TS (S26). FIG. 9 is a diagram illustrating the time difference between PTS-V and the free-running TS versus time. In this figure, the allowable time difference has a width of a minimum value T1 and a maximum value T2. The values of T1 and T2 may be, for example, 80% of the minimum and maximum time differences measured so far, or may be values derived statistically from all time differences. T1 and T2 are output to the synchronization processing unit 14 as the allowable time difference information 70 (S28).
[0027]
FIG. 5 is a diagram showing the procedure of the synchronization determination process (S14). The synchronization processing unit 14 calculates a time difference T between the PTS-V and the free-running TS (S30). T1 and T2 indicating an allowable time difference are input from the time stamp accuracy determination unit 12 (S32). The time difference T is compared with T1 and T2. As a result, if T is a value satisfying T1 <T <T2, the shift in synchronization between PTS-V and the free-running TS can be ignored (Y in S34). On the other hand, if T> T2 or T <T1 (N in S34), it is assumed that the output of the image data is delayed in the former, and information on an instruction to skip the image data at the time of decoding to the decoder 16 is skip / repeat information. 72 is output. In the latter case, it is assumed that the output of the image data has progressed, and information on an instruction to repeat the image data at the time of decoding is output to the decoder 16 as the skip / repeat information 72 (S36).
[0028]
The synchronization processing unit 14 performs processing so that the free-running TS matches the PTS-V by skipping and repeating image data. For example, an instruction is given to skip image data displayed between the time differences between the PTS-V and the free-running TS or to repeat and display the same image data between the time differences between the PTS-V and the free-running TS. However, when the accuracy of the PTS-V is poor, there is a possibility that the reproduced image and the sound may be shifted even if the self-running TS matches the PTS-V. This is because the error of PTS-V itself is considered large. In this case, processing is performed so that the self-running TS matches not the PTS-V but the value determined from the average value of the traveling speed of the PTS-V. This value is indicated by a dotted line in FIG. The dotted line indicates an average value of each plotted point, and is obtained by, for example, the least square method of each point. A value obtained by differentiating the dotted line with respect to time is an average value of the traveling speed of the PTS-V.
[0029]
The determination that the accuracy of the PTS-V is bad is made by, for example, comparing a difference between T2 and T1 with a predetermined value by a comparison unit (not shown) in the synchronization processing unit. Further, a value determined from the average value of the traveling speed of the PTS-V is calculated by a calculation unit (not shown) in the synchronization processing unit.
[0030]
FIG. 6 is a diagram illustrating a procedure of audio stream synchronization control processing. The decoder 16 synchronizes the audio data output and the image data output using the PTS-A and the PTS-V (S40). Thereafter, the decoder 16 confirms the state of the buffer in which the audio stream is recorded (S42). This buffer is, for example, a main memory or a hard disk. If this buffer overflows or underflows (Y in S44), the audio data output and the image data output are resynchronized using PTS-A and PTS-V as in S40 (S46). This is because the output of audio data is delayed when the buffer overflows, and the output of audio data is considered advanced when the buffer is underflowing. The above processing is repeated until the audio stream ends (N in S48). This process can be easily performed because only the recording amount of the audio stream in the buffer is monitored.
[0031]
As described above, according to the present embodiment, the allowable time difference is adaptively determined according to the accuracy of the time stamp, and the synchronization between the image data and the audio data is determined based on the time difference. Can be optimally synchronized. That is, if the accuracy of the time stamp is good, the range of the allowable time difference is narrowed, and the image and the sound are accurately synchronized. If the accuracy of the time stamp is bad, the range of the allowable time difference is widened and the resynchronization of the image and the sound is reduced. In addition, since the reference time stamp is generally generated from the highly accurate STC and known information inside the decoder, stable operation is possible. In addition, when the accuracy of the time stamp included in the system stream is poor, the data skip and repeat times are adjusted so that the reference time stamp matches the value determined from the average value of the time stamp progress rate. Therefore, it is possible to reduce the influence of the error of the time stamp included in the system stream.
[0032]
(Embodiment 2)
FIG. 11 is a configuration diagram of the synchronized playback device 110 according to the second embodiment. The synchronous reproduction device 110 includes a time stamp extraction unit 10, a decoder 16, a synchronization control device 200, and a system clock synchronization processing unit 18. Among these, the time stamp extraction unit 10, the decoder 16, and the synchronization control device 200 are the same as those in FIG. FIG. 12 is a configuration diagram of the system clock synchronization processing unit 18. The system clock synchronization processing unit 18 includes a clock data extraction unit 60, a subtractor 62, an LPF (Low Pass Filter) 64, a VCXO (Voltage Controlled Crystal Oscillator) 66, and a counter 68.
[0033]
The system clock synchronization processing unit 18 sets and calibrates the reference clock STC74 in the decoder to a value intended by the encoder, and outputs it. The free-running TS is generated by the decoder 16 based on the STC 74, for example, by frequency division. Although not shown in the figure, the system clock synchronization processing unit 18 restarts the STC 74 when the time difference between the PTS-V and the free-running TS monotonously increases or monotonously decreases according to an instruction from the time stamp accuracy determination unit 12. Synchronize.
[0034]
The clock data extraction unit 60 selects an SCR from the input system stream. The subtractor 62 calculates the difference between the SCR and the STC 74. The LPF 64 removes the high frequency noise component of this difference. The result is expressed as a voltage value and is proportional to the STC difference between the encoder and the decoder.
The VCXO 66 oscillates a signal having a frequency corresponding to the voltage value. This signal is converted into STC 74 by the counter 68. The STC 74 is, for example, 90 kHz for MPEG1 and 27 MHz for MPEG2. The STC 74 is input to the decoder 16 to generate a free-running TS.
[0035]
When the time difference between the PTS-V and the free-running TS as shown in FIG. 8 monotonously increases or monotonously decreases, there is a possibility that these frequencies themselves do not match. At that time, it is considered effective to resynchronize the STC 74 by the system clock synchronization processing unit 18 in FIG. 11 so that the frequencies of the PTS-V and the free-running TS match. This is because even if the PTS-V and the free-running TS are synchronized at a certain timing, these frequencies do not match, so the synchronization gradually shifts. The above processing is performed in step S24 of FIG.
Thus, according to the present embodiment, it is possible to synchronize the frequency of the reference time stamp and the time stamp in the system stream.
[0036]
(Embodiment 3)
FIG. 13 is a configuration diagram of the synchronized playback device 120 according to the third embodiment. The synchronized playback device 120 includes a time stamp extraction unit 20, a decoder 22, and a synchronization control device 210. In addition, the synchronization control device 210 includes a time stamp accuracy determination unit 12 and a synchronization processing unit 14.
[0037]
The time stamp extraction unit 20 selects PTS-A and PTS-V from the input system stream and outputs them to the synchronization control device 210.
The time stamp accuracy determination unit 12 and the synchronization processing unit 14 in the synchronization control device 210 are the same as those in FIG. However, both the time stamp accuracy determination unit 12 and the synchronization processing unit 14 calculate the time difference between the PTS-V and the PTS-A, not the time difference between the PTS-V and the free-running TS, and based on this value, FIG. The accuracy determination process and the synchronization determination process shown in FIG. 5 are performed.
Similarly to FIG. 1, the decoder 22 decodes the image stream and the audio stream into image data and audio data, respectively. The decoding process is performed at the timing of the free-running TS or PTS-A.
[0038]
As described above, according to the present embodiment, since the PTS-A is used as the reference time stamp when calculating the time difference, the time difference between the PTS-V and the PTS-A is reliably detected. Further, since the allowable time difference is determined from the time difference between PTS-V and PTS-A, and the synchronization between the image data and the audio data is determined based on the time difference, the synchronization process is adaptively performed with respect to the accuracy of the time stamp. It can be carried out.
[0039]
(Embodiment 4)
FIG. 14 is a configuration diagram of the synchronized playback device 130 according to the fourth embodiment. The synchronized playback device 130 includes an audio time stamp extraction unit 24, an image time stamp extraction unit 26, an audio synchronization control device 220, an image synchronization control device 230, and a decoder 16. The audio synchronization control device 220 includes an audio time stamp accuracy determination unit 28 and an audio synchronization processing unit 30, and the image synchronization control device 230 includes an image time stamp accuracy determination unit 32 and an image synchronization processing unit 34. Among them, the decoder 16 is the same as that in FIG. 1, and the image time stamp extraction unit 26, the image time stamp accuracy determination unit 32, and the image synchronization processing unit 34 are the time stamp extraction unit 10 and the time stamp accuracy determination unit 12 in FIG. The name is the same as the synchronization processing unit 14 although the name is different. 14 differs from FIG. 1 in that the synchronization control apparatus 200 is applied not only to the image stream but also to the audio stream.
[0040]
The audio time stamp extraction unit 24 selects PTS-A from the input system stream and outputs it to the audio time stamp accuracy determination unit 28 and the audio synchronization processing unit 30.
The audio time stamp accuracy determination unit 28 and the audio synchronization processing unit 30 perform the same processing as the time stamp accuracy determination unit 12 and the synchronization processing unit 14 of FIG. However, both of these calculate not the time difference between PTS-V and the free-running TS, but the time difference between PTS-A and the free-running TS, and based on this value, the accuracy determination process and the synchronization determination shown in FIGS. Process.
The decoder 16 decodes the audio stream and the image stream, and outputs the audio data and the image data. At this time, the skip and repeat processing is performed on the audio data based on the instruction from the audio synchronization processing unit 30.
[0041]
As described above, according to the present embodiment, also for audio data, an allowable time difference is adaptively determined according to the accuracy of PTS-A, and synchronization of image data and audio data is determined based on the time difference. The audio data can also be optimally synchronized with respect to the accuracy of the time stamp.
[0042]
(Embodiment 5)
FIG. 15 is a configuration diagram of the television receiver 150 according to the fifth embodiment. The television receiver 150 includes an antenna 48, a reception block 40, a processing block 42, and a reproduction block 44. The reception block 40 has a tuner 46. The processing block 42 includes a CPU 50, a memory 52, and a synchronous playback device 100. The reproduction block 44 includes an audio output unit 54, a speaker 58, and a display device 56. Here, the synchronized playback apparatus 100 in the processing block 42 is the same as in FIG.
[0043]
The reception block 40 receives broadcast waves via the antenna 48. A tuner 46 included in the reception block 40 demodulates the channel selected by the user from the received broadcast waves. This demodulation is, for example, 8PSK in digital broadcasting using a broadcasting satellite. The system stream obtained by the demodulation is output to the processing block 42.
The synchronized playback device 100 in the processing block 42 cooperates with the CPU 50 and the memory 52 to decode the image and audio stream encoded and transmitted by the broadcasting station. The operation of the synchronized playback apparatus 100 is as described above. The synchronized playback device 100 outputs the decoded audio data to the audio output unit 54 and the decoded image data to the display device 56.
The audio output unit 54 performs predetermined processing on the input audio data and finally outputs the audio to the speaker 58. The display device 56 performs predetermined processing on the input image data, and finally outputs the image to a monitor or the like.
As described above, according to the present embodiment, it is possible to realize a television receiver having a function of performing an optimal synchronization process with respect to the accuracy of time stamps.
[0044]
The present invention has been described based on the embodiments. This embodiment is an exemplification, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are also within the scope of the present invention. is there. Several such variations are described.
[0045]
In the first embodiment, the allowable time difference is sequentially updated in the accuracy determination process. However, a predetermined value may be used as the allowable time difference. For example, use the first determined one. In short, the criteria for determining whether or not they are synchronized may be determined corresponding to the accuracy of the time stamp.
[0046]
In the first embodiment, when the time difference between the PTS-V and the free-running TS monotonously increases or decreases monotonically at the beginning of the accuracy determination process, image data output and audio data output are performed using the PTS-V and PTS-A. Resynchronizing. However, the present invention is not limited to monotonically increasing or monotonically decreasing, and resynchronization may be performed when a predetermined function is followed. Further, these processes may be performed at other than the beginning of the process. In short, it is only necessary to detect that the frequencies of the PTS-V and the free-running TS do not match.
[0047]
In the first embodiment, the synchronization determination processing unit compares the time difference between the PTS-V and the free-running TS and the allowable time difference to determine whether they are synchronized. However, another condition may be added to this determination condition. You may make based on the comparison result of multiple times. For example, when the predetermined number of time differences continuously become larger than the upper limit value of the allowable time difference, it may be determined that they are not synchronized. In short, it may be determined whether or not the synchronization is made according to a specific standard.
In the first embodiment, PTS is used to determine synchronization between an image and sound. However, this may not be PTS. For example, DTS may be used. In short, it is only necessary to know the timing for reproducing images and sounds.
[0048]
In the fourth embodiment, the synchronization process for outputting audio data is the same as that for image data. However, they need not be identical. For example, the audio data may be made difficult to be skipped and repeated by weighting the allowable time difference of the audio data and expanding this range beyond the measurement result. In short, it is only necessary that images and sounds are reproduced naturally. As a result, more natural reproduction is realized.
[0049]
【The invention's effect】
According to the present invention, it is possible to perform an adaptive synchronization process with respect to the accuracy of the time stamp. That is, when the time stamp is highly accurate, the time stamp can be effectively used to accurately synchronize the image and the sound. On the other hand, when the time stamp has low accuracy, it is possible to reduce the dependency on the time stamp that is not so effective and to reduce the resynchronization of the image and the sound.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a synchronized playback device according to a first embodiment.
FIG. 2 is a diagram showing a system stream input to the apparatus of FIG. 1;
FIG. 3 is a flowchart illustrating a procedure of image stream synchronization control processing by the apparatus of FIG. 1;
4 is a flowchart showing a procedure of accuracy determination processing in the procedure of FIG. 3;
FIG. 5 is a flowchart showing a procedure of synchronization determination processing in the procedure of FIG. 3;
6 is a flowchart showing a procedure of audio stream synchronization control processing by the apparatus of FIG. 1; FIG.
7 is a diagram showing the relationship between the time difference between PTS-V and free-running TS and the accuracy of PTS-V in the apparatus of FIG.
8 is a diagram showing that the time difference between the PTS-V and the free-running TS in the apparatus of FIG. 1 monotonously increases.
FIG. 9 is a diagram showing an allowable time difference in the apparatus of FIG. 1;
FIG. 10 is a diagram showing an average value of time stamp progress speeds in the apparatus of FIG. 1;
FIG. 11 shows a synchronized playback apparatus according to Embodiment 2;
12 is a diagram showing a system clock synchronization processing unit in the apparatus of FIG.
FIG. 13 is a diagram illustrating a synchronized playback device according to a third embodiment.
FIG. 14 shows a synchronized playback apparatus according to Embodiment 4;
15 is a diagram showing a television receiver according to a fifth embodiment. FIG.
[Explanation of symbols]
10 time stamp extraction unit, 12 time stamp accuracy determination unit, 14 synchronization processing unit, 16 decoder, 18 system clock synchronization processing unit, 20 time stamp extraction unit, 22 decoder, 24 audio time stamp extraction unit, 26 image time stamp Extraction unit, 28 audio time stamp accuracy determination unit, 30 audio synchronization processing unit, 32 image time stamp accuracy determination unit, 34 image synchronization processing unit, 40 reception block, 42 processing block, 44 playback block, 46 tuner, 48 antenna, 50 CPU, 52 memory, 54 audio output unit, 56 display device, 58 speaker, 60 clock data extraction unit, 62 subtractor, 64 LPF, 66 VCXO, 68 counter, 70 allowable time difference information, 72 skip repeat Information, 74 STC, 100 synchronized playback device, 110 synchronized playback device, 120 synchronized playback device, 130 synchronized playback device, 150 television receiver, 200 synchronization control device, 210 synchronization control device, 220 audio synchronization control device, 230 image synchronization Control device.

Claims

The variation in the time difference is measured based on the tracking result of the time difference between the time stamp included in the acquired stream and the predetermined reference time stamp, and the accuracy of the time stamp included in the stream is determined based on the measurement result. A time stamp accuracy determining unit that sets an allowable value related to the time difference according to the determination result;
Based on a comparison result between the allowable value and the time difference, a synchronization processing unit that performs a process of synchronizing the time stamp included in the stream and the reference time stamp;
A synchronous control device comprising:

The time stamp accuracy determination unit, when the time difference between the time stamp included in the stream and the reference time stamp monotonically increases or decreases monotonously, stops determining the accuracy of the time stamp included in the stream, 2. The synchronization control apparatus according to claim 1, wherein the synchronization control apparatus preliminarily determines that the time stamp included in the stream and the reference time stamp are not synchronized.

3. The synchronization processing unit according to claim 2, wherein the time stamp included in the stream and the reference time stamp are synchronized when the time difference is smaller than the allowable value. Synchronous control device.

4. The synchronization processing unit according to claim 2, wherein the synchronization processing unit controls synchronization based on an average value of advancing speed of time stamps included in the stream when the allowable value is larger than a predetermined value. The synchronous control apparatus in any one.

5. The synchronization control apparatus according to claim 1, wherein the reference time stamp is generated locally by the apparatus.

A synchronous control device according to any one of claims 1 to 5;
A decoding unit that acquires the stream and receives the processing result of the synchronization processing unit provided in the synchronization control device, and decodes the stream;
A synchronous playback device comprising:

A receiving block that demodulates the received broadcast wave to generate a stream;
A synchronized playback device according to claim 6;
An audio output unit that outputs audio based on the stream decoded by the decoding unit;
An image display unit for displaying an image based on the stream decoded by the decoding unit;
The television receiver characterized by including.