JP3676631B2 - 映像音声同期再生装置 - Google Patents
映像音声同期再生装置 Download PDFInfo
- Publication number
- JP3676631B2 JP3676631B2 JP31018499A JP31018499A JP3676631B2 JP 3676631 B2 JP3676631 B2 JP 3676631B2 JP 31018499 A JP31018499 A JP 31018499A JP 31018499 A JP31018499 A JP 31018499A JP 3676631 B2 JP3676631 B2 JP 3676631B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- video
- time
- format
- compressed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Time-Division Multiplex Systems (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像データと音声データをデータ圧縮符号化した圧縮映像データと圧縮音声データの同期再生装置に関するものである。
【０００２】
【従来の技術】
映像データを圧縮した圧縮映像データと音声データを圧縮した圧縮音声データとの同期再生装置において、同期再生装置の処理能力が高い場合には、圧縮映像データと圧縮音声データはリアルタイムに復号され、同期のとれた（再生タイミングが揃った）状態で復号化される。同期再生装置が、データ圧縮された圧縮映像データと圧縮音声データの復号化の他、伸張された映像データを第１の映像フォーマットから第２の映像フォーマットへの変換も併せて行う場合も、同期再生装置の処理能力が高い場合には、圧縮映像データと圧縮音声データは、リアルタイム（実時間）の映像データと音声データに復号化され、その後映像データはフォーマット変換され、同期のとれた状態で出力される。しかし、例えば、マイクロプロセッサを使用しソフトウエア上で圧縮映像データと圧縮音声データの同期再生処理を行う映像音声同期再生装置において、マイクロプロセッサに例えば表計算等の他のプログラム処理負担が加わって、当該マイクロプロセッサの圧縮映像データと圧縮音声データの同期再生処理能力が著しく低くなった場合には、当該マイクロプロセッサは圧縮映像データと圧縮音声データをリアルタイム（実時間）に復号化し、フォーマット変換して出力することが出来なくなる。かかる場合、映像データが途切れるよりも音声データが途切れる方が大きなバズ音が発生する等、違和感が大きいため、一般に、圧縮音声データの復号化を優先的に処理し、残る処理能力を圧縮映像データの処理に割り当てている。
【０００３】
又かかる場合でも、映像データの出力と音声データの出力の同期を取らないと、画像と音声の内容が時間的にずれて違和感が大きいため、限られた処理能力の中で、圧縮映像データ又は映像データの処理の一部を省略して画像と音声の同期を取りつつ、違和感の出来るだけ少ない映像データと音声データを出力することが要求される。
圧縮映像データと圧縮音声データの従来の同期再生装置については、例えば、特開平１０−２００８６０号公報（以下、「引用例」と言う）に示される。その同期再生装置を図６に示す。図６の説明においては、引用例の公報に記載された用語を本発明の用語に置き換えて説明し（引用例の公報に記載された用語を括弧書きで併記している）、後述の本発明との一致点及び相違点の明確化を図っている。
【０００４】
データ記録装置６０１は圧縮映像データと圧縮音声データの記録再生装置である。「圧縮映像データ」とは、映像信号をアナログ／デジタル変換器によりデジタル信号である映像データに変換した後、例えばＭＰＥＧ２規格等に基づいてデータ圧縮を行った結果、得られるデータを言う。「圧縮音声データ」とは、音声信号をアナログ／デジタル変換器によりデジタル信号である音声データに変換した後、例えばＭＰＥＧ規格等に基づいてデータ圧縮を行った結果、得られるデータを言う。データ記録装置６０１から出力された圧縮映像データと圧縮音声データは、映像音声分離処理装置（ＡＶ分離処理）６０２により、圧縮映像データと圧縮音声データに分離される。圧縮映像データは、いったん圧縮映像データバッファ（圧縮画像データバッファ）６０３に蓄積された後、画像データ入力制御手段６０４を経由して、映像復号化手段（ビデオデコーダ）６０５により、実時間に伸張された映像データに戻される。
【０００５】
「実時間に伸張された映像データ」とは、デジタル／アナログ変換器によりアナログ映像信号にすれば、そのまま通常の映像表示装置により映像が表示可能な映像データを言う。本明細書及び本請求の範囲において、「実時間に伸張された映像データ」又は「映像データ」の語は、圧縮されていない通常の映像データの意味であり、圧縮映像データと区別して使用される。映像データは、フレームバッファ６０６にいったん蓄積される。映像データをフレームバッファ６０６から読み出すクロックのタイミングを調整して、映像データの出力タイミングを、音声データの出力タイミングと一致させる（同期をとる）。「音声データ」とは、アナログ／デジタル変換器によりアナログ音声信号にすれば、そのままスピーカにより音声が出力される音声データを言う。本明細書及び本請求の範囲において、「実時間に伸張された音声データ」又は「音声データ」の語は、圧縮されていない通常の音声データの意味であり、圧縮音声データと区別して用いられる。フレームバッファ６０６から読み出された映像データは、デジタル／アナログ変換器（ＣＲＴＣ（Ｄ／Ａ））６０７によりアナログの映像信号に変換され、ＣＲＴ等の映像表示装置（ＣＲＴモニタ）６０８に表示される。
【０００６】
映像音声分離処理装置（ＡＶ分離処理）６０２から出力された圧縮音声データは、いったん圧縮音声データバッファ６０９に蓄積された後、音声復号化手段（オーディオデコーダ）６１０により、音声データに戻される。音声データは、ＰＣＭバッファ６１１にいったん蓄積される。ＰＣＭバッファ６１１から読み出された音声データは、デジタル／アナログ変換器（Ｄ／Ａ）６１２によりアナログの音声信号に変換された後、スピーカ６１３より音声が出力される。
【０００７】
この特開平１０−２００８６０号公報に記載された画像と音声の同期再生装置は、復号化された音声データのデータ量に基づいて基準時刻を算出する基準時刻算出手段６１６と、基準時刻に基づいて本来復号化処理さるべき画像のフレーム数を算出し、実際に復号化処理されたフレーム数との比較を行って画像復号化処理の遅延検出を行う遅延検出手段６１７と、前記遅延検出手段が検出した遅延フレーム数に基づいて復号化処理を省略するフレームの判別処理を行うコマ落とし制御手段６１８と、コマ落とし制御手段６１８が判別したフレームに相当する圧縮画像の読み飛ばしを行う画像データ入力制御手段６０４とを有することを特徴としている。
圧縮映像データの処理が遅延した場合は、まずキーフレーム（例えば、後述するIピクチャ）以外のフレームの復号化を省略し、それでも処理の遅延が解消しない場合に初めて、キーフレームの復号化を省略する。引用例は、圧縮画像データの復号化と圧縮音声データの復号化を単一のマイクロプロセッサにより処理する場合に、一定の効果がある。
【０００８】
近年、デジタルテレビ放送の実現と、パーソナルコンピュータの広範な普及の結果、異なる映像フォーマットの映像信号が種々混在し、しばしば相互のフォーマット変換が必要になってきた。例えば、デジタルテレビ放送の映像フォーマットとしては、有効水平走査線数４８０本のプログレッシブ映像信号（４８０Ｐ）や、有効水平走査線数７２０本のプログレッシブ映像信号（７２０Ｐ）や有効水平走査線数１０８０本のインターレース映像信号（１０８０ｉ）がある。パーソナルコンピュータ用ディスプレイの映像フォーマットとしては、６４０ドット×４８０本、８００ドット×６００本、１０２４ドット×７６８本、又は１２８０ドット×１０２４本等がある。更に、フレームレートについても、種々の映像フォーマットが存在する。そのため、種々のデジタルテレビ放送番組をデジタルテレビ放送表示装置に表示するためのフォーマット変換やパーソナルコンピュータ用ディスプレイに種々のパーソナルコンピュータ用映像信号を表示するのためのフォーマット変換のみならず、放送番組をパソ−ナルコンピュータ用ディスプレイに表示するためのフォーマット変換や、デジタルテレビ放送表示装置にパーソナルコンピュータ用映像信号を表示するのためのフォーマット変換も必要性が高まっている。
なお、上記のように、「映像データの映像フォーマット」とは、１水平ライン当たりのサンプル数、１画面当たりのライン数、フレーム・レート、あるいはフィールド画像又はフレーム画像のどちらであるか等のパラメータの集合を言い、「映像データのフォーマット変換」とは、これらのパラメータのうち少なくとも一つを変換することを言う。
【０００９】
一方、マイクロプロセッサの能力が飛躍的に高くなったことから、単一のマイクロプロセッサが、圧縮画像データと圧縮音声データの復号化のみならず、伸張された画像データのフォーマット変換も行うことが出来るようになった。
そこで、映像データと音声データの同期再生装置において、単一のマイクロプロセッサの上でソフトウエアによる映像データのフォーマット変換を行うことや、単一のマイクロプロセッサの上でソフトウエアにより圧縮画像データと圧縮音声データの復号化を行い、かつ伸張された画像データのフォーマット変換も行うことが可能になった。引用例は、圧縮映像データの処理が遅延したとき、一定の方法により復号化処理を省略し、圧縮映像データの処理の遅延を解消するという発明を開示しているが、フォーマット変換の処理の省略や、復号化処理とフォーマット変換の処理を総合的に考慮して、最適な処理の省略を行うと言う着想については、言及していない。
【００１０】
また、引用例においては、復号化された音声データのデータ量に基づいて基準時刻を算出し、基準時刻に基づいて本来復号化処理さるべき圧縮画像のフレーム数を算出している。データ記録装置６０１に圧縮映像データと圧縮音声データが、同じ時間を単位として（例えば１／６０秒）圧縮記録されており、かつ同期再生すべき（同時に再生すべき）圧縮映像データと圧縮音声データが、データ記録装置６０１から一定の順序で出力されたり、ひとつのデータパケットに一緒に含まれている場合は、音声データと映像データのデータ量に基づく相対的な時間算出により、圧縮映像データの処理の遅延時間の検出が容易に行われる。
【００１１】
しかし、映像データと音声データの同期再生装置が、異なる時間を単位として圧縮記録された圧縮映像データと圧縮音声データを入力する場合（例えば圧縮映像データが１６．７ｍｓ間のデータを１フレームとし、圧縮音声データが２３ｍｓ間のデータを１フレームとする場合）や、圧縮映像データと圧縮音声データが、ランダムに映像音声同期再生装置に入力される場合は（例えば、ある程度長い時間単位で見れば圧縮映像データと圧縮音声データは同期して入力されているが、短期的には、圧縮映像データばかり連続して入力されたり、逆に圧縮音声データが連続して入力される場合である）、引用例のように、音声データのデータ処理量と映像データのデータ処理量の相対的な差から圧縮映像データの処理の遅延量を算出する方法は、一定以上の同期精度を達成することが困難である。
【００１２】
【発明が解決しようとする課題】
デジタル圧縮符号化された圧縮映像データと圧縮音声データの同期再生装置において、同期再生装置の処理能力が不足した場合にも、視聴者にとって違和感の少ない方法で映像処理を省略し、映像データと音声データの同期再生を精度よく維持することが要求されている。
本発明は、このような映像データと音声データの同期再生装置において、同期再生装置の処理能力が不足した場合にも、視聴者にとって違和感の少ない映像処理の省略方法により、映像データと音声データの同期再生を精度よく維持することを目的とする。
【００１４】
【課題を解決するための手段】
請求項１の本発明の映像音声同期再生装置においては、映像処理（圧縮映像データ又は映像データの処理）が一定時間以上遅延した場合は、フォーマット変換手段によるフォーマット変換を省略する。
これにより、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来る映像音声同期再生装置が得られる。
【００１５】
請求項２の本発明の映像音声同期再生装置においては、映像処理が一定時間以上遅延した場合は、フォーマット変換手段は、フォーマット変換をＭフレームスキップするとともに、一定時間以上の遅延が時間的あるいは回数的に連続したり、遅延が更に大きくなった場合には、スキップするフレームの数であるＭの値を大きくする。
これにより、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来る映像音声同期再生装置が得られる。
【００１６】
請求項４の本発明の映像音声同期再生装置においては、映像処理の遅延が一定時間以下になった場合には、フォーマット変換手段は、フォーマット変換をスキップするフレームの数であるＮの値を段階的に小さくする。
これにより、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来る映像音声同期再生装置が得られる。
【００１７】
請求項６の本発明の映像音声同期再生装置においては、映像処理が一定時間以上遅延した場合は、フォーマット変換手段は、フォーマット変換をＭフレームスキップするとともに、一定時間以上の遅延が時間的あるいは回数的に連続したり、遅延が更に大きくなった場合には、映像復号化手段による復号化を省略する。
これにより、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来る映像音声同期再生装置が得られる。
【００２０】
請求項７の本発明の映像データと音声データの同期再生方法においては、映像処理が一定時間以上遅延した場合は、フォーマット変換ステップを省略する。
これにより、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来る映像データと音声データの同期再生方法が得られる。
【００２１】
請求項８の本発明の映像データと音声データの同期再生方法においては、映像処理が一定時間以上遅延した場合は、フォーマット変換ステップをＭフレームスキップするとともに、一定時間以上の遅延が時間的あるいは回数的に連続したり、遅延が更に大きくなった場合には、スキップするフレームの数であるＭの値を大きくする。
これにより、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来る映像データと音声データの同期再生方法が得られる。
【００２２】
請求項９の本発明の映像データと音声データの同期再生方法においては、映像処理の遅延が一定時間以上になった場合は、フォーマット変換ステップをＭフレームスキップするとともに、一定時間以上の遅延が時間的あるいは回数的に連続したり、遅延が更に大きくなった場合には、映像復号化ステップを省略する。
これにより、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来る映像データと音声データの同期再生方法が得られる。
【００２７】
請求項１０の本発明の記録媒体は、映像処理が一定時間以上遅延した場合は、フォーマット変換ステップを省略する映像データと音声データの同期再生方法を記録したものである。
これにより、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来る映像データと音声データの同期再生方法が得られる。
【００２８】
請求項１１の本発明の記録媒体は、映像処理が一定時間以上遅延した場合は、フォーマット変換ステップをＭフレームスキップするとともに、一定時間以上の遅延が時間的あるいは回数的に連続したり、遅延が更に大きくなった場合には、スキップするフレームの数であるＭの値を大きくする映像データと音声データの同期再生方法を記録したものである。
これにより、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来る映像データと音声データの同期再生方法が得られる。
【００２９】
請求項１２の記録媒体は、映像処理の遅延が一定時間以上になった場合は、フォーマット変換ステップをＭフレームスキップするとともに、一定時間以上の遅延が時間的あるいは回数的に連続したり、遅延が更に大きくなった場合には、映像復号化ステップを省略する映像データと音声データの同期再生方法を記録したものである。
これにより、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来る映像データと音声データの同期再生方法が得られる。
【００３５】
【発明の実施の形態】
本発明の請求項１に記載の発明は、
（１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力手段と、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付ける手段と、前記圧縮音声データに第２の時刻データを対応付ける時刻対応手段と、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化手段と、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化手段と、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換手段と、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力手段と、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する前記第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定手段を有し、
前記測定手段による測定の結果、前記第１時刻データ遅延時間が一定の時間である第１の時間より大きい場合は、前記フォーマット変換手段は、前記第１の映像フォーマットの映像データのフォーマット変換を省略することを特徴とする映像音声同期再生装置である。
【００３６】
これにより、映像音声同期再生装置の映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来るという作用を有する。特に、従来の映像復号化手段における復号化を省略する装置では、例えばＭＰＥＧ２規格に基づく圧縮映像データには参照フレームを必要とするＰピクチャやＢピクチャ等のフレームが含まれるため、復号化を省略する圧縮映像フレームのフレーム数を任意に選ぶことが出来ず、必要以上の映像処理（復号化）の省略が発生したが、本発明により、必要にして十分な映像処理（フォーマット変換）の省略が出来、少ない違和感で遅延を解消することが出来る。
【００３７】
本発明の請求項２に記載の発明は、
（１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力手段と、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付ける手段と、前記圧縮音声データに第２の時刻データを対応付ける時刻対応手段と、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化手段と、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化手段と、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換手段と、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力手段と、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する前記第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定手段を有し、
前記測定手段による測定の結果、前記第１時刻データ遅延時間が一定の時間である第１の時間より大きい第１の場合に、前記フォーマット変換手段は、前記映像復号化手段が復号化する連続するＭフレーム（Ｍは任意の正の整数）の前記第１の映像フォーマットの映像データのフォーマット変換をスキップするとともに、さらに、（ａ）前記第１の場合の継続時間が一定の時間を超えた場合又は（ｂ）前記測定手段が前記第１の場合を検知する回数が一定の回数を超えた場合又は（ｃ）前記第１時刻データ遅延時間が前記第１の時間よりも長い時間である第２の時間より大きくなった場合は、前記フォーマット変換手段がフォーマット変換をスキップするフーレムの数Ｍの値を増加させる手段を有することを特徴とする映像音声同期再生装置である。
【００３８】
これにより、同期再生装置の映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来るという作用を有する。
なお、「前記復号化手段が復号化する連続するＭフレームの第１の映像フォーマットの映像データのフォーマット変換をスキップする」とは、連続して復号化されるＭフレームのフォーマット変換を省略し、Ｍフレームの直後に復号化されるフレームをフォーマット変換することを言う。いわゆるコマ落としである。
【００３９】
本発明の請求項３に記載の発明は、請求項３又は請求項４の映像音声同期再生装置であって、前記第１の時間が０．２秒以上であって０．４秒以下であることを特徴とする映像音声同期再生装置である。
これにより、映像音声同期再生装置の映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来るという作用を有する。
【００４０】
本発明の請求項４に記載の発明は、請求項４の映像音声同期再生装置であって、前記フォーマット変換手段が、連続するNフレーム（Nは正の整数）の前記第１の映像フォーマットの映像データのフォーマット変換をスキップする状態において、前記第１時刻データ遅延時間が一定の時間である第３の時間以下の遅れになった第２の場合に、前記フォーマット変換手段は、フォーマット変換をスキップするフーレムの数Ｎの値をNより小さくて、かつ０でない値に減少させる手段を有することを特徴とする映像音声同期再生装置である。
これにより、映像音声同期再生装置の映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来るという作用を有する。
【００４１】
本発明の請求項５に記載の発明は、請求項６の映像音声同期再生装置であって、前記第３の時間が前記第１の時間よりも短い時間であることを特徴とする映像音声同期再生装置である。
これにより、映像音声同期再生装置の映像処理が遅延した場合に、遅延解消後に残留する誤差（遅延）を小さくすることが出来るため、少ない違和感で、遅延を解消することが出来るという作用を有する。
【００４２】
本発明の請求項６に記載の発明は、
（１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力手段と、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付け、前記圧縮音声データに第２の時刻データを対応付ける時刻対応手段と、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化手段と、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化手段と、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換手段と、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力手段と、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定手段を有し、
前記測定手段による測定の結果、第１時刻データ遅延時間が第１の時間より大きい第１の場合に、前記フォーマット変換手段は、前記映像復号化手段が復号化する連続するＭフレーム（Ｍは任意の正の整数）の第１の映像フォーマットの映像データのフォーマット変換をスキップするとともに、さらに、（ａ）第１の場合の継続時間が一定の時間を超えた場合又は（ｂ）第１の場合の検知回数が一定の回数を超えた場合又は（ｃ）前記第１時刻データ遅延時間が第１の時間よりも長い一定の時間である第２の時間よりも大きくなった場合は、前記映像復号化手段は、前記圧縮映像データの復号化を省略することを特徴とする映像音声同期再生装置である。
これにより、同期再生装置の映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来るという作用を有する。
【００４６】
本発明の請求項７に記載の発明は、
（１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力ステップと、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付け、前記圧縮音声データに第２の時刻データを対応付ける時刻対応ステップと、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化ステップと、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化ステップと、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換ステップと、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力ステップと、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する前記第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定ステップを有し、
前記測定ステップによる測定の結果、前記第１時刻データ遅延時間が一定の時間より大きい場合は、前記フォーマット変換ステップを省略することを特徴とする映像データと音声データの同期再生方法である。
これにより、映像音声同期再生装置の映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来るという作用を有する。
【００４７】
本発明の請求項８に記載の発明は、
（１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力ステップと、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付け、前記圧縮音声データに第２の時刻データを対応付ける時刻対応ステップと、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化ステップと、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化ステップと、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換ステップと、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力ステップと、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する前記第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定ステップを有し、
前記測定ステップによる測定の結果、前記第１時刻データ遅延時間が一定の時間である第１の時間より大きい第１の場合に、前記映像復号化ステップにより復号化された連続するＭフレーム（Ｍは任意の正の整数）の前記第１の映像フォーマットの映像データについて前記フォーマット変換ステップをスキップするとともに、さらに、（ａ）第１の場合の継続時間が一定の時間を超えた場合又は（ｂ）前期測定ステップにおいて第１の場合を検知する回数が一定の回数を超えた場合又は（ｃ）前記第１時刻データ遅延時間が第１の時間よりも長い一定の時間である第２の時間より大きくなった場合は、前記フォーマット変換ステップをスキップするフーレムの数Ｍの値を増加させるステップを有することを特徴とする映像データと音声データの同期再生方法である。
これにより、映像音声同期再生装置の映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来るという作用を有する。
【００４８】
本発明の請求項９に記載の発明は、
（１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力ステップと、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付け、前記圧縮音声データに第２の時刻データを対応付ける時刻対応ステップと、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化ステップと、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化ステップと、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換ステップと、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力ステップと、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する前記第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定ステップを有し、
前記測定手段による測定の結果、前記第１時刻データ遅延時間が一定の時間である第１の時間より大きい第１の場合に、前記映像復号化ステップにより復号化される連続するＭフレーム（Ｍは任意の正の整数）の前記第１の映像フォーマットの映像データについて前記フォーマット変換ステップをスキップするとともに、さらに、（ａ）第１の場合の継続時間が一定の時間を超えた場合又は（ｂ）第１の場合の検知回数が一定の回数を超えた場合又は（ｃ）前記第１時刻データ遅延時間が前記第１の時間よりも長い時間である第２の時間より大きくなった場合は、前記映像復号化ステップを省略することを特徴とする映像データと音声データの同期再生方法である。
これにより、映像音声同期再生装置の映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来るという作用を有する。
【００５３】
本発明の請求項１０に記載の発明は、
（１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力ステップと、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付け、前記圧縮音声データに第２の時刻データを対応付ける時刻対応ステップと、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化ステップと、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化ステップと、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換ステップと、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力ステップと、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する前記第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定ステップを有し、
（８）前記測定ステップによる測定の結果、前記第１時刻データ遅延時間が一定の時間より大きい場合は、前記フォーマット変換ステップを省略することを特徴とする映像データと音声データの同期再生プログラムを記録した記録媒体である。
これにより、映像データと音声データの同期再生を行う上で、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来るという作用を有する。
【００５４】
本発明の請求項１１に記載の発明は、
（１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力ステップと、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付け、前記圧縮音声データに第２の時刻データを対応付ける時刻対応ステップと、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化ステップと、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化ステップと、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換ステップと、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力ステップと、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する前記第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定ステップを有し、
（８）前記測定ステップによる測定の結果、前記第１時刻データ遅延時間が一定の時間である第１の時間より大きい第１の場合に、前記映像復号化ステップにより復号化された連続するＭフレーム（Ｍは任意の正の整数）の前記第１の映像フォーマットの映像データについて前記フォーマット変換ステップをスキップするとともに、さらに、（ａ）第１の場合の継続時間が一定の時間を超えた場合又は（ｂ）前期測定ステップにおいて第１の場合を検知する回数が一定の回数を超えた場合又は（ｃ）前記第１時刻データ遅延時間が第１の時間よりも長い時間である第２の時間より大きくなった場合は、前記フォーマット変換ステップをスキップするフーレムの数Ｍの値を増加させるステップを有することを特徴とする映像データと音声データの同期再生プログラムを記録した記録媒体である。
これにより、映像データと音声データの同期再生を行う上で、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来るという作用を有する。
【００５５】
本発明の請求項１２に記載の発明は、
（１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力ステップと、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付け、前記圧縮音声データに第２の時刻データを対応付ける時刻対応ステップと、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化ステップと、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化ステップと、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換ステップと、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力ステップと、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する前記第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定ステップを有し、
前記測定ステップによる測定の結果、前記第１時刻データ遅延時間が一定の時間である第１の時間より大きい第１の場合に、前記映像復号化ステップにより復号化される連続するＭフレーム（Ｍは任意の正の整数）の前記第１の映像フォーマットの映像データについて前記フォーマット変換ステップをスキップするとともに、さらに、（ａ）第１の場合の継続時間が一定の時間を超えた場合又は（ｂ）第１の場合の検知回数が一定の回数を超えた場合又は（ｃ）前記第１時刻データ遅延時間が第１の時間よりも長い時間である第２の時間より大きくなった場合は、前記映像復号化ステップを省略することを特徴とする映像データと音声データの同期再生プログラムを記録した記録媒体である。
これにより、映像データと音声データの同期再生を行う上で、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来るという作用を有する。
【００５７】
以下、本発明の実施例について、図１から図５を用いて説明する。実施例では、圧縮映像データ及び圧縮音声データとして、ＭＰＥＧ２規格に基づいて圧縮された圧縮映像データ（ＩＳＯ／ＩＥＣ１３８１８−２等）及びＭＰＥＧ規格に基づいて圧縮音声データ（ＩＳＯ／ＩＥＣ１３８１８−３等）を取り扱う。但し、本発明の適用の対象はＭＰＥＧ２規格に基づき圧縮された圧縮映像データやＭＰＥＧ規格に基づき圧縮された圧縮音声データについての映像音声同期再生装置に限定されるものではなく、他のデータ圧縮規格についても適用可能である。
【００５８】
［図１のビットストリームの説明］
図１は、本発明の実施例である映像音声同期再生装置に入力する圧縮映像データ及び圧縮音声データを含むビットストリームの構造（１シーケンスの入力ビットストリーム）を示す（ヘッダの記載は省略している）。１シーケンスの入力ビットストリームの先頭には、映像フレームレート情報がある。毎秒３０フレーム、毎秒６０フレーム、又は毎秒６０フィールド等の圧縮映像データのフレームレートの情報である。次に、音声パラメータ情報がある。音声パラメータ情報には、例えば、サンプリング周波数が毎秒３２ｋＨｚ、４４．１ｋＨｚ又は４８ｋＨｚのどの周波数かを示すパラメータや、ステレオ（同一の音源の音を左右の位置から収録した音を出す）か、デュアル・チャンネル（英語放送と日本語放送等、別個独立の音声を２チャンネルで出す）、又はモノラルかを示すパラメータ等が含まれる。その後には、映像パケットと音声パケットが続く。
【００５９】
映像パケットと音声パケットの次には、図１には図示していないが、図示する映像パケットと同様の映像パケット、及び図示する音声パケットと同様の音声パケットが後続する。１シーケンスのビットストリーム内において、映像パケットと音声パケットが交互に並ぶ場合もあるが、これに限らず、映像パケットが連続したり、音声パケットが連続したりする場合もある。圧縮映像データのフレーム期間と圧縮音声データのフレーム期間が異なる場合、例えば実時間で１６．７ｍｓ分の圧縮映像データが１フレームの圧縮画像データとして１つの映像パケットに収められ、実時間で２３ｍｓ分の圧縮音声データ２チャンネル分が１フレームの圧縮音声データとして１つの音声パケットに収められたビットストリーム構造を有するビットストリームにおいては、１秒間分のビットストリームが有する映像パケットの数と音声パケットの数が異なる。又、圧縮映像データを伝送するビットストリームと、圧縮音声データを伝送するビットストリームが別個独立のビットストリームである場合は、ビットストリーム内に含まれるデータは、全て映像パケット、又は全て音声パケットであり、この場合は、映像音声同期再生装置は、圧縮映像データのビットストリームと圧縮音声データのビットストリームをそれぞれ入力し、同期再生をすることになる。１つのビットストリームが含む映像パケットの数及び音声パケットの数と無関係に、当該ビットストリームについて本発明を適用することが出来る。
【００６０】
１つの映像パケットは、タイムスタンプ情報と、キーフレーム情報と、１フレーム（又は１フィールド）の圧縮映像データ（ＭＰＥＧ２規格におけるピクチャ層に相当する）を含む。なお、文脈上、特に「フィールド」と「フレーム」の差異を示す場合を除き、１フレーム（又は１フィールド）の画像データ、即ち１枚の画面を構成する画像データを総称して、１フレームの画像データと言う。請求の範囲の記載において、「フレーム」の語は、「フィールド」又は「フレーム」の意味、即ち１枚の画面の意味である。
【００６１】
タイムスタンプ情報は、当該映像パケットに含まれる圧縮映像データの時刻データである。具体的には、ビットストリームに係る映像番組のスタート時刻を０時０分０秒とした時、当該映像パケットに含まれる圧縮映像データが放送される時刻、例えば、１時２８分１９．３００秒（又は１時２８分１９秒１８フレーム）という時刻を表す。時刻の単位は、例えば秒より下の桁を１／１０００秒の単位で表示してもよいし、フレームの数（又はフィールドの数）で表してもよい。
【００６２】
［ビットストリームの生成装置の説明］
映像番組を放送する放送局や、映画を記録したデジタル映像ディスクの製造会社等における、当該ビットストリームの生成装置の構成を説明する。放送局等のオペレータは、ビットストリームの生成装置に、入力する映像データの映像フレームレート情報、及び入力する音声データの音声パラメータ情報を、キーボードを用いて入力する。ビットストリームの生成装置は、映像フレームレート情報及び音声パラメータ情報をメモリに蓄積する。ビットストリームの生成装置は、同期する実時間の映像データ及び実時間の音声データを入力し、１フレームの映像データごとに、及び１フレームの音声データごとにメモリに蓄積する。時刻発生装置は、放送番組のスタート時を０時０分０秒とする時刻データを出力し、ビットストリームの生成装置は当該時刻データを入力する。ビットストリームの生成装置は、各フレームの映像データ（データストリームから構成される）の最初のデータ（データストリームの先頭のデータ）の入力時における、時刻発生装置から入力した時刻データ（映像パケットのタイムスタンプ情報）をラッチし、当該フレームの映像データに対応づけてメモリに蓄積する。同様に、ビットストリームの生成装置は、各フレームの音声データ（データストリームから構成される）の最初のデータ（データストリームの先頭のデータ）の入力時における、時刻発生装置から入力した時刻データ（音声パケットのタイムスタンプ情報）をラッチし、当該フレームの音声データに対応づけてメモリに蓄積する。ビットストリームの生成装置は、映像データと映像パケットのタイムスタンプ情報との対応関係を維持した状態で、映像データを圧縮し圧縮映像データを生成し、後述するキーフレーム情報とともにメモリに蓄積する。
【００６３】
同様にビットストリームの生成装置は、音声データと音声パケットのタイムスタンプ情報との対応関係を維持した状態で、音声データを圧縮し圧縮音声データを生成し、メモリに蓄積する。その後、ビットストリームの生成装置は、メモリに蓄積した映像フレーム情報、音声パラメータ情報、映像パケットのタイムスタンプ情報、圧縮映像データのキーフレーム情報、圧縮映像データ、音声パケットのタイムスタンプ情報、及び圧縮音声データを順次読み出し、図１のビットストリームを生成して、出力する。従って、上述のように、映像データの１フレームと音声データの１フレームの時間の長さは同じでなくてもよい。以上で、ビットストリームの生成装置の説明を終える。
【００６４】
［図１のビットストリームの説明（続き）］
また、いわゆる時計の単位以外の単位であっても、映像データと音声データの時間的な差異を計算できる実質的に時刻表示と同じ単位であれば、タイムスタンプ情報（時刻データ）として使用することが出来る。例えば、映像パケットと音声パケットの時間単位（毎秒のフレーム数）が同じであれば、映像番組のスタート時刻から数えた映像パケットの番号（順番）と音声パケットの番号（順番）は、タイムスタンプ情報（時刻データ）として使用することが出来る。この例に拠れば、出力する映像データのタイムスタンプ情報は２３５４で、出力する音声データの数が２３５５であれば、映像データの出力が１パケット分の時間（６０フレーム／秒であれば、１６．７ｍｓ）遅れていることが分かる。タイムスタンプ情報（時刻データ）の番号（順番）は、上述のように、映像番組を放送する放送局や、映画を記録したデジタル映像ディスクの製造会社等において、当該ビットストリームの生成装置が、同期する圧縮映像データと圧縮音声データに対応させて、それぞれ同じ番号（順番）を付与する。従って、タイムスタンプ情報の番号（順番）は絶対的な数値であり、引用例のような相対的な数値とは異なる。映像データと音声データのフレーム単位（１フレームの時間の長さ）が異なっている場合も、映像データと音声データのフレ−ム単位が分かっていれば、映像番組のスタート時刻から数えた映像パケットの番号（順番）と音声パケットの番号（順番）は、タイムスタンプ情報（時刻データ）として使用することが出来る。但し、この場合は、ソフトウエアにより、映像データと音声データの実時間差を計算する必要がある。タイムスタンプ情報は、１日の映像番組のスタートからの時刻でなく、例えば、当該番組が放送される１日の時刻であってもよい。映像パケットに含まれるタイムスタンプ情報を、「第１の時刻データ」と呼ぶ。
【００６５】
次に来るキーフレーム情報には、当該映像パケットに含まれる１フレームの圧縮映像データが、ＭＰＥＧ２規格におけるＩピクチャ、Ｐピクチャ、又はＢピクチャのどのピクチャかを示す情報等が含まれる。Ｉピクチャとは、イントラ・ピクチャの略称であって、当該フレームに含まれる画像データの全てをイントラ符号化（フレーム内符号化）したフレーム（ピクチャ）の意味である。Ｐピクチャとは、プレディクティブ・ピクチャの略称であって、当該フレームに含まれる画像データの少なくとも一部のブロックをフレーム間（インター）順方向予測符号化したフレーム（ピクチャ）の意味である。Ｂピクチャとは、バイディレクショナリ・プレディクティブ・ピクチャの略称であって、当該フレームに含まれる画像データの少なくとも一部のブロックをフレーム間（インター）双方向予測符号化したフレーム（ピクチャ）の意味である。Ｉピクチャは、単独で復号化することが出来るが、Ｐピクチャ及びＢピクチャは、前のフレームの映像データとの差分又は前後のフレームの映像データとの差分のみを符号化しているため、前のフレームの映像データ又は前後のフレームの映像データがないと、復号化出来ない。
【００６６】
次に来る圧縮映像データは、ＭＰＥＧ２規格に基づいて圧縮された１フレーム分（又は１フィールド分）の圧縮映像データである。実施例においては、６０フレーム／秒の映像データを入力し再生するため、映像データの１フレームは、実時間において約１６．７ｍｓの時間分のデータ量である。
【００６７】
次の音声パケットは、タイムスタンプ情報（時刻データ）と圧縮音声データから構成される。タイムスタンプ情報は、当該音声パケットに含まれる圧縮音声データの時刻データであり、上述のように、当該ビットストリームの生成装置において、映像パケットに含まれるタイムスタンプ情報（時刻データ）と同じ時計（時刻の発生装置）を基準とする時刻を書き込む。従って、例えば、音声パケットのタイムスタンプ情報と隣の映像パケットのタイムスタンプ情報が、いずれも２時４６分５２秒２４フレームであったとすると（映像パケットと音声パケットのフレームレートは同じである仮定とする）、当該圧縮音声データと当該圧縮映像データを復号化し、同時に出力すると同期が取れる。又、映像データの出力が、同じ時刻データの音声データの出力よりも３フレーム遅延していれば、映像データの出力タイミングを３フレームだけ早くすれば同期が取れることが分かる。映像パケットと音声パケットのフレーム数が異なれば、映像データの時刻データが０時３３分３０．３０秒で（６０フレーム／秒）、音声データの時刻データが０時３３分３０．３２秒（サンプリンングレート４４．１ｋＨｚで、１０２４サンプリングの音声データを１フレームとする。）である場合のように、２つの時刻データにはある程度ずれが生じることもあるが、後述する方法により、２つの時刻データを映像データと音声データの同期再生に利用出来る。音声パケットに含まれるタイムスタンプ情報を、「第２の時刻データ」と呼ぶ。
【００６８】
また、１フレームの圧縮音声データとは、１つの音声パケットに含まれる圧縮音声データの意味である。
タイムスタンプ情報の次に来るのが、圧縮音声データであり、ＭＰＥＧ規格に基づいて圧縮された１フレーム分の圧縮音声データが含まれる。実施例においては、１６ビット精度で４４．１ｋＨｚのサンプリングレートでサンプリングされた１０２４サンプリングの２チャンネルの音声データが、１フレームの圧縮音声データとして、音声パケット１つに含まれる。従って、音声データの１フレームは、実時間において約２３ｍｓの時間分のデータ量である。
【００６９】
［図２の実施例の構成の説明］
図２は、本発明の実施例である映像音声同期再生装置の構成を示すブロック図である。本実施例の映像音声同期再生装置は、パーソナルコンピュータとしての基本構成に、映像データ及び音声データの同期再生に必要なハードウエアを追加実装しており、マイクロプロセッサ１０３により圧縮映像データと圧縮音声データの分離、復号化及び映像データのフォーマット変換をソフトウエア上で実現している。圧縮映像データ及び圧縮音声データ等のビットストリームは、圧縮映像データ及び圧縮音声データ入力コネクタ・インターフェース１０１、又はデジタルテレビ放送用チューナ１０２から入力される。圧縮映像データ及び圧縮音声データ入力コネクタ・インターフェース１０１は、図１のビットストリームを記録した光ディスク等の記録メディアの再生装置、図１の圧縮映像データと圧縮音声データを含むビットストリームを通信網を介して受信したＭＯＤＥＭ装置、又はその他の機器とケーブルによって接続され、圧縮映像データと圧縮音声データを含むビットストリームを入力する。デジタルテレビ放送用チューナ１０２は、図１のビットストリームによる衛星放送、地上波放送、ケーブルテレビ、又はその他のデジタルテレビ放送を受信し、受信した信号を圧縮映像データと圧縮音声データを含むビットストリームに復調した後、当該ビットストリームを入力する。
【００７０】
マイクロプロセッサ１０３は、バスライン１１０を介してＲＡＭ１０４、ハードディスク（ＨＤＤ）１０５と接続されている。映像データ出力装置１０６は、いわゆるＶＧＡチップ言われる映像データ表示用ＬＳＩ、ＶＲＡＭ及びＤ／Ａコンバータ等から構成されており、マイクロプロセッサ１０３からバスライン１１０を通じて実時間に伸張され表示用の映像フォーマットに変換された映像データを受け取り、ＣＲＴ又は液晶ディスプレイの映像表示装置１０７に映像データを表示する。同様に、音声データ出力装置１０８は、音声データ出力処理用チップとバッファ用ＲＡＭ及びデジタル／アナログコンバータ等から構成されており、マイクロプロセッサ１０３からバスライン１１０を通じて実時間に伸張された音声データを受け取り、スピーカ１０９を駆動して音声を出力する。
【００７１】
マイクロプロセッサ１０３による映像処理と音声処理の概要をブロック１１１から１１７に示す。これらの処理は、主としてソフトウエアにより処理される。圧縮映像データ及び圧縮音声データ入力コネクタ・インターフェース１０１、又はデジタルテレビ放送用チューナ１０２から入力され、バスラインを通じてマイクロプロセッサ１０３に伝送された圧縮映像データ及び圧縮音声データ等のビットストリームは、圧縮映像データ／圧縮音声データ入力手段１１１により受け取られる。圧縮映像データ／圧縮音声データ入力手段１１１が受け取った圧縮映像データ及び圧縮音声データ等のビットストリームは、ストリーム分離手段１１２に入力され、ソフトウエアにより、それぞれのタイムスタンプ情報（時刻データ）と対応させた状態で、圧縮映像データと圧縮音声データに分離される。
【００７２】
分離された圧縮映像データは、映像復号化手段１１３により実時間に伸張された映像データに復号化される。復号化とは、例えばＤＣＴ変換、量子化及びエントロピ符号化等からなるＭＰＥＧ２規格に基づいて圧縮された圧縮映像データであれば、当該圧縮映像データをエントロピ符号化の逆変換、量子化の逆変換、及びＤＣＴ逆変換等により映像データに戻す処理をいう。これらの処理は、ハードウエアによっても処理可能であるが、処理の遅延が問題にならない限り、ソフトウエア処理が多くのメリットを持っている。例えば、ＭＰＥＧ２規格ではフレームごとに多くのパラメータがオプションとして設定可能であるが、ソフトウエア処理の方がフレキシビリティに富むため、オプション機能の処理が容易である。又、ハフマン符号化等のエントロピ符号化の逆変換にはコードブックと呼ばれる大きな変換テーブルが必要であるが、ＲＡＭ１０４に変換テーブルを作成し、ソフトウエアにより容易に処理出来る。また、ＤＣＴの逆変換として多くの係数を用いて多くの多項式計算を行うが、このような多項式計算は、ソフトウエア処理の得意とするところである。又、何よりも、ハ−ドウエア処理による場合は、異なるデータ圧縮規格に対応するためには別個専用のハードウエアを備える必要があるが、ソフトウエア処理の場合は、当該データ圧縮規格に対応する新たな復号化プログラムをインストールすればよく、作業的に容易で、費用的にも安い。
【００７３】
映像復号化手段１１３により実時間に伸張された映像データは、フォーマット変換手段１１４に入力され、ソフトウエアによりフォーマット変換される。例えば、デジタルテレビ放送用チューナ１０２から有効水平走査線数７２０本のプログレッシブ映像信号（７２０Ｐ）を受信し、有効水平走査線数４８０本のプログレッシブ映像信号（４８０Ｐ）表示を行う映像表示器１０７に表示する場合には、フォーマット変換手段１１４は、有効水平走査線数７２０本の映像データを有効水平走査線数４８０本の映像データに変換する。同様に、デジタルテレビ放送用チューナ１０２から有効水平走査線数１０８０本のインターレース映像信号（１０８０ｉ）を受信し、有効水平走査線数７２０本のプログレッシブ映像信号表示（７２０Ｐ）を行う映像表示器１０７に表示する場合には、フォーマット変換手段１１４は、有効水平走査線数１０８０本のインターレースの映像データを有効水平走査線数７２０本のプログレッシブの映像データに変換する。
【００７４】
又、８００ドット×６００本の表示規格に基づくコンピュータグラフィックス映像データを入力し、１０２４ドット×７６８本の表示を持つ液晶モニタに表示する場合は、フォーマット変換手段１１４は、８００ドット×６００本の映像データを１０２４ドット×７６８本の映像データに変換する。更に、デジタルテレビ放送をコンピュータ用モニタに表示する場合には、フォーマット変換手段１１４は、例えば、有効水平走査線数４８０本のプログレッシブ映像信号の映像データを１０２４ドット×７６８本の映像データに変換する。また、コンピュータグラフィックス映像データをデジタルテレビ放送用テレビに表示するためには、フォーマット変換手段１１４は、例えば、１０２４ドット×７６８本の映像データを有効水平走査線数４８０本の映像データに変換する。又、フォーマット変換手段１１４は、フレームレートを変換する場合もある。このように種々のフォーマット変換に対応するためには、ハードウエアによる対応に限界があり、フレキシビリティに富むソフトウエアによる処理がメリットを有する。
【００７５】
フォーマット変換された映像データは、映像表示出力手段１１５により、バスライン１１０を通じて、映像データ出力装置１０６に伝送される。
【００７６】
ストリーム分離手段１１２により分離された圧縮音声データは、音声復号化手段１１６により実時間に伸張された音声データに復号化される。
復号化とは、例えばサブバンド・コーディング等からなるＭＰＥＧ規格に基づいて圧縮された圧縮音声データを逆変換により音声データに戻す処理をいう。逆変換の処理は、ハードウエアによっても処理可能であるが、処理の遅延が問題にならない限り、ソフトウエア処理がメリットを持っている。特に、ハ−ドウエア処理による場合は、異なるデータ圧縮規格に対応するためには別個専用のハードウエアを必要とするが、ソフトウエア処理の場合は、当該データ圧縮規格に対応する新たな復号化プログラムをインストールすればよく、作業的に容易で、費用的に安い。
【００７７】
復号化により実時間に伸張された音声データは、音声出力段１１７により、バスライン１１０を通じて、音声データ出力装置１０８に伝送される。
【００７８】
［図３の実施例の構成の説明］
図３に、本発明の実施例であるマイクロプロセッサ１０３による映像処理と音声処理の詳細を示す。図２におけるブロック１１２から１１７と同じブロックには、同じ符号を付与している。図２で既に説明をしたことについては、説明を省略する。
マイクロプロセッサ１０３は、時刻データを出力するクロック生成手段１２６（「時刻発生手段」とも言う）を内蔵する。クロック生成手段１２６が出力する時刻データを第３の時刻データと言う。
【００７９】
音声復号化手段１１６は、音声パケットを単位として圧縮音声データを復号化するが、圧縮音声データを復号化する際に、同じ音声パケットに含まれる圧縮音声データと第２の時刻データの対応関係を維持する。音声パケットを単位とする圧縮音声データの復号化が完了した時、復号化により実時間に伸張された音声データと同じ音声パケットに含まれる、第２の時刻データと第３の時刻データを第２の時刻比較手段１２７により比較する（第１の時刻比較手段１２４については、後述する）。もし、第２の時刻データと第３の時刻データの間に差異があれば、第２の時刻比較手段１２７は、クロック生成手段１２６に第２の時刻データをロードすることにより、クロック生成手段１２６が出力する第３の時刻データを第２の時刻データに一致させる。なお、異なる実施例として、第２の時刻比較手段１２７を省略し、音声パケットを単位とする圧縮音声データの復号化が完了した時、復号化により実時間に伸張された音声データと同じ音声パケットに含まれる第２の時刻データを音声復号化手段１１６から直接クロック生成手段１２６にロードすることにより、クロック生成手段１２６が出力する第３の時刻データを第２の時刻データに一致させる構成も取り得る。いずれの場合も、第３の時刻データは、常に第２の時刻データに同期している。
【００８０】
ストリーム分離手段１１２から出力された圧縮映像データは、映像復号化手段１１３により実時間に伸張された映像データに復号化され、映像復号化手段１１３は、映像データを表示間隔制御手段１２５に送る。映像復号化手段１１３は、映像パケットを単位として圧縮映像データを復号化するが、圧縮映像データを復号化する際に、同じ映像パケットに含まれる映像データと第１の時刻データとの対応関係を維持する。
【００８１】
映像パケットを単位とする圧縮映像データの復号化が完了した時、復号化により実時間に伸張された映像データと同じ映像パケットに含まれる、第１の時刻データと第３の時刻データを第１の時刻比較手段１２４により比較する。
【００８２】
［図４の説明］
第１の時刻比較手段１２４の結果により、以下の処理を行うが、その処理の様子を図示する図４を参照する。
図４における符号の説明をする。Ａ１、Ａ２等は、圧縮音声データ又は音声データの各フレームに時系列的に番号を付与したものである。音声データの１フレームは、上述したように、実施例において約２３ｍｓである。Ｖ１、Ｖ２等は、圧縮映像データ又は映像データの各フレームに時系列的に番号を付与したものである。映像データの１フレームは、上述したように、実施例において約１６．７ｍｓである。
【００８３】
ａは、音声復号化手段１１６が出力する復号化された音声データを表す。音声出力手段１１７が音声データを受け取り、音声データを出力するのに必要な時間は非常に短いので、ａは、音声出力手段１１７が出力する音声データをも表す。ｂは、音声データ出力装置１０８が出力する音声データ、即ち、スピーカ１０９から出る音声を表す。映像音声同期再生装置は、ｂの音声データが連続性を失わないように、処理を制御する。ｂに記載されている６００、６１７等の数字は、出力する音声データに対応する第２の時刻データの秒未満の時刻をｍｓを単位として表す。図４に記載された映像データの第１の時刻データ及び音声データの第２の時刻データの時分秒の位の値は、１４時２８分５２秒である。例えば、Ａ１の頭における第２の時刻データは、１４時２８分５２．６００秒である。ｃは、映像復号化手段１１３が出力する復号化された映像データを表す。本来、映像データの時間軸上の長さは同じであるべきだが、マイクロプロセッサ１０３の処理速度が遅くなった場合には、映像データの時間軸上の長さが図のように長くなる。図４において、矢印で示す区間１３０において、マイクロプロセッサ１０３に他の処理が加わったため、マイクロプロセッサ１０３の処理が遅くなり、映像データと音声データの完全な処理をしながら同期再生をすることが出来なくなっている。ｄは、フォーマット変換装置１１４が出力する第２の映像フォーマットの映像データを表す。映像表示出力手段１１５が第２の映像フォーマットの映像データを出力する処理時間は非常に短いので、ｄは、映像表示出力手段１１５が出力する第２の映像フォーマットの映像データでもある。ｅは、映像データ出力装置１０６が出力する映像データ、即ち、映像表示装置１０７が表示する映像を表す。
【００８４】
ｃ、ｄ及びｅのそれぞれに記載されている３００、３１７等の数字は、出力する映像データに対応する第１の時刻データの秒未満の時刻をｍｓを単位として表す。例えば、Ｖ１の頭における第１の時刻データは、１４時２８分５２．３００秒である。なお、映像データと音声データとでは１フレームの長さが異なるため、Ａ１等の音声データのインデックス数字と、Ｖ１等の映像データのインデックス数字の間には、例えばＡ１とＶ１がペアになる等の特別な関係は何もなく、便宜的に付与したにすぎない。
【００８５】
図４において、第１の時刻比較手段１２４は、映像復号化手段１１３が映像データ（ｃ）を出力し終った時点（ｄの各映像フレームの先頭の時刻データ）と、音声復号化手段１１６が音声データ（ａ）を出力し終った時点（ｂの下欄に示す時刻データ）とを比較する。
図４におけるＶ１及びＶ２フレームのように、第１の時刻比較手段１２４による比較の結果、第１の時刻データが第３の時刻データよりも３００ｍｓ以上遅延していない場合は、表示間隔制御手段１２５は、映像復号化手段１１３から受け取った第１の映像フォーマットの映像データをフォーマット変換手段１１４に伝送する。
【００８６】
フォーマット変換手段１１４は、入力された映像データと表示装置１０７に送る映像データが同一の映像フォーマットの場合は入力された第１の映像フォーマットの映像データをそのまま映像表示出力手段１１５に送り、映像表示出力手段１１５は、当該映像データを映像データ出力装置１０６に送り映像表示装置１０７に表示する。復号化された第１の映像フォーマットの映像データと映像表示装置に表示される第２の映像データが異なるフォーマットの場合は、フォーマット変換手段１１４は、入力された第１の映像フォーマットの映像データを、表示装置１０７に送る第２の映像フォーマットの映像データにフォーマット変換し、第２の映像フォーマットの映像データを映像表示出力手段１１５に送る。
第１の時刻比較手段１２４、表示間隔制御手段１２５、フォーマット変換手段１１４は、いずれもソフトウエア処理により実現される。
【００８７】
第１の時刻比較手段１２４による比較の結果、第１の時刻データが第３の時刻データよりも３００ｍｓ以上遅延している場合は、映像データと音声データの同期が外れたと判断し、以下述べる手段により、映像データの処理の一部を省略して映像データと音声データの同期回復を図る。
【００８８】
図４におけるＶ３のフレームのように、第１の時刻比較手段１２４による比較の結果、それまで（Ｖ１及びＶ２フレーム）は第１の時刻データは第３の時刻データよりも３００ｍｓ以上遅延していなかったが、初めて３００ｍｓ以上遅延した場合は、第１の時刻比較手段１２４は表示間隔制御手段１２５に指令を送り、表示間隔制御手段１２５は、映像復号化手段１１３から受け取った映像データを１フレーム分だけスキップする。図４では、表示間隔制御手段１２５はＶ３フレームをスキップし、次のＶ４フレームをフォーマット変換手段１１４に送り、フォーマット変換手段１１４はＶ４フレームをフォーマット変換をする。
【００８９】
なお、「Ｍ（Ｍは正の整数）フレームをスキップする」とは、Ｍフレームのコマ落としをすることであって、表示間隔制御手段１２５は連続するＭフレームの映像データを出力せず（フォーマット変換手段１１４は、フォーマット変換を行わない）、その直後の１フレームの（Ｍ＋１フレーム目の）映像データを出力する（フォーマット変換手段１１４は、フォーマット変換を行う）。例えば、３フレームをスキップするとは、３フレームの映像データを出力せず、その直後の１フレームの（４フレーム目の）映像データを出力することである。
１フレーム分だけスキップすることにより、フォーマット変換手段１１４は１フレーム分だけフォーマット変換を行わない。上述のように、マイクロプロセッサ１０３は、ひとつのプロセッサを使ってソフトウエア処理により映像復号化手段１１３及びフォーマット変換手段１１４の映像データ処理を実現しているため、１フレームの映像データのフォーマット変換の処理を省略することにより、浮いた時間を映像復号化手段１１３の復号化処理に使用することが出来、映像データの復号化処理の促進を図ることが出来る。
【００９０】
この場合、フォーマット変換手段１１４は１フレーム分だけ映像データを出力しないため、映像表示出力手段１１５も映像を出力しない。映像データ出力装置１０６は、この間、映像データ出力装置１０６内の映像表示用メモリであるＶＲＡＭの内容を書き換えられないため、それまでに受け取った最後のフレームの映像データを２フレーム連続して表示装置１０７に送る。同様に、フォーマット変換手段１１４がＭフレーム分だけ映像データを出力しない場合は、映像データ出力装置１０６は、それまでに受け取った最後のフレームの映像データを（Ｍ＋１）フレーム連続して表示装置１０７に送る。従って、フォーマット変換手段１１４が映像データを出力しない場合にも、表示装置１０７の表示が途切れることはない。図４においては、Ｖ３フレームが表示されないことの他、復号化の遅延もあるため、Ｖ２フレームが４回続けて出力されている（ｅ参照）。
【００９１】
もし、１フレームの映像データ（Ｖ３フレーム）のフォーマット変換の処理を省略することにより、第３の時刻データに対する第１の時刻データの遅延時間が３００ｍｓ未満になった場合は、その後はフォーマット変換処理の省略を終え、フォーマット変換手段１１４は、その後に映像復号化手段１１３から受け取る全ての映像データをフォーマット変換する。
【００９２】
しかし、１フレーム分（Ｖ３フレーム）のフォーマット変換をスキップした後の時点（映像復号化手段１１３が１フレームの圧縮映像データ（フォーマット変換手段１１４がフォーマット変換しないでスキップするＶ３フレーム）を映像データに復号化し、さらに次の１フレーム（フォーマット変換手段１１４がフォーマット変換するＶ４フレーム）の圧縮映像データを映像データに復号化した時点）において、図４のＶ４フレームのように、第１の時刻比較手段１２４による比較の結果、依然として第１の時刻データが第３の時刻データよりも３００ｍｓ以上遅延している場合は、第１の時刻比較手段１２４は表示間隔制御手段１２５に指令を送り、表示間隔制御手段１２５は、Ｖ４フレームをフォーマット変換手段１１４に伝送した後、続いて映像復号化手段１１３から受け取った映像データを２フレーム分だけ（図４ではＶ５及びＶ６フレーム）出力せず、その直後のフレーム（Ｖ７フレーム）を出力する。そのため、フォーマット変換手段１１４は、Ｖ４フレームのフォーマット変換をした後２フレームだけ（図４ではＶ５及びＶ６フレーム）フォーマット変換を行わない。マイクロプロセッサ１０３は、２フレームの映像データのフォーマット変換の処理を省略することにより、浮いた時間を映像復号化手段１１３の復号化処理に使用することが出来、映像データの処理の促進を図ることが出来る。
【００９３】
この場合、フォーマット変換手段１１４は２フレーム分（図４ではＶ５及びＶ６フレーム）だけ映像データを出力しないため、映像表示出力手段１１５も映像を出力しない。映像データ出力装置１０６は、この間、映像データ出力装置１０６内の映像表示用メモリであるＶＲＡＭの内容を書き換えられないため、同じ映像データを３フレーム連続して表示装置１０７に送る。図４においては、Ｖ５及びＶ６フレームが表示されないことの他、復号化の遅延もあるため、Ｖ４フレームが４回続けて出力されている（ｅ参照）。
【００９４】
２フレーム分（Ｖ５及びＶ６フレーム）のフォーマット変換をスキップした後の時点（映像復号化手段１１３が、フォーマット変換を省略する２フレームの圧縮映像データ（Ｖ５及びＶ６フレーム）の復号化を完了し、さらに次のフォーマット変換をする１フレームの圧縮映像データ（Ｖ７フレーム）の復号化を完了した時点）において、第１の時刻比較手段１２４による比較の結果、依然として第１の時刻データが第３の時刻データよりも３００ｍｓ以上遅延している場合は、表示間隔制御手段１２５は、Ｖ７フレームをフォーマット変換手段１１４に伝送した後、続いて映像復号化手段１１３から受け取った映像データを３フレーム分（図４ではＶ８、Ｖ９及びＶ１０フレーム）だけ出力せず、その直後のフレーム（Ｖ１１フレーム）を出力する（３フレームをスキップする）。そのため、フォーマット変換手段１１４は、Ｖ７フレームをフォーマット変換した後３フレーム分だけフォーマット変換をせず、フォーマット変換処理を省略することにより浮いた時間は映像復号化手段１１３の復号化処理に使用される。
【００９５】
次のＶ１１フレームの復号化が完了した時点で、第１の時刻比較手段１２４による比較の結果、依然として第１の時刻データが第３の時刻データよりも３００ｍｓ以上遅延している場合は、表示間隔制御手段１２５は、Ｖ１１フレームをフォーマット変換手段１１４に伝送した後、続いて映像復号化手段１１３から受け取った映像データを４フレーム分（Ｖ１２、Ｖ１３、Ｖ１４及びＶ１５フレーム）だけ出力せず、その直後のフレーム（Ｖ１６フレーム）を出力する（４フレームをスキップする）。このように、フォーマット変換をスキップした後の時点において、第１の時刻比較手段１２４による比較の結果、依然として第１の時刻データが第３の時刻データよりも３００ｍｓ以上遅延している場合は、一定の値である最大スキップフレーム数に達するまで、フォーマット変換をスキップするフレーム数を順次増加させる。一定の値である最大スキップフレーム数は、実施例においては１０フレームに設定しているが、２以上であれば、いくつでもよい。以上のように、本発明においては、第１の時刻比較手段１２４による比較の結果、第１の時刻データが第２の時刻データよりも３００ｍｓ以上遅延する場合は、フォーマット変換をスキップし、浮いた時間を映像復号化手段１１３の復号化処理に使用出来るようにする。
【００９６】
又、上記の実施例においては、第１の時刻比較手段１２４による比較の結果、第１の時刻データが第２の時刻データよりも３００ｍｓ以上遅延する場合に、スキップするフレーム数を１フレームずつ増加させてるが、増加のステップ幅（刻み）をもっと大きくしてもよいし、小さくしてもよい。例えば、第１の時刻比較手段１２４による比較の結果、第１の時刻データが第２の時刻データよりも３００ｍｓ以上遅延する場合に、スキップするフレーム数を２フレームずつ増加させてもよい（スキップフレーム数の増加のステップ幅が２倍になる）。又、第１の時刻比較手段１２４による比較の結果、２回続けて第１の時刻データが第２の時刻データよりも３００ｍｓ以上遅延する場合にスキップするフレーム数を１フレームずつ増加させることも出来る（増加のステップ幅が半分になる）。また、スキップするフレーム数の異なる増加のステップ幅（刻み）を組み合わせることも出来る。例えば、第１の時刻比較手段１２４による比較の結果、第１の時刻データが第２の時刻データよりも３００ｍｓ以上遅延する場合に、当初はスキップするフレーム数の増加のステップ幅を小さくし、３００ｍｓ以上遅延が継続する場合に、だんだんスキップするフレーム数の増加のステップ幅を大きくすることも出来る。
【００９７】
又、上記の実施例においては、映像復号化手段１１３が１フレームの圧縮映像データの復号化が完了する時に、第１の時刻比較手段１２４が第１の時刻データと第３の時刻データの比較を行い、その結果映像データの処理が３００ｍｓ以上遅延している場合にフォーマット変換をスキップするフレーム数を増加させており、第１の時刻比較手段１２４による時刻データの比較の結果が３００ｍｓ以上になった回数に基づいて、フォーマット変換をスキップするフレーム数を増加させている。しかし、本発明の適用にあたってはこれに限定されず、異なる実施例として、例えば、ソフトウエア上で５０ｍｓごとにタイマー割り込み処理を行い、５０ｍｓのタイマー割り込み処理の中で第１の時刻比較手段１２４による時刻データの比較を行い、３００ｍｓ以上の遅延が継続する時間が長くなれば長くなるほど、フォーマット変換をスキップするフレーム数を増加させることも出来る。
【００９８】
更に異なる実施例としては、第１の時刻比較手段１２４による時刻データの比較の結果が、映像データのの音声データに対する遅延時間が２００ｍｓから２５０ｍｓの場合は１フレームの映像データのフォーマット変換をスキップし、当該遅延時間が２５０ｍｓから３００ｍｓの場合は２フレームの映像データのフォーマット変換をスキップし、当該遅延時間が３００ｍｓから３５０ｍｓの場合は３フレームの映像データのフォーマット変換をスキップし、更に５０ｍｓの刻みで遅延量が増加するに応じてフォーマット変換をスキップするフレーム数を増加させることも出来る。この場合は、上記の実施例とアルゴリズムが異なるが、実際的には、映像データ処理が遅延する場合は遅延量が段階的に増加又は減少するのが一般的であるため、映像データ処理の遅延が継続する場合にはフォーマット変換をスキップするフレーム数が段階的に増加又は減少することになり、上記及び下記の実施例と同様の効果を奏する。本発明により、映像表示装置１０７は、図４のｅに示す映像を表示する。
【００９９】
［図７の動作の説明］
これを、映像データの遅延量が一定の閾値を越えるまでは遅延回復措置を取らず、一定の閾値を超えた場合に、フォーマット変換を省略することにより、いっぺんに遅延の解消を図る（段階的に遅延を解消しない）場合を図示する図７のｅと比較する。なおフォーマット変換を省略することにより遅延を解消することは、本発明のひとつであることに注意すべきである。段階的に遅延を解消する本発明を適用せず、フォーマット変換を省略することによりいっぺんに映像処理の遅延を解消する方法によっても、一定の閾値を十分小さく設定し、例えば１６．７ｍｓ（１フレーム）以上の遅延が発生した場合に、直ちにフォーマット変換を省略することにより圧縮映像データの復号化を促進することにより、視聴者に違和感を与えない最適な同期再生が実現できる。
【０１００】
なお、図７のａ，ｂ，ｃ，ｄ，及びｅは、比較しやすいように、図４（本発明の実施例）のａ，ｂ，ｃ，ｄ，及びｅと同様のデータを表示している。なお、図７では、遅延を解消する閾値を、段階的にフォーマット変換をスキップする本発明の効果を理解しやすくするため、７０ｍｓに設定している。
図７においては、１３０の矢印で示す期間において映像処理の遅延が発生しており、Ｖ６の復号化を完了した時点で映像処理の遅延時間が７０ｍｓの閾値を越えたため、フォーマット変換を省略することにより遅延を解消している。図７のｅにおいては、映像表示装置１０７が表示する映像のスキップが発生する個所は、Ｖ６フレームからＶ１７フレームにスキップする一箇所だけであり、表示は一気に１１フレームも進む（１７−６＝１１）。一方、本発明の実施例である図４のｅにおいては、映像表示装置１０７が表示する映像のスキップは、多くの個所に分散している。最も大きくスキップする場所は、Ｖ１１フレームからＶ１６フレームにスキップする所であり、表示は５フレーム進む（１６−１１＝５）。このように、従来例においては、映像処理の遅延の回復措置の影響が１箇所に集中していたが、本発明においては、フォーマット変換を省略すると言う映像処理の遅延の回復措置の影響を時間軸上で広く分散させることが出来るという効果がある。人間の視覚は映像の不連続性に対して非常に敏感であると言う性質があり、従来例では、視聴者は映像がスキップしたことにすぐに気がつくが、本発明の実施例においては映像のスキップが時間的に分散して発生しているため、図４と図７の数字上の差以上に映像がスキップしたことが目立たなくなる。
【０１０１】
以上のように、本発明においては、第１の時刻データが第２の時刻データよりも３００ｍｓ以上遅延する状態が継続する場合は、フォーマット変換をスキップするフレーム数を段階的に増加させることにより、フォーマット変換をスキップすることにより視聴者が感ずる不自然さを大幅に緩和している。
上記実施例においては、３００ｍｓを閾値として、これを超えた場合に映像データの処理の遅延回復措置を取っている。視聴者は、映像データが一定の時間以上音声データより遅延して再生される場合に不自然な印象を持つが、視聴者が不自然な印象を感じ始める閾値は、音楽番組やニュース番組等の番組の種類により異なり、又視聴者の個人差もある。従って、本発明の適用においては、番組等により、閾値の値をいかなる値にすることも出来る。しかし、番組の種類や個人差等を考慮して平均的な閾値を検討したところ、一般的には、２００ｍｓから４００ｍｓ以上の遅延が発生すると、視聴者が不自然な印象を持つことが分かった。そこで、好ましい実施例としては、２００ｍｓから４００ｍｓの間の時間に一定の閾値を設定する。
【０１０２】
更に図４を参照すると、映像復号化手段１１３がＶ１６フレームの復号化を完了した時点で、映像データの遅延時間は３００ｍｓの閾値以下になる。従来例によれば、遅延が一定の閾値（３００ｍｓ）以下になったＶ１６フレーム以降の全ての映像データのフォーマット変換が行われるが、本発明においては、フォーマット変換をスキップするフレーム数を段階的に減少させる。即ち、図４においては、前回、４フレーム（Ｖ１２、Ｖ１３、Ｖ１４及びＶ１５フレーム）のフォーマット変換をスキップしていたが、次はスキップするフレーム数を１フレーム減らして、３フレーム（Ｖ１７、Ｖ１８及びＶ１９フレーム）のフォーマット変換をスキップし、その次のＶ２０フレームのフォーマット変換を行う。図４には記載していないが、映像復号化手段１１３がＶ２０フレームの復号化を完了した時点で、映像データの遅延時間が３００ｍｓの閾値以下であれば、次はスキップするフレーム数を１フレーム減らして、２フレーム（Ｖ２１及びＶ２２フレーム）のフォーマット変換をスキップし、その次のＶ２３フレームのフォーマット変換を行う。その後ずっと継続的に映像データの遅延時間が３００ｍｓの閾値以下であれば、その次は、次はスキップ数を１フレーム減らして、１フレーム（Ｖ２４フレーム）のフォーマット変換をスキップし、その次のＶ２５フレームのフォーマット変換を行う。その後は、全てのフレームをフォーマット変換する。
【０１０３】
このように、フォーマット変換をスキップするフレーム数を段階的に減らすことにより、フォーマット変換をスキップした影響を更に広く分散することが出来るとともに、最終的な収束時点での、映像データ処理の遅延時間（残留誤差）が３００ｍｓの閾値よりも小さくなると言う効果を奏する。スキップするフレーム数を増加する時と同様に、フォーマット変換をスキップするフレーム数の減少のステップ幅（刻み）を大きくすることも、小さくすることも、又は異なるステップ幅を組み合わせることも出来る。
また、別の実施例においては、フォーマット変換をスキップするフレーム数を段階的に増加すると判断する閾値（上記実施例では３００ｍｓ）と、フォーマット変換をスキップするフレーム数を段階的に減らすと判断する閾値（上記実施例では３００ｍｓ）を異なる値とし、両方の閾値の間でヒステリシスを設ける。例えば、フォーマット変換をスキップするフレーム数を段階的に増加すると判断する閾値を３００ｍｓとし、フォーマット変換をスキップするフレーム数を段階的に減らすと判断する閾値を２００ｍｓとすることにより、最終的な収束時点での、映像データ処理の遅延時間を小さくすることが出来る。
【０１０４】
［図３の説明の続き（フォーマット変換のスキップと復号化の省略の組合せ）］もし、フォーマット変換をスキップするフレーム数を段階的に増加し、スキップするフレーム数を一定の最大値（実施例では１０フレーム）まで増加させたにもかかわらず、第１の時刻比較手段１２４による比較の結果、依然として第１の時刻データが第３の時刻データよりも３００ｍｓ以上遅延している場合は、第１の時刻比較手段１２４は、遅延が解消しない旨の信号をクロック差分判定手段１２２に送る。この信号を受けたクロック差分判定手段１２２は、復号化モード制御手段１２３に信号を送り、復号化モード制御手段１２３は映像符号化手段１１３を制御し、次のＩピクチャが来るまで圧縮映像データの復号化を省略する。「処理を省略する」とは、「処理を行わない」という意味である。即ち、映像復号化手段１１３は、入力されるＰピクチャやＢピクチャ等の圧縮映像データの復号化を省略し、その後最初に来るＩピクチャを復号化する。これにより、映像符号化手段１１３は、入力して蓄積している圧縮映像データであって、復号化を行っていないＰピクチャやＢピクチャのフレームの圧縮映像データの復号化を省略できると共に、これらのフレームのフォーマット変換を省略できるため、映像データの処理を促進することが出来る。
【０１０５】
第１の時刻比較手段１２４は、第１の時刻データをクロック差分判定手段１２２に送る。クロック差分判定手段１２２は、受け取った第１の時刻データをクロック記憶手段１２１に蓄積する。
映像復号化手段１１３が圧縮映像データの復号化を省略している期間、第１の時刻比較手段１２４には、新たな第１の時刻データが入力されない。クロック差分判定手段１２２は、第１の時刻比較手段１２４から受け取る第１の時刻データと、クロック記憶手段１２１から読み出した第１の時刻データを比較し、同じ時刻データであれば、映像復号化手段１１３が依然として復号化を省略していることを認識する。もし、クロック差分判定手段１２２が、第１の時刻比較手段１２４から受け取る第１の時刻データと、クロック記憶手段１２１から読み出した第１の時刻データを比較し、異なる時刻データであれば、映像復号化手段１１３がＩピクチャを復号化したことを認識し、第１の時刻比較手段１２４から受け取った新しい第１の時刻データをクロック記憶手段１２１に蓄積するとともに、第１の時刻比較手段１２４は、第１の時刻データと第３の時刻データを比較する。
しかし、第１の時刻比較手段１２４による比較の結果、映像復号化手段１１３がＩピクチャを復号化した時点においても、依然として第１の時刻データが第３の時刻データよりも３００ｍｓ以上遅延している場合は、第１の時刻比較手段１２４は、遅延が解消しない旨の信号をクロック差分判定手段１２２に送る。クロック差分判定手段１２２は、復号化モード制御手段１２３に信号を送り、復号化モード制御手段１２３は映像符号化手段１１３を制御し、次のＩピクチャが来るまで圧縮映像データの復号化を省略する。これを繰り返す。
【０１０６】
もし、映像復号化手段１１３がＩピクチャを復号化した時点において、第１の時刻比較手段１２４による比較の結果、第１の時刻データが第３の時刻データよりも３００ｍｓ以上の遅延をしていない場合は、第１の時刻比較手段１２４は、映像処理の遅延が解消した旨の信号をクロック差分判定手段１２２に送る。クロック差分判定手段１２２は、復号化モード制御手段１２３に信号を送り、復号化モード制御手段１２３は映像符号化手段１１３を制御し、映像符号化手段１１３は全ての圧縮映像データを復号化する。
【０１０７】
ＭＰＥＧ２の規格においては、ＰピクチャやＢピクチャは、前のあるいは前後のフレームの映像データがないと、圧縮映像データを復号化できないが、Ｉピクチャは単独で復号化が可能である。更に、Ｉピクチャの復号化をすることによって、その後に続くＰピクチャやＢピクチャは、このＩピクチャ等の映像データに基づいて復号化が可能である。映像データの処理が遅延した場合、Ｉピクチャ以外の圧縮画像データの復号化を省略し、Ｉピクチャの圧縮映像データのみを復号化する手段が知られている。ＰピクチャやＢピクチャは、その性質上前後のフレームの映像データと共通性が高いので、当該ＰピクチャやＢピクチャに代えて先行する映像を繰り返して表示しても、視聴者が感じる不自然な印象は比較的少なく、Ｉピクチャは、その性質上先行するフレームの映像データとの相違が大きいので、優先して復号化し、映像表示装置に表示することが望ましい。従って、Ｉピクチャ以外の圧縮画像データの復号化を省略し、Ｉピクチャの圧縮映像データのみを復号化する手段は、基本的には合理的な手段である。しかし、例えば１秒間の圧縮映像データが何フレームのＩピクチャを含むかについては、ＭＰＥＧ２規格上何の規定もなく、映像データの処理の遅延を回復するのに必要以上の多くフレームの映像データの復号化を省略する結果になる可能性がある。
なお、実施例では、フォーマット変換をスキップすることにより映像処理の遅延が解消しない場合に、Ｉピクチャが来るまで圧縮映像データの復号化を省略するが、これに限定されるものではなく、例えば、引用例によることも出来る。
【０１０８】
［従来例による図８の動作の説明］
例えば、映像データの遅延量が一定の閾値を越えるまでは遅延回復措置を取らず、一定の閾値を超えた場合に、復号化を省略することにより、いっぺんに遅延の解消を図る従来例による図８のｅを見る。図８のａ，ｂ，ｃ，ｄ，及びｅは、比較しやすいように、図４（本発明の実施例）のａ，ｂ，ｃ，ｄ，及びｅと同様のデータを表示しており、図８のｆは、映像音声同期再生装置が入力し、復号化等の映像処理をする前にメモリに蓄積している圧縮映像データを表す。Ｖ１、Ｖ２等の下に記載しているＩはＩピクチャ、ＰはＰピクチャ、ＢはＢピクチャを表す。入力した圧縮映像データ及び圧縮音声データを、いったん、処理前に何フレームかメモリに蓄積することは、図８の従来例に限らず、本発明の実施例においても実施しているが、本発明と直接の関係がないため図４では説明を省いた。しかし、図８では、説明の便宜のためｆを表示している。
【０１０９】
図８においては、１３０の矢印で示す期間において映像処理の遅延が発生している。図８のｅでは、Ｖ６フレームを復号化し、フォーマット変換し、映像データを出力した時点で、映像データの処理の遅延が一定の閾値を越えている。ここで、入力する圧縮映像データが全てＩピクチャであれば、Ｖ１２フレームを復号化し、フォーマット変換し、出力すれば、映像データと音声データの同期再生を回復することが出来るが、Ｉピクチャが入力されるまでは復号化が出来ないため、図８では、実際にはＩピクチャであるＶ１５フレームを処理し終えた時点で、初めて同期が回復する。
このように、従来の方法では、映像データの処理の遅延回復に必要な最小限のフレームについてだけ処理を省略することが出来ず、次に来るＩピクチャ前の全てのフレームの圧縮映像データの処理を省略していた。引用例は、これに改善を加えたものであるが、映像データの処理の遅延回復に必要な最小限のフレームについてだけ処理を省略することが出来ないという点では同じである。
【０１１０】
［図３の説明の続き（フォーマット変換のスキップと復号化の省略の組合せ）］
本発明においては、単一のマイクロプロセッサ１０３が映像復号化手段１１３における映像復号化と、フォーマット変換手段１１４におけるフォーマット変換をソフトウエア上で実行していることを利用し、映像処理の遅延が起きた当初は、後続する映像処理に不都合のないフォーマット変換の省略を行い、浮いた時間を圧縮映像データの復号化の促進に利用するとともに、フォーマット変換の省略を行っている間も圧縮映像データの復号化は全てのフレームについて実行し、映像処理の遅延が解消次第、すぐにフォーマット変換手段１１４はフォーマット変換を再開する。フォーマット変換の省略だけでは遅延が回復しない場合に初めて、後続するＰピクチャやＢピクチャの圧縮映像データの処理が出来なくなる復号化の省略を行う。これにより、映像処理の遅延が比較的小さい場合は、フォーマット変換の省略により、必要最小限のフレーム数の映像データの処理を省略することが出来るとともに、フォーマット変換の省略だけでは映像処理の遅延が回復しない場合には、圧縮映像データの復号化の省略により映像処理のほとんどを省略し映像処理の遅延を回復すると言う、２段構えの手段を設けることにより、映像処理の大きな遅延にも小さな遅延にも、最適な対応が出来る。
【０１１１】
図３の実施例においては、第１の時刻比較手段１２４は、映像データに対応する第１の時刻データと、クロック生成手段１２６が出力する第３の時刻データを比較する。このことは、特に実施例のように、映像データと音声データの１フレームの時間の長さが異なる場合には最適である。例えば、１６．７ｍｓを１フレームとする第１の時刻データが１４時２８分５２．０３３秒であるとき、この第１の時刻データに一番近い、２３ｍｓを１フレームとする音声データの第２の時刻データは、１４時２８分５２．０２３秒又は１４時２８分５２．０４６秒のフレームになる。第１の時刻データを直接第２の時刻データと比較した場合、映像データを、第２の時刻データが１４時２８分５２．０２３秒の音声データと同期して出力すべきか、又は第２の時刻データが１４時２８分５２．０４６秒のフレームの音声データと同期して出力すべきか、明確でない。ここで、第２の時刻データにより同期される第３の時刻データを利用すれば、第３の時刻データが１４時２８分５２．０３３秒の時、当該１４時２８分５２．０３３秒の第１の時刻データに対応する映像データを出力すれば、完全な同期再生が出来る。
【０１１２】
別の実施例においては、クロック生成手段１２６を省略し、第１の時刻比較手段１２４は、第１の時刻データを直接第２の時刻データと比較する。特に、映像データと音声データの１フレームの時間が同一で、第１の時刻データと同じ値の第２の時刻データが存在する場合に、特に有効である。同期再生の精度が多少悪くても許容する場合にも、この実施例は有効である。
【０１１３】
上記実施例では、第１の時刻データと第３の時刻データとの比較、第２の時刻データと第３の時刻データとの比較、及びクロック生成手段１２６への第２の時刻データのロードを、映像復号化手段１１３が圧縮映像データを映像データに復号した後の第１の時刻データと音声復号化手段１１６が圧縮音声データを音声データに復号した後の第２の時刻データとを用いて行っているが、この条件を満たせば、いつの時点に行ってもよい。
【０１１４】
例えば、映像パケットを単位とする圧縮映像データの復号化が完了した時、フォーマット変換手段１１４が映像データのフォーマット変換を完了した時、映像表示出力手段１１５が映像データを出力する時、又は音声出力手段１１７が音声データを出力する時等のいずれのときでもよい。映像データと音声データの同期再生をするためには、映像データに対応する第１の時刻データと第２の時刻データが一致するように、映像表示出力手段１１５が映像データを出力し、音声出力手段１１７が音声データを出力すればよい。そのためには、同期精度の観点から好ましくは、映像表示出力手段１１５が映像データを出力し、音声出力手段１１７が音声データを出力する時点で、第２の時刻データと第３の時刻データとの比較、及びクロック生成手段１２６への第２の時刻データのロードを行う。しかし、この場合は、映像データと第１の時刻データの対応関係、音声データと第２の時刻データの対応関係を、映像データと音声データを出力する時点まで維持する必要がある。しかし、上述のように、映像データの再生同期が外れた場合に（映像データの出力タイミングが音声データの出力タイミングに比べて、一定以上遅延した場合に）フォーマット変換手段１１４の変換処理を停止すると、フォーマット変換手段１１４から映像表示出力手段１１５に第２の映像データが送られず、第２の映像フォーマットの映像データに対応する第１の時刻データも送られない。
【０１１５】
このように映像表示出力手段１１５における第１の時刻データが更新されなくなってしまうため、フォーマット変換手段１１４が変換処理を中止している間、第１の時刻データと第２の時刻データの比較が出来なくなる。そこで、フォーマット変換手段１１４が変換処理を中止している間、第１の時刻データを擬似的に更新して、第１の時刻データと第２の時刻データの比較が出来るようにするソフトウエア上の手段が必要になる。例えば、その間は、映像表示出力段１１５が出力する映像データに対応する第１の時刻データを、映像復号化手段１１３が復号化した映像データに対応する第１の時刻データに置き換え、音声出力手段１１７が音声データを出力する時に、当該置き換えられた第１の時刻データと、出力する音声データに対応する第２の時刻データとを比較する。このように、この場合はソフトウエア処理が複雑になる。
【０１１６】
一方、映像表示出力手段１１５が映像データを出力し、音声出力手段１１７が音声データを出力するために必要なソフトウエアの処理時間は通常短い。フォーマット変換手段１１４が映像データをフォーマット変換するのに必要なソフトウエアの処理時間が比較的短い場合や、当該必要なソフトウエアの処理時間がほぼ一定で、当該処理時間を計算により補償すれば、出力時点での同期を確保できる場合には、上記の実施例のように、第２の時刻データと第３の時刻データとの比較、及びクロック生成手段１２６への第２の時刻データのロードを、音声パケットを単位とする圧縮音声データの復号化が完了した時点で行ったり、又は映像パケットを単位とする圧縮映像データの復号化が完了した時点で第1の時刻データと第3の時刻データの比較を行っても、同期精度を確保することが出来る。
【０１１７】
また、上記実施例の場合には、映像データと音声データの復号化が完了する時点まで、映像データと第１の時刻データの対応関係、音声データと第２の時刻データの対応関係を維持すればよく、上述のように映像表示出力手段１１５における第１の時刻データを擬似的に更新するソフトウエア処理上の必要性もなく、ソフトウエアの複雑化を避けることが出来る。従って、映像表示出力手段１１５が映像データを出力し、音声出力手段１１７が音声データを出力する時点で、第２の時刻データと第３の時刻データとの比較、及びクロック生成手段１２６への第２の時刻データのロードを行うよりも、実用的には、実施例の方が好ましい場合もある。
【０１１８】
［図５の説明］
図５に図２における音声データ出力装置１０８の内部ブロック図を示す。
マイクロプロセッサ１０３（図２）からバスライン１１０を通じて伝送される音声データは、インターフェース部５０１により受け取られる。インターフェース部５０１は受け取った音声データを、スイッチ５０２を通じて、フレームバッファメモリ５０３又は５０４に書き込む。フレームバッファメモリ５０３及び５０４は、それぞれ１フレーム分の音声データを蓄積する。フレームバッファメモリ５０３及び５０４から読み出された音声データは、スイッチ５０５を通じて、デジタル／アナログコンバータ５０６に入力される。デジタル／アナログコンバータ５０６は、音声データをアナログの音声信号に変換し、スピーカを駆動する音声出力段５０７に送られ、音声出力段５０７を出力した音声信号はスピーカ１０９（図２）を駆動する。
【０１１９】
ここで、スイッチ５０２及び５０５は、１フレーム分の時間ごとに交互にスイッチ動作を行っている。インターフェース部５０１で受け取った音声データが、スイッチ５０２を通じてフレームバッファメモリ５０３に書き込まれるときは、フレームバッファメモリ５０４から読み出された音声データが、スイッチ５０５を通じてデジタル／アナログコンバータ５０６に入力される。フレームバッファメモリ５０４に蓄積された１フレーム分の音声データが全て読み出されると、スイッチ５０２及び５０５が反対側の接点に切り替わり、フレームバッファメモリ５０３から読み出された音声データが、スイッチ５０５を通じてデジタル／アナログコンバータ５０６に入力される。この間に、インターフェース部５０１で受け取った音声データは、スイッチ５０２を通じてフレームバッファメモリ５０４に書き込まれる。フレームバッファメモリ５０３に蓄積された１フレーム分の音声データが全て読み出されると、スイッチ５０２及び５０５が再び反対側の接点に切り替わる。以上の動作を繰り返してる。
【０１２０】
以上のように、音声出力装置１０８は１フレーム分の音声データをフレームバッファメモリに蓄積しているため、マイクロプロセッサ１０３から音声出力装置１０８への音声データの伝送が多少遅れたり、伝送のタイミングがずれても（いわゆるジッターを持っても）、音声出力が途切れたり、音声出力がジッターを持ったりすることはない。しかし、音声データの伝送の遅延が１フレームを超えると、音声出力装置１０８のフレームバッファに出力すべき音声データがなくなってしまうため、音声出力装置１０８は出力する音がなくなり、音途切れや、現在蓄積している最新の音声データを２フレーム連続して出力することにより音声信号の不連続現象（バズ音）等が発生する。この問題は、視聴者にとってきわめて不愉快な思いを与えるため、音声データの出力タイミングが１フレームを超えないように制御することが必要である。
【０１２１】
そこで、上記の実施例の図３において、第２の時刻比較手段１２７が第２の時刻データと第３の時刻データを比較した結果、もし、第２の時刻データが第３の時刻データより遅れており、その遅延時間が一定の値である遅延閾値時間よりも大きい場合は、その時点で映像復号化手段１１３が復号化処理中の圧縮映像データの復号化を停止する（省略する）。圧縮映像データの復号化を行う映像復号化手段１１３と圧縮音声データの復号化を行う音声復号化手段１１６は、両方とも単一のマイクロプロセッサ１０３によりソフトウエア上で実現されているため、映像復号化手段１１３における圧縮映像データの復号化を停止することにより、マイクロプロセッサの全ての処理能力を、音声復号化手段１１６における圧縮音声データの復号化に使用することが出来るため、当該音声復号化手段１１６における圧縮音声データの復号化が加速される。
【０１２２】
なお、前記一定の値である遅延閾値時間は、上記の説明から明らかなように、音声データの１フレーム分の時間を超えない。もっとも、ソフトウエア処理による当該音声復号化手段１１６における圧縮音声データの復号化には、たとえ処理を加速しても一定の時間が必要なため、一定の値である遅延閾値時間がぴったり１フレーム分の時間では、遅延を検知したとたん音声信号が途切れてしまう。そこで、一定の値である遅延閾値時間は、当該映像音声同期再生装置のマイクロプロセッサ１０３のソフトウエア処理能力を考慮して、１フレーム分の時間よりある程度小さな値に設定する。
なお、当該音声復号化手段１１６における圧縮音声データの復号化の遅延が解消した場合には、映像復号化手段１１３は、その後、最初に入力するＩピクチャの圧縮映像データから復号化を再開する。
【０１２３】
【発明の効果】
以上のように、本発明によれば、精度がよく、映像データと音声データの再生タイミングの誤差が累積しない映像音声同期再生装置、映像データ及び音声データの同期再生方法、又は当該映像音声同期再生装置等を実現する記録媒体が得られるという有利な効果が得られる。
【０１２４】
本発明により、映像音声同期再生装置が、異なる時間を単位として圧縮記録された映像データと音声データを入力する場合や、映像データと音声データが、ランダムに映像音声同期再生装置に入力される場合にも、映像データと音声データの再生の時間差を容易に知ることが出来るという有利な効果が得られる。
【０１２５】
本発明により、映像音声同期再生装置の映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来る映像音声同期再生装置、映像データ及び音声データの同期再生方法、又は当該同期再生方法等を実現する記録媒体を実現するという有利な効果が得られる。
【０１２６】
本発明により、映像音声同期再生装置の映像処理が遅延した場合に、映像処理の不連続の影響を時間軸上で分散することにより、少ない違和感で、遅延を解消することが出来るという有利な効果が得られる。
【０１２７】
また、本発明により、映像音声同期再生装置において、視聴者が映像データと音声データの同期はずれを認識するもっとも一般的な閾値を超えた映像処理の遅延に対して、映像処理の遅延の回復措置を取ることにより、少ない違和感で、遅延を解消することが出来るという有利な効果が得られる。
【０１２８】
本発明により、映像処理が遅延した場合に、必要にして十分な映像処理（フォーマット変換）の省略により映像処理の遅延を回復することが出来るので、少ない違和感で遅延を解消することが出来るという有利な効果が得られる。
【０１２９】
本発明により、映像処理が遅延した場合に、遅延が少ない場合はフォーマット変換の省略により必要最小限の映像処理の省略を行い、遅延が大きい場合には、大きな変換の省略を行うことにより、小さな映像処理の遅延にも、大きな映像処理の遅延にも最適の回復措置をとることが出来るので、少ない違和感で遅延を解消することが出来るという有利な効果が得られる。
【０１３０】
本発明により、音声処理が遅延した場合に、早期に音声処理の遅延を検知し回復措置を取ることにより、少ない違和感で遅延を解消することが出来るという有利な効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施例によるビットストリームの構造図
【図２】本発明の実施例によるハードウエアのブロック図
【図３】本発明の実施例によるソフトウエア処理のブロック図
【図４】本発明の実施例によるタイミングチャート
【図５】本発明の実施例による音声データ出力装置のブロック図
【図６】従来例のソフトウエア処理のブロック図
【図７】フォーマット変換を省略することにより、いっぺんに遅延を解消する場合のタイミングチャート
【図８】復号化を省略することにより、いっぺんに遅延を解消する場合のタイミングチャート
【符号の説明】
１０１ 圧縮映像データ及び圧縮音声データ入力コネクタ・インターフェース
１０２ デジタルテレビ放送用チューナ
１０３ マイクロプロセッサ
１０４ ＲＡＭ
１０５ ハードディスク（ＨＤＤ）
１０６ 映像データ出力装置
１０７ 映像表示装置
１０８ 音声データ出力装置
１０９ スピーカ
１１０ バスライン
１１１ 圧縮映像データ／圧縮音声データ入力手段
１１２ ストリーム分離手段
１１３ 映像復号化手段
１１４ フォーマット変換手段
１１５ 映像表示出力手段
１１６ 音声復号化手段
１１７ 音声出力段
１２１ クロック記憶手段
１２２ クロック差分判定手段
１２３ 復号化モード制御手段
１２４ 第１の時刻比較手段
１２５ 表示間隔制御手段
１２６ クロック生成手段（時刻発生手段）
１２７ 第２の時刻比較手段
５０１ インターフェース部
５０２ スイッチ
５０３ フレームバッファメモリ
５０４ フレームバッファメモリ
５０５ スイッチ
５０６ デジタル／アナログコンバータ
５０７ 音声出力段
６０１ データ記録装置
６０２ 映像音声分離処理装置（ＡＶ分離処理）
６０３ 圧縮映像データバッファ（圧縮画像データバッファ）
６０４ 画像データ入力制御手段
６０５ 映像復号化手段（ビデオデコーダ）
６０６ フレームバッファ
６０７ デジタル／アナログ変換器（ＣＲＴＣ（Ｄ／Ａ））
６０８ 映像表示装置（ＣＲＴモニタ）
６０９ 圧縮音声データバッファ
６１０ 音声復号化手段（オーディオデコーダ）
６１１ ＰＣＭバッファ
６１２ デジタル／アナログ変換器（Ｄ／Ａ）
６１３ スピーカ
６１４ フレームカウンタ
６１５ オーディオカウンタ
６１６ 基準時刻算出手段
６１７ 遅延検出手段
６１８ コマ落とし制御手段
【発明の属する技術分野】
本発明は、映像データと音声データをデータ圧縮符号化した圧縮映像データと圧縮音声データの同期再生装置に関するものである。
【０００２】
【従来の技術】
映像データを圧縮した圧縮映像データと音声データを圧縮した圧縮音声データとの同期再生装置において、同期再生装置の処理能力が高い場合には、圧縮映像データと圧縮音声データはリアルタイムに復号され、同期のとれた（再生タイミングが揃った）状態で復号化される。同期再生装置が、データ圧縮された圧縮映像データと圧縮音声データの復号化の他、伸張された映像データを第１の映像フォーマットから第２の映像フォーマットへの変換も併せて行う場合も、同期再生装置の処理能力が高い場合には、圧縮映像データと圧縮音声データは、リアルタイム（実時間）の映像データと音声データに復号化され、その後映像データはフォーマット変換され、同期のとれた状態で出力される。しかし、例えば、マイクロプロセッサを使用しソフトウエア上で圧縮映像データと圧縮音声データの同期再生処理を行う映像音声同期再生装置において、マイクロプロセッサに例えば表計算等の他のプログラム処理負担が加わって、当該マイクロプロセッサの圧縮映像データと圧縮音声データの同期再生処理能力が著しく低くなった場合には、当該マイクロプロセッサは圧縮映像データと圧縮音声データをリアルタイム（実時間）に復号化し、フォーマット変換して出力することが出来なくなる。かかる場合、映像データが途切れるよりも音声データが途切れる方が大きなバズ音が発生する等、違和感が大きいため、一般に、圧縮音声データの復号化を優先的に処理し、残る処理能力を圧縮映像データの処理に割り当てている。
【０００３】
又かかる場合でも、映像データの出力と音声データの出力の同期を取らないと、画像と音声の内容が時間的にずれて違和感が大きいため、限られた処理能力の中で、圧縮映像データ又は映像データの処理の一部を省略して画像と音声の同期を取りつつ、違和感の出来るだけ少ない映像データと音声データを出力することが要求される。
圧縮映像データと圧縮音声データの従来の同期再生装置については、例えば、特開平１０−２００８６０号公報（以下、「引用例」と言う）に示される。その同期再生装置を図６に示す。図６の説明においては、引用例の公報に記載された用語を本発明の用語に置き換えて説明し（引用例の公報に記載された用語を括弧書きで併記している）、後述の本発明との一致点及び相違点の明確化を図っている。
【０００４】
データ記録装置６０１は圧縮映像データと圧縮音声データの記録再生装置である。「圧縮映像データ」とは、映像信号をアナログ／デジタル変換器によりデジタル信号である映像データに変換した後、例えばＭＰＥＧ２規格等に基づいてデータ圧縮を行った結果、得られるデータを言う。「圧縮音声データ」とは、音声信号をアナログ／デジタル変換器によりデジタル信号である音声データに変換した後、例えばＭＰＥＧ規格等に基づいてデータ圧縮を行った結果、得られるデータを言う。データ記録装置６０１から出力された圧縮映像データと圧縮音声データは、映像音声分離処理装置（ＡＶ分離処理）６０２により、圧縮映像データと圧縮音声データに分離される。圧縮映像データは、いったん圧縮映像データバッファ（圧縮画像データバッファ）６０３に蓄積された後、画像データ入力制御手段６０４を経由して、映像復号化手段（ビデオデコーダ）６０５により、実時間に伸張された映像データに戻される。
【０００５】
「実時間に伸張された映像データ」とは、デジタル／アナログ変換器によりアナログ映像信号にすれば、そのまま通常の映像表示装置により映像が表示可能な映像データを言う。本明細書及び本請求の範囲において、「実時間に伸張された映像データ」又は「映像データ」の語は、圧縮されていない通常の映像データの意味であり、圧縮映像データと区別して使用される。映像データは、フレームバッファ６０６にいったん蓄積される。映像データをフレームバッファ６０６から読み出すクロックのタイミングを調整して、映像データの出力タイミングを、音声データの出力タイミングと一致させる（同期をとる）。「音声データ」とは、アナログ／デジタル変換器によりアナログ音声信号にすれば、そのままスピーカにより音声が出力される音声データを言う。本明細書及び本請求の範囲において、「実時間に伸張された音声データ」又は「音声データ」の語は、圧縮されていない通常の音声データの意味であり、圧縮音声データと区別して用いられる。フレームバッファ６０６から読み出された映像データは、デジタル／アナログ変換器（ＣＲＴＣ（Ｄ／Ａ））６０７によりアナログの映像信号に変換され、ＣＲＴ等の映像表示装置（ＣＲＴモニタ）６０８に表示される。
【０００６】
映像音声分離処理装置（ＡＶ分離処理）６０２から出力された圧縮音声データは、いったん圧縮音声データバッファ６０９に蓄積された後、音声復号化手段（オーディオデコーダ）６１０により、音声データに戻される。音声データは、ＰＣＭバッファ６１１にいったん蓄積される。ＰＣＭバッファ６１１から読み出された音声データは、デジタル／アナログ変換器（Ｄ／Ａ）６１２によりアナログの音声信号に変換された後、スピーカ６１３より音声が出力される。
【０００７】
この特開平１０−２００８６０号公報に記載された画像と音声の同期再生装置は、復号化された音声データのデータ量に基づいて基準時刻を算出する基準時刻算出手段６１６と、基準時刻に基づいて本来復号化処理さるべき画像のフレーム数を算出し、実際に復号化処理されたフレーム数との比較を行って画像復号化処理の遅延検出を行う遅延検出手段６１７と、前記遅延検出手段が検出した遅延フレーム数に基づいて復号化処理を省略するフレームの判別処理を行うコマ落とし制御手段６１８と、コマ落とし制御手段６１８が判別したフレームに相当する圧縮画像の読み飛ばしを行う画像データ入力制御手段６０４とを有することを特徴としている。
圧縮映像データの処理が遅延した場合は、まずキーフレーム（例えば、後述するIピクチャ）以外のフレームの復号化を省略し、それでも処理の遅延が解消しない場合に初めて、キーフレームの復号化を省略する。引用例は、圧縮画像データの復号化と圧縮音声データの復号化を単一のマイクロプロセッサにより処理する場合に、一定の効果がある。
【０００８】
近年、デジタルテレビ放送の実現と、パーソナルコンピュータの広範な普及の結果、異なる映像フォーマットの映像信号が種々混在し、しばしば相互のフォーマット変換が必要になってきた。例えば、デジタルテレビ放送の映像フォーマットとしては、有効水平走査線数４８０本のプログレッシブ映像信号（４８０Ｐ）や、有効水平走査線数７２０本のプログレッシブ映像信号（７２０Ｐ）や有効水平走査線数１０８０本のインターレース映像信号（１０８０ｉ）がある。パーソナルコンピュータ用ディスプレイの映像フォーマットとしては、６４０ドット×４８０本、８００ドット×６００本、１０２４ドット×７６８本、又は１２８０ドット×１０２４本等がある。更に、フレームレートについても、種々の映像フォーマットが存在する。そのため、種々のデジタルテレビ放送番組をデジタルテレビ放送表示装置に表示するためのフォーマット変換やパーソナルコンピュータ用ディスプレイに種々のパーソナルコンピュータ用映像信号を表示するのためのフォーマット変換のみならず、放送番組をパソ−ナルコンピュータ用ディスプレイに表示するためのフォーマット変換や、デジタルテレビ放送表示装置にパーソナルコンピュータ用映像信号を表示するのためのフォーマット変換も必要性が高まっている。
なお、上記のように、「映像データの映像フォーマット」とは、１水平ライン当たりのサンプル数、１画面当たりのライン数、フレーム・レート、あるいはフィールド画像又はフレーム画像のどちらであるか等のパラメータの集合を言い、「映像データのフォーマット変換」とは、これらのパラメータのうち少なくとも一つを変換することを言う。
【０００９】
一方、マイクロプロセッサの能力が飛躍的に高くなったことから、単一のマイクロプロセッサが、圧縮画像データと圧縮音声データの復号化のみならず、伸張された画像データのフォーマット変換も行うことが出来るようになった。
そこで、映像データと音声データの同期再生装置において、単一のマイクロプロセッサの上でソフトウエアによる映像データのフォーマット変換を行うことや、単一のマイクロプロセッサの上でソフトウエアにより圧縮画像データと圧縮音声データの復号化を行い、かつ伸張された画像データのフォーマット変換も行うことが可能になった。引用例は、圧縮映像データの処理が遅延したとき、一定の方法により復号化処理を省略し、圧縮映像データの処理の遅延を解消するという発明を開示しているが、フォーマット変換の処理の省略や、復号化処理とフォーマット変換の処理を総合的に考慮して、最適な処理の省略を行うと言う着想については、言及していない。
【００１０】
また、引用例においては、復号化された音声データのデータ量に基づいて基準時刻を算出し、基準時刻に基づいて本来復号化処理さるべき圧縮画像のフレーム数を算出している。データ記録装置６０１に圧縮映像データと圧縮音声データが、同じ時間を単位として（例えば１／６０秒）圧縮記録されており、かつ同期再生すべき（同時に再生すべき）圧縮映像データと圧縮音声データが、データ記録装置６０１から一定の順序で出力されたり、ひとつのデータパケットに一緒に含まれている場合は、音声データと映像データのデータ量に基づく相対的な時間算出により、圧縮映像データの処理の遅延時間の検出が容易に行われる。
【００１１】
しかし、映像データと音声データの同期再生装置が、異なる時間を単位として圧縮記録された圧縮映像データと圧縮音声データを入力する場合（例えば圧縮映像データが１６．７ｍｓ間のデータを１フレームとし、圧縮音声データが２３ｍｓ間のデータを１フレームとする場合）や、圧縮映像データと圧縮音声データが、ランダムに映像音声同期再生装置に入力される場合は（例えば、ある程度長い時間単位で見れば圧縮映像データと圧縮音声データは同期して入力されているが、短期的には、圧縮映像データばかり連続して入力されたり、逆に圧縮音声データが連続して入力される場合である）、引用例のように、音声データのデータ処理量と映像データのデータ処理量の相対的な差から圧縮映像データの処理の遅延量を算出する方法は、一定以上の同期精度を達成することが困難である。
【００１２】
【発明が解決しようとする課題】
デジタル圧縮符号化された圧縮映像データと圧縮音声データの同期再生装置において、同期再生装置の処理能力が不足した場合にも、視聴者にとって違和感の少ない方法で映像処理を省略し、映像データと音声データの同期再生を精度よく維持することが要求されている。
本発明は、このような映像データと音声データの同期再生装置において、同期再生装置の処理能力が不足した場合にも、視聴者にとって違和感の少ない映像処理の省略方法により、映像データと音声データの同期再生を精度よく維持することを目的とする。
【００１４】
【課題を解決するための手段】
請求項１の本発明の映像音声同期再生装置においては、映像処理（圧縮映像データ又は映像データの処理）が一定時間以上遅延した場合は、フォーマット変換手段によるフォーマット変換を省略する。
これにより、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来る映像音声同期再生装置が得られる。
【００１５】
請求項２の本発明の映像音声同期再生装置においては、映像処理が一定時間以上遅延した場合は、フォーマット変換手段は、フォーマット変換をＭフレームスキップするとともに、一定時間以上の遅延が時間的あるいは回数的に連続したり、遅延が更に大きくなった場合には、スキップするフレームの数であるＭの値を大きくする。
これにより、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来る映像音声同期再生装置が得られる。
【００１６】
請求項４の本発明の映像音声同期再生装置においては、映像処理の遅延が一定時間以下になった場合には、フォーマット変換手段は、フォーマット変換をスキップするフレームの数であるＮの値を段階的に小さくする。
これにより、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来る映像音声同期再生装置が得られる。
【００１７】
請求項６の本発明の映像音声同期再生装置においては、映像処理が一定時間以上遅延した場合は、フォーマット変換手段は、フォーマット変換をＭフレームスキップするとともに、一定時間以上の遅延が時間的あるいは回数的に連続したり、遅延が更に大きくなった場合には、映像復号化手段による復号化を省略する。
これにより、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来る映像音声同期再生装置が得られる。
【００２０】
請求項７の本発明の映像データと音声データの同期再生方法においては、映像処理が一定時間以上遅延した場合は、フォーマット変換ステップを省略する。
これにより、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来る映像データと音声データの同期再生方法が得られる。
【００２１】
請求項８の本発明の映像データと音声データの同期再生方法においては、映像処理が一定時間以上遅延した場合は、フォーマット変換ステップをＭフレームスキップするとともに、一定時間以上の遅延が時間的あるいは回数的に連続したり、遅延が更に大きくなった場合には、スキップするフレームの数であるＭの値を大きくする。
これにより、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来る映像データと音声データの同期再生方法が得られる。
【００２２】
請求項９の本発明の映像データと音声データの同期再生方法においては、映像処理の遅延が一定時間以上になった場合は、フォーマット変換ステップをＭフレームスキップするとともに、一定時間以上の遅延が時間的あるいは回数的に連続したり、遅延が更に大きくなった場合には、映像復号化ステップを省略する。
これにより、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来る映像データと音声データの同期再生方法が得られる。
【００２７】
請求項１０の本発明の記録媒体は、映像処理が一定時間以上遅延した場合は、フォーマット変換ステップを省略する映像データと音声データの同期再生方法を記録したものである。
これにより、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来る映像データと音声データの同期再生方法が得られる。
【００２８】
請求項１１の本発明の記録媒体は、映像処理が一定時間以上遅延した場合は、フォーマット変換ステップをＭフレームスキップするとともに、一定時間以上の遅延が時間的あるいは回数的に連続したり、遅延が更に大きくなった場合には、スキップするフレームの数であるＭの値を大きくする映像データと音声データの同期再生方法を記録したものである。
これにより、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来る映像データと音声データの同期再生方法が得られる。
【００２９】
請求項１２の記録媒体は、映像処理の遅延が一定時間以上になった場合は、フォーマット変換ステップをＭフレームスキップするとともに、一定時間以上の遅延が時間的あるいは回数的に連続したり、遅延が更に大きくなった場合には、映像復号化ステップを省略する映像データと音声データの同期再生方法を記録したものである。
これにより、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来る映像データと音声データの同期再生方法が得られる。
【００３５】
【発明の実施の形態】
本発明の請求項１に記載の発明は、
（１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力手段と、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付ける手段と、前記圧縮音声データに第２の時刻データを対応付ける時刻対応手段と、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化手段と、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化手段と、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換手段と、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力手段と、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する前記第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定手段を有し、
前記測定手段による測定の結果、前記第１時刻データ遅延時間が一定の時間である第１の時間より大きい場合は、前記フォーマット変換手段は、前記第１の映像フォーマットの映像データのフォーマット変換を省略することを特徴とする映像音声同期再生装置である。
【００３６】
これにより、映像音声同期再生装置の映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来るという作用を有する。特に、従来の映像復号化手段における復号化を省略する装置では、例えばＭＰＥＧ２規格に基づく圧縮映像データには参照フレームを必要とするＰピクチャやＢピクチャ等のフレームが含まれるため、復号化を省略する圧縮映像フレームのフレーム数を任意に選ぶことが出来ず、必要以上の映像処理（復号化）の省略が発生したが、本発明により、必要にして十分な映像処理（フォーマット変換）の省略が出来、少ない違和感で遅延を解消することが出来る。
【００３７】
本発明の請求項２に記載の発明は、
（１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力手段と、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付ける手段と、前記圧縮音声データに第２の時刻データを対応付ける時刻対応手段と、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化手段と、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化手段と、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換手段と、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力手段と、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する前記第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定手段を有し、
前記測定手段による測定の結果、前記第１時刻データ遅延時間が一定の時間である第１の時間より大きい第１の場合に、前記フォーマット変換手段は、前記映像復号化手段が復号化する連続するＭフレーム（Ｍは任意の正の整数）の前記第１の映像フォーマットの映像データのフォーマット変換をスキップするとともに、さらに、（ａ）前記第１の場合の継続時間が一定の時間を超えた場合又は（ｂ）前記測定手段が前記第１の場合を検知する回数が一定の回数を超えた場合又は（ｃ）前記第１時刻データ遅延時間が前記第１の時間よりも長い時間である第２の時間より大きくなった場合は、前記フォーマット変換手段がフォーマット変換をスキップするフーレムの数Ｍの値を増加させる手段を有することを特徴とする映像音声同期再生装置である。
【００３８】
これにより、同期再生装置の映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来るという作用を有する。
なお、「前記復号化手段が復号化する連続するＭフレームの第１の映像フォーマットの映像データのフォーマット変換をスキップする」とは、連続して復号化されるＭフレームのフォーマット変換を省略し、Ｍフレームの直後に復号化されるフレームをフォーマット変換することを言う。いわゆるコマ落としである。
【００３９】
本発明の請求項３に記載の発明は、請求項３又は請求項４の映像音声同期再生装置であって、前記第１の時間が０．２秒以上であって０．４秒以下であることを特徴とする映像音声同期再生装置である。
これにより、映像音声同期再生装置の映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来るという作用を有する。
【００４０】
本発明の請求項４に記載の発明は、請求項４の映像音声同期再生装置であって、前記フォーマット変換手段が、連続するNフレーム（Nは正の整数）の前記第１の映像フォーマットの映像データのフォーマット変換をスキップする状態において、前記第１時刻データ遅延時間が一定の時間である第３の時間以下の遅れになった第２の場合に、前記フォーマット変換手段は、フォーマット変換をスキップするフーレムの数Ｎの値をNより小さくて、かつ０でない値に減少させる手段を有することを特徴とする映像音声同期再生装置である。
これにより、映像音声同期再生装置の映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来るという作用を有する。
【００４１】
本発明の請求項５に記載の発明は、請求項６の映像音声同期再生装置であって、前記第３の時間が前記第１の時間よりも短い時間であることを特徴とする映像音声同期再生装置である。
これにより、映像音声同期再生装置の映像処理が遅延した場合に、遅延解消後に残留する誤差（遅延）を小さくすることが出来るため、少ない違和感で、遅延を解消することが出来るという作用を有する。
【００４２】
本発明の請求項６に記載の発明は、
（１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力手段と、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付け、前記圧縮音声データに第２の時刻データを対応付ける時刻対応手段と、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化手段と、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化手段と、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換手段と、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力手段と、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定手段を有し、
前記測定手段による測定の結果、第１時刻データ遅延時間が第１の時間より大きい第１の場合に、前記フォーマット変換手段は、前記映像復号化手段が復号化する連続するＭフレーム（Ｍは任意の正の整数）の第１の映像フォーマットの映像データのフォーマット変換をスキップするとともに、さらに、（ａ）第１の場合の継続時間が一定の時間を超えた場合又は（ｂ）第１の場合の検知回数が一定の回数を超えた場合又は（ｃ）前記第１時刻データ遅延時間が第１の時間よりも長い一定の時間である第２の時間よりも大きくなった場合は、前記映像復号化手段は、前記圧縮映像データの復号化を省略することを特徴とする映像音声同期再生装置である。
これにより、同期再生装置の映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来るという作用を有する。
【００４６】
本発明の請求項７に記載の発明は、
（１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力ステップと、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付け、前記圧縮音声データに第２の時刻データを対応付ける時刻対応ステップと、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化ステップと、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化ステップと、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換ステップと、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力ステップと、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する前記第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定ステップを有し、
前記測定ステップによる測定の結果、前記第１時刻データ遅延時間が一定の時間より大きい場合は、前記フォーマット変換ステップを省略することを特徴とする映像データと音声データの同期再生方法である。
これにより、映像音声同期再生装置の映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来るという作用を有する。
【００４７】
本発明の請求項８に記載の発明は、
（１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力ステップと、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付け、前記圧縮音声データに第２の時刻データを対応付ける時刻対応ステップと、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化ステップと、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化ステップと、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換ステップと、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力ステップと、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する前記第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定ステップを有し、
前記測定ステップによる測定の結果、前記第１時刻データ遅延時間が一定の時間である第１の時間より大きい第１の場合に、前記映像復号化ステップにより復号化された連続するＭフレーム（Ｍは任意の正の整数）の前記第１の映像フォーマットの映像データについて前記フォーマット変換ステップをスキップするとともに、さらに、（ａ）第１の場合の継続時間が一定の時間を超えた場合又は（ｂ）前期測定ステップにおいて第１の場合を検知する回数が一定の回数を超えた場合又は（ｃ）前記第１時刻データ遅延時間が第１の時間よりも長い一定の時間である第２の時間より大きくなった場合は、前記フォーマット変換ステップをスキップするフーレムの数Ｍの値を増加させるステップを有することを特徴とする映像データと音声データの同期再生方法である。
これにより、映像音声同期再生装置の映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来るという作用を有する。
【００４８】
本発明の請求項９に記載の発明は、
（１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力ステップと、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付け、前記圧縮音声データに第２の時刻データを対応付ける時刻対応ステップと、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化ステップと、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化ステップと、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換ステップと、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力ステップと、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する前記第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定ステップを有し、
前記測定手段による測定の結果、前記第１時刻データ遅延時間が一定の時間である第１の時間より大きい第１の場合に、前記映像復号化ステップにより復号化される連続するＭフレーム（Ｍは任意の正の整数）の前記第１の映像フォーマットの映像データについて前記フォーマット変換ステップをスキップするとともに、さらに、（ａ）第１の場合の継続時間が一定の時間を超えた場合又は（ｂ）第１の場合の検知回数が一定の回数を超えた場合又は（ｃ）前記第１時刻データ遅延時間が前記第１の時間よりも長い時間である第２の時間より大きくなった場合は、前記映像復号化ステップを省略することを特徴とする映像データと音声データの同期再生方法である。
これにより、映像音声同期再生装置の映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来るという作用を有する。
【００５３】
本発明の請求項１０に記載の発明は、
（１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力ステップと、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付け、前記圧縮音声データに第２の時刻データを対応付ける時刻対応ステップと、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化ステップと、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化ステップと、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換ステップと、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力ステップと、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する前記第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定ステップを有し、
（８）前記測定ステップによる測定の結果、前記第１時刻データ遅延時間が一定の時間より大きい場合は、前記フォーマット変換ステップを省略することを特徴とする映像データと音声データの同期再生プログラムを記録した記録媒体である。
これにより、映像データと音声データの同期再生を行う上で、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来るという作用を有する。
【００５４】
本発明の請求項１１に記載の発明は、
（１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力ステップと、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付け、前記圧縮音声データに第２の時刻データを対応付ける時刻対応ステップと、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化ステップと、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化ステップと、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換ステップと、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力ステップと、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する前記第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定ステップを有し、
（８）前記測定ステップによる測定の結果、前記第１時刻データ遅延時間が一定の時間である第１の時間より大きい第１の場合に、前記映像復号化ステップにより復号化された連続するＭフレーム（Ｍは任意の正の整数）の前記第１の映像フォーマットの映像データについて前記フォーマット変換ステップをスキップするとともに、さらに、（ａ）第１の場合の継続時間が一定の時間を超えた場合又は（ｂ）前期測定ステップにおいて第１の場合を検知する回数が一定の回数を超えた場合又は（ｃ）前記第１時刻データ遅延時間が第１の時間よりも長い時間である第２の時間より大きくなった場合は、前記フォーマット変換ステップをスキップするフーレムの数Ｍの値を増加させるステップを有することを特徴とする映像データと音声データの同期再生プログラムを記録した記録媒体である。
これにより、映像データと音声データの同期再生を行う上で、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来るという作用を有する。
【００５５】
本発明の請求項１２に記載の発明は、
（１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力ステップと、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付け、前記圧縮音声データに第２の時刻データを対応付ける時刻対応ステップと、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化ステップと、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化ステップと、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換ステップと、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力ステップと、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する前記第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定ステップを有し、
前記測定ステップによる測定の結果、前記第１時刻データ遅延時間が一定の時間である第１の時間より大きい第１の場合に、前記映像復号化ステップにより復号化される連続するＭフレーム（Ｍは任意の正の整数）の前記第１の映像フォーマットの映像データについて前記フォーマット変換ステップをスキップするとともに、さらに、（ａ）第１の場合の継続時間が一定の時間を超えた場合又は（ｂ）第１の場合の検知回数が一定の回数を超えた場合又は（ｃ）前記第１時刻データ遅延時間が第１の時間よりも長い時間である第２の時間より大きくなった場合は、前記映像復号化ステップを省略することを特徴とする映像データと音声データの同期再生プログラムを記録した記録媒体である。
これにより、映像データと音声データの同期再生を行う上で、映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来るという作用を有する。
【００５７】
以下、本発明の実施例について、図１から図５を用いて説明する。実施例では、圧縮映像データ及び圧縮音声データとして、ＭＰＥＧ２規格に基づいて圧縮された圧縮映像データ（ＩＳＯ／ＩＥＣ１３８１８−２等）及びＭＰＥＧ規格に基づいて圧縮音声データ（ＩＳＯ／ＩＥＣ１３８１８−３等）を取り扱う。但し、本発明の適用の対象はＭＰＥＧ２規格に基づき圧縮された圧縮映像データやＭＰＥＧ規格に基づき圧縮された圧縮音声データについての映像音声同期再生装置に限定されるものではなく、他のデータ圧縮規格についても適用可能である。
【００５８】
［図１のビットストリームの説明］
図１は、本発明の実施例である映像音声同期再生装置に入力する圧縮映像データ及び圧縮音声データを含むビットストリームの構造（１シーケンスの入力ビットストリーム）を示す（ヘッダの記載は省略している）。１シーケンスの入力ビットストリームの先頭には、映像フレームレート情報がある。毎秒３０フレーム、毎秒６０フレーム、又は毎秒６０フィールド等の圧縮映像データのフレームレートの情報である。次に、音声パラメータ情報がある。音声パラメータ情報には、例えば、サンプリング周波数が毎秒３２ｋＨｚ、４４．１ｋＨｚ又は４８ｋＨｚのどの周波数かを示すパラメータや、ステレオ（同一の音源の音を左右の位置から収録した音を出す）か、デュアル・チャンネル（英語放送と日本語放送等、別個独立の音声を２チャンネルで出す）、又はモノラルかを示すパラメータ等が含まれる。その後には、映像パケットと音声パケットが続く。
【００５９】
映像パケットと音声パケットの次には、図１には図示していないが、図示する映像パケットと同様の映像パケット、及び図示する音声パケットと同様の音声パケットが後続する。１シーケンスのビットストリーム内において、映像パケットと音声パケットが交互に並ぶ場合もあるが、これに限らず、映像パケットが連続したり、音声パケットが連続したりする場合もある。圧縮映像データのフレーム期間と圧縮音声データのフレーム期間が異なる場合、例えば実時間で１６．７ｍｓ分の圧縮映像データが１フレームの圧縮画像データとして１つの映像パケットに収められ、実時間で２３ｍｓ分の圧縮音声データ２チャンネル分が１フレームの圧縮音声データとして１つの音声パケットに収められたビットストリーム構造を有するビットストリームにおいては、１秒間分のビットストリームが有する映像パケットの数と音声パケットの数が異なる。又、圧縮映像データを伝送するビットストリームと、圧縮音声データを伝送するビットストリームが別個独立のビットストリームである場合は、ビットストリーム内に含まれるデータは、全て映像パケット、又は全て音声パケットであり、この場合は、映像音声同期再生装置は、圧縮映像データのビットストリームと圧縮音声データのビットストリームをそれぞれ入力し、同期再生をすることになる。１つのビットストリームが含む映像パケットの数及び音声パケットの数と無関係に、当該ビットストリームについて本発明を適用することが出来る。
【００６０】
１つの映像パケットは、タイムスタンプ情報と、キーフレーム情報と、１フレーム（又は１フィールド）の圧縮映像データ（ＭＰＥＧ２規格におけるピクチャ層に相当する）を含む。なお、文脈上、特に「フィールド」と「フレーム」の差異を示す場合を除き、１フレーム（又は１フィールド）の画像データ、即ち１枚の画面を構成する画像データを総称して、１フレームの画像データと言う。請求の範囲の記載において、「フレーム」の語は、「フィールド」又は「フレーム」の意味、即ち１枚の画面の意味である。
【００６１】
タイムスタンプ情報は、当該映像パケットに含まれる圧縮映像データの時刻データである。具体的には、ビットストリームに係る映像番組のスタート時刻を０時０分０秒とした時、当該映像パケットに含まれる圧縮映像データが放送される時刻、例えば、１時２８分１９．３００秒（又は１時２８分１９秒１８フレーム）という時刻を表す。時刻の単位は、例えば秒より下の桁を１／１０００秒の単位で表示してもよいし、フレームの数（又はフィールドの数）で表してもよい。
【００６２】
［ビットストリームの生成装置の説明］
映像番組を放送する放送局や、映画を記録したデジタル映像ディスクの製造会社等における、当該ビットストリームの生成装置の構成を説明する。放送局等のオペレータは、ビットストリームの生成装置に、入力する映像データの映像フレームレート情報、及び入力する音声データの音声パラメータ情報を、キーボードを用いて入力する。ビットストリームの生成装置は、映像フレームレート情報及び音声パラメータ情報をメモリに蓄積する。ビットストリームの生成装置は、同期する実時間の映像データ及び実時間の音声データを入力し、１フレームの映像データごとに、及び１フレームの音声データごとにメモリに蓄積する。時刻発生装置は、放送番組のスタート時を０時０分０秒とする時刻データを出力し、ビットストリームの生成装置は当該時刻データを入力する。ビットストリームの生成装置は、各フレームの映像データ（データストリームから構成される）の最初のデータ（データストリームの先頭のデータ）の入力時における、時刻発生装置から入力した時刻データ（映像パケットのタイムスタンプ情報）をラッチし、当該フレームの映像データに対応づけてメモリに蓄積する。同様に、ビットストリームの生成装置は、各フレームの音声データ（データストリームから構成される）の最初のデータ（データストリームの先頭のデータ）の入力時における、時刻発生装置から入力した時刻データ（音声パケットのタイムスタンプ情報）をラッチし、当該フレームの音声データに対応づけてメモリに蓄積する。ビットストリームの生成装置は、映像データと映像パケットのタイムスタンプ情報との対応関係を維持した状態で、映像データを圧縮し圧縮映像データを生成し、後述するキーフレーム情報とともにメモリに蓄積する。
【００６３】
同様にビットストリームの生成装置は、音声データと音声パケットのタイムスタンプ情報との対応関係を維持した状態で、音声データを圧縮し圧縮音声データを生成し、メモリに蓄積する。その後、ビットストリームの生成装置は、メモリに蓄積した映像フレーム情報、音声パラメータ情報、映像パケットのタイムスタンプ情報、圧縮映像データのキーフレーム情報、圧縮映像データ、音声パケットのタイムスタンプ情報、及び圧縮音声データを順次読み出し、図１のビットストリームを生成して、出力する。従って、上述のように、映像データの１フレームと音声データの１フレームの時間の長さは同じでなくてもよい。以上で、ビットストリームの生成装置の説明を終える。
【００６４】
［図１のビットストリームの説明（続き）］
また、いわゆる時計の単位以外の単位であっても、映像データと音声データの時間的な差異を計算できる実質的に時刻表示と同じ単位であれば、タイムスタンプ情報（時刻データ）として使用することが出来る。例えば、映像パケットと音声パケットの時間単位（毎秒のフレーム数）が同じであれば、映像番組のスタート時刻から数えた映像パケットの番号（順番）と音声パケットの番号（順番）は、タイムスタンプ情報（時刻データ）として使用することが出来る。この例に拠れば、出力する映像データのタイムスタンプ情報は２３５４で、出力する音声データの数が２３５５であれば、映像データの出力が１パケット分の時間（６０フレーム／秒であれば、１６．７ｍｓ）遅れていることが分かる。タイムスタンプ情報（時刻データ）の番号（順番）は、上述のように、映像番組を放送する放送局や、映画を記録したデジタル映像ディスクの製造会社等において、当該ビットストリームの生成装置が、同期する圧縮映像データと圧縮音声データに対応させて、それぞれ同じ番号（順番）を付与する。従って、タイムスタンプ情報の番号（順番）は絶対的な数値であり、引用例のような相対的な数値とは異なる。映像データと音声データのフレーム単位（１フレームの時間の長さ）が異なっている場合も、映像データと音声データのフレ−ム単位が分かっていれば、映像番組のスタート時刻から数えた映像パケットの番号（順番）と音声パケットの番号（順番）は、タイムスタンプ情報（時刻データ）として使用することが出来る。但し、この場合は、ソフトウエアにより、映像データと音声データの実時間差を計算する必要がある。タイムスタンプ情報は、１日の映像番組のスタートからの時刻でなく、例えば、当該番組が放送される１日の時刻であってもよい。映像パケットに含まれるタイムスタンプ情報を、「第１の時刻データ」と呼ぶ。
【００６５】
次に来るキーフレーム情報には、当該映像パケットに含まれる１フレームの圧縮映像データが、ＭＰＥＧ２規格におけるＩピクチャ、Ｐピクチャ、又はＢピクチャのどのピクチャかを示す情報等が含まれる。Ｉピクチャとは、イントラ・ピクチャの略称であって、当該フレームに含まれる画像データの全てをイントラ符号化（フレーム内符号化）したフレーム（ピクチャ）の意味である。Ｐピクチャとは、プレディクティブ・ピクチャの略称であって、当該フレームに含まれる画像データの少なくとも一部のブロックをフレーム間（インター）順方向予測符号化したフレーム（ピクチャ）の意味である。Ｂピクチャとは、バイディレクショナリ・プレディクティブ・ピクチャの略称であって、当該フレームに含まれる画像データの少なくとも一部のブロックをフレーム間（インター）双方向予測符号化したフレーム（ピクチャ）の意味である。Ｉピクチャは、単独で復号化することが出来るが、Ｐピクチャ及びＢピクチャは、前のフレームの映像データとの差分又は前後のフレームの映像データとの差分のみを符号化しているため、前のフレームの映像データ又は前後のフレームの映像データがないと、復号化出来ない。
【００６６】
次に来る圧縮映像データは、ＭＰＥＧ２規格に基づいて圧縮された１フレーム分（又は１フィールド分）の圧縮映像データである。実施例においては、６０フレーム／秒の映像データを入力し再生するため、映像データの１フレームは、実時間において約１６．７ｍｓの時間分のデータ量である。
【００６７】
次の音声パケットは、タイムスタンプ情報（時刻データ）と圧縮音声データから構成される。タイムスタンプ情報は、当該音声パケットに含まれる圧縮音声データの時刻データであり、上述のように、当該ビットストリームの生成装置において、映像パケットに含まれるタイムスタンプ情報（時刻データ）と同じ時計（時刻の発生装置）を基準とする時刻を書き込む。従って、例えば、音声パケットのタイムスタンプ情報と隣の映像パケットのタイムスタンプ情報が、いずれも２時４６分５２秒２４フレームであったとすると（映像パケットと音声パケットのフレームレートは同じである仮定とする）、当該圧縮音声データと当該圧縮映像データを復号化し、同時に出力すると同期が取れる。又、映像データの出力が、同じ時刻データの音声データの出力よりも３フレーム遅延していれば、映像データの出力タイミングを３フレームだけ早くすれば同期が取れることが分かる。映像パケットと音声パケットのフレーム数が異なれば、映像データの時刻データが０時３３分３０．３０秒で（６０フレーム／秒）、音声データの時刻データが０時３３分３０．３２秒（サンプリンングレート４４．１ｋＨｚで、１０２４サンプリングの音声データを１フレームとする。）である場合のように、２つの時刻データにはある程度ずれが生じることもあるが、後述する方法により、２つの時刻データを映像データと音声データの同期再生に利用出来る。音声パケットに含まれるタイムスタンプ情報を、「第２の時刻データ」と呼ぶ。
【００６８】
また、１フレームの圧縮音声データとは、１つの音声パケットに含まれる圧縮音声データの意味である。
タイムスタンプ情報の次に来るのが、圧縮音声データであり、ＭＰＥＧ規格に基づいて圧縮された１フレーム分の圧縮音声データが含まれる。実施例においては、１６ビット精度で４４．１ｋＨｚのサンプリングレートでサンプリングされた１０２４サンプリングの２チャンネルの音声データが、１フレームの圧縮音声データとして、音声パケット１つに含まれる。従って、音声データの１フレームは、実時間において約２３ｍｓの時間分のデータ量である。
【００６９】
［図２の実施例の構成の説明］
図２は、本発明の実施例である映像音声同期再生装置の構成を示すブロック図である。本実施例の映像音声同期再生装置は、パーソナルコンピュータとしての基本構成に、映像データ及び音声データの同期再生に必要なハードウエアを追加実装しており、マイクロプロセッサ１０３により圧縮映像データと圧縮音声データの分離、復号化及び映像データのフォーマット変換をソフトウエア上で実現している。圧縮映像データ及び圧縮音声データ等のビットストリームは、圧縮映像データ及び圧縮音声データ入力コネクタ・インターフェース１０１、又はデジタルテレビ放送用チューナ１０２から入力される。圧縮映像データ及び圧縮音声データ入力コネクタ・インターフェース１０１は、図１のビットストリームを記録した光ディスク等の記録メディアの再生装置、図１の圧縮映像データと圧縮音声データを含むビットストリームを通信網を介して受信したＭＯＤＥＭ装置、又はその他の機器とケーブルによって接続され、圧縮映像データと圧縮音声データを含むビットストリームを入力する。デジタルテレビ放送用チューナ１０２は、図１のビットストリームによる衛星放送、地上波放送、ケーブルテレビ、又はその他のデジタルテレビ放送を受信し、受信した信号を圧縮映像データと圧縮音声データを含むビットストリームに復調した後、当該ビットストリームを入力する。
【００７０】
マイクロプロセッサ１０３は、バスライン１１０を介してＲＡＭ１０４、ハードディスク（ＨＤＤ）１０５と接続されている。映像データ出力装置１０６は、いわゆるＶＧＡチップ言われる映像データ表示用ＬＳＩ、ＶＲＡＭ及びＤ／Ａコンバータ等から構成されており、マイクロプロセッサ１０３からバスライン１１０を通じて実時間に伸張され表示用の映像フォーマットに変換された映像データを受け取り、ＣＲＴ又は液晶ディスプレイの映像表示装置１０７に映像データを表示する。同様に、音声データ出力装置１０８は、音声データ出力処理用チップとバッファ用ＲＡＭ及びデジタル／アナログコンバータ等から構成されており、マイクロプロセッサ１０３からバスライン１１０を通じて実時間に伸張された音声データを受け取り、スピーカ１０９を駆動して音声を出力する。
【００７１】
マイクロプロセッサ１０３による映像処理と音声処理の概要をブロック１１１から１１７に示す。これらの処理は、主としてソフトウエアにより処理される。圧縮映像データ及び圧縮音声データ入力コネクタ・インターフェース１０１、又はデジタルテレビ放送用チューナ１０２から入力され、バスラインを通じてマイクロプロセッサ１０３に伝送された圧縮映像データ及び圧縮音声データ等のビットストリームは、圧縮映像データ／圧縮音声データ入力手段１１１により受け取られる。圧縮映像データ／圧縮音声データ入力手段１１１が受け取った圧縮映像データ及び圧縮音声データ等のビットストリームは、ストリーム分離手段１１２に入力され、ソフトウエアにより、それぞれのタイムスタンプ情報（時刻データ）と対応させた状態で、圧縮映像データと圧縮音声データに分離される。
【００７２】
分離された圧縮映像データは、映像復号化手段１１３により実時間に伸張された映像データに復号化される。復号化とは、例えばＤＣＴ変換、量子化及びエントロピ符号化等からなるＭＰＥＧ２規格に基づいて圧縮された圧縮映像データであれば、当該圧縮映像データをエントロピ符号化の逆変換、量子化の逆変換、及びＤＣＴ逆変換等により映像データに戻す処理をいう。これらの処理は、ハードウエアによっても処理可能であるが、処理の遅延が問題にならない限り、ソフトウエア処理が多くのメリットを持っている。例えば、ＭＰＥＧ２規格ではフレームごとに多くのパラメータがオプションとして設定可能であるが、ソフトウエア処理の方がフレキシビリティに富むため、オプション機能の処理が容易である。又、ハフマン符号化等のエントロピ符号化の逆変換にはコードブックと呼ばれる大きな変換テーブルが必要であるが、ＲＡＭ１０４に変換テーブルを作成し、ソフトウエアにより容易に処理出来る。また、ＤＣＴの逆変換として多くの係数を用いて多くの多項式計算を行うが、このような多項式計算は、ソフトウエア処理の得意とするところである。又、何よりも、ハ−ドウエア処理による場合は、異なるデータ圧縮規格に対応するためには別個専用のハードウエアを備える必要があるが、ソフトウエア処理の場合は、当該データ圧縮規格に対応する新たな復号化プログラムをインストールすればよく、作業的に容易で、費用的にも安い。
【００７３】
映像復号化手段１１３により実時間に伸張された映像データは、フォーマット変換手段１１４に入力され、ソフトウエアによりフォーマット変換される。例えば、デジタルテレビ放送用チューナ１０２から有効水平走査線数７２０本のプログレッシブ映像信号（７２０Ｐ）を受信し、有効水平走査線数４８０本のプログレッシブ映像信号（４８０Ｐ）表示を行う映像表示器１０７に表示する場合には、フォーマット変換手段１１４は、有効水平走査線数７２０本の映像データを有効水平走査線数４８０本の映像データに変換する。同様に、デジタルテレビ放送用チューナ１０２から有効水平走査線数１０８０本のインターレース映像信号（１０８０ｉ）を受信し、有効水平走査線数７２０本のプログレッシブ映像信号表示（７２０Ｐ）を行う映像表示器１０７に表示する場合には、フォーマット変換手段１１４は、有効水平走査線数１０８０本のインターレースの映像データを有効水平走査線数７２０本のプログレッシブの映像データに変換する。
【００７４】
又、８００ドット×６００本の表示規格に基づくコンピュータグラフィックス映像データを入力し、１０２４ドット×７６８本の表示を持つ液晶モニタに表示する場合は、フォーマット変換手段１１４は、８００ドット×６００本の映像データを１０２４ドット×７６８本の映像データに変換する。更に、デジタルテレビ放送をコンピュータ用モニタに表示する場合には、フォーマット変換手段１１４は、例えば、有効水平走査線数４８０本のプログレッシブ映像信号の映像データを１０２４ドット×７６８本の映像データに変換する。また、コンピュータグラフィックス映像データをデジタルテレビ放送用テレビに表示するためには、フォーマット変換手段１１４は、例えば、１０２４ドット×７６８本の映像データを有効水平走査線数４８０本の映像データに変換する。又、フォーマット変換手段１１４は、フレームレートを変換する場合もある。このように種々のフォーマット変換に対応するためには、ハードウエアによる対応に限界があり、フレキシビリティに富むソフトウエアによる処理がメリットを有する。
【００７５】
フォーマット変換された映像データは、映像表示出力手段１１５により、バスライン１１０を通じて、映像データ出力装置１０６に伝送される。
【００７６】
ストリーム分離手段１１２により分離された圧縮音声データは、音声復号化手段１１６により実時間に伸張された音声データに復号化される。
復号化とは、例えばサブバンド・コーディング等からなるＭＰＥＧ規格に基づいて圧縮された圧縮音声データを逆変換により音声データに戻す処理をいう。逆変換の処理は、ハードウエアによっても処理可能であるが、処理の遅延が問題にならない限り、ソフトウエア処理がメリットを持っている。特に、ハ−ドウエア処理による場合は、異なるデータ圧縮規格に対応するためには別個専用のハードウエアを必要とするが、ソフトウエア処理の場合は、当該データ圧縮規格に対応する新たな復号化プログラムをインストールすればよく、作業的に容易で、費用的に安い。
【００７７】
復号化により実時間に伸張された音声データは、音声出力段１１７により、バスライン１１０を通じて、音声データ出力装置１０８に伝送される。
【００７８】
［図３の実施例の構成の説明］
図３に、本発明の実施例であるマイクロプロセッサ１０３による映像処理と音声処理の詳細を示す。図２におけるブロック１１２から１１７と同じブロックには、同じ符号を付与している。図２で既に説明をしたことについては、説明を省略する。
マイクロプロセッサ１０３は、時刻データを出力するクロック生成手段１２６（「時刻発生手段」とも言う）を内蔵する。クロック生成手段１２６が出力する時刻データを第３の時刻データと言う。
【００７９】
音声復号化手段１１６は、音声パケットを単位として圧縮音声データを復号化するが、圧縮音声データを復号化する際に、同じ音声パケットに含まれる圧縮音声データと第２の時刻データの対応関係を維持する。音声パケットを単位とする圧縮音声データの復号化が完了した時、復号化により実時間に伸張された音声データと同じ音声パケットに含まれる、第２の時刻データと第３の時刻データを第２の時刻比較手段１２７により比較する（第１の時刻比較手段１２４については、後述する）。もし、第２の時刻データと第３の時刻データの間に差異があれば、第２の時刻比較手段１２７は、クロック生成手段１２６に第２の時刻データをロードすることにより、クロック生成手段１２６が出力する第３の時刻データを第２の時刻データに一致させる。なお、異なる実施例として、第２の時刻比較手段１２７を省略し、音声パケットを単位とする圧縮音声データの復号化が完了した時、復号化により実時間に伸張された音声データと同じ音声パケットに含まれる第２の時刻データを音声復号化手段１１６から直接クロック生成手段１２６にロードすることにより、クロック生成手段１２６が出力する第３の時刻データを第２の時刻データに一致させる構成も取り得る。いずれの場合も、第３の時刻データは、常に第２の時刻データに同期している。
【００８０】
ストリーム分離手段１１２から出力された圧縮映像データは、映像復号化手段１１３により実時間に伸張された映像データに復号化され、映像復号化手段１１３は、映像データを表示間隔制御手段１２５に送る。映像復号化手段１１３は、映像パケットを単位として圧縮映像データを復号化するが、圧縮映像データを復号化する際に、同じ映像パケットに含まれる映像データと第１の時刻データとの対応関係を維持する。
【００８１】
映像パケットを単位とする圧縮映像データの復号化が完了した時、復号化により実時間に伸張された映像データと同じ映像パケットに含まれる、第１の時刻データと第３の時刻データを第１の時刻比較手段１２４により比較する。
【００８２】
［図４の説明］
第１の時刻比較手段１２４の結果により、以下の処理を行うが、その処理の様子を図示する図４を参照する。
図４における符号の説明をする。Ａ１、Ａ２等は、圧縮音声データ又は音声データの各フレームに時系列的に番号を付与したものである。音声データの１フレームは、上述したように、実施例において約２３ｍｓである。Ｖ１、Ｖ２等は、圧縮映像データ又は映像データの各フレームに時系列的に番号を付与したものである。映像データの１フレームは、上述したように、実施例において約１６．７ｍｓである。
【００８３】
ａは、音声復号化手段１１６が出力する復号化された音声データを表す。音声出力手段１１７が音声データを受け取り、音声データを出力するのに必要な時間は非常に短いので、ａは、音声出力手段１１７が出力する音声データをも表す。ｂは、音声データ出力装置１０８が出力する音声データ、即ち、スピーカ１０９から出る音声を表す。映像音声同期再生装置は、ｂの音声データが連続性を失わないように、処理を制御する。ｂに記載されている６００、６１７等の数字は、出力する音声データに対応する第２の時刻データの秒未満の時刻をｍｓを単位として表す。図４に記載された映像データの第１の時刻データ及び音声データの第２の時刻データの時分秒の位の値は、１４時２８分５２秒である。例えば、Ａ１の頭における第２の時刻データは、１４時２８分５２．６００秒である。ｃは、映像復号化手段１１３が出力する復号化された映像データを表す。本来、映像データの時間軸上の長さは同じであるべきだが、マイクロプロセッサ１０３の処理速度が遅くなった場合には、映像データの時間軸上の長さが図のように長くなる。図４において、矢印で示す区間１３０において、マイクロプロセッサ１０３に他の処理が加わったため、マイクロプロセッサ１０３の処理が遅くなり、映像データと音声データの完全な処理をしながら同期再生をすることが出来なくなっている。ｄは、フォーマット変換装置１１４が出力する第２の映像フォーマットの映像データを表す。映像表示出力手段１１５が第２の映像フォーマットの映像データを出力する処理時間は非常に短いので、ｄは、映像表示出力手段１１５が出力する第２の映像フォーマットの映像データでもある。ｅは、映像データ出力装置１０６が出力する映像データ、即ち、映像表示装置１０７が表示する映像を表す。
【００８４】
ｃ、ｄ及びｅのそれぞれに記載されている３００、３１７等の数字は、出力する映像データに対応する第１の時刻データの秒未満の時刻をｍｓを単位として表す。例えば、Ｖ１の頭における第１の時刻データは、１４時２８分５２．３００秒である。なお、映像データと音声データとでは１フレームの長さが異なるため、Ａ１等の音声データのインデックス数字と、Ｖ１等の映像データのインデックス数字の間には、例えばＡ１とＶ１がペアになる等の特別な関係は何もなく、便宜的に付与したにすぎない。
【００８５】
図４において、第１の時刻比較手段１２４は、映像復号化手段１１３が映像データ（ｃ）を出力し終った時点（ｄの各映像フレームの先頭の時刻データ）と、音声復号化手段１１６が音声データ（ａ）を出力し終った時点（ｂの下欄に示す時刻データ）とを比較する。
図４におけるＶ１及びＶ２フレームのように、第１の時刻比較手段１２４による比較の結果、第１の時刻データが第３の時刻データよりも３００ｍｓ以上遅延していない場合は、表示間隔制御手段１２５は、映像復号化手段１１３から受け取った第１の映像フォーマットの映像データをフォーマット変換手段１１４に伝送する。
【００８６】
フォーマット変換手段１１４は、入力された映像データと表示装置１０７に送る映像データが同一の映像フォーマットの場合は入力された第１の映像フォーマットの映像データをそのまま映像表示出力手段１１５に送り、映像表示出力手段１１５は、当該映像データを映像データ出力装置１０６に送り映像表示装置１０７に表示する。復号化された第１の映像フォーマットの映像データと映像表示装置に表示される第２の映像データが異なるフォーマットの場合は、フォーマット変換手段１１４は、入力された第１の映像フォーマットの映像データを、表示装置１０７に送る第２の映像フォーマットの映像データにフォーマット変換し、第２の映像フォーマットの映像データを映像表示出力手段１１５に送る。
第１の時刻比較手段１２４、表示間隔制御手段１２５、フォーマット変換手段１１４は、いずれもソフトウエア処理により実現される。
【００８７】
第１の時刻比較手段１２４による比較の結果、第１の時刻データが第３の時刻データよりも３００ｍｓ以上遅延している場合は、映像データと音声データの同期が外れたと判断し、以下述べる手段により、映像データの処理の一部を省略して映像データと音声データの同期回復を図る。
【００８８】
図４におけるＶ３のフレームのように、第１の時刻比較手段１２４による比較の結果、それまで（Ｖ１及びＶ２フレーム）は第１の時刻データは第３の時刻データよりも３００ｍｓ以上遅延していなかったが、初めて３００ｍｓ以上遅延した場合は、第１の時刻比較手段１２４は表示間隔制御手段１２５に指令を送り、表示間隔制御手段１２５は、映像復号化手段１１３から受け取った映像データを１フレーム分だけスキップする。図４では、表示間隔制御手段１２５はＶ３フレームをスキップし、次のＶ４フレームをフォーマット変換手段１１４に送り、フォーマット変換手段１１４はＶ４フレームをフォーマット変換をする。
【００８９】
なお、「Ｍ（Ｍは正の整数）フレームをスキップする」とは、Ｍフレームのコマ落としをすることであって、表示間隔制御手段１２５は連続するＭフレームの映像データを出力せず（フォーマット変換手段１１４は、フォーマット変換を行わない）、その直後の１フレームの（Ｍ＋１フレーム目の）映像データを出力する（フォーマット変換手段１１４は、フォーマット変換を行う）。例えば、３フレームをスキップするとは、３フレームの映像データを出力せず、その直後の１フレームの（４フレーム目の）映像データを出力することである。
１フレーム分だけスキップすることにより、フォーマット変換手段１１４は１フレーム分だけフォーマット変換を行わない。上述のように、マイクロプロセッサ１０３は、ひとつのプロセッサを使ってソフトウエア処理により映像復号化手段１１３及びフォーマット変換手段１１４の映像データ処理を実現しているため、１フレームの映像データのフォーマット変換の処理を省略することにより、浮いた時間を映像復号化手段１１３の復号化処理に使用することが出来、映像データの復号化処理の促進を図ることが出来る。
【００９０】
この場合、フォーマット変換手段１１４は１フレーム分だけ映像データを出力しないため、映像表示出力手段１１５も映像を出力しない。映像データ出力装置１０６は、この間、映像データ出力装置１０６内の映像表示用メモリであるＶＲＡＭの内容を書き換えられないため、それまでに受け取った最後のフレームの映像データを２フレーム連続して表示装置１０７に送る。同様に、フォーマット変換手段１１４がＭフレーム分だけ映像データを出力しない場合は、映像データ出力装置１０６は、それまでに受け取った最後のフレームの映像データを（Ｍ＋１）フレーム連続して表示装置１０７に送る。従って、フォーマット変換手段１１４が映像データを出力しない場合にも、表示装置１０７の表示が途切れることはない。図４においては、Ｖ３フレームが表示されないことの他、復号化の遅延もあるため、Ｖ２フレームが４回続けて出力されている（ｅ参照）。
【００９１】
もし、１フレームの映像データ（Ｖ３フレーム）のフォーマット変換の処理を省略することにより、第３の時刻データに対する第１の時刻データの遅延時間が３００ｍｓ未満になった場合は、その後はフォーマット変換処理の省略を終え、フォーマット変換手段１１４は、その後に映像復号化手段１１３から受け取る全ての映像データをフォーマット変換する。
【００９２】
しかし、１フレーム分（Ｖ３フレーム）のフォーマット変換をスキップした後の時点（映像復号化手段１１３が１フレームの圧縮映像データ（フォーマット変換手段１１４がフォーマット変換しないでスキップするＶ３フレーム）を映像データに復号化し、さらに次の１フレーム（フォーマット変換手段１１４がフォーマット変換するＶ４フレーム）の圧縮映像データを映像データに復号化した時点）において、図４のＶ４フレームのように、第１の時刻比較手段１２４による比較の結果、依然として第１の時刻データが第３の時刻データよりも３００ｍｓ以上遅延している場合は、第１の時刻比較手段１２４は表示間隔制御手段１２５に指令を送り、表示間隔制御手段１２５は、Ｖ４フレームをフォーマット変換手段１１４に伝送した後、続いて映像復号化手段１１３から受け取った映像データを２フレーム分だけ（図４ではＶ５及びＶ６フレーム）出力せず、その直後のフレーム（Ｖ７フレーム）を出力する。そのため、フォーマット変換手段１１４は、Ｖ４フレームのフォーマット変換をした後２フレームだけ（図４ではＶ５及びＶ６フレーム）フォーマット変換を行わない。マイクロプロセッサ１０３は、２フレームの映像データのフォーマット変換の処理を省略することにより、浮いた時間を映像復号化手段１１３の復号化処理に使用することが出来、映像データの処理の促進を図ることが出来る。
【００９３】
この場合、フォーマット変換手段１１４は２フレーム分（図４ではＶ５及びＶ６フレーム）だけ映像データを出力しないため、映像表示出力手段１１５も映像を出力しない。映像データ出力装置１０６は、この間、映像データ出力装置１０６内の映像表示用メモリであるＶＲＡＭの内容を書き換えられないため、同じ映像データを３フレーム連続して表示装置１０７に送る。図４においては、Ｖ５及びＶ６フレームが表示されないことの他、復号化の遅延もあるため、Ｖ４フレームが４回続けて出力されている（ｅ参照）。
【００９４】
２フレーム分（Ｖ５及びＶ６フレーム）のフォーマット変換をスキップした後の時点（映像復号化手段１１３が、フォーマット変換を省略する２フレームの圧縮映像データ（Ｖ５及びＶ６フレーム）の復号化を完了し、さらに次のフォーマット変換をする１フレームの圧縮映像データ（Ｖ７フレーム）の復号化を完了した時点）において、第１の時刻比較手段１２４による比較の結果、依然として第１の時刻データが第３の時刻データよりも３００ｍｓ以上遅延している場合は、表示間隔制御手段１２５は、Ｖ７フレームをフォーマット変換手段１１４に伝送した後、続いて映像復号化手段１１３から受け取った映像データを３フレーム分（図４ではＶ８、Ｖ９及びＶ１０フレーム）だけ出力せず、その直後のフレーム（Ｖ１１フレーム）を出力する（３フレームをスキップする）。そのため、フォーマット変換手段１１４は、Ｖ７フレームをフォーマット変換した後３フレーム分だけフォーマット変換をせず、フォーマット変換処理を省略することにより浮いた時間は映像復号化手段１１３の復号化処理に使用される。
【００９５】
次のＶ１１フレームの復号化が完了した時点で、第１の時刻比較手段１２４による比較の結果、依然として第１の時刻データが第３の時刻データよりも３００ｍｓ以上遅延している場合は、表示間隔制御手段１２５は、Ｖ１１フレームをフォーマット変換手段１１４に伝送した後、続いて映像復号化手段１１３から受け取った映像データを４フレーム分（Ｖ１２、Ｖ１３、Ｖ１４及びＶ１５フレーム）だけ出力せず、その直後のフレーム（Ｖ１６フレーム）を出力する（４フレームをスキップする）。このように、フォーマット変換をスキップした後の時点において、第１の時刻比較手段１２４による比較の結果、依然として第１の時刻データが第３の時刻データよりも３００ｍｓ以上遅延している場合は、一定の値である最大スキップフレーム数に達するまで、フォーマット変換をスキップするフレーム数を順次増加させる。一定の値である最大スキップフレーム数は、実施例においては１０フレームに設定しているが、２以上であれば、いくつでもよい。以上のように、本発明においては、第１の時刻比較手段１２４による比較の結果、第１の時刻データが第２の時刻データよりも３００ｍｓ以上遅延する場合は、フォーマット変換をスキップし、浮いた時間を映像復号化手段１１３の復号化処理に使用出来るようにする。
【００９６】
又、上記の実施例においては、第１の時刻比較手段１２４による比較の結果、第１の時刻データが第２の時刻データよりも３００ｍｓ以上遅延する場合に、スキップするフレーム数を１フレームずつ増加させてるが、増加のステップ幅（刻み）をもっと大きくしてもよいし、小さくしてもよい。例えば、第１の時刻比較手段１２４による比較の結果、第１の時刻データが第２の時刻データよりも３００ｍｓ以上遅延する場合に、スキップするフレーム数を２フレームずつ増加させてもよい（スキップフレーム数の増加のステップ幅が２倍になる）。又、第１の時刻比較手段１２４による比較の結果、２回続けて第１の時刻データが第２の時刻データよりも３００ｍｓ以上遅延する場合にスキップするフレーム数を１フレームずつ増加させることも出来る（増加のステップ幅が半分になる）。また、スキップするフレーム数の異なる増加のステップ幅（刻み）を組み合わせることも出来る。例えば、第１の時刻比較手段１２４による比較の結果、第１の時刻データが第２の時刻データよりも３００ｍｓ以上遅延する場合に、当初はスキップするフレーム数の増加のステップ幅を小さくし、３００ｍｓ以上遅延が継続する場合に、だんだんスキップするフレーム数の増加のステップ幅を大きくすることも出来る。
【００９７】
又、上記の実施例においては、映像復号化手段１１３が１フレームの圧縮映像データの復号化が完了する時に、第１の時刻比較手段１２４が第１の時刻データと第３の時刻データの比較を行い、その結果映像データの処理が３００ｍｓ以上遅延している場合にフォーマット変換をスキップするフレーム数を増加させており、第１の時刻比較手段１２４による時刻データの比較の結果が３００ｍｓ以上になった回数に基づいて、フォーマット変換をスキップするフレーム数を増加させている。しかし、本発明の適用にあたってはこれに限定されず、異なる実施例として、例えば、ソフトウエア上で５０ｍｓごとにタイマー割り込み処理を行い、５０ｍｓのタイマー割り込み処理の中で第１の時刻比較手段１２４による時刻データの比較を行い、３００ｍｓ以上の遅延が継続する時間が長くなれば長くなるほど、フォーマット変換をスキップするフレーム数を増加させることも出来る。
【００９８】
更に異なる実施例としては、第１の時刻比較手段１２４による時刻データの比較の結果が、映像データのの音声データに対する遅延時間が２００ｍｓから２５０ｍｓの場合は１フレームの映像データのフォーマット変換をスキップし、当該遅延時間が２５０ｍｓから３００ｍｓの場合は２フレームの映像データのフォーマット変換をスキップし、当該遅延時間が３００ｍｓから３５０ｍｓの場合は３フレームの映像データのフォーマット変換をスキップし、更に５０ｍｓの刻みで遅延量が増加するに応じてフォーマット変換をスキップするフレーム数を増加させることも出来る。この場合は、上記の実施例とアルゴリズムが異なるが、実際的には、映像データ処理が遅延する場合は遅延量が段階的に増加又は減少するのが一般的であるため、映像データ処理の遅延が継続する場合にはフォーマット変換をスキップするフレーム数が段階的に増加又は減少することになり、上記及び下記の実施例と同様の効果を奏する。本発明により、映像表示装置１０７は、図４のｅに示す映像を表示する。
【００９９】
［図７の動作の説明］
これを、映像データの遅延量が一定の閾値を越えるまでは遅延回復措置を取らず、一定の閾値を超えた場合に、フォーマット変換を省略することにより、いっぺんに遅延の解消を図る（段階的に遅延を解消しない）場合を図示する図７のｅと比較する。なおフォーマット変換を省略することにより遅延を解消することは、本発明のひとつであることに注意すべきである。段階的に遅延を解消する本発明を適用せず、フォーマット変換を省略することによりいっぺんに映像処理の遅延を解消する方法によっても、一定の閾値を十分小さく設定し、例えば１６．７ｍｓ（１フレーム）以上の遅延が発生した場合に、直ちにフォーマット変換を省略することにより圧縮映像データの復号化を促進することにより、視聴者に違和感を与えない最適な同期再生が実現できる。
【０１００】
なお、図７のａ，ｂ，ｃ，ｄ，及びｅは、比較しやすいように、図４（本発明の実施例）のａ，ｂ，ｃ，ｄ，及びｅと同様のデータを表示している。なお、図７では、遅延を解消する閾値を、段階的にフォーマット変換をスキップする本発明の効果を理解しやすくするため、７０ｍｓに設定している。
図７においては、１３０の矢印で示す期間において映像処理の遅延が発生しており、Ｖ６の復号化を完了した時点で映像処理の遅延時間が７０ｍｓの閾値を越えたため、フォーマット変換を省略することにより遅延を解消している。図７のｅにおいては、映像表示装置１０７が表示する映像のスキップが発生する個所は、Ｖ６フレームからＶ１７フレームにスキップする一箇所だけであり、表示は一気に１１フレームも進む（１７−６＝１１）。一方、本発明の実施例である図４のｅにおいては、映像表示装置１０７が表示する映像のスキップは、多くの個所に分散している。最も大きくスキップする場所は、Ｖ１１フレームからＶ１６フレームにスキップする所であり、表示は５フレーム進む（１６−１１＝５）。このように、従来例においては、映像処理の遅延の回復措置の影響が１箇所に集中していたが、本発明においては、フォーマット変換を省略すると言う映像処理の遅延の回復措置の影響を時間軸上で広く分散させることが出来るという効果がある。人間の視覚は映像の不連続性に対して非常に敏感であると言う性質があり、従来例では、視聴者は映像がスキップしたことにすぐに気がつくが、本発明の実施例においては映像のスキップが時間的に分散して発生しているため、図４と図７の数字上の差以上に映像がスキップしたことが目立たなくなる。
【０１０１】
以上のように、本発明においては、第１の時刻データが第２の時刻データよりも３００ｍｓ以上遅延する状態が継続する場合は、フォーマット変換をスキップするフレーム数を段階的に増加させることにより、フォーマット変換をスキップすることにより視聴者が感ずる不自然さを大幅に緩和している。
上記実施例においては、３００ｍｓを閾値として、これを超えた場合に映像データの処理の遅延回復措置を取っている。視聴者は、映像データが一定の時間以上音声データより遅延して再生される場合に不自然な印象を持つが、視聴者が不自然な印象を感じ始める閾値は、音楽番組やニュース番組等の番組の種類により異なり、又視聴者の個人差もある。従って、本発明の適用においては、番組等により、閾値の値をいかなる値にすることも出来る。しかし、番組の種類や個人差等を考慮して平均的な閾値を検討したところ、一般的には、２００ｍｓから４００ｍｓ以上の遅延が発生すると、視聴者が不自然な印象を持つことが分かった。そこで、好ましい実施例としては、２００ｍｓから４００ｍｓの間の時間に一定の閾値を設定する。
【０１０２】
更に図４を参照すると、映像復号化手段１１３がＶ１６フレームの復号化を完了した時点で、映像データの遅延時間は３００ｍｓの閾値以下になる。従来例によれば、遅延が一定の閾値（３００ｍｓ）以下になったＶ１６フレーム以降の全ての映像データのフォーマット変換が行われるが、本発明においては、フォーマット変換をスキップするフレーム数を段階的に減少させる。即ち、図４においては、前回、４フレーム（Ｖ１２、Ｖ１３、Ｖ１４及びＶ１５フレーム）のフォーマット変換をスキップしていたが、次はスキップするフレーム数を１フレーム減らして、３フレーム（Ｖ１７、Ｖ１８及びＶ１９フレーム）のフォーマット変換をスキップし、その次のＶ２０フレームのフォーマット変換を行う。図４には記載していないが、映像復号化手段１１３がＶ２０フレームの復号化を完了した時点で、映像データの遅延時間が３００ｍｓの閾値以下であれば、次はスキップするフレーム数を１フレーム減らして、２フレーム（Ｖ２１及びＶ２２フレーム）のフォーマット変換をスキップし、その次のＶ２３フレームのフォーマット変換を行う。その後ずっと継続的に映像データの遅延時間が３００ｍｓの閾値以下であれば、その次は、次はスキップ数を１フレーム減らして、１フレーム（Ｖ２４フレーム）のフォーマット変換をスキップし、その次のＶ２５フレームのフォーマット変換を行う。その後は、全てのフレームをフォーマット変換する。
【０１０３】
このように、フォーマット変換をスキップするフレーム数を段階的に減らすことにより、フォーマット変換をスキップした影響を更に広く分散することが出来るとともに、最終的な収束時点での、映像データ処理の遅延時間（残留誤差）が３００ｍｓの閾値よりも小さくなると言う効果を奏する。スキップするフレーム数を増加する時と同様に、フォーマット変換をスキップするフレーム数の減少のステップ幅（刻み）を大きくすることも、小さくすることも、又は異なるステップ幅を組み合わせることも出来る。
また、別の実施例においては、フォーマット変換をスキップするフレーム数を段階的に増加すると判断する閾値（上記実施例では３００ｍｓ）と、フォーマット変換をスキップするフレーム数を段階的に減らすと判断する閾値（上記実施例では３００ｍｓ）を異なる値とし、両方の閾値の間でヒステリシスを設ける。例えば、フォーマット変換をスキップするフレーム数を段階的に増加すると判断する閾値を３００ｍｓとし、フォーマット変換をスキップするフレーム数を段階的に減らすと判断する閾値を２００ｍｓとすることにより、最終的な収束時点での、映像データ処理の遅延時間を小さくすることが出来る。
【０１０４】
［図３の説明の続き（フォーマット変換のスキップと復号化の省略の組合せ）］もし、フォーマット変換をスキップするフレーム数を段階的に増加し、スキップするフレーム数を一定の最大値（実施例では１０フレーム）まで増加させたにもかかわらず、第１の時刻比較手段１２４による比較の結果、依然として第１の時刻データが第３の時刻データよりも３００ｍｓ以上遅延している場合は、第１の時刻比較手段１２４は、遅延が解消しない旨の信号をクロック差分判定手段１２２に送る。この信号を受けたクロック差分判定手段１２２は、復号化モード制御手段１２３に信号を送り、復号化モード制御手段１２３は映像符号化手段１１３を制御し、次のＩピクチャが来るまで圧縮映像データの復号化を省略する。「処理を省略する」とは、「処理を行わない」という意味である。即ち、映像復号化手段１１３は、入力されるＰピクチャやＢピクチャ等の圧縮映像データの復号化を省略し、その後最初に来るＩピクチャを復号化する。これにより、映像符号化手段１１３は、入力して蓄積している圧縮映像データであって、復号化を行っていないＰピクチャやＢピクチャのフレームの圧縮映像データの復号化を省略できると共に、これらのフレームのフォーマット変換を省略できるため、映像データの処理を促進することが出来る。
【０１０５】
第１の時刻比較手段１２４は、第１の時刻データをクロック差分判定手段１２２に送る。クロック差分判定手段１２２は、受け取った第１の時刻データをクロック記憶手段１２１に蓄積する。
映像復号化手段１１３が圧縮映像データの復号化を省略している期間、第１の時刻比較手段１２４には、新たな第１の時刻データが入力されない。クロック差分判定手段１２２は、第１の時刻比較手段１２４から受け取る第１の時刻データと、クロック記憶手段１２１から読み出した第１の時刻データを比較し、同じ時刻データであれば、映像復号化手段１１３が依然として復号化を省略していることを認識する。もし、クロック差分判定手段１２２が、第１の時刻比較手段１２４から受け取る第１の時刻データと、クロック記憶手段１２１から読み出した第１の時刻データを比較し、異なる時刻データであれば、映像復号化手段１１３がＩピクチャを復号化したことを認識し、第１の時刻比較手段１２４から受け取った新しい第１の時刻データをクロック記憶手段１２１に蓄積するとともに、第１の時刻比較手段１２４は、第１の時刻データと第３の時刻データを比較する。
しかし、第１の時刻比較手段１２４による比較の結果、映像復号化手段１１３がＩピクチャを復号化した時点においても、依然として第１の時刻データが第３の時刻データよりも３００ｍｓ以上遅延している場合は、第１の時刻比較手段１２４は、遅延が解消しない旨の信号をクロック差分判定手段１２２に送る。クロック差分判定手段１２２は、復号化モード制御手段１２３に信号を送り、復号化モード制御手段１２３は映像符号化手段１１３を制御し、次のＩピクチャが来るまで圧縮映像データの復号化を省略する。これを繰り返す。
【０１０６】
もし、映像復号化手段１１３がＩピクチャを復号化した時点において、第１の時刻比較手段１２４による比較の結果、第１の時刻データが第３の時刻データよりも３００ｍｓ以上の遅延をしていない場合は、第１の時刻比較手段１２４は、映像処理の遅延が解消した旨の信号をクロック差分判定手段１２２に送る。クロック差分判定手段１２２は、復号化モード制御手段１２３に信号を送り、復号化モード制御手段１２３は映像符号化手段１１３を制御し、映像符号化手段１１３は全ての圧縮映像データを復号化する。
【０１０７】
ＭＰＥＧ２の規格においては、ＰピクチャやＢピクチャは、前のあるいは前後のフレームの映像データがないと、圧縮映像データを復号化できないが、Ｉピクチャは単独で復号化が可能である。更に、Ｉピクチャの復号化をすることによって、その後に続くＰピクチャやＢピクチャは、このＩピクチャ等の映像データに基づいて復号化が可能である。映像データの処理が遅延した場合、Ｉピクチャ以外の圧縮画像データの復号化を省略し、Ｉピクチャの圧縮映像データのみを復号化する手段が知られている。ＰピクチャやＢピクチャは、その性質上前後のフレームの映像データと共通性が高いので、当該ＰピクチャやＢピクチャに代えて先行する映像を繰り返して表示しても、視聴者が感じる不自然な印象は比較的少なく、Ｉピクチャは、その性質上先行するフレームの映像データとの相違が大きいので、優先して復号化し、映像表示装置に表示することが望ましい。従って、Ｉピクチャ以外の圧縮画像データの復号化を省略し、Ｉピクチャの圧縮映像データのみを復号化する手段は、基本的には合理的な手段である。しかし、例えば１秒間の圧縮映像データが何フレームのＩピクチャを含むかについては、ＭＰＥＧ２規格上何の規定もなく、映像データの処理の遅延を回復するのに必要以上の多くフレームの映像データの復号化を省略する結果になる可能性がある。
なお、実施例では、フォーマット変換をスキップすることにより映像処理の遅延が解消しない場合に、Ｉピクチャが来るまで圧縮映像データの復号化を省略するが、これに限定されるものではなく、例えば、引用例によることも出来る。
【０１０８】
［従来例による図８の動作の説明］
例えば、映像データの遅延量が一定の閾値を越えるまでは遅延回復措置を取らず、一定の閾値を超えた場合に、復号化を省略することにより、いっぺんに遅延の解消を図る従来例による図８のｅを見る。図８のａ，ｂ，ｃ，ｄ，及びｅは、比較しやすいように、図４（本発明の実施例）のａ，ｂ，ｃ，ｄ，及びｅと同様のデータを表示しており、図８のｆは、映像音声同期再生装置が入力し、復号化等の映像処理をする前にメモリに蓄積している圧縮映像データを表す。Ｖ１、Ｖ２等の下に記載しているＩはＩピクチャ、ＰはＰピクチャ、ＢはＢピクチャを表す。入力した圧縮映像データ及び圧縮音声データを、いったん、処理前に何フレームかメモリに蓄積することは、図８の従来例に限らず、本発明の実施例においても実施しているが、本発明と直接の関係がないため図４では説明を省いた。しかし、図８では、説明の便宜のためｆを表示している。
【０１０９】
図８においては、１３０の矢印で示す期間において映像処理の遅延が発生している。図８のｅでは、Ｖ６フレームを復号化し、フォーマット変換し、映像データを出力した時点で、映像データの処理の遅延が一定の閾値を越えている。ここで、入力する圧縮映像データが全てＩピクチャであれば、Ｖ１２フレームを復号化し、フォーマット変換し、出力すれば、映像データと音声データの同期再生を回復することが出来るが、Ｉピクチャが入力されるまでは復号化が出来ないため、図８では、実際にはＩピクチャであるＶ１５フレームを処理し終えた時点で、初めて同期が回復する。
このように、従来の方法では、映像データの処理の遅延回復に必要な最小限のフレームについてだけ処理を省略することが出来ず、次に来るＩピクチャ前の全てのフレームの圧縮映像データの処理を省略していた。引用例は、これに改善を加えたものであるが、映像データの処理の遅延回復に必要な最小限のフレームについてだけ処理を省略することが出来ないという点では同じである。
【０１１０】
［図３の説明の続き（フォーマット変換のスキップと復号化の省略の組合せ）］
本発明においては、単一のマイクロプロセッサ１０３が映像復号化手段１１３における映像復号化と、フォーマット変換手段１１４におけるフォーマット変換をソフトウエア上で実行していることを利用し、映像処理の遅延が起きた当初は、後続する映像処理に不都合のないフォーマット変換の省略を行い、浮いた時間を圧縮映像データの復号化の促進に利用するとともに、フォーマット変換の省略を行っている間も圧縮映像データの復号化は全てのフレームについて実行し、映像処理の遅延が解消次第、すぐにフォーマット変換手段１１４はフォーマット変換を再開する。フォーマット変換の省略だけでは遅延が回復しない場合に初めて、後続するＰピクチャやＢピクチャの圧縮映像データの処理が出来なくなる復号化の省略を行う。これにより、映像処理の遅延が比較的小さい場合は、フォーマット変換の省略により、必要最小限のフレーム数の映像データの処理を省略することが出来るとともに、フォーマット変換の省略だけでは映像処理の遅延が回復しない場合には、圧縮映像データの復号化の省略により映像処理のほとんどを省略し映像処理の遅延を回復すると言う、２段構えの手段を設けることにより、映像処理の大きな遅延にも小さな遅延にも、最適な対応が出来る。
【０１１１】
図３の実施例においては、第１の時刻比較手段１２４は、映像データに対応する第１の時刻データと、クロック生成手段１２６が出力する第３の時刻データを比較する。このことは、特に実施例のように、映像データと音声データの１フレームの時間の長さが異なる場合には最適である。例えば、１６．７ｍｓを１フレームとする第１の時刻データが１４時２８分５２．０３３秒であるとき、この第１の時刻データに一番近い、２３ｍｓを１フレームとする音声データの第２の時刻データは、１４時２８分５２．０２３秒又は１４時２８分５２．０４６秒のフレームになる。第１の時刻データを直接第２の時刻データと比較した場合、映像データを、第２の時刻データが１４時２８分５２．０２３秒の音声データと同期して出力すべきか、又は第２の時刻データが１４時２８分５２．０４６秒のフレームの音声データと同期して出力すべきか、明確でない。ここで、第２の時刻データにより同期される第３の時刻データを利用すれば、第３の時刻データが１４時２８分５２．０３３秒の時、当該１４時２８分５２．０３３秒の第１の時刻データに対応する映像データを出力すれば、完全な同期再生が出来る。
【０１１２】
別の実施例においては、クロック生成手段１２６を省略し、第１の時刻比較手段１２４は、第１の時刻データを直接第２の時刻データと比較する。特に、映像データと音声データの１フレームの時間が同一で、第１の時刻データと同じ値の第２の時刻データが存在する場合に、特に有効である。同期再生の精度が多少悪くても許容する場合にも、この実施例は有効である。
【０１１３】
上記実施例では、第１の時刻データと第３の時刻データとの比較、第２の時刻データと第３の時刻データとの比較、及びクロック生成手段１２６への第２の時刻データのロードを、映像復号化手段１１３が圧縮映像データを映像データに復号した後の第１の時刻データと音声復号化手段１１６が圧縮音声データを音声データに復号した後の第２の時刻データとを用いて行っているが、この条件を満たせば、いつの時点に行ってもよい。
【０１１４】
例えば、映像パケットを単位とする圧縮映像データの復号化が完了した時、フォーマット変換手段１１４が映像データのフォーマット変換を完了した時、映像表示出力手段１１５が映像データを出力する時、又は音声出力手段１１７が音声データを出力する時等のいずれのときでもよい。映像データと音声データの同期再生をするためには、映像データに対応する第１の時刻データと第２の時刻データが一致するように、映像表示出力手段１１５が映像データを出力し、音声出力手段１１７が音声データを出力すればよい。そのためには、同期精度の観点から好ましくは、映像表示出力手段１１５が映像データを出力し、音声出力手段１１７が音声データを出力する時点で、第２の時刻データと第３の時刻データとの比較、及びクロック生成手段１２６への第２の時刻データのロードを行う。しかし、この場合は、映像データと第１の時刻データの対応関係、音声データと第２の時刻データの対応関係を、映像データと音声データを出力する時点まで維持する必要がある。しかし、上述のように、映像データの再生同期が外れた場合に（映像データの出力タイミングが音声データの出力タイミングに比べて、一定以上遅延した場合に）フォーマット変換手段１１４の変換処理を停止すると、フォーマット変換手段１１４から映像表示出力手段１１５に第２の映像データが送られず、第２の映像フォーマットの映像データに対応する第１の時刻データも送られない。
【０１１５】
このように映像表示出力手段１１５における第１の時刻データが更新されなくなってしまうため、フォーマット変換手段１１４が変換処理を中止している間、第１の時刻データと第２の時刻データの比較が出来なくなる。そこで、フォーマット変換手段１１４が変換処理を中止している間、第１の時刻データを擬似的に更新して、第１の時刻データと第２の時刻データの比較が出来るようにするソフトウエア上の手段が必要になる。例えば、その間は、映像表示出力段１１５が出力する映像データに対応する第１の時刻データを、映像復号化手段１１３が復号化した映像データに対応する第１の時刻データに置き換え、音声出力手段１１７が音声データを出力する時に、当該置き換えられた第１の時刻データと、出力する音声データに対応する第２の時刻データとを比較する。このように、この場合はソフトウエア処理が複雑になる。
【０１１６】
一方、映像表示出力手段１１５が映像データを出力し、音声出力手段１１７が音声データを出力するために必要なソフトウエアの処理時間は通常短い。フォーマット変換手段１１４が映像データをフォーマット変換するのに必要なソフトウエアの処理時間が比較的短い場合や、当該必要なソフトウエアの処理時間がほぼ一定で、当該処理時間を計算により補償すれば、出力時点での同期を確保できる場合には、上記の実施例のように、第２の時刻データと第３の時刻データとの比較、及びクロック生成手段１２６への第２の時刻データのロードを、音声パケットを単位とする圧縮音声データの復号化が完了した時点で行ったり、又は映像パケットを単位とする圧縮映像データの復号化が完了した時点で第1の時刻データと第3の時刻データの比較を行っても、同期精度を確保することが出来る。
【０１１７】
また、上記実施例の場合には、映像データと音声データの復号化が完了する時点まで、映像データと第１の時刻データの対応関係、音声データと第２の時刻データの対応関係を維持すればよく、上述のように映像表示出力手段１１５における第１の時刻データを擬似的に更新するソフトウエア処理上の必要性もなく、ソフトウエアの複雑化を避けることが出来る。従って、映像表示出力手段１１５が映像データを出力し、音声出力手段１１７が音声データを出力する時点で、第２の時刻データと第３の時刻データとの比較、及びクロック生成手段１２６への第２の時刻データのロードを行うよりも、実用的には、実施例の方が好ましい場合もある。
【０１１８】
［図５の説明］
図５に図２における音声データ出力装置１０８の内部ブロック図を示す。
マイクロプロセッサ１０３（図２）からバスライン１１０を通じて伝送される音声データは、インターフェース部５０１により受け取られる。インターフェース部５０１は受け取った音声データを、スイッチ５０２を通じて、フレームバッファメモリ５０３又は５０４に書き込む。フレームバッファメモリ５０３及び５０４は、それぞれ１フレーム分の音声データを蓄積する。フレームバッファメモリ５０３及び５０４から読み出された音声データは、スイッチ５０５を通じて、デジタル／アナログコンバータ５０６に入力される。デジタル／アナログコンバータ５０６は、音声データをアナログの音声信号に変換し、スピーカを駆動する音声出力段５０７に送られ、音声出力段５０７を出力した音声信号はスピーカ１０９（図２）を駆動する。
【０１１９】
ここで、スイッチ５０２及び５０５は、１フレーム分の時間ごとに交互にスイッチ動作を行っている。インターフェース部５０１で受け取った音声データが、スイッチ５０２を通じてフレームバッファメモリ５０３に書き込まれるときは、フレームバッファメモリ５０４から読み出された音声データが、スイッチ５０５を通じてデジタル／アナログコンバータ５０６に入力される。フレームバッファメモリ５０４に蓄積された１フレーム分の音声データが全て読み出されると、スイッチ５０２及び５０５が反対側の接点に切り替わり、フレームバッファメモリ５０３から読み出された音声データが、スイッチ５０５を通じてデジタル／アナログコンバータ５０６に入力される。この間に、インターフェース部５０１で受け取った音声データは、スイッチ５０２を通じてフレームバッファメモリ５０４に書き込まれる。フレームバッファメモリ５０３に蓄積された１フレーム分の音声データが全て読み出されると、スイッチ５０２及び５０５が再び反対側の接点に切り替わる。以上の動作を繰り返してる。
【０１２０】
以上のように、音声出力装置１０８は１フレーム分の音声データをフレームバッファメモリに蓄積しているため、マイクロプロセッサ１０３から音声出力装置１０８への音声データの伝送が多少遅れたり、伝送のタイミングがずれても（いわゆるジッターを持っても）、音声出力が途切れたり、音声出力がジッターを持ったりすることはない。しかし、音声データの伝送の遅延が１フレームを超えると、音声出力装置１０８のフレームバッファに出力すべき音声データがなくなってしまうため、音声出力装置１０８は出力する音がなくなり、音途切れや、現在蓄積している最新の音声データを２フレーム連続して出力することにより音声信号の不連続現象（バズ音）等が発生する。この問題は、視聴者にとってきわめて不愉快な思いを与えるため、音声データの出力タイミングが１フレームを超えないように制御することが必要である。
【０１２１】
そこで、上記の実施例の図３において、第２の時刻比較手段１２７が第２の時刻データと第３の時刻データを比較した結果、もし、第２の時刻データが第３の時刻データより遅れており、その遅延時間が一定の値である遅延閾値時間よりも大きい場合は、その時点で映像復号化手段１１３が復号化処理中の圧縮映像データの復号化を停止する（省略する）。圧縮映像データの復号化を行う映像復号化手段１１３と圧縮音声データの復号化を行う音声復号化手段１１６は、両方とも単一のマイクロプロセッサ１０３によりソフトウエア上で実現されているため、映像復号化手段１１３における圧縮映像データの復号化を停止することにより、マイクロプロセッサの全ての処理能力を、音声復号化手段１１６における圧縮音声データの復号化に使用することが出来るため、当該音声復号化手段１１６における圧縮音声データの復号化が加速される。
【０１２２】
なお、前記一定の値である遅延閾値時間は、上記の説明から明らかなように、音声データの１フレーム分の時間を超えない。もっとも、ソフトウエア処理による当該音声復号化手段１１６における圧縮音声データの復号化には、たとえ処理を加速しても一定の時間が必要なため、一定の値である遅延閾値時間がぴったり１フレーム分の時間では、遅延を検知したとたん音声信号が途切れてしまう。そこで、一定の値である遅延閾値時間は、当該映像音声同期再生装置のマイクロプロセッサ１０３のソフトウエア処理能力を考慮して、１フレーム分の時間よりある程度小さな値に設定する。
なお、当該音声復号化手段１１６における圧縮音声データの復号化の遅延が解消した場合には、映像復号化手段１１３は、その後、最初に入力するＩピクチャの圧縮映像データから復号化を再開する。
【０１２３】
【発明の効果】
以上のように、本発明によれば、精度がよく、映像データと音声データの再生タイミングの誤差が累積しない映像音声同期再生装置、映像データ及び音声データの同期再生方法、又は当該映像音声同期再生装置等を実現する記録媒体が得られるという有利な効果が得られる。
【０１２４】
本発明により、映像音声同期再生装置が、異なる時間を単位として圧縮記録された映像データと音声データを入力する場合や、映像データと音声データが、ランダムに映像音声同期再生装置に入力される場合にも、映像データと音声データの再生の時間差を容易に知ることが出来るという有利な効果が得られる。
【０１２５】
本発明により、映像音声同期再生装置の映像処理が遅延した場合に、少ない違和感で、遅延を解消することが出来る映像音声同期再生装置、映像データ及び音声データの同期再生方法、又は当該同期再生方法等を実現する記録媒体を実現するという有利な効果が得られる。
【０１２６】
本発明により、映像音声同期再生装置の映像処理が遅延した場合に、映像処理の不連続の影響を時間軸上で分散することにより、少ない違和感で、遅延を解消することが出来るという有利な効果が得られる。
【０１２７】
また、本発明により、映像音声同期再生装置において、視聴者が映像データと音声データの同期はずれを認識するもっとも一般的な閾値を超えた映像処理の遅延に対して、映像処理の遅延の回復措置を取ることにより、少ない違和感で、遅延を解消することが出来るという有利な効果が得られる。
【０１２８】
本発明により、映像処理が遅延した場合に、必要にして十分な映像処理（フォーマット変換）の省略により映像処理の遅延を回復することが出来るので、少ない違和感で遅延を解消することが出来るという有利な効果が得られる。
【０１２９】
本発明により、映像処理が遅延した場合に、遅延が少ない場合はフォーマット変換の省略により必要最小限の映像処理の省略を行い、遅延が大きい場合には、大きな変換の省略を行うことにより、小さな映像処理の遅延にも、大きな映像処理の遅延にも最適の回復措置をとることが出来るので、少ない違和感で遅延を解消することが出来るという有利な効果が得られる。
【０１３０】
本発明により、音声処理が遅延した場合に、早期に音声処理の遅延を検知し回復措置を取ることにより、少ない違和感で遅延を解消することが出来るという有利な効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施例によるビットストリームの構造図
【図２】本発明の実施例によるハードウエアのブロック図
【図３】本発明の実施例によるソフトウエア処理のブロック図
【図４】本発明の実施例によるタイミングチャート
【図５】本発明の実施例による音声データ出力装置のブロック図
【図６】従来例のソフトウエア処理のブロック図
【図７】フォーマット変換を省略することにより、いっぺんに遅延を解消する場合のタイミングチャート
【図８】復号化を省略することにより、いっぺんに遅延を解消する場合のタイミングチャート
【符号の説明】
１０１ 圧縮映像データ及び圧縮音声データ入力コネクタ・インターフェース
１０２ デジタルテレビ放送用チューナ
１０３ マイクロプロセッサ
１０４ ＲＡＭ
１０５ ハードディスク（ＨＤＤ）
１０６ 映像データ出力装置
１０７ 映像表示装置
１０８ 音声データ出力装置
１０９ スピーカ
１１０ バスライン
１１１ 圧縮映像データ／圧縮音声データ入力手段
１１２ ストリーム分離手段
１１３ 映像復号化手段
１１４ フォーマット変換手段
１１５ 映像表示出力手段
１１６ 音声復号化手段
１１７ 音声出力段
１２１ クロック記憶手段
１２２ クロック差分判定手段
１２３ 復号化モード制御手段
１２４ 第１の時刻比較手段
１２５ 表示間隔制御手段
１２６ クロック生成手段（時刻発生手段）
１２７ 第２の時刻比較手段
５０１ インターフェース部
５０２ スイッチ
５０３ フレームバッファメモリ
５０４ フレームバッファメモリ
５０５ スイッチ
５０６ デジタル／アナログコンバータ
５０７ 音声出力段
６０１ データ記録装置
６０２ 映像音声分離処理装置（ＡＶ分離処理）
６０３ 圧縮映像データバッファ（圧縮画像データバッファ）
６０４ 画像データ入力制御手段
６０５ 映像復号化手段（ビデオデコーダ）
６０６ フレームバッファ
６０７ デジタル／アナログ変換器（ＣＲＴＣ（Ｄ／Ａ））
６０８ 映像表示装置（ＣＲＴモニタ）
６０９ 圧縮音声データバッファ
６１０ 音声復号化手段（オーディオデコーダ）
６１１ ＰＣＭバッファ
６１２ デジタル／アナログ変換器（Ｄ／Ａ）
６１３ スピーカ
６１４ フレームカウンタ
６１５ オーディオカウンタ
６１６ 基準時刻算出手段
６１７ 遅延検出手段
６１８ コマ落とし制御手段
Claims (12)
- （１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力手段と、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付ける手段と、前記圧縮音声データに第２の時刻データを対応付ける時刻対応手段と、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化手段と、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化手段と、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換手段と、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力手段と、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する前記第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定手段を有し、
前記測定手段による測定の結果、前記第１時刻データ遅延時間が一定の時間である第１の時間より大きい場合は、前記フォーマット変換手段は、前記第１の映像フォーマットの映像データのフォーマット変換を省略することを特徴とする映像音声同期再生装置。 - （１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力手段と、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付ける手段と、前記圧縮音声データに第２の時刻データを対応付ける時刻対応手段と、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化手段と、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化手段と、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換手段と、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力手段と、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する前記第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定手段を有し、
前記測定手段による測定の結果、前記第１時刻データ遅延時間が一定の時間である第１の時間より大きい第１の場合に、前記フォーマット変換手段は、前記映像復号化手段が復号化する連続するＭフレーム（Ｍは任意の正の整数）の前記第１の映像フォーマットの映像データのフォーマット変換をスキップするとともに、さらに、（ａ）前記第１の場合の継続時間が一定の時間を超えた場合又は（ｂ）前記測定手段が前記第１の場合を検知する回数が一定の回数を超えた場合又は（ｃ）前記第１時刻データ遅延時間が前記第１の時間よりも長い時間である第２の時間より大きくなった場合は、前記フォーマット変換手段がフォーマット変換をスキップするフーレムの数Ｍの値を増加させる手段を有することを特徴とする映像音声同期再生装置。 - 請求項１又は請求項２の映像音声同期再生装置であって、前記第１の時間が０．２秒以上であって０．４秒以下であることを特徴とする映像音声同期再生装置。
- 請求項２の映像音声同期再生装置であって、前記フォーマット変換手段が、連続するNフレーム（Nは正の整数）の前記第１の映像フォーマットの映像データのフォーマット変換をスキップする状態において、前記第１時刻データ遅延時間が一定の時間である第３の時間以下の遅れになった第２の場合に、前記フォーマット変換手段は、フォーマット変換をスキップするフーレムの数Ｎの値をNより小さくて、かつ０でない値に減少させる手段を有することを特徴とする映像音声同期再生装置。
- 請求項４の映像音声同期再生装置であって、前記第３の時間が前記第１の時間よりも短い時間であることを特徴とする映像音声同期再生装置。
- （１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力手段と、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付け、前記圧縮音声データに第２の時刻データを対応付ける時刻対応手段と、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化手段と、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化手段と、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換手段と、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力手段と、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定手段を有し、前記測定手段による測定の結果、第１時刻データ遅延時間が第１の時間より大きい第１の場合に、前記フォーマット変換手段は、前記映像復号化手段が復号化する連続するＭフレーム（Ｍは任意の正の整数）の第１の映像フォーマットの映像データのフォーマット変換をスキップするとともに、さらに、（ａ）第１の場合の継続時間が一定の時間を超えた場合又は（ｂ）第１の場合の検知回数が一定の回数を超えた場合又は（ｃ）前記第１時刻データ遅延時間が第１の時間よりも長い一定の時間である第２の時間よりも大きくなった場合は、前記映像復号化手段は、前記圧縮映像データの復号化を省略することを特徴とする映像音声同期再生装置。 - （１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力ステップと、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付け、前記圧縮音声データに第２の時刻データを対応付ける時刻対応ステップと、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化ステップと、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化ステップと、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換ステップと、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力ステップと、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する前記第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定ステップを有し、
前記測定ステップによる測定の結果、前記第１時刻データ遅延時間が一定の時間より大きい場合は、前記フォーマット変換ステップを省略することを特徴とする映像データと音声データの同期再生方法。 - （１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力ステップと、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付け、前記圧縮音声データに第２の時刻データを対応付ける時刻対応ステップと、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化ステップと、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化ステップと、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換ステップと、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力ステップと、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する前記第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定ステップを有し、
前記測定ステップによる測定の結果、前記第１時刻データ遅延時間が一定の時間である第１の時間より大きい第１の場合に、前記映像復号化ステップにより復号化された連続するＭフレーム（Ｍは任意の正の整数）の前記第１の映像フォーマットの映像データについて前記フォーマット変換ステップをスキップするとともに、さらに、（ａ）第１の場合の継続時間が一定の時間を超えた場合又は（ｂ）前期測定ステップにおいて第１の場合を検知する回数が一定の回数を超えた場合又は（ｃ）前記第１時刻データ遅延時間が第１の時間よりも長い一定の時間である第２の時間より大きくなった場合は、前記フォーマット変換ステップをスキップするフーレムの数Ｍの値を増加させるステップを有することを特徴とする映像データと音声データの同期再生方法。 - （１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力ステップと、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付け、前記圧縮音声データに第２の時刻データを対応付ける時刻対応ステップと、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化ステップと、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化ステップと、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換ステップと、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力ステップと、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する前記第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定ステップを有し、
前記測定手段による測定の結果、前記第１時刻データ遅延時間が一定の時間である第１の時間より大きい第１の場合に、前記映像復号化ステップにより復号化される連続するＭフレーム（Ｍは任意の正の整数）の前記第１の映像フォーマットの映像データについて前記フォーマット変換ステップをスキップするとともに、さらに、（ａ）第１の場合の継続時間が一定の時間を超えた場合又は（ｂ）第１の場合の検知回数が一定の回数を超えた場合又は（ｃ）前記第１時刻データ遅延時間が前記第１の時間よりも長い時間である第２の時間より大きくなった場合は、前記映像復号化ステップを省略することを特徴とする映像データと音声データの同期再生方法。 - （１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力ステップと、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付け、前記圧縮音声データに第２の時刻データを対応付ける時刻対応ステップと、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化ステップと、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化ステップと、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換ステップと、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力ステップと、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する前記第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定ステップを有し、
（８）前記測定ステップによる測定の結果、前記第１時刻データ遅延時間が一定の時間より大きい場合は、前記フォーマット変換ステップを省略することを特徴とする映像データと音声データの同期再生プログラムを記録した記録媒体。 - （１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力ステップと、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付け、前記圧縮音声データに第２の時刻データを対応付ける時刻対応ステップと、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化ステップと、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化ステップと、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換ステップと、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力ステップと、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する前記第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定ステップを有し、
（８）前記測定ステップによる測定の結果、前記第１時刻データ遅延時間が一定の時間である第１の時間より大きい第１の場合に、前記映像復号化ステップにより復号化された連続するＭフレーム（Ｍは任意の正の整数）の前記第１の映像フォーマットの映像データについて前記フォーマット変換ステップをスキップするとともに、さらに、（ａ）第１の場合の継続時間が一定の時間を超えた場合又は（ｂ）前期測定ステップにおいて第１の場合を検知する回数が一定の回数を超えた場合又は（ｃ）前記第１時刻データ遅延時間が第１の時間よりも長い時間である第２の時間より大きくなった場合は、前記フォーマット変換ステップをスキップするフーレムの数Ｍの値を増加させるステップを有することを特徴とする映像データと音声データの同期再生プログラムを記録した記録媒体。 - （１）映像データを圧縮した第１の映像フォーマットの圧縮映像データ、及び音声データを圧縮した圧縮音声データを入力する入力ステップと、
（２）前記第１の映像フォーマットの圧縮映像データに第１の時刻データを対応付け、前記圧縮音声データに第２の時刻データを対応付ける時刻対応ステップと、
（３）前記第１の映像フォーマットの圧縮映像データを、映像データと前記第１の時刻データの対応関係を維持した状態で、第１の映像フォーマットの映像データに復号化する映像復号化ステップと、
（４）前記圧縮音声データを、音声データと前記第２の時刻データの対応関係を維持した状態で、音声データに復号化する音声復号化ステップと、
（５）前記第１の映像フォーマットの映像データを第２の映像フォーマットの映像データにフォーマット変換するフォーマット変換ステップと、
（６）前記第２の映像フォーマットの映像データと前記音声データを出力する出力ステップと、
（７）前記音声データに対応する前記第２の時刻データ又は前記音声データに対応する前記第２の時刻データに同期する第３の時刻データに対する、前記第１の映像フォーマット又は前記第２の映像フォーマットの映像データに対応する前記第１の時刻データの遅延時間である第１時刻データ遅延時間を測定する測定ステップを有し、
前記測定ステップによる測定の結果、前記第１時刻データ遅延時間が一定の時間である第１の時間より大きい第１の場合に、前記映像復号化ステップにより復号化される連続するＭフレーム（Ｍは任意の正の整数）の前記第１の映像フォーマットの映像データについて前記フォーマット変換ステップをスキップするとともに、さらに、（ａ）第１の場合の継続時間が一定の時間を超えた場合又は（ｂ）第１の場合の検知回数が一定の回数を超えた場合又は（ｃ）前記第１時刻データ遅延時間が第１の時間よりも長い時間である第２の時間より大きくなった場合は、前記映像復号化ステップを省略することを特徴とする映像データと音声データの同期再生プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31018499A JP3676631B2 (ja) | 1999-10-29 | 1999-10-29 | 映像音声同期再生装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31018499A JP3676631B2 (ja) | 1999-10-29 | 1999-10-29 | 映像音声同期再生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001128171A JP2001128171A (ja) | 2001-05-11 |
| JP3676631B2 true JP3676631B2 (ja) | 2005-07-27 |
Family
ID=18002196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31018499A Expired - Fee Related JP3676631B2 (ja) | 1999-10-29 | 1999-10-29 | 映像音声同期再生装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3676631B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4595247B2 (ja) * | 2001-05-29 | 2010-12-08 | ソニー株式会社 | データ再生方法、データ再生制御プログラムおよびデータ再生装置 |
| WO2004047441A1 (ja) * | 2002-11-15 | 2004-06-03 | Sony Corporation | 伝送装置と伝送方法と再生装置と再生方法およびプログラムと記録媒体 |
| JP2004221951A (ja) * | 2003-01-15 | 2004-08-05 | Alps Electric Co Ltd | 伝送データのジッター補正方法 |
| ES2379551T3 (es) | 2003-02-20 | 2012-04-27 | Koninklijke Philips Electronics N.V. | Soporte de información que comprende información de acceso |
| EP1615433A4 (en) | 2003-03-19 | 2010-05-26 | Panasonic Corp | DATA PROCESSING DEVICE |
| JP4735932B2 (ja) * | 2003-09-02 | 2011-07-27 | ソニー株式会社 | コンテンツ受信装置、ビデオオーディオ出力タイミング制御方法及びコンテンツ提供システム |
| CN100452859C (zh) * | 2004-06-01 | 2009-01-14 | 扬智科技股份有限公司 | 快速影音同步调整的方法 |
| KR100693690B1 (ko) | 2005-06-02 | 2007-03-09 | 주식회사 대우일렉트로닉스 | 영상 재생 시스템의 데이터 동기화 방법 |
| JP5106039B2 (ja) * | 2007-10-24 | 2012-12-26 | パナソニック株式会社 | 画像音声同期再生装置 |
| JP2009231920A (ja) * | 2008-03-19 | 2009-10-08 | Toshiba Corp | コンテンツ符号化装置及びコンテンツ符号化／多重化装置 |
| JPWO2010007727A1 (ja) | 2008-07-17 | 2012-01-05 | パナソニック株式会社 | 映像記録装置、映像再生装置およびその方法 |
| JP2015012557A (ja) * | 2013-07-02 | 2015-01-19 | 日本電気株式会社 | 映像音声処理装置、映像音声処理システム、映像音声同期方法、プログラム |
-
1999
- 1999-10-29 JP JP31018499A patent/JP3676631B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001128171A (ja) | 2001-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7676142B1 (en) | Systems and methods for multimedia time stretching | |
| US5588029A (en) | MPEG audio synchronization system using subframe skip and repeat | |
| US6512884B1 (en) | Method and apparatus for synchronized play back of audio-video signals | |
| US5815634A (en) | Stream synchronization method and apparatus for MPEG playback system | |
| JP3039836B2 (ja) | テレビジョン一体形ビデオテープレコーダー | |
| TW200830874A (en) | Image information transmission system, image information transmitting apparatus, image information receiving apparatus, image information transmission method, image information transmitting method, and image information receiving method | |
| US20010055469A1 (en) | Decoder and reproducing unit | |
| JP3676631B2 (ja) | 映像音声同期再生装置 | |
| CN101212588A (zh) | 可同步播放视频信号及音频信号的音像播放系统及其方法 | |
| US20070150925A1 (en) | Av system, av unit and image signal output method | |
| JPH09331524A (ja) | ディジタル信号符号化方法、編集方法、及び伝送方法 | |
| JP5093233B2 (ja) | 信号出力装置、情報機器、信号出力方法および信号出力プログラム | |
| JPWO2004032494A1 (ja) | 情報処理装置および方法、プログラム並びに記録媒体 | |
| JP4359024B2 (ja) | 同期制御方法と装置およびそれを用いた同期再生装置およびテレビジョン受信装置 | |
| JP2005346781A (ja) | デジタル情報再生装置及び方法 | |
| JP2661541B2 (ja) | 光ディスク装置 | |
| JP2001128165A (ja) | 映像信号切替え装置及びその映像信号切替え方式 | |
| JP2882161B2 (ja) | 映像信号記録再生装置と映像信号伝送装置と映像信号符号化装置と映像信号再生装置 | |
| JPH05304664A (ja) | 高能率符号化装置及び映像情報記録再生装置 | |
| JP3807053B2 (ja) | 映像音声同期化方法及び映像音声信号記録再生装置 | |
| JP3017646B2 (ja) | フレームレート変換機能付き画像復号装置 | |
| JP2003169296A (ja) | 動画像の再生方法 | |
| KR100205214B1 (ko) | 압축 비디오 데이터의 디코딩 장치 및 방법 | |
| US20100178039A1 (en) | Video and audio playback apparatus and video and audio playback method | |
| JP3440942B2 (ja) | 映像情報記録媒体、映像情報記録装置及び記録方法、並びに、映像情報再生装置及び再生方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040622 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050208 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050406 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050426 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050428 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090513 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100513 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |