JPH10200860A - 画像と音声の同期再生装置 - Google Patents

画像と音声の同期再生装置

Info

Publication number
JPH10200860A
JPH10200860A JP385197A JP385197A JPH10200860A JP H10200860 A JPH10200860 A JP H10200860A JP 385197 A JP385197 A JP 385197A JP 385197 A JP385197 A JP 385197A JP H10200860 A JPH10200860 A JP H10200860A
Authority
JP
Japan
Prior art keywords
frame
frames
delay
image
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP385197A
Other languages
English (en)
Other versions
JP3159098B2 (ja
Inventor
Hideki Sawada
英樹 澤田
Takashi Samejima
隆 鮫島
Taku Terajima
卓 寺島
Mitsumasa Tanaka
三雅 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP385197A priority Critical patent/JP3159098B2/ja
Priority to US09/006,658 priority patent/US6043851A/en
Publication of JPH10200860A publication Critical patent/JPH10200860A/ja
Application granted granted Critical
Publication of JP3159098B2 publication Critical patent/JP3159098B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/602Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for digital sound signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Abstract

(57)【要約】 【課題】 再生装置の処理能力が足りずに、リアルタイ
ムで復号処理が行えない場合でも、圧縮画像データのデ
ータ構造に依存せず、同期再生を細かく制御することが
可能な、画像と音声の同期再生装置を提供する。 【解決手段】 復号された音声データのデータ量に基づ
いて基準時刻を算出する基準時刻算出手段54と、基準
時刻に基づいて本来復号処理されるべき画像のフレーム
数を算出し、実際に復号処理されたフレーム数との比較
を行って画像復号処理の遅延検出を行う遅延検出手段5
3と、遅延検出手段53で検出した遅延フレーム数に基
づいて復号処理を省略するフレームの判別処理を行うコ
マ落とし制御手段52と、コマ落とし制御手段52が判
別したフレームに相当する圧縮画像データの読み飛ばし
を行う画像データ入力制御手段51とを有している。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、デジタル圧縮符号
化された画像データと音声データの同期再生装置に関す
る。
【0002】
【従来の技術】デジタル圧縮符号化された画像データお
よび音声データをそれぞれ復号して再生する画像と音声
の再生装置において、再生装置のデータ処理能力が十分
に高い場合には、全ての画像データおよび音声データを
絶え間なく再生することができる。しかし、再生装置の
データ処理能力が低い場合には、データ転送や復号処理
の時間がかかるために、リアルタイムに再生すること、
即ち、画像と音声の本来の再生速度での再生ができな
い。つまり、画像はスローモーションのようになり、音
声は途切れ途切れに再生されるといった問題が生じる。
【0003】実使用上、画像が途切れるのに比べて音声
が途切れる方が違和感が大きいので、通常は、音声が連
続して再生できるように画像よりも音声を優先的に処理
する。したがって、全体の処理から音声再生処理を除い
た分を、画像再生処理に割り当てる。
【0004】このとき、画像と音声とを同期(再生位置
を合わせる)させないと、画像の内容と音声の内容とが
ずれるという問題が生じるので、画像再生処理において
適当なフレームの復号処理を省く(コマ落とし)必要が
ある。
【0005】このような画像と音声の同期再生方式の従
来例として、特開平7−50838号公報に開示されて
いる方式がある。この方式は、復号化装置において前述
のような画像と音声との同期ずれが発生した場合には、
同期ずれを確認した時点で、画像の遅延フレーム数分の
圧縮画像データと、その直後に出現する、参照フレーム
を必要としないフレーム内符号化画像までの圧縮画像デ
ータとを読み飛ばす、即ち、コマ落としすることで画像
処理の遅延を回復させるというものである。
【0006】
【発明が解決しようとする課題】圧縮画像データの符号
化方式には、前述した、参照フレームを必要としないフ
レーム内符号化画像(以下Iフレーム)の他に、復号時
に参照フレームを必要とし、かつそれ自身が参照フレー
ムとなるフレーム間順方向予測符号化画像(以下Pフレ
ーム)と、復号時に参照フレームを必要とし、かつそれ
自身が参照フレームとはならないフレーム間双方向予測
符号化画像(以下Bフレーム)がある。
【0007】IフレームまたはPフレームの復号を省略
した場合は、これを参照フレームとして復号処理され
る、後続のPフレームおよびBフレームが、正しく復号
できなくなる。
【0008】上記の従来例では、画像処理の遅延が発生
した場合に、圧縮画像データの符号化方式に関わらず、
遅延フレーム数分の圧縮画像データとその直後のIフレ
ームまでの圧縮画像データの復号を省略するため、例え
ばIフレームの出現する頻度が低いデータ構造であった
場合には、実際にコマ落としされるフレーム数が遅延フ
レーム数よりも多くなり、画像再生時刻が規定時刻より
も進む。このため、同期制御が荒くなってしまうという
問題が生じる。したがって、同期制御を細かく行うため
には、予め圧縮符号化データを作成する際に、Iフレー
ムを細かく挿入しておく必要があった。
【0009】本発明の課題は、圧縮符号化データのデー
タ構造に関係なく、同期再生を細かく制御し、再生処理
能力が比較的低い構成でも違和感のないスムーズな再生
を実現できる画像と音声の同期再生装置を提供すること
である。
【0010】
【課題を解決するための手段】本発明によれば、デジタ
ル圧縮符号化された画像データおよび音声データをそれ
ぞれ復号し、同期再生する画像と音声の再生装置におい
て、復号された音声データのデータ量に基づいて基準時
刻を算出する基準時刻算出手段と、基準時刻に基づいて
本来復号処理されるべき画像のフレーム数を算出し、実
際に復号処理されたフレーム数との比較を行って画像復
号処理の遅延検出を行う遅延検出手段と、前記遅延検出
手段が検出した遅延フレーム数に基づいて復号処理を省
略するフレームの判別処理を行うコマ落とし制御手段
と、前記コマ落とし制御手段が判別したフレームに相当
する圧縮画像データの読み飛ばしを行う画像データ入力
制御手段とを有することを特徴とする画像と音声の同期
再生装置が得られる。
【0011】本発明によればまた、前記コマ落とし制御
手段は、前記遅延検出手段が検出した遅延フレーム数が
復号時に参照フレームとして使用されるキーフレーム間
のフレーム数よりも少ない場合に、キーフレームではな
いフレームを優先してコマ落としフレームとする判別処
理を行うことを特徴とする前記画像と音声の同期再生装
置が得られる。
【0012】本発明によればまた、前記コマ落とし制御
手段は、前記遅延検出手段が検出した遅延フレーム数が
復号時に参照フレームとして使用されるキーフレーム間
のフレーム数よりも多い場合に、キーフレームではない
フレームだけのコマ落としを予め設定した最大値に達す
るまで繰り返し、最大値に達してもなお遅延が回復され
ない場合にはじめて、キーフレームをコマ落としフレー
ムとするキーフレーム落としの重み付け判別処理を行う
ことを特徴とする前記画像と音声の同期再生装置が得ら
れる。
【0013】本発明によればまた、前記コマ落とし制御
手段にて、前記遅延フレーム数が前記キーフレーム間の
フレーム数よりも多い場合に、キーフレームではないフ
レームだけのコマ落としを繰り返す最大値を任意に設定
可能なことを特徴とする前記画像と音声の同期再生装置
が得られる。
【0014】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して説明する。
【0015】図1は、本発明の実施の形態による画像と
音声の同期再生装置の構成図である。図1を参照して、
データ記録装置11には、デジタル圧縮符号化されたデ
ータが記録されている。本再生装置では、まず、多重化
された画像データと音声データをAV分離処理12で分
離し、それぞれ圧縮画像データバッファ21と圧縮音声
データバッファ31に格納する。データの格納は、再生
の進捗にしたがって、必要な部分だけをデータ記録装置
11から読み出して使用する。
【0016】ビデオデコーダ22には、圧縮画像データ
バッファ21から画像データ入力制御手段51を経てデ
ータが入力され、このデータが復号処理される。復号さ
れたデータは、フレームバッファ23に格納される。C
RTコントローラ(図中、CRTCと記す)24は、フ
レームバッファ23内のフレームをD/A変換してCR
Tモニタ25上に表示を行う。
【0017】音声も、画像の処理と同様に、圧縮音声デ
ータバッファ31→オーディオデコーダ32→PCMバ
ッファ33→D/A変換器(図中、D/Aと記す)34
→スピーカ35の手順で、復号処理されて再生される。
【0018】フレームカウンタ41は、再生を開始して
から現在までに復号され、表示された画像データの積算
フレーム数を保存する。
【0019】オーディオカウンタ42は、再生を開始し
てから現在までに復号され、再生されたPCMオーディ
オデータの積算データ量を保存する。
【0020】基準時刻算出手段54では、オーディオカ
ウンタ42に保存された積算データ量から、再生開始後
の進行時間を算出する。
【0021】遅延検出手段53では、基準時刻算出手段
54から得た基準時刻から、本来処理されるべき画像の
フレーム数を算出し、フレームカウンタ41に保存され
ている実際に処理された積算フレーム数との比較を行
い、同期、遅延、先行の判別を行う。
【0022】コマ落とし制御手段52では、遅延制御手
段53で遅延と判別された場合に、Bフレームだけコマ
落としするか、あるいはIまたはPのキーフレームをコ
マ落としするかの判別を行う。
【0023】画像データ入力制御手段51では、コマ落
とし制御手段52からコマ落としの指示があった場合
に、対応するフレームの圧縮画像データの読み飛ばしを
行い、圧縮画像データバッファ21からビデオデコーダ
22に入力されるデータを制御する。
【0024】次に、本同期再生装置における遅延検出の
制御方法について説明する。
【0025】図2は、本同期再生装置における遅延検出
制御のフローチャートである。
【0026】ステップ61では、基準時刻算出手段54
で、再生開始からの進行時間(基準時刻)を取得する。
【0027】ステップ62では、この基準時刻と画像の
フレームレートから、本来処理されているべきデコード
フレーム数(理論数)を算出する。
【0028】ステップ63では、ステップ62で求めた
理論数と、実際にデコード処理された実行数との差分
(フレーム数)を求める。差分値が正の値であれば、音
声に対して画像の処理が遅れていることを示しており、
また負の値であれば、音声に対して画像の処理が先行し
ていることを示している。ここで、図4は差分値を横軸
に表した図である。図4を参照して、予め設定した先行
許容フレーム数αと遅延許容フレーム数βの間に納まっ
ている場合は、同期状態であるものとする。これは、遅
延している場合のコマ落とし制御と先行している場合の
復号処理停止制御とが発振してしまうのを防ぐ意味があ
る。
【0029】ステップ64では、ステップ63で求めた
差分値から、同期状態か先行状態か遅延状態かの判別を
行う。
【0030】差分値が同期状態の時は、コマ落としをせ
ずに、ステップ65において復号処理を実行する。
【0031】差分値が先行状態の時は、復号処理を実行
せずに処理を終了して、ステップ61に戻りこの遅延検
出制御フローを繰り返すことによって、差分値が同期状
態となるまで復号処理を停止する。
【0032】差分値が遅延状態の時は、それ以降のフレ
ームのコマ落とし(復号処理を省略する)制御を行って
遅延の回復を図る。尚、コマ落としをする遅延数は、差
分値から遅延許容フレーム数を引いた数となる。
【0033】次に、本同期再生装置におけるコマ落とし
制御方法について説明する。
【0034】図3は、本同期再生装置におけるコマ落と
し制御のフローチャートである。図3を参照して、ま
ず、遅延数がIフレームまたはPフレームのキーフレー
ム間に含まれるフレーム数(以下キーフレーム数)より
も小さい場合(ステップ76)について説明する。この
場合は、ステップ77において遅延数をそのままコマ落
とし数と設定する。画像データ入力制御手段51は、指
定されたコマ落とし数に相当するBフレームの圧縮画像
データを読み飛ばす。また、遅延数がキーフレーム数以
下であるため、ステップ78において、後述するキーフ
レーム落とし判定で使用する変数のループ回数を、0に
クリアする。
【0035】次に、遅延数がキーフレーム数よりも大き
い場合(ステップ71)について説明する。この場合
は、遅延数をそのままコマ落とし数とはしない。これ
は、キーフレームを落とすことによって、それに続くフ
レームの復号処理に必要な参照フレームが無くなるた
め、実際は次のIフレームまでコマ落としするのと同じ
処理になるためである。
【0036】ステップ72は、このキーフレーム落とし
に対する判別処理であり、同処理によって次の2通りの
処理に区別される。第1の処理は、キーフレームは落と
さずにBフレームだけのコマ落としを設定する処理(ス
テップ73,74)であり、第2の処理はキーフレーム
落としを設定する処理(ステップ75)である。
【0037】遅延数が、キーフレーム数よりも大きくな
った場合は、まずステップ73,74のBフレームコマ
落とし処理のみ行う。
【0038】同処理によって、遅延数が回復しない場合
は、予め設定したループ最大値Nまで同処理を繰り返
す。
【0039】このループ回数が、最大値Nに達しても遅
延数が回復していない場合にはじめて、ステップ75の
キーフレーム落としを実行する。また、この場合はルー
プ回数はクリアせず最大値のまま保存する。
【0040】これは、キーフレーム落としを実行したに
も拘らず、遅延数が回復しない場合に、連続してキーフ
レームを落とすためである。この処理によって、画像の
データパターンが、Iフレームのみ、またはIフレーム
とPフレームのみのキーフレームだけのデータパターン
であっても、遅延を回復させることが可能になる。
【0041】尚、このループ回数の最大値Nは、キーフ
レーム落としの重み付けを決定する変数である。したが
って、同変数を小さく設定した場合は、遅延の引き込み
は早いものの、キーフレーム落としの発生頻度が高くな
り、画像がカクカクとした見え方になる。また、大きく
設定した場合は、遅延の引き込みは遅くなるものの、キ
ーフレーム落としの発生頻度が低くなり、コマ落としが
Bフレームに分散されるため、画像の見え方はなめらか
になる。
【0042】
【実施例】次に、本発明の実施例について、図面を参照
して説明する。
【0043】図5は、圧縮画像データのデータパターン
の一例を示した図である。図5を参照して、本実施例に
おいて、基準時刻算出から画像データ入力制御までの一
連の同期制御は、図5中縦向きの矢印で示した通り、I
フレームまたはPフレームのキーフレームを復号処理す
る直前に行うものとする。
【0044】また、本実施例におけるキーフレーム数
は、図5に示した通り、3[frame ]となる。
【0045】また、本実施例における先行許容フレーム
数α、遅延許容フレーム数β、およびループ最大値Nの
各変数の値はそれぞれ、−3,0,および2とする。
【0046】また、PCMデータのフォーマットが、例
えばステレオ信号で、サンプリングレート44.1[kH
z ]で、1サンプル当たりのビット精度が16[bit ]
である場合には、オーディオカウンタ42(図1)に保
存された積算データ量から算出する基準時刻は、以下の
(1)式のようになる。
【0047】 基準時刻[s]=積算データ量[Bytes ] /(44.1×1000×16/8×2) …(1) また、画像データのフォーマットが、例えばフレームレ
ート30[frame /s]である場合には、本来処理され
るべき画像のフレーム数(理論数)は、以下の(2)式
のようになる。
【0048】 理論数[frame ]=(基準時刻+T)×30 …(2) (2)式において、基準時刻に加算した時刻Tは、圧縮
符号化データにもともと存在する画像の1フレーム目の
表示時刻と、音声の1サンプル目の出力時刻とのずれ時
間である。
【0049】(2)式で求めた理論数と、フレームカウ
ンタ41(図1)に保存されている実際のデコード処理
された実行数による同期制御およびコマ落とし制御の動
作を、図6〜11を参照して説明する。これら図中、復
号処理するフレームは疎のハッチングで、コマ落としす
るフレームは密のハッチングで表している。
【0050】図6は、同期制御地点Aにおいて、理論数
が3[frame ]で、実行数が6[frame ]の場合を示し
ている。この場合の差分値は−3となり、先行許容範囲
内に収まっているので、同期状態となる。よって、次の
キーフレームまでコマ落としせずに復号処理する。
【0051】図7は、同期制御地点Bにおいて、理論数
が3[frame ]で、実行数が3[frame ]の場合を示し
ている。この場合の差分値は0となり、遅延許容範囲内
に収まっているので同期状態となる。よって、次のキー
フレームまでコマ落としせずに復号処理する。
【0052】図8は、同期制御地点Cにおいて、理論数
が3[frame ]で、実行数が7[frame ]の場合を示し
ている。この場合の差分値は−4となり先行許容範囲を
越えているために先行状態となる。差分値が同期状態に
なるまで、復号処理は停止される。
【0053】図9は、同期制御地点Dにおいて、理論数
が4[frame ]で、実行数が3[frame ]の場合を示し
ている。この場合の差分値は+1となり、遅延許容範囲
を越えているために遅延状態となる。コマ落とし制御が
行われる。遅延数は1フレームであり、キーフレーム数
に収まっているため、Bフレーム1枚がコマ落としさ
れ、残りの2枚は復号処理される。
【0054】図10は、同期制御地点Eにおいて、理論
数が6[frame ]で、実行数が3[frame ]の場合を示
している。この場合の差分値は+3となり、遅延許容範
囲を越えており、かつ遅延数は3フレームであってキー
フレーム数以上であるため、キーフレーム落とし判定制
御が行われる。同期制御地点Eにおいて、ループ回数は
0であるため、キーフレームは復号処理し、Bフレーム
2枚がコマ落としされる。そしてループ回数が1にイン
クリメントされる。
【0055】次の同期制御地点Fでは、理論数が7[fr
ame ]で、実行数が6[frame ]であり、遅延数は1フ
レームとなってキーフレーム数に収まる程まで遅延が回
復している。したがって、同期制御地点Fでは、Bフレ
ーム1枚がコマ落としされ、残りの2枚は復号処理され
る。そして、ループ回数は0にクリアされる。
【0056】図11は、同期制御地点Gにおいて理論数
が6[frame ]で実行数が3[frame ]の場合を示して
いる。この場合の差分値は+3となり遅延許容範囲を越
えており、かつ遅延数は3フレームでありキーフレーム
数以上であるため、キーフレーム落とし判定制御が行わ
れる。同期制御地点Gにおいてループ回数は0であるた
めキーフレームは復号処理し、Bフレーム2枚がコマ落
としされる。そしてループ回数が1にインクリメントさ
れる。
【0057】次の同期制御地点Hでは、理論数が9[fr
ame ]で、実行数が6[frame ]であり、遅延数は3フ
レームで依然として遅延数がキーフレーム数以上であ
る。また、同期制御地点Hにおけるループ回数は1であ
り、ループ最大値よりも小さい。したがって、同期制御
地点Hでは、同期制御地点Gと同様に、キーフレームは
復号処理し、Bフレーム2枚がコマ落としされる。そし
て、ループ回数が2にインクリメントされる。
【0058】次の同期制御地点Iでは、理論数が12
[frame ]で、実行数が9[frame ]であり、遅延数は
3フレームで依然として遅延数がキーフレーム数以上で
ある。ここで、同期制御地点Iにおけるループ回数は2
であり、ループ最大値と等しい。したがって、同期制御
地点Iではじめて、キーフレーム落としが実行される。
【0059】以上、圧縮画像データのキーフレーム数が
3[frame ]の場合、また先行許容フレーム数α、遅延
許容フレーム数β、およびループ最大値Nの各変数の値
をそれぞれ−3,0,および2とした場合について述べ
た。圧縮画像データのフォーマットが異なる場合、また
各変数を別の値とした場合も、全く同様に考えることが
できる。
【0060】
【発明の効果】本発明による画像と音声の同期再生装置
は、復号された音声データのデータ量に基づいて基準時
刻を算出する基準時刻算出手段と、基準時刻に基づいて
本来復号処理されるべき画像のフレーム数を算出し、実
際に復号処理されたフレーム数との比較を行って画像復
号処理の遅延検出を行う遅延検出手段と、遅延検出手段
が検出した遅延フレーム数に基づいて復号処理を省略す
るフレームの判別処理を行うコマ落とし制御手段と、コ
マ落とし制御手段が判別したフレームに相当する圧縮画
像データの読み飛ばしを行う画像データ入力制御手段と
を有しているため、再生装置の処理能力が足りずに、リ
アルタイムで復号処理が行えない場合でも、画像と音声
の同期再生が可能となる。
【0061】また、Bフレームを優先してコマ落としす
る判別処理を備えることにより、効率よくコマ落としが
なされ、圧縮符号化データのデータ構造に関係なく、同
期再生を細かく制御することが可能となる。
【0062】また、IフレームおよびPフレームのキー
フレーム落としの重み付け処理を行うことにより、遅延
の引き込みを優先するか、あるいは出力画像の見え方を
優先するかという条件的な制御が可能となる。
【図面の簡単な説明】
【図1】本発明による画像と音声の同期再生装置の構成
を示す図である。
【図2】本発明による画像と音声の同期再生装置におけ
る遅延検出制御のフローチャートである。
【図3】本発明による画像と音声の同期再生装置におけ
るコマ落とし制御のフローチャートである。
【図4】遅延または先行フレーム数を示す図である。
【図5】圧縮画像データのデータパターンの一例を示す
図である。
【図6】本発明による画像と音声の同期再生装置におけ
る同期制御の実施例を説明するための図である。
【図7】本発明による画像と音声の同期再生装置におけ
る同期制御の実施例を説明するための図である。
【図8】本発明による画像と音声の同期再生装置におけ
る同期制御の実施例を説明するための図である。
【図9】本発明による画像と音声の同期再生装置におけ
る同期制御の実施例を説明するための図である。
【図10】本発明による画像と音声の同期再生装置にお
ける同期制御の実施例を説明するための図である。
【図11】本発明による画像と音声の同期再生装置にお
ける同期制御の実施例を説明するための図である。
【符号の説明】
11 データ記録装置 12 AV分離処理 21 圧縮画像データバッファ 22 ビデオデコーダ 23 フレームバッファ 24 CRTコントローラ 25 CRTモニタ 31 圧縮音声データバッファ 32 オーディオデコーダ 33 PCMバッファ 34 D/A変換器 35 スピーカ 41 フレームカウンタ 42 オーディオカウンタ 51 画像データ入力制御手段 52 コマ落とし制御手段 53 遅延検出手段 54 基準時刻算出手段
───────────────────────────────────────────────────── フロントページの続き (72)発明者 田中 三雅 東京都港区芝五丁目7番1号 日本電気株 式会社内

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 デジタル圧縮符号化された画像データお
    よび音声データをそれぞれ復号し、同期再生する画像と
    音声の再生装置において、復号された音声データのデー
    タ量に基づいて基準時刻を算出する基準時刻算出手段
    と、基準時刻に基づいて本来復号処理されるべき画像の
    フレーム数を算出し、実際に復号処理されたフレーム数
    との比較を行って画像復号処理の遅延検出を行う遅延検
    出手段と、前記遅延検出手段が検出した遅延フレーム数
    に基づいて復号処理を省略するフレームの判別処理を行
    うコマ落とし制御手段と、前記コマ落とし制御手段が判
    別したフレームに相当する圧縮画像データの読み飛ばし
    を行う画像データ入力制御手段とを有することを特徴と
    する画像と音声の同期再生装置。
  2. 【請求項2】 前記コマ落とし制御手段は、前記遅延検
    出手段が検出した遅延フレーム数が復号時に参照フレー
    ムとして使用されるキーフレーム間のフレーム数よりも
    少ない場合に、キーフレームではないフレームを優先し
    てコマ落としフレームとする判別処理を行うことを特徴
    とする請求項1に記載の画像と音声の同期再生装置。
  3. 【請求項3】 前記コマ落とし制御手段は、前記遅延検
    出手段が検出した遅延フレーム数が復号時に参照フレー
    ムとして使用されるキーフレーム間のフレーム数よりも
    多い場合に、キーフレームではないフレームだけのコマ
    落としを予め設定した最大値に達するまで繰り返し、最
    大値に達してもなお遅延が回復されない場合にはじめ
    て、キーフレームをコマ落としフレームとするキーフレ
    ーム落としの重み付け判別処理を行うことを特徴とする
    請求項1または2に記載の画像と音声の同期再生装置。
  4. 【請求項4】 前記コマ落とし制御手段にて、前記遅延
    フレーム数が前記キーフレーム間のフレーム数よりも多
    い場合に、キーフレームではないフレームだけのコマ落
    としを繰り返す最大値を任意に設定可能なことを特徴と
    する請求項3に記載の画像と音声の同期再生装置。
JP385197A 1997-01-13 1997-01-13 画像と音声の同期再生装置 Expired - Fee Related JP3159098B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP385197A JP3159098B2 (ja) 1997-01-13 1997-01-13 画像と音声の同期再生装置
US09/006,658 US6043851A (en) 1997-01-13 1998-01-13 Image and sound synchronizing reproduction apparatus and method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP385197A JP3159098B2 (ja) 1997-01-13 1997-01-13 画像と音声の同期再生装置

Publications (2)

Publication Number Publication Date
JPH10200860A true JPH10200860A (ja) 1998-07-31
JP3159098B2 JP3159098B2 (ja) 2001-04-23

Family

ID=11568696

Family Applications (1)

Application Number Title Priority Date Filing Date
JP385197A Expired - Fee Related JP3159098B2 (ja) 1997-01-13 1997-01-13 画像と音声の同期再生装置

Country Status (2)

Country Link
US (1) US6043851A (ja)
JP (1) JP3159098B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1071294A3 (en) * 1999-07-22 2004-01-21 Nec Corporation System, method and recording medium for audio-video synchronous playback
US7272263B2 (en) 2001-02-20 2007-09-18 Sanyo Electric Co., Ltd. Image decoding with a simplified process

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10031355A1 (de) * 2000-06-28 2002-01-17 Grundig Ag Verfahren und Vorrichtung zur zeitsynchronen Weiterleitung von Signalen
IT1318909B1 (it) * 2000-09-21 2003-09-19 Dmc Villa Tosca S R L Dispositivo per la generazione di immagini astratte sulla base disuoni
US20080031593A1 (en) * 2006-08-07 2008-02-07 Shih-Fang Chuang Multi-layer structure unit for recording audio/video frame data and its operation method
JP2010103711A (ja) * 2008-10-22 2010-05-06 Fujitsu Ltd 映像信号処理装置、映像信号処理方法、映像信号処理プログラムおよび映像信号制御回路
JP5979483B2 (ja) * 2012-06-25 2016-08-24 パナソニックIpマネジメント株式会社 コンテンツ再生装置、コンテンツ再生システム、及びコンテンツ再生方法
CN103945221B (zh) * 2014-04-09 2018-08-07 浙江大学 视频编解码方法、装置及生成的视频码流
EP3175446B1 (en) 2014-07-31 2019-06-19 Dolby Laboratories Licensing Corporation Audio processing systems and methods

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0750838A (ja) * 1993-07-29 1995-02-21 Canon Inc 動画像符号化装置
JP3100308B2 (ja) * 1995-03-14 2000-10-16 日本ビクター株式会社 画像及び音声情報の再生システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1071294A3 (en) * 1999-07-22 2004-01-21 Nec Corporation System, method and recording medium for audio-video synchronous playback
US7054544B1 (en) 1999-07-22 2006-05-30 Nec Corporation System, method and record medium for audio-video synchronous playback
US7272263B2 (en) 2001-02-20 2007-09-18 Sanyo Electric Co., Ltd. Image decoding with a simplified process

Also Published As

Publication number Publication date
US6043851A (en) 2000-03-28
JP3159098B2 (ja) 2001-04-23

Similar Documents

Publication Publication Date Title
JP3063824B2 (ja) オーディオ・ビデオ同期再生装置
US6512884B1 (en) Method and apparatus for synchronized play back of audio-video signals
JP3039624B2 (ja) オーディオ・ビデオ同期再生装置
JP3106987B2 (ja) オーディオ・ビデオ同期再生装置
JP3698376B2 (ja) 同期再生装置
JP3063838B2 (ja) オーディオ・ビデオ同期再生装置および方法
US5508816A (en) Synchronous compression and reconstruction system
JP4230636B2 (ja) 動画像再生方法および動画像再生装置
JP3104681B2 (ja) オーディオ・ビデオ同期再生方法および装置
JP3159098B2 (ja) 画像と音声の同期再生装置
JP3100308B2 (ja) 画像及び音声情報の再生システム
JP3676631B2 (ja) 映像音声同期再生装置
JPH11353804A (ja) 記録再生装置および方法、並びに提供媒体
JPH10164556A (ja) デコーダ、エンコーダ、およびビデオ・オン・デマンドシステム
JPH10210483A (ja) 動画像再生装置及びその方法
JPH11225309A (ja) 音響信号処理装置及びオーディオ高速再生方法
JP3165661B2 (ja) 音声同期再生装置
JP2003199053A (ja) 映像音声再生装置,映像音声再生方法,プログラム,および媒体
JPH09182024A (ja) 映像データ伸長装置およびデータ伸長方法
JPH08307862A (ja) 信号同期制御方法及び復号化装置
JPH09181695A (ja) 画像音声の同期再生方法及び装置
JPH1042254A (ja) 動画像データ再生方式
JP2000165863A (ja) データ符号化・復号化装置
JP2003274402A (ja) 動画像再生装置および動画像再生制御プログラム
JP2005253090A (ja) 動画像受信装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20000809

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010116

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080216

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090216

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100216

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100216

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110216

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110216

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120216

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120216

Year of fee payment: 11

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120216

Year of fee payment: 11

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120216

Year of fee payment: 11

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130216

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130216

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130216

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140216

Year of fee payment: 13

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees