JP3377401B2 - 再生同期装置 - Google Patents

再生同期装置

Info

Publication number
JP3377401B2
JP3377401B2 JP11474997A JP11474997A JP3377401B2 JP 3377401 B2 JP3377401 B2 JP 3377401B2 JP 11474997 A JP11474997 A JP 11474997A JP 11474997 A JP11474997 A JP 11474997A JP 3377401 B2 JP3377401 B2 JP 3377401B2
Authority
JP
Japan
Prior art keywords
signal
data
video
buffer memory
thinning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP11474997A
Other languages
English (en)
Other versions
JPH10308923A (ja
Inventor
哲男 前田
豊 白井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP11474997A priority Critical patent/JP3377401B2/ja
Publication of JPH10308923A publication Critical patent/JPH10308923A/ja
Application granted granted Critical
Publication of JP3377401B2 publication Critical patent/JP3377401B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、MIDI(Musical Instru
mental Digital Interfaceの頭文字)信号などの符号化
音声データと、コンピュータグラフィクス(以降CGと略
す)などの符号化映像データとを同期して復号再生する
再生同期装置に関するものである。
【0002】
【従来の技術】近年、データ伝送ネットワークの進歩に
より、多様なデータサービスが実現されつつある。その
1つとして、通信によりMIDIデータを配信して、データ
入力を受けて楽音を発する音源を備えた端末で楽曲の伴
奏を実現する通信カラオケシステムが実用化されてい
る。また業務用の通信カラオケシステムでは端末側にレ
ーザディスク装置等の映像再生手段を備え、楽曲と対応
した映像を背景に用いる事が一般的である。しかし家庭
用として実用化されている通信カラオケ装置では、静止
画、またはTVやビデオなどから得られる楽曲とは関係の
ない独立した映像を背景に表示している。
【0003】一方、コンピュータグラフィクス(以降CG
と略す)と音声の同期の方法については、特開平7-9877
0にその実現方法が提案されている。これによると、計
算処理時間を予測し、計算処理が表示に間に合わない場
合は表示を待ち合わせ、あるいは飛ばす方法が示されて
いる。
【0004】
【発明が解決しようとする課題】前記の家庭用通信カラ
オケ装置は映像の再生内容の魅力が充分でないという問
題を有していた。また特開平7-98770の方法によれば、
計算処理に時間がかかり、表示に間に合わないデータが
連続して発生した場合、表示できない状態、あるいは、
映像がフリーズ(停止)した状態が長く続く、と言う問
題がある。
【0005】本発明は上記の問題を解決するもので、音
声と映像の同期を実現する安価な再生同期装置を提供
し、背景映像としては、CGなどを用いて少量のデータで
高度な映像を表示できる魅力のある通信カラオケシステ
ムを実現することを目的とする。
【0006】
【課題を解決するための手段】上記課題を解決するため
に本発明の請求項1の再生同期装置は、符号化音声デー
タから同期信号を抽出する同期信号抽出手段と、符号化
映像データの復号に要する時間を予測し、復号終了予測
時刻を出力する復号時刻予測手段と、復号終了予測時刻
が、該当する符号化映像データの定められた表示時刻に
対応する同期信号の発生時刻よりも遅れる場合に間引信
号を発生する間引信号生成手段と、符号化映像データを
一時蓄積するバッファメモリと、符号化映像データをバ
ッファメモリに供給するデータ供給手段と、バッファメ
モリに蓄積した符号化映像データを復号しデジタル映像
信号を生成して、出力する映像生成手段と、デジタル映
像信号を一時蓄積する表示メモリと、表示メモリのデジ
タル映像信号を同期信号に従って、映像信号として出力
する映像出力手段とを備え、但し上記のデータ供給手段
は、デジタル映像信号の生成終了、または間引信号の入
力があった場合に次のデータをバッファメモリに供給
し、上記の映像生成手段は、間引信号の入力があった場
合に進行中の映像生成処理を中止して次のデータの映像
生成を開始するという構成を有している。
【0007】上記の構成により、同期信号抽出手段は、
符号化音声データから同期信号を抽出する。復号時刻予
測手段は、符号化映像データから復号に要する時間を予
測し、復号終了予測時刻を出力する。間引信号生成手段
は、復号終了予測時刻が、該当する符号化映像データの
定められた表示時刻に対応する同期信号の発生時刻より
も遅れる場合に間引信号を発生する。バッファメモリ
は、符号化映像データを一時蓄積する。データ供給手段
は、デジタル映像信号の生成終了、または間引信号の入
力があった場合に次の符号化映像データをバッファメモ
リに供給する。映像生成手段は、バッファメモリに蓄積
した符号化映像データからデジタル映像信号を生成して
出力する。また、映像生成手段は、間引信号の入力があ
った場合に進行中の映像生成処理を中止して次のデータ
の映像生成を開始する。表示メモリはデジタル映像信号
を一時蓄積する。映像出力手段は、表示メモリのデジタ
ル映像信号を同期信号に従って映像信号として出力する
事になる。
【0008】また、本発明の請求項2の再生同期装置
は、符号化音声データから同期信号を抽出する同期信号
抽出手段と、符号化映像データを一時蓄積するバッファ
メモリと、バッファメモリのデータの残量を検出し、同
期信号の到着時に前のデータの残量が0になっていない
場合に間引信号を発生するバッファ残量検出手段と、符
号化映像データをバッファメモリに供給するデータ供給
手段と、バッファメモリに蓄積した符号化映像データを
復号しデジタル映像信号を生成して出力する映像生成手
段と、デジタル映像信号を一時蓄積する表示メモリと表
示メモリのデジタル映像信号を同期信号に従って映像信
号として出力する映像出力手段と、を備え、但し上記の
データ供給手段は、バッファメモリのデータの残量が0
になった場合に次のデータをバッファメモリに供給する
とともに、間引信号の入力があった場合はデータを1ユ
ニット分とばして供給するという構成を有している。
【0009】上記の構成により、同期信号抽出手段は符
号化音声データから同期信号を抽出する。バッファメモ
リは符号化映像データを一時蓄積する。バッファ残量検
出手段は、バッファメモリのデータの残量を検出し、同
期信号の到着時に前のデータの残量が0になっていない
場合に間引信号を発生する。データ供給手段は、バッフ
ァメモリのデータの残量が0になった場合に次の符号化
映像データをバッファメモリに供給するとともに、間引
信号の入力があった場合は、符号化映像データを1ユニ
ット分とばして供給する。映像生成手段は、バッファメ
モリに蓄積した符号化映像データからデジタル映像信号
を生成して出力する。表示メモリはデジタル映像信号を
一時蓄積する。映像出力手段は、表示メモリのデジタル
映像信号を同期信号に従って映像信号として出力する。
【0010】また、本発明の請求項3の再生同期装置
は、符号化音声データから同期信号を抽出する同期信号
抽出手段と、符号化映像データの復号に割り当てられる
CPUの演算時間の割合を予測し、CPU平均割当率を出力す
るCPU平均割当率算出手段と、CPU平均割当率が所定値を
下回る場合に間引信号を発生する間引信号生成手段と、
符号化映像データを一時蓄積するバッファメモリと、符
号化映像データをバッファメモリに供給するデータ供給
手段と、バッファメモリに蓄積した符号化映像データを
復号しデジタル映像信号を生成して出力する映像生成手
段と、デジタル映像信号を一時蓄積する表示メモリと、
表示メモリのデジタル映像信号を同期信号に従って映像
信号として出力する映像出力手段とを備え、但し上記の
データ供給手段は、デジタル映像信号の生成終了、また
は間引信号の入力があった場合に次のデータをバッファ
メモリに供給し、上記の映像生成手段は、間引信号の入
力があった場合に進行中の映像生成処理を中止して次の
データの映像生成を開始するという構成を有している。
【0011】上記の構成により、同期信号抽出手段は符
号化音声データから同期信号を抽出する。CPU平均割当
率算出手段は、符号化映像データの復号に割り当てられ
るCPUの演算時間の割合を予測し、CPU平均割当率を出力
する。間引信号生成手段は、CPU平均割当率が所定値を
下回る場合に間引信号を発生する。バッファメモリは、
符号化映像データを一時蓄積する。データ供給手段は、
デジタル映像信号の生成終了、または間引信号の入力が
あった場合に、次の符号化映像データをバッファメモリ
に供給する。映像生成手段は、バッファメモリに蓄積し
た符号化映像データからデジタル映像信号を生成して出
力する。また、映像生成手段は、間引信号の入力があっ
た場合に進行中の映像生成処理を中止して次のデータの
映像生成を開始する。表示メモリはデジタル映像信号を
一時蓄積する。映像出力手段は、表示メモリのデジタル
映像信号を同期信号に従って映像信号として出力する。
【0012】また、本発明の請求項4の再生同期装置
は、符号化音声データから同期信号を抽出する同期信号
抽出手段と、符号化映像データの復号に割り当てられる
システムバスの占有時間の割合を予測し、システムバス
平均割当率を出力するシステムバス平均割当率算出手段
と、システムバス平均割当率が、既定値を下回る場合に
間引信号を発生する間引信号生成手段と、符号化映像デ
ータから復号に要する時間を予測し、復号終了予測時刻
を出力する復号時刻予測手段と、復号終了予測時刻が、
該当する符号化映像データの定められた表示時刻に対応
する同期信号の発生時刻よりも遅れる場合に間引信号を
発生する間引信号生成手段と、符号化映像データを一時
蓄積するバッファメモリと、符号化映像データをバッフ
ァメモリに供給するデータ供給手段と、バッファメモリ
に蓄積した符号化映像データを復号しデジタル映像信号
を生成して出力する映像生成手段と、デジタル映像信号
を一時蓄積する表示メモリと、表示メモリのデジタル映
像信号を同期信号に従って映像信号として出力する映像
出力手段とを備え、但し上記のデータ供給手段は、デジ
タル映像信号の生成終了、または間引信号の入力があっ
た場合に次のデータをバッファメモリに供給し、上記の
映像生成手段は、間引信号の入力があった場合に進行中
の映像生成処理を中止して次のデータの映像生成を開始
する、という構成を有している。
【0013】上記の構成により、同期信号抽出手段は符
号化音声データから同期信号を抽出する。システムバス
平均割当率算出手段は、符号化映像データの復号に割り
当てられるシステムバスの占有時間の割合を予測し、シ
ステムバス平均割当率を出力する。間引信号生成手段
は、システムバス平均割当率が既定値を下回る場合に間
引信号を発生する。バッファメモリは符号化映像データ
を一時蓄積する。データ供給手段は、デジタル映像信号
の生成終了、または間引信号の入力があった場合に、次
の符号化映像データをバッファメモリに供給する。映像
生成手段は、バッファメモリに蓄積した符号化映像デー
タからデジタル映像信号を生成して出力する。また、映
像生成手段は、間引信号の入力があった場合に進行中の
映像生成処理を中止して次のデータの映像生成を開始す
る。表示メモリはデジタル映像信号を一時蓄積する。映
像出力手段は、表示メモリのデジタル映像信号を同期信
号に従って映像信号として出力する。
【0014】また、本発明の請求項5の再生同期装置
は、符号化音声データから同期信号を抽出する同期信号
抽出手段と、符号化映像データの復号に割り当てられる
システムメモリの割合を予測し、システムメモリ平均割
当率を出力するシステムメモリ平均割当率算出手段と、
システムメモリ平均割当率が所定値を下回る場合に間引
信号を発生する間引信号生成手段と、符号化映像データ
の復号に要する時間を予測し、復号終了予測時刻を出力
する復号時刻予測手段と、復号終了予測時刻が、該当す
る符号化映像データを定められた表示時刻に対応する同
期信号の発生時刻よりも遅れる場合に間引信号を発生す
る間引信号生成手段と、符号化映像データを一時蓄積す
るバッファメモリと、符号化映像データをバッファメモ
リに供給するデータ供給手段と、バッファメモリに蓄積
した符号化映像データを復号しデジタル映像信号を生成
して出力する映像生成手段と、デジタル映像信号を一時
蓄積する表示メモリと、表示メモリのデジタル映像信号
を同期信号に従って映像信号として出力する映像出力手
段とを備え、但し上記のデータ供給手段は、デジタル映
像信号の生成終了、または間引信号の入力があった場合
に次のデータをバッファメモリに供給し、上記の映像生
成手段は、間引信号の入力があった場合に進行中の映像
生成処理を中止して次のデータの映像生成を開始すると
いう構成を有している。
【0015】上記の構成により、同期信号抽出手段は符
号化音声データから同期信号を抽出する。システムメモ
リ平均割当率算出手段は符号化映像データの復号に割り
当てられるシステムメモリの割合を予測し、システムメ
モリ平均割当率を出力する。間引信号生成手段はシステ
ムメモリ平均割当率が既定値を下回る場合に間引信号を
発生する。バッファメモリは符号化映像データを一時蓄
積する。データ供給手段は、デジタル映像信号の生成終
了、または間引信号の入力があった場合に、次の符号化
映像データをバッファメモリに供給する。映像生成手段
は、バッファメモリに蓄積した符号化映像データからデ
ジタル映像信号を生成して出力する。また、映像生成手
段は、間引信号の入力があった場合に進行中の映像生成
処理を中止して次のデータの映像生成を開始する。表示
メモリはデジタル映像信号を一時蓄積する。映像出力手
段は、表示メモリのデジタル映像信号を同期信号に従っ
て映像信号として出力する。
【0016】
【実施の形態】本発明の実施例について、図面を参照し
ながら説明する。 《実施例1》図1は本発明の実施例1の構成を示すブロ
ック図である。実施例1の再生同期装置は、入力される
MIDIデータから同期信号を抽出してこの同期信号を間引
信号生成部103と映像出力部108に出力する同期信号抽出
部101、符号化映像データを入力して復号終了予測時刻
のデータを間引信号生成部103に出力する復号時刻予測
部102、符号化映像データと間引信号生成部103の出力の
間引信号が入力され符号化映像データを出力するデータ
供給部104、データ供給部104の出力の符号化映像データ
を記憶するバッファメモリ105、バッファメモリ105の出
力を復号してデジタル映像信号を表示メモリ107に出力
する映像生成部106を有している。映像生成部106はCPU1
06A、システムバス106B及びシステムメモリ106Cを有し
ている。
【0017】図2は本発明の実施例1の動作を示すタイ
ミングチャートであり、以下に動作の概要を説明する。
図において、同期信号201はMIDIデータから抽出した信
号である。両端に矢を持つ矢印AないしFで示す各フレ
ームの予測時間202は映像の復号に要する時間の予測値
であり、それぞれの矢印の左側の端点が復号開始時刻を
示し、右側の端点がそれぞれのフレームの復号終了予測
時刻を示す。間引き信号203について、この例ではフレ
ームCの復号終了予測時刻teが、フレームCの表示を終
了すべき時刻t3よりも後になる為、その事が判明する
フレームBの復号終了時刻t2に間引信号203が発生す
る。バッファメモリの内容204は、この例では、フレー
ムCの表示が間に合わないと推定されるため、フレームD
のデータが準備できる時点t3で、フレームCのデータを
破棄し、フレームDのデータを蓄積していることを示
す。表示メモリの内容205は、フレームCの表示が間に合
わないと推定されたため、フレームBのデータが、2フレ
ームに相当する時間中表示メモリ107に蓄積され、続い
てフレームDのデータと入れ替わる。表示画像206は実際
に表示される映像の内容であり、表示メモリの内容205
と同じである。
【0018】図1と図2を用いて、実施例1の動作を詳細
に説明する。図1で、同期信号抽出部101は、入力された
MIDIデータから同期信号を抽出する。同期信号は周期が
一定である必要はないが、本実施例では簡単のため図2
の同期信号201に示すように一定周期として説明する。
復号時刻予測部102は、入力された符号化映像データの
内容から復号に要する時間を予測し、復号終了予測時刻
を出力する。図2の予測時間202で、矢印のついている線
分A〜Fは復号に要する時間を示し、線分の右端が復号
終了予測時刻teを示している。本実施例では、フレー
ムBの復号終了時点t2で、フレームCの復号に要する時
間を予測する。その結果復号終了予測時刻が、フレーム
Cのデータを表示メモリに蓄積すべき時刻t4、すなわち
図2の同期信号(3)よりも後になるであろう事が判明す
る。間引信号生成部103は、上記の予測結果にしたがっ
て、図2に示す様に、フレームBの復号終了時点t2で間
引信号203を生成する。一方、データ供給部104は、デジ
タル映像信号の生成が終了したとき(符号化映像データ
の復号と同じ事を意味する)、または間引信号203の入
力があった場合に、次の符号化映像データをバッファメ
モリ105に供給する。本実施例では、フレームBの復号終
了時点t2で、バッファメモリ105には一旦フレームCの
符号化映像データを蓄積する。しかし上記のように、間
引信号203が発生するため、同期信号201の(2)の時点
で、データ供給部104はフレームCの符号化映像データを
破棄し、フレームDの符号化映像データを蓄積する。映
像生成部106は、バッファメモリ105に蓄積した符号化映
像データを復号しデジタル映像信号を生成して出力す
る。図2の例では、映像生成部106は、間引信号202の入
力がある為、進行中のフレームCの復号処理を同期信号2
01の(2)の時点で中断し、次のフレームDの符号化映像デ
ータの復号処理を開始する。表示メモリ107は復号され
た結果のデジタル映像信号を一時蓄積する。映像出力部
108は、表示メモリ107のデジタル映像信号を同期信号に
従って映像信号として出力する。
【0019】この実施例1は符号化された映像データを
CPU及びシステムメモリを有するコンピュータなどに
よる計算処理によって復号するシステムであり、各フレ
ームの復号に要する時間を予測し、映像の内容により復
号処理が表示すべき時刻までに間に合わない場合には、
そのフレームの復号処理を放棄し、前フレームの映像を
繰返して表示する事で、カラオケなどで必要な音声との
同期再生の破綻を避ける事ができる。
【0020】《実施例2》図3は本発明の実施例2の構
成を示すブロック図である。実施例2の再生同期装置は
入力されるMIDIデータから同期信号を抽出して、この同
期信号をバッファ残量検出部309と映像出力部308に検出
する同期信号抽出部301、前記同期信号が入力されたバ
ッファ残量検出部309の出力の間引信号が入力されるデ
ータ供給部304、データ供給部304の復号化映像データが
入力されるバッファメモリ305、バッファメモリ305の出
力が入力される映像生成部306、映像生成部306の出力の
デジタル映像信号が入力される表示メモリ307、表示メ
モリの出力が入力される映像出力部308を有する。映像
生成部306はCPU306A,システムバス306B及びシステムメ
モリ306Cを有している。
【0021】図4は実施例2の動作を示すタイミングチ
ャートであり、以下に動作の概要を説明する。同期信号
401はMIDIデータから抽出した信号である。間引き信号4
03について、この例ではバッファメモリの内容404のフ
レームCの符号化映像データが、同期信号401の(3)の時
点で0になっていない為、その事が判明する同期信号(3)
の時点で間引信号403が発生している。バッファメモリ
の内容404は、この例では、フレームCの復号処理が延長
されたため、フレームDのデータをとばして、フレームC
の次にフレームEのデータを蓄積していることを示して
いる。表示メモリの内容405は、フレームCの表示が1フ
レーム遅れるため、フレームBのデータが、2フレームに
相当する時間中表示メモリ307に蓄積され、続いてフレ
ームC、フレームEと続いている。表示画像406は実際に
表示される映像の内容であり、表示メモリ307の内容と
同じである。
【0022】次に、図3と図4を用いて、実施例2の動作
を詳細に説明する。図3で、バッファ残量検出部309は、
バッファメモリ305のデータの残量を検出する。本実施
例では、図4のバッファメモリの内容404に示す様に、フ
レームCの復号処理が同期信号401の(3)の時点でも終了
せず、バッファメモリ305のデータの残量が0になってい
ない。そのため、バッファ残量検出部305は、図4の間引
信号403に示す様に、同期信号401の(3)の時点で間引信
号を発生する。データ供給部304は、この間引信号を受
け、図4のバッファメモリの内容404に示す様に、バッフ
ァメモリ305へのフレームDの符号化映像データの蓄積を
放棄し、フレームCの復号処理の終了後、フレームEの符
号化映像データを蓄積する。また、フレームCの復号処
理が同期信号401の(3)の時点で終了していない為、表示
メモリ307には、図4の表示メモリ307の内容405に示す様
に、同期信号401の(4)の時点まで、フレームBのデジタ
ル映像信号が蓄積される。同期信号401の(5)の時点以降
は、フレームCに続いて復号したフレームEのデジタル映
像信号が蓄積される。
【0023】この実施例2によれば、符号化された映像
データをCPU及びシステムメモリを有するコンピュー
タなどによる計算処理によって復号するシステムであ
り、映像の内容により復号処理が表示すべき時刻までに
間に合わない場合には、そのフレームの符号化映像デー
タを蓄積するバッファメモリのデータの残量を検出し、
次のフレームの復号処理を放棄し、そのフレームの映像
を継続表示する事で、カラオケなどで必要な音声との同
期再生の破綻を避ける事ができる。
【0024】《実施例3》図5は本発明実施例3の構成
を示すブロック図である。実施例3の再生同期装置は入
力されるMIDIデータから同期信号を抽出して、この同期
信号を間引信号生成部503と映像出力部508に出力する同
期信号抽出部501、映像生成部506のCPU506Aの復号
処理に割当てられる比率のCPU平均割当率を求めるC
PU平均割当率算出部510、CPU平均割当率のデータ
が入力され間引信号をデータ供給部504と映像生成部506
に出力する間引信号生成部503、データ供給部504の出力
をメモリするバッファメモリ505、バッファメモリの出
力を復号する映像生成部506、映像生成部506の出力のデ
ジタル映像信号を記憶する表示メモリ507、表示メモリ5
07の出力が入力され映像信号を出力する映像出力部508
を有する。映像生成部506はCPU506A、システムバス
506B及びシステムメモリ506Cを有する。
【0025】図6は実施例3の動作を示すタイミングチ
ャートであり、以下に動作の概要を説明する。図におい
て、同期信号601はMIDIデータから抽出した信号であ
る。間引き信号603について、この例ではフレームCの復
号に割り当てられるCPU506Aの平均割当率が所定値を下
回るため、その事が判明する同期信号601の(2)の時点で
間引信号603が発生している。バッファメモリの内容604
に示すように、この例では、フレームCの復号処理に充
分な演算時間をCPU506Aに割り当てることができないと
予測されるため、フレームCの復号処理を放棄し、同期
信号601の(2)の時点でフレームDのデータと置換してい
る。表示メモリ507の内容605は、この例では、フレーム
Cの表示が間に合わないと推定されるため、フレームBの
データが2フレームに相当する時間中表示メモリ507に蓄
積され、続いてフレームDのデータと入れ替わってい
る。表示画像606は実際に表示される映像の内容であ
り、表示メモリ507の内容605と同じである。
【0026】次に、図5と図6を用いて、実施例3の動作
を詳細に説明する。図5で、CPU平均割当率算出部510
は、符号化映像データの復号に割り当てられるCPU506A
の演算時間の割合を予測し、CPU平均割当率607のデータ
を出力する。CPU平均割当率607はCPU506Aの他の処理の
量により、図6に示す様に変化する。本実施例では、フ
レームを単位として平均化を行っているため、CPU平均
割当率607はフレームを単位として変化している。間引
信号生成部503は、CPU平均割当率607が、所定値を下回
る場合に間引信号603を発生する。本実施例では、図6に
おいて、同期信号601の(2)の時点と(3)の時点の間、す
なわち、フレームCの復号処理の期間においてCPU平均割
当率607が所定値を下回り、図6に示す様に同期信号601
の(2)の時点で、間引信号603を発生する。この結果を受
けて、データ供給部504は同期信号601の(2)の時点でフ
レームCの符号化映像データを破棄し、フレームDの符号
化映像データを蓄積する。映像生成部506は、バッファ
メモリ505に蓄積した符号化映像データを復号しデジタ
ル映像信号を生成して出力する。本実施例では、映像生
成部506は、間引信号603の入力により、進行中のフレー
ムCの復号処理を同期信号601の(2)の時点で中断し、次
のフレームDの符号化映像データの復号処理を開始す
る。表示メモリ507は復号された結果のデジタル映像信
号を一時蓄積し、映像出力部508は、表示メモリのデジ
タル映像信号を同期信号601に従って映像信号として出
力する。
【0027】この実施例3は、符号化された映像データ
をCPU及びシステムメモリを有するコンピュータなどに
よる計算処理によって復号するシステムであり、映像の
内容により復号処理が表示すべき時刻までに間に合わな
い場合には、そのフレームの復号に割り当てられるCPU5
06Cの処理能力を予測し、そのフレームの復号処理を放
棄し、前フレームの映像を継続して表示する事で、カラ
オケなどで必要な音声との同期再生の破綻を避ける事が
できる。
【0028】《実施例4》図7は本発明の実施例4の構
成を示すブロック図である。実施例4の再生同期装置は
入力されるMIDIデータから同期信号801を抽出して、こ
の同期信号801を間引信号生成部703と映像出力部708に
入力する同期信号抽出部701、映像生成部706のシステム
バス706Bのシステムバス平均割当率を求めるシステムバ
ス平均割当率算出部711、システムバス平均割当率のデ
ータが入力され間引信号を出力する間引信号生成部70
3、間引信号803が入力されるデータ供給部704と映像生
成部706、データ供給部704の出力を記憶するバッファメ
モリ705、バッファメモリ705の出力を復号する映像生成
部706、映像生成部706の出力を記憶する表示メモリ707
及び表示メモリ707のデジタル映像信号を映像信号に変
換する映像出力部708を有する。映像生成部706はCPU706
A、システムバス706B及びシステムメモリ706Cを有して
いる。
【0029】図8は実施例4の動作を示すタイミングチ
ャートであり、以下に動作の概要を説明する。図におい
て同期信号801はMIDIデータから抽出した信号である。
間引き信号803について、この例ではフレームCの復号に
割り当てられるシステムバス706Bの平均割当率が所定値
を下回るため、その事が判明する同期信号801の(2)の時
点で間引信号803が発生している。バッファメモリの内
容804に示すように、この例では、フレームCの復号処理
に充分な占有時間をシステムバス706Bに割り当てること
ができないと予測されるため、フレームCの復号処理を
放棄し、同期信号801の(2)の時点でフレームDのデータ
と置換している。表示メモリの内容805は、この例で
は、フレームCの表示が間に合わないと推定されるた
め、フレームBのデータが2フレームに相当する時間中表
示メモリ707に蓄積され、続いてフレームDのデータと入
れ替わっている。表示画像806は実際に表示され映像の
内容であり、表示メモリ707の内容805と同じである。
【0030】次に、図7と図8を用いて、実施例4の動作
を詳細に説明する。図7で、システムバス平均割当率算
出部711は、符号化映像データの復号に割り当てられる
システムバス706Bの占有時間の割合を予測し、システム
バス平均割当率808を出力する。システムバス平均割当
率808はシステムバス706Bが他の用途に使われる量によ
り、図8に示す様に変化する。本実施例では、フレーム
を単位として平均化を行っているため、システムバス平
均割当率808はフレームを単位として変化している。間
引信号生成部703は、システムバス平均割当率808が、所
定値を下回る場合に間引信号803を発生する。本実施例
では、図8において、同期信号801の(2)の時点と同期信
号801の(3)の時点の間、すなわち、フレームCの復号処
理の期間においてシステムバス平均割当率808が所定値
を下回り、図8に示す様に、同期信号801の(2)の時点
で、間引信号803を発生する。この結果を受けて、デー
タ供給部704は同期信号801の(2)の時点でフレームCの符
号化映像データを破棄し、フレームDの符号化映像デー
タを蓄積する。映像生成部706は、バッファメモリ705に
蓄積した符号化映像データを復号しデジタル映像信号を
生成して出力する。本実施例では、映像生成部706は、
間引信号803の入力により、進行中のフレームCの復号処
理を同期信号801の(2)の時点で中断し、次のフレームD
の符号化映像データの復号処理を開始する。表示メモリ
707は復号された結果のデジタル映像信号を一時蓄積
し、映像出力部708は、表示メモリのデジタル映像信号
を同期信号801に従って、映像信号として出力する。
【0031】この実施例4は、符号化された映像データ
をCPU及びシステムメモリを有するコンピュータなどに
よる計算処理によって復号するシステムであり、映像の
内容により復号処理が表示すべき時刻までに間に合わな
い場合には、そのフレームの復号に割り当てられるシス
テムバス706Bの占有時間を予測し、そのフレームの復号
処理を放棄し、前フレームの映像を継続して表示する事
で、カラオケなどで必要な音声との同期再生の破綻を避
ける事ができる。
【0032】《実施例5》図9は本発明の実施例5の構
成を示すブロック図である。実施例5の再生同期装置は
入力されるMIDIデータから同期信号1001を抽出して、こ
の同期信号を間引信号生成部903及び映像出力部908に入
力する同期信号抽出部901、映像生成部906のシステムメ
モリ906Cのシステムメモリ平均割当率を算出して間引信
号生成部903に入力するシステムメモリ平均割当率算出
部901、システムメモリ平均割当率のデータから間引信
号を生成し、データ供給部904と映像生成部906に入力す
る間引き信号生成部903、データ供給部904の出力を記憶
するバッファメモリ905、バッファメモリ905の出力を復
号してデジタル映像信号を生成する映像生成部906、映
像生成部の出力を記憶する表示メモリ907、表示メモリ9
07の出力を映像信号に変換する映像出力部908を有して
いる。映像生成部906はCPU906A、システムバス906B及び
システムメモリ906Cを有している。
【0033】図10は本発明の実施例5の動作を示すタイ
ミングチャートであり、以下に動作の概要を説明する。
図において、同期信号1001はMIDIデータから抽出した信
号である。間引き信号803について、この例ではフレー
ムCの復号に割り当てられるシステムメモリ906Cの平均
割当率が既定値を下回るため、その事が判明する同期信
号1001の(2)の時点で間引信号803が発生している。バッ
ファメモリの内容1004に示すように、この例では、フレ
ームCの復号処理に充分な占有時間をシステムメモリ906
Cに割り当てることができないと予測されるため、フレ
ームCの復号処理を放棄し、同期信号1001の(2)の時点で
フレームDのデータと置換している。表示メモリの内容1
005は、この例では、フレームCの表示が間に合わないと
推定されるため、フレームBのデータが2フレームに相当
する時間中表示メモリ907に蓄積され、続いてフレームD
のデータと入れ替わっている。表示画像1006は実際に表
示され映像の内容であり、表示メモリ907の内容1005と
同じである。
【0034】次に、図9と図10を用いて、実施例5の動
作を詳細に説明する。図9で、システムメモリ平均割当
率算出部912は、符号化映像データの復号に割り当てら
れるシステムメモリ906Cの占有時間の割合を予測し、シ
ステムメモリ平均割当率1009のデータを出力する。シス
テムメモリ平均割当率1009はシステムメモリ906Cが他の
用途に使われる量により、図10に示す様に変化する。本
実施例では、フレームを単位として平均化を行っている
ため、システムメモリ平均割当率1009はフレームを単位
として変化している。間引信号生成部903は、システム
メモリ平均割当率1009が、所定値を下回る場合に間引信
号1003を発生する。本実施例では、図10において、同期
信号1001の(2)の時点と同期信号1001の(3)の時点の間、
すなわち、フレームCの復号処理の期間においてシステ
ムメモリ平均割当率1009が所定値を下回り、図10に示す
様に同期信号1001の(2)の時点で、間引信号1003を発生
する。この結果を受けて、データ供給部904は同期信号1
001の(2)の時点でフレームCの符号化映像データを破棄
し、フレームDの符号化映像データを蓄積する。映像生
成部906は、バッファメモリ905に蓄積した符号化映像デ
ータを復号しデジタル映像信号を生成して出力する。本
実施例では、映像生成部906は、間引信号1003の入力に
より、進行中のフレームCの復号処理を同期信号1001の
(2)の時点で中断し、次のフレームDの符号化映像データ
の復号処理を開始する。表示メモリ907は復号された結
果のデジタル映像信号を一時蓄積し、映像出力部908
は、表示メモリ907ののデジタル映像信号を同期信号100
1に従って映像信号として出力する。
【0035】この実施例5は、符号化された映像データ
をCPU、システムメモリを有するコンピュータなどによ
る計算処理によって復号するシステムであり、映像の内
容により復号処理が表示すべき時刻までに間に合わない
場合であっても、そのフレームの復号に割り当てられる
システムメモリ906Cの占有時間を予測し、そのフレーム
の復号処理を放棄し、前フレームの映像を継続して表示
する事で、カラオケなどで必要な音声との同期再生の破
綻を避ける事ができる。
【0036】
【発明の効果】以上の様に、本発明によれば、符号化映
像データの復号に要する時間、符号化映像データのバッ
ファ残量、符号化映像データの復号に割り当てられるCP
U平均割当率、符号化映像データの復号に割り当てられ
るシステムバス平均割当率、符号化映像データの復号に
割り当てられるシステムメモリ平均割当率に基づいて、
復号処理中またはこれから復号処理を行うフレームの処
理を破棄し、同一のフレームを継続して表示する事で、
音声信号と映像信号との同期を崩すことなく再生を続け
るシステムを実現できる。
【図面の簡単な説明】
【図1】本発明の実施例1の構成を示すブロック図
【図2】実施例1の動作を示すタイミングチャート
【図3】本発明の実施例2の構成を示すブロック図
【図4】実施例2の動作を示すタイミングチャート
【図5】本発明の実施例3の構成を示すブロック図
【図6】実施例3の動作を示すタイミングチャート
【図7】本発明の実施例4の構成を示すブロック図
【図8】実施例4の動作を示すタイミングチャート
【図9】本発明の実施例5の構成を示すブロック図
【図10】実施例5の動作を示すタイミングチャート
【符号の説明】
101、301、501、701、901 同期信号抽出部 102 復号時刻予測部 103、503、703、903 間引信号生成部 104、304、504、704、904 データ供給部 105、305、505、705、905 バッファメモリ 106、306、506、706、906 映像生成部 106A、306A、506A、706A、906A CPU 106B、306B、506B、706B、906B システムバス 106C、306C、506C、706C、906C システムメモリ 107、307、507、707、907 表示メモリ 108、308、508、708、908 映像出力部 309 バッファ残量検出部 510 システムバス平均割当
率算出部 711 システムバス平均割当
率算出部 912 システムメモリ平均割
当率算出部
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 5/76 - 5/956 G10K 15/04 302

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】 符号化音声データから同期信号を抽出す
    る同期信号抽出手段と、 符号化映像データの復号に要する時間を予測し、復号終
    了予測時刻を出力する復号時刻予測手段と、 復号終了予測時刻が、該当する符号化映像データの定め
    られた表示時刻に対応する同期信号の発生時刻よりも遅
    れる場合に間引信号を発生する間引信号生成手段と、 符号化映像データを一時蓄積するバッファメモリと、 符号化映像データをバッファメモリに供給するデータ供
    給手段と、 バッファメモリに蓄積した符号化映像データを復号し、
    デジタル映像信号を生成して出力する映像生成手段と、 デジタル映像信号を一時蓄積する表示メモリと、 表示メモリのデジタル映像信号を同期信号に従って、映
    像信号として出力する映像出力手段と、を備え、 但し上記のデータ供給手段は、デジタル映像信号の生成
    終了または間引信号の入力があった場合に次のデータを
    バッファメモリに供給するものであり、 上記の映像生成手段は、間引信号の入力があった場合に
    進行中の映像生成処理を中止し、次のデータの映像生成
    を開始するものであることを特徴とする再生同期装置。
  2. 【請求項2】 符号化音声データから同期信号を抽出す
    る同期信号抽出手段と、 符号化映像データを一時蓄積するバッファメモリと、 バッファメモリのデータの残量を検出し、同期信号の到
    着時に前のデータの残量が0になっていない場合に間引
    信号を発生するバッファ残量検出手段と、 符号化映像データをバッファメモリに供給するデータ供
    給手段と、 バッファメモリに蓄積した符号化映像データを復号しデ
    ジタル映像信号を生成し出力する映像生成手段と、 デジタル映像信号を一時蓄積する表示メモリと、 表示メモリのデジタル映像信号を同期信号に従って映像
    信号として出力する映像出力手段とを備え、 但し上記のデータ供給手段は、バッファメモリのデータ
    の残量が0になった場合に次のデータをバッファメモリ
    に供給するとともに、間引信号の入力があった場合はデ
    ータを1ユニット分とばして供給することを特徴とする
    再生同期装置。
  3. 【請求項3】 符号化音声データから同期信号を抽出す
    る同期信号抽出手段と、 符号化映像データの復号に割り当てられるCPUの演算時
    間の割合を予測し、CPU平均割当率を出力するCPU平均割
    当率算出手段と、 CPU平均割当率が、所定値を下回る場合に間引信号を発
    生する間引信号生成手段と、 符号化映像データを一時蓄積するバッファメモリと、 符号化映像データをバッファメモリに供給するデータ供
    給手段と、バッファメモリに蓄積した符号化映像データ
    を復号し、デジタル映像信号を生成して出力する映像生
    成手段と、 デジタル映像信号を一時蓄積する表示メモリと、 表示メモリのデジタル映像信号を同期信号に従って映像
    信号として出力する映像出力手段とを備え、 上記のデータ供給手段は、デジタル映像信号の生成終
    了、または間引信号の入力があった場合に次のデータを
    バッファメモリに供給し、 上記の映像生成手段は、間引信号の入力があった場合に
    進行中の映像生成処理を中止して次のデータの映像生成
    を開始する再生同期装置。
  4. 【請求項4】 符号化音声データから同期信号を抽出す
    る同期信号抽出手段と、 符号化映像データの復号に割り当てられるシステムバス
    の占有時間の割合を予測し、システムバス平均割当率を
    出力するシステムバス平均割当率算出手段と、 システムバス平均割当率が所定値を下回る場合に間引信
    号を発生する間引信号生成手段と、 符号化映像データを一時蓄積するバッファメモリと、 符号化映像データをバッファメモリに供給するデータ供
    給手段と、 バッファメモリに蓄積した符号化映像データを復号しデ
    ジタル映像信号を生成して出力する映像生成手段と、 デジタル映像信号を一時蓄積する表示メモリと、 表示メモリのデジタル映像信号を同期信号に従って映像
    信号として出力する映像出力手段とを備え、 但し上記のデータ供給手段は、デジタル映像信号の生成
    終了、または間引信号の入力があった場合に次のデータ
    をバッファメモリに供給し、 上記の映像生成手段は、間引信号の入力があった場合に
    進行中の映像生成処理を中止して次のデータの映像生成
    を開始することを特徴とする再生同期装置。
  5. 【請求項5】 符号化音声データから同期信号を抽出す
    る同期信号抽出手段と、 符号化映像データの復号に割り当てられるシステムメモ
    リの割合を予測し、システムメモリ平均割当率を出力す
    るシステムメモリ平均割当率算出手段と、 システムメモリ平均割当率が既定値を下回る場合に間引
    信号を発生する間引信号生成手段と、 符号化映像データを一時蓄積するバッファメモリと、 符号化映像データをバッファメモリに供給するデータ供
    給手段と、 バッファメモリに蓄積した符号化映像データを復号しデ
    ジタル映像信号を生成して出力する映像生成手段と、 デジタル映像信号を一時蓄積する表示メモリと、 表示メモリのデジタル映像信号を同期信号に従って映像
    信号として出力する映像出力手段とを備え、 但し上記のデータ供給手段は、デジタル映像信号の生成
    終了、または間引信号の入力があった場合に次のデータ
    をバッファメモリに供給し、 上記の映像生成手段は、間引信号の入力があった場合に
    進行中の映像生成処理を中止して次のデータの映像生成
    を開始することを特徴とする再生同期装置。
JP11474997A 1997-05-02 1997-05-02 再生同期装置 Expired - Fee Related JP3377401B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11474997A JP3377401B2 (ja) 1997-05-02 1997-05-02 再生同期装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11474997A JP3377401B2 (ja) 1997-05-02 1997-05-02 再生同期装置

Publications (2)

Publication Number Publication Date
JPH10308923A JPH10308923A (ja) 1998-11-17
JP3377401B2 true JP3377401B2 (ja) 2003-02-17

Family

ID=14645722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11474997A Expired - Fee Related JP3377401B2 (ja) 1997-05-02 1997-05-02 再生同期装置

Country Status (1)

Country Link
JP (1) JP3377401B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7433524B2 (en) 2003-05-08 2008-10-07 Ricoh Company, Ltd. Processing system with frame rate and image quality optimized
KR100610900B1 (ko) * 2004-12-09 2006-08-09 엘지전자 주식회사 비디오 인코더의 동적인 제어 방법
JP4579877B2 (ja) * 2006-06-30 2010-11-10 富士通セミコンダクター株式会社 再生装置及び再生方法
JP5617270B2 (ja) 2010-02-16 2014-11-05 富士通株式会社 動画再生装置、動画処理方法、および動画処理プログラム
JP5836746B2 (ja) * 2011-10-20 2015-12-24 三菱電機株式会社 表示端末

Also Published As

Publication number Publication date
JPH10308923A (ja) 1998-11-17

Similar Documents

Publication Publication Date Title
JP3629253B2 (ja) 音声再生装置および同装置で用いられる音声再生制御方法
JP3063838B2 (ja) オーディオ・ビデオ同期再生装置および方法
JP3053541B2 (ja) デジタル記録音声及びビデオの同期式可変速度再生
AU726866B2 (en) An apparatus for a synchronized playback of audio-video signals
US6396874B1 (en) Decoding method and apparatus and recording method and apparatus for moving picture data
JPH10200862A (ja) オーディオ・ビデオ同期再生装置
JP2001356767A (ja) 同期再生装置、同期再生方法および同期再生用プログラムを記録した記録媒体
JP2001344905A (ja) データ再生装置、その方法及び記録媒体
JP4305065B2 (ja) Av同期処理装置および方法ならびにav記録装置
JP3377401B2 (ja) 再生同期装置
JP3100308B2 (ja) 画像及び音声情報の再生システム
US20070248170A1 (en) Transmitting Apparatus, Receiving Apparatus, and Reproducing Apparatus
JP2006319552A (ja) マルチメディア再生装置
JP3134588B2 (ja) 圧縮画像データと圧縮音響データとの同期再生方法
JPH10336602A (ja) 画像音声符号化データ多重化方法とその装置
JP3979566B2 (ja) 動画像付帯時変テキスト情報分割装置
JP2007127861A (ja) 付属情報埋め込み装置および再生装置
JP2003339023A (ja) 動画再生装置
JP3884797B2 (ja) 画像音声送信装置および画像音声送信方法
JP2000083258A (ja) 符号化データ多重化方法とその装置
JPH07319485A (ja) 映像再生装置
JPH07312739A (ja) 復号化システム及び方法
JPH1042254A (ja) 動画像データ再生方式
JP2005303831A (ja) データ受信装置、データ受信方法、データ送信装置、及びデータ送信方法
JPH0764761A (ja) 動画像データの再生装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071206

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081206

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091206

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091206

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101206

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees