JPH0965303A - 映像音声同期方法及び装置 - Google Patents
映像音声同期方法及び装置Info
- Publication number
- JPH0965303A JPH0965303A JP7218837A JP21883795A JPH0965303A JP H0965303 A JPH0965303 A JP H0965303A JP 7218837 A JP7218837 A JP 7218837A JP 21883795 A JP21883795 A JP 21883795A JP H0965303 A JPH0965303 A JP H0965303A
- Authority
- JP
- Japan
- Prior art keywords
- video
- audio
- component
- moving image
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
(57)【要約】
【課題】 音声出力と映像再生を同期させる。
【解決手段】 ビデオ送信装置１０は、音声データと動
画データの夫々にタイムコードを付加してネットワーク
１８に出力する。ビデオ再生端末装置２０の動画データ
受信装置２２がネットワーク１８からの動画データとタ
イムコードを受信し、音声データ受信装置２４が音声デ
ータとタイムコードを受信する。受信された動画データ
はフレーム・バッファ２８を介してモニタ・ディスプレ
イ３０に印加され、その画面上に映像表示される。受信
装置２４は、受信した音声データを音声出力バッファ３
２に一時格納する。音声出力タイミング調整装置２６
は、受信装置２２，２４からのタイムコード及び音声出
力バッファ３２のバッファ使用量情報に従い、映像表示
するフレームに該当する音声がスピーカ３４から出力さ
れるように、音声出力バッファ３２上で無音声区間を挿
入又は削除する。
画データの夫々にタイムコードを付加してネットワーク
１８に出力する。ビデオ再生端末装置２０の動画データ
受信装置２２がネットワーク１８からの動画データとタ
イムコードを受信し、音声データ受信装置２４が音声デ
ータとタイムコードを受信する。受信された動画データ
はフレーム・バッファ２８を介してモニタ・ディスプレ
イ３０に印加され、その画面上に映像表示される。受信
装置２４は、受信した音声データを音声出力バッファ３
２に一時格納する。音声出力タイミング調整装置２６
は、受信装置２２，２４からのタイムコード及び音声出
力バッファ３２のバッファ使用量情報に従い、映像表示
するフレームに該当する音声がスピーカ３４から出力さ
れるように、音声出力バッファ３２上で無音声区間を挿
入又は削除する。
Description
【０００１】
【発明の属する技術分野】本発明は、映像音声同期方法
及び装置に関し、より具体的には、遠隔ディジタル・ビ
デオ再生システムのように遠隔地に映像と音声を伝送す
る伝送システムにおいて、映像と音声の再生を同期させ
る方法及び装置に関する。
及び装置に関し、より具体的には、遠隔ディジタル・ビ
デオ再生システムのように遠隔地に映像と音声を伝送す
る伝送システムにおいて、映像と音声の再生を同期させ
る方法及び装置に関する。
【０００２】
【従来の技術】従来、ネットワークを介してビデオ・デ
ータを伝送し、遠隔地で再生する遠隔ビデオ再生システ
ムでは、同じ時刻における音声データと動画データを同
一パケットに多重配置して送信し、受信側では、同一パ
ケットに含まれる音声データと動画データを同時に再生
出力する方式が採用されている。
ータを伝送し、遠隔地で再生する遠隔ビデオ再生システ
ムでは、同じ時刻における音声データと動画データを同
一パケットに多重配置して送信し、受信側では、同一パ
ケットに含まれる音声データと動画データを同時に再生
出力する方式が採用されている。
【０００３】
【発明が解決しようとする課題】一般的なワークステー
ションやパーソナル・コンピュータにも、音声や動画を
リアルタイムに再生処理する処理系が普通に組み込まれ
るようになった。そのような状況では、独立に開発され
た音声処理系と動画処理系を同時に動作させるようにし
て、比較的安価に遠隔ビデオ再生システムを実現でき
る。
ションやパーソナル・コンピュータにも、音声や動画を
リアルタイムに再生処理する処理系が普通に組み込まれ
るようになった。そのような状況では、独立に開発され
た音声処理系と動画処理系を同時に動作させるようにし
て、比較的安価に遠隔ビデオ再生システムを実現でき
る。
【０００４】図２は、その遠隔ビデオ再生システム概略
構成ブロック図を示す。ビデオ送信装置１１０は、ビデ
オ・データを格納する大容量記憶装置（例えばハードデ
ィスク装置又は光ディスク装置など）１１２を具備し、
動画データ送信装置１１４が記憶装置１１２から動画デ
ータを読み出してネットワーク１１８に出力し、音声デ
ータ送信装置１１６が記憶装置１１２から音声データを
読み出してネットワーク１１８に出力する。
構成ブロック図を示す。ビデオ送信装置１１０は、ビデ
オ・データを格納する大容量記憶装置（例えばハードデ
ィスク装置又は光ディスク装置など）１１２を具備し、
動画データ送信装置１１４が記憶装置１１２から動画デ
ータを読み出してネットワーク１１８に出力し、音声デ
ータ送信装置１１６が記憶装置１１２から音声データを
読み出してネットワーク１１８に出力する。
【０００５】ビデオ再生端末装置１２０の動画データ受
信装置１２２がネットワーク１１８からの動画データを
受信し、画像データを復元する。復元された画像データ
はフレーム・バッファ１２４を介してモニタ・ディスプ
レイ１２６に印加され、モニタ・ディスプレイ１２６の
画面上に映像表示される。また、ビデオ再生端末装置１
２０の音声データ受信装置１２８は、ネットワーク１１
８からの音声データを受信し、音声データを復元する。
復元された音声データは音声出力バッファ１３０を介し
てスピーカ１３２に印加され、スピーカ１３２から音声
出力される。
信装置１２２がネットワーク１１８からの動画データを
受信し、画像データを復元する。復元された画像データ
はフレーム・バッファ１２４を介してモニタ・ディスプ
レイ１２６に印加され、モニタ・ディスプレイ１２６の
画面上に映像表示される。また、ビデオ再生端末装置１
２０の音声データ受信装置１２８は、ネットワーク１１
８からの音声データを受信し、音声データを復元する。
復元された音声データは音声出力バッファ１３０を介し
てスピーカ１３２に印加され、スピーカ１３２から音声
出力される。
【０００６】図２に示すようなシステム構成でも、ネッ
トワークでの一定でない伝送遅延等を考慮すると、何ら
かの方法で、動画の再生出力と音声の再生出力との間に
同期をとる必要がある。
トワークでの一定でない伝送遅延等を考慮すると、何ら
かの方法で、動画の再生出力と音声の再生出力との間に
同期をとる必要がある。
【０００７】先に説明したような、音声データと動画デ
ータを同一パケットに多重配置する構成を組み入れよう
とすると、ネットワーク伝送部分を中心にかなり大規模
な修整をプログラムに施す必要が生じる。
ータを同一パケットに多重配置する構成を組み入れよう
とすると、ネットワーク伝送部分を中心にかなり大規模
な修整をプログラムに施す必要が生じる。
【０００８】本発明は、ネットワーク伝送部分における
修整を最小限にして、映像と音声の同期再生を可能にす
る映像音声同期方法及び装置を提示することを目的とす
る。
修整を最小限にして、映像と音声の同期再生を可能にす
る映像音声同期方法及び装置を提示することを目的とす
る。
【０００９】
【課題を解決するための手段】本発明では、送信側で、
音声パケットと動画パケットのそれぞれにタイムコード
情報を埋め込む。受信側では、音声パケットのタイムコ
ードと動画パケットのタイムコードを比較し、動画パケ
ットの再生出力に音声出力が同期するように、音声デー
タの無音声区間を長くしたり、短くしたりする。無音声
区間の削除又は挿入は、音声出力バッファ上で行なわれ
る。これにより、プログラムの修正をなるべく最小にと
どめて、音声出力と動画出力を同期させることができ
る。
音声パケットと動画パケットのそれぞれにタイムコード
情報を埋め込む。受信側では、音声パケットのタイムコ
ードと動画パケットのタイムコードを比較し、動画パケ
ットの再生出力に音声出力が同期するように、音声デー
タの無音声区間を長くしたり、短くしたりする。無音声
区間の削除又は挿入は、音声出力バッファ上で行なわれ
る。これにより、プログラムの修正をなるべく最小にと
どめて、音声出力と動画出力を同期させることができ
る。
【００１０】
【発明の実施の形態】以下、図面を参照して、本発明の
一実施の形態を詳細に説明する。
一実施の形態を詳細に説明する。
【００１１】図１は、本発明の一実施例の概略構成ブロ
ック図を示す。１０は、ビデオ・データをハード・ディ
スク装置又は光ディスク装置などの大容量記憶装置１２
に格納するビデオ送信装置であり、格納されるビデオ・
データを、ネットワークを介して自在に読み出させるよ
うになっている。ビデオ・データの動画部分と音声部分
は、動画のフレーム単位で記憶装置１２に格納される。
即ち、動画像がフレーム単位で圧縮され、そのフレーム
時間分の音声データが付加された形で記録されている。
図３は、ビデオ・データの記録フォーマットを示す。
ック図を示す。１０は、ビデオ・データをハード・ディ
スク装置又は光ディスク装置などの大容量記憶装置１２
に格納するビデオ送信装置であり、格納されるビデオ・
データを、ネットワークを介して自在に読み出させるよ
うになっている。ビデオ・データの動画部分と音声部分
は、動画のフレーム単位で記憶装置１２に格納される。
即ち、動画像がフレーム単位で圧縮され、そのフレーム
時間分の音声データが付加された形で記録されている。
図３は、ビデオ・データの記録フォーマットを示す。
【００１２】ビデオ送信装置１０の動画データ送信装置
１４は、記憶装置１２に記憶される動画データを読み出
し、そのフレームのタイムコード（最初のフレームから
の経過時間情報）と共にネットワーク１８に出力する。
また、ビデオ送信装置１０の音声データ送信装置１６
は、記憶装置１２に記憶される音声データを読み出し、
動画データ送信装置１６からネットワーク１８に出力さ
れる動画フレームと同じフレームの音声データを、その
フレームのタイムコードと共にネットワーク１８に出力
する。動画データ及び音声データと一緒に伝送されるタ
イムコードにより、同じフレームの画像と音声が識別可
能になる。
１４は、記憶装置１２に記憶される動画データを読み出
し、そのフレームのタイムコード（最初のフレームから
の経過時間情報）と共にネットワーク１８に出力する。
また、ビデオ送信装置１０の音声データ送信装置１６
は、記憶装置１２に記憶される音声データを読み出し、
動画データ送信装置１６からネットワーク１８に出力さ
れる動画フレームと同じフレームの音声データを、その
フレームのタイムコードと共にネットワーク１８に出力
する。動画データ及び音声データと一緒に伝送されるタ
イムコードにより、同じフレームの画像と音声が識別可
能になる。
【００１３】ビデオ再生端末装置２０の動画データ受信
装置２２がネットワーク１８からの動画データとタイム
コードを受信し、音声データ受信装置２４は、ネットワ
ーク１８からの音声データとタイムコードを受信する。
受信装置２２，２４が受信したタイムコードは音声出力
タイミング調整装置２６に引き渡される。動画データ受
信装置２２は、受信した動画データから各フレームの画
像データを復元し、復元された画像データはフレーム・
バッファ２８を介してモニタ・ディスプレイ３０に印加
され、モニタ・ディスプレイ３０の画面上に映像表示さ
れる。なお、フレーム・バッファ２８は２フレーム分か
らなり、一方のフレームが動画データ受信装置２２から
の画像データの書き込み用、他方のフレームがモニタ・
ディスプレイ３０への表示用となり、フレーム毎に書き
込み用と表示用が切り換えられるようになっている。
装置２２がネットワーク１８からの動画データとタイム
コードを受信し、音声データ受信装置２４は、ネットワ
ーク１８からの音声データとタイムコードを受信する。
受信装置２２，２４が受信したタイムコードは音声出力
タイミング調整装置２６に引き渡される。動画データ受
信装置２２は、受信した動画データから各フレームの画
像データを復元し、復元された画像データはフレーム・
バッファ２８を介してモニタ・ディスプレイ３０に印加
され、モニタ・ディスプレイ３０の画面上に映像表示さ
れる。なお、フレーム・バッファ２８は２フレーム分か
らなり、一方のフレームが動画データ受信装置２２から
の画像データの書き込み用、他方のフレームがモニタ・
ディスプレイ３０への表示用となり、フレーム毎に書き
込み用と表示用が切り換えられるようになっている。
【００１４】音声データ受信装置２４は、受信した音声
データからディジタル音声信号を復元し、復元されたデ
ィジタル音声信号は音声出力バッファ３２に一時格納さ
れる。詳細は後述するが、音声出力タイミング調整装置
２６は、受信装置２２，２４からのタイムコードを比較
すると共に、音声出力バッファ３２からのバッファ使用
量情報に従い、映像表示するフレームに該当する音声を
スピーカ３４から出力するように、即ち、音声出力が映
像出力と同期するように、音声出力バッファ３２を制御
する。
データからディジタル音声信号を復元し、復元されたデ
ィジタル音声信号は音声出力バッファ３２に一時格納さ
れる。詳細は後述するが、音声出力タイミング調整装置
２６は、受信装置２２，２４からのタイムコードを比較
すると共に、音声出力バッファ３２からのバッファ使用
量情報に従い、映像表示するフレームに該当する音声を
スピーカ３４から出力するように、即ち、音声出力が映
像出力と同期するように、音声出力バッファ３２を制御
する。
【００１５】ビデオ送信装置１０及びビデオ再生端末装
置２０は、図４に示すような基本構成のワークステーシ
ョンにより実現できる。４０は、米国ＳｕｎＭｉｃｒｏ
ｓｙｓｔｅｍｓ社のワークステーションＳＰＡＲＣｓｔ
ａｔｉｏｎ、４２は、Ｐａｒａｌｌａｘ社製のＪＰＥＧ
圧縮伸長機能付きビデオ・ボードＰｏｗｅｒＶｉｄｅｏ
である。ビデオ送信装置１０及びビデオ再生端末装置２
０として、それぞれに必要なソフトウエアがインストー
ルされる。
置２０は、図４に示すような基本構成のワークステーシ
ョンにより実現できる。４０は、米国ＳｕｎＭｉｃｒｏ
ｓｙｓｔｅｍｓ社のワークステーションＳＰＡＲＣｓｔ
ａｔｉｏｎ、４２は、Ｐａｒａｌｌａｘ社製のＪＰＥＧ
圧縮伸長機能付きビデオ・ボードＰｏｗｅｒＶｉｄｅｏ
である。ビデオ送信装置１０及びビデオ再生端末装置２
０として、それぞれに必要なソフトウエアがインストー
ルされる。
【００１６】ビデオ送信装置１０は、ネットワーク１８
を介して何れかのビデオ再生端末装置２０から再生要求
を受信すると、送信装置１４，１６がそれぞれ、動画デ
ータ及び音声データを記憶装置１２から読み出し、ネッ
トワーク１８への出力を開始する。
を介して何れかのビデオ再生端末装置２０から再生要求
を受信すると、送信装置１４，１６がそれぞれ、動画デ
ータ及び音声データを記憶装置１２から読み出し、ネッ
トワーク１８への出力を開始する。
【００１７】動画データ送信装置１４は、記憶装置１２
から、要求されたビデオ・データの動画データ・フレー
ムを順次読み込み、そのフレーム・レートでネットワー
ク１８に送信する。送信装置１８は、動画データの送信
に際して、ｉ番目のフレームに対し（ｉ−１）／ｆｐ
（秒）のタイムコードを付加する。ｆｐは、記憶装置１
２に蓄積されているディジタル・ビデオ・データのフレ
ーム・レートを表わす。
から、要求されたビデオ・データの動画データ・フレー
ムを順次読み込み、そのフレーム・レートでネットワー
ク１８に送信する。送信装置１８は、動画データの送信
に際して、ｉ番目のフレームに対し（ｉ−１）／ｆｐ
（秒）のタイムコードを付加する。ｆｐは、記憶装置１
２に蓄積されているディジタル・ビデオ・データのフレ
ーム・レートを表わす。
【００１８】音声データ送信装置１６は、記憶装置１２
から音声データ・フレームをｋ個先読みし、フレームの
抜けなく連続性を保ってネットワーク１８に送信する。
装置１６は、動画の場合と同様に、ｉ番目のフレームに
対し（ｉ−１）／ｆｐ（秒）のタイムコードを付加して
送信する。なお、ｋは３乃至５程度である。
から音声データ・フレームをｋ個先読みし、フレームの
抜けなく連続性を保ってネットワーク１８に送信する。
装置１６は、動画の場合と同様に、ｉ番目のフレームに
対し（ｉ−１）／ｆｐ（秒）のタイムコードを付加して
送信する。なお、ｋは３乃至５程度である。
【００１９】ビデオ再生端末装置２０における映像と音
声の同期化動作を説明する。動画データ受信装置２２は
ネットワーク１８上を伝送する動画データとこれに付加
されたタイムコードを受信し、音声データ受信装置２４
はネットワーク１８上を伝送する音声データとこれに付
加されたタイムコードを受信する。動画データ受信装置
２２は、受信した動画データから各フレームの画像デー
タを復元し、フレーム・バッファ２８に書き込む。先に
説明したように、フレーム・バッファ２８に書き込まれ
た画像データは、逐次、読み出され、モニタ・ディスプ
レイ３０に印加されて、モニタ・ディスプレイ３０の画
面上に映像表示される。音声データ受信装置２４は、受
信した音声データからディジタル音声信号を復元し、音
声出力バッファ３２に書き込む。
声の同期化動作を説明する。動画データ受信装置２２は
ネットワーク１８上を伝送する動画データとこれに付加
されたタイムコードを受信し、音声データ受信装置２４
はネットワーク１８上を伝送する音声データとこれに付
加されたタイムコードを受信する。動画データ受信装置
２２は、受信した動画データから各フレームの画像デー
タを復元し、フレーム・バッファ２８に書き込む。先に
説明したように、フレーム・バッファ２８に書き込まれ
た画像データは、逐次、読み出され、モニタ・ディスプ
レイ３０に印加されて、モニタ・ディスプレイ３０の画
面上に映像表示される。音声データ受信装置２４は、受
信した音声データからディジタル音声信号を復元し、音
声出力バッファ３２に書き込む。
【００２０】受信装置２２，２４はまた、受信したタイ
ムコードを音声出力タイミング調整装置２６に供給す
る。音声出力タイミング調整装置２６には音声出力バッ
ファ３２からバッファ使用量の情報が供給されている。
音声出力タイミング調整装置２６は、先ず、バッファ使
用量を音声データのサンプリング・レートで除算して、
どの程度の時間後に、音声出力バッファ３２から読み出
されてスピーカ３４から音声出力されるかを計算する。
即ち、 Ｔ１＝（バッファ使用量）／（サンプリング・レート） とする。サンプリング・レートはμ‐ＬＡＷ形式の音声
データでは、８，０００ｂｙｔｅｓ／ｓｅｃとなる。
ムコードを音声出力タイミング調整装置２６に供給す
る。音声出力タイミング調整装置２６には音声出力バッ
ファ３２からバッファ使用量の情報が供給されている。
音声出力タイミング調整装置２６は、先ず、バッファ使
用量を音声データのサンプリング・レートで除算して、
どの程度の時間後に、音声出力バッファ３２から読み出
されてスピーカ３４から音声出力されるかを計算する。
即ち、 Ｔ１＝（バッファ使用量）／（サンプリング・レート） とする。サンプリング・レートはμ‐ＬＡＷ形式の音声
データでは、８，０００ｂｙｔｅｓ／ｓｅｃとなる。
【００２１】更に、映像出力に音声出力を合わせるため
に、受信した音声データのタイムコードと受信した動画
データのタイムコードの差Ｔ２を算出する。即ち、 Ｔ２＝（音声データのタイムコード）−（動画データの
タイムコード） とする。これは、動画データ受信装置２２からのタイム
コードを基準とするのが利用的だからである。
に、受信した音声データのタイムコードと受信した動画
データのタイムコードの差Ｔ２を算出する。即ち、 Ｔ２＝（音声データのタイムコード）−（動画データの
タイムコード） とする。これは、動画データ受信装置２２からのタイム
コードを基準とするのが利用的だからである。
【００２２】Ｔ１とＴ２の差がある閾値Ｒ（本実施例で
は、０．１乃至０．４程度である。）以上であれば、音
声出力タイミング調整装置２６は、音声出力バッファ３
２中の音声データのデータ長を、なるべく実際の視聴時
に音切れ等が発生しないように調整し、これにより、音
声出力を映像出力に同期させる。
は、０．１乃至０．４程度である。）以上であれば、音
声出力タイミング調整装置２６は、音声出力バッファ３
２中の音声データのデータ長を、なるべく実際の視聴時
に音切れ等が発生しないように調整し、これにより、音
声出力を映像出力に同期させる。
【００２３】Ｔ１−Ｔ２＞Ｒのときには、下記式で得ら
れるＬ（バイト）のデータを音声出力バッファ３２から
取り除く。即ち、 Ｌ＝（Ｔ１−Ｔ２）×（サンプリング・レート） ＝（Ｔ１−Ｔ２）×８，０００ 音声出力バッファ３２からデータの一部を取り除く方法
として、以下の２方式が考えられる。第１の方法では、
音声出力バッファ３２中の最初又は最後のＬ（バイト）
を単純に取り除く。第２の方法では、音声出力バッファ
３２中の無音区間を認識し、そこからＬ（バイト）を取
り除く。第２の方法の方が好ましいのは明らかである。
れるＬ（バイト）のデータを音声出力バッファ３２から
取り除く。即ち、 Ｌ＝（Ｔ１−Ｔ２）×（サンプリング・レート） ＝（Ｔ１−Ｔ２）×８，０００ 音声出力バッファ３２からデータの一部を取り除く方法
として、以下の２方式が考えられる。第１の方法では、
音声出力バッファ３２中の最初又は最後のＬ（バイト）
を単純に取り除く。第２の方法では、音声出力バッファ
３２中の無音区間を認識し、そこからＬ（バイト）を取
り除く。第２の方法の方が好ましいのは明らかである。
【００２４】第２の方法をより詳細に説明する。音声デ
ータを先ず、ｓサンプリング単位に分割し、１単位区間
内のｓ個の各サンプリング値の分散をとる。この際、サ
ンプリング値は、μ−ＬＡＷ等の符号化された音声デー
タを扱う場合には、復号化した値を利用する。分散が小
さい単位区間は無音声区間候補となり、その単位区間が
ｎ個連続することで、その区間を無音声区間と判断す
る。音声出力バッファ３２中に複数の無音声区間がある
と、その区間の長さの比によって、取り除くバイト数を
配分し、各無音声区間を間引いて短くする。但し、取り
除けるバイト数の上限を無音声区間の総計の半分までと
しておく。本実施例では、例えば、ｓを２００乃至４０
０程度、ｎ＝３乃至５程度とした。
ータを先ず、ｓサンプリング単位に分割し、１単位区間
内のｓ個の各サンプリング値の分散をとる。この際、サ
ンプリング値は、μ−ＬＡＷ等の符号化された音声デー
タを扱う場合には、復号化した値を利用する。分散が小
さい単位区間は無音声区間候補となり、その単位区間が
ｎ個連続することで、その区間を無音声区間と判断す
る。音声出力バッファ３２中に複数の無音声区間がある
と、その区間の長さの比によって、取り除くバイト数を
配分し、各無音声区間を間引いて短くする。但し、取り
除けるバイト数の上限を無音声区間の総計の半分までと
しておく。本実施例では、例えば、ｓを２００乃至４０
０程度、ｎ＝３乃至５程度とした。
【００２５】Ｔ２−Ｔ１≧Ｒのとき、下記式で得られる
Ｌ（バイト）の無音声データを音声出力バッファ３２中
に埋め込む。即ち、 Ｌ＝（Ｔ２−Ｔ１）×（サンプリング・レート） ＝（Ｔ２−Ｔ１）×８，０００ 音声出力バッファ３２中に無音声区間を挿入する方法と
して、以下の２つの方法が考えられる。第１の方法で
は、音声出力バッファ３２の最初又は最後にＬ（バイ
ト）の無音データを挿入する。第２の方法では、音声出
力バッファ３２中の無音声区間を認識し、そこにＬ（バ
イト）の無音データを挿入する。第２の方法の方が優れ
ているのは明らかである。第２の方法では、無音声デー
タを除去する場合の第２の方法で説明したのと同様の方
法で無音声区間を検出する。音声出力バッファ３２中に
複数の無音声区間があると、その区間の長さの比によっ
て、挿入するバイト数を配分し、各無音声区間を補間し
て長くする。但し、挿入可能なバイト数の上限を無音声
区間の総計の半分までとしておく。
Ｌ（バイト）の無音声データを音声出力バッファ３２中
に埋め込む。即ち、 Ｌ＝（Ｔ２−Ｔ１）×（サンプリング・レート） ＝（Ｔ２−Ｔ１）×８，０００ 音声出力バッファ３２中に無音声区間を挿入する方法と
して、以下の２つの方法が考えられる。第１の方法で
は、音声出力バッファ３２の最初又は最後にＬ（バイ
ト）の無音データを挿入する。第２の方法では、音声出
力バッファ３２中の無音声区間を認識し、そこにＬ（バ
イト）の無音データを挿入する。第２の方法の方が優れ
ているのは明らかである。第２の方法では、無音声デー
タを除去する場合の第２の方法で説明したのと同様の方
法で無音声区間を検出する。音声出力バッファ３２中に
複数の無音声区間があると、その区間の長さの比によっ
て、挿入するバイト数を配分し、各無音声区間を補間し
て長くする。但し、挿入可能なバイト数の上限を無音声
区間の総計の半分までとしておく。
【００２６】このように、音声パケット及び動画パケッ
トのそれぞれに同期のための時間情報を埋め込み、受信
側の音声出力バッファ３２中の無音声区間を上述のよう
に調整することで、音声出力を映像出力に同期させるこ
とができる。この結果、音声系と動画系が独立して動作
している遠隔ディジタル・ビデオ再生システムで、プロ
グラムの修正をなるべく最小にとどめて、音声と動画を
同期出力させることができる。
トのそれぞれに同期のための時間情報を埋め込み、受信
側の音声出力バッファ３２中の無音声区間を上述のよう
に調整することで、音声出力を映像出力に同期させるこ
とができる。この結果、音声系と動画系が独立して動作
している遠隔ディジタル・ビデオ再生システムで、プロ
グラムの修正をなるべく最小にとどめて、音声と動画を
同期出力させることができる。
【００２７】
【発明の効果】以上の説明から容易に理解できるよう
に、本発明によれば、音声と動画を論理的に別々に伝送
する伝送システムにおいて、音声出力と画像出力を互い
に同期させることができる。動画と音声を同一のパケッ
トで伝送する訳ではないので、映像・音声の伝送のため
のプログラム部分の修正を不要又は最小限で済む。
に、本発明によれば、音声と動画を論理的に別々に伝送
する伝送システムにおいて、音声出力と画像出力を互い
に同期させることができる。動画と音声を同一のパケッ
トで伝送する訳ではないので、映像・音声の伝送のため
のプログラム部分の修正を不要又は最小限で済む。
【図１】 本発明の一実施例の概略構成ブロック図であ
る。
る。
【図２】 従来例の概略構成ブロック図である。
【図３】 記憶装置１２に記憶されるビデオ・データの
フォーマットである。
フォーマットである。
【図４】 ビデオ送信装置１０及びビデオ再生端末装置
２０を実現するワークステーションの概略構成ブロック
図である。
２０を実現するワークステーションの概略構成ブロック
図である。
１０：ビデオ送信装置 １２：大容量記憶装置 １４：動画データ送信装置 １６：音声データ送信装置 １８：ネットワーク ２０：ビデオ再生端末装置 ２２：動画データ受信装置 ２４：音声データ受信装置 ２６：音声出力タイミング調整装置 ２８：フレーム・バッファ ３０：モニタ・ディスプレイ ３２：音声出力バッファ ３４：スピーカ ４０：ワークステーション ４２：ＪＰＥＧ圧縮伸長機能付きビデオ・ボード １１０：ビデオ送信装置 １１２：大容量記憶装置 １１４：動画データ送信装置 １１６：音声データ送信装置 １１８：ネットワーク １２０：ビデオ再生端末装置 １２２：動画データ受信装置 １２４：フレーム・バッファ １２６：モニタ・ディスプレイ １２８：音声データ受信装置 １３０：音声出力バッファ １３２：スピーカ
Claims (8)
- 【請求項１】 蓄積されているビデオ・データの動画成
分及び音声成分を、それぞれの時間関係を特定する時間
情報を付加して独立にネットワークに出力する出力ステ
ップと、 当該ネットワークから動画成分及びその時間情報を受信
する動画受信ステップと、 当該ネットワークから音声成分及びその時間情報を受信
する音声受信ステップと、 当該音声受信ステップで受信された音声成分を音声出力
バッファに一時記憶する一時記憶ステップと、 当該動画受信ステップで受信された動画情報を映像表示
する映像表示ステップと、 受信された動画成分の時間情報及び音声成分の時間情報
を比較し、受信された動画成分の映像出力と同期するよ
うに、当該音声出力バッファの記憶データを調整する調
整ステップと、 当該音声出力バッファから出力されるデータを音声出力
する音声出力ステップとからなることを特徴とする映像
音声同期方法。 - 【請求項２】 上記出力ステップが、上記音声成分を上
記動画成分より所定期間先立ってネットワークに出力す
る請求項１に記載の映像音声同期方法。 - 【請求項３】 上記ビデオ・データが、上記動画成分の
フレーム単位で蓄積されている請求項１又は２に記載の
映像音声同期方法。 - 【請求項４】 上記調節ステップが、音声再生が動画再
生より早い場合に、上記音声出力バッファ上で無音声区
間を同期ずれ時間分長くし、音声再生が動画再生より遅
い場合に、無音声区間を同期ずれ時間分短くする請求項
１乃至３の何れか１項に記載の映像音声同期方法。 - 【請求項５】 蓄積されているビデオ・データの動画成
分及び音声成分を、それぞれの時間関係を特定する時間
情報を付加して独立にネットワークに出力する出力装置
と、当該出力装置から出力される動画成分及び音声成分
をそれぞれ映像表示及び音声出力する再生装置とからな
る伝送システムにおいて、当該再生装置の映像表示と音
声出力を同期させる映像音声同期装置であって、受信さ
れた音声成分を一時記憶する音声出力バッファと、受信
された動画成分の時間情報と音声成分の時間情報の比較
結果に従い、当該音声出力バッファの記憶データを調整
する音声出力タイミング調整手段とからなることを特徴
とする映像音声同期装置。 - 【請求項６】 上記出力装置が、上記音声成分を上記動
画成分より所定期間先立って上記ネットワークに出力す
る請求項５に記載の映像音声同期装置。 - 【請求項７】 上記ビデオ・データが、上記動画成分の
フレーム単位で蓄積されている請求項５又は６に記載の
映像音声同期装置。 - 【請求項８】 上記調整手段が、音声再生が動画再生よ
り早い場合に、上記音声出力バッファ上で無音声区間を
同期ずれ時間分長くし、音声再生が動画再生より遅い場
合に、無音声区間を同期ずれ時間分短くする請求項５乃
至７の何れか１項に記載の映像音声同期装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7218837A JPH0965303A (ja) | 1995-08-28 | 1995-08-28 | 映像音声同期方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7218837A JPH0965303A (ja) | 1995-08-28 | 1995-08-28 | 映像音声同期方法及び装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0965303A true JPH0965303A (ja) | 1997-03-07 |
Family
ID=16726122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7218837A Withdrawn JPH0965303A (ja) | 1995-08-28 | 1995-08-28 | 映像音声同期方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0965303A (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6870887B2 (en) | 2001-04-09 | 2005-03-22 | International Business Machines Corporation | Method and system for synchronization between different content encoding formats |
| EP1689179A1 (en) * | 2005-02-07 | 2006-08-09 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for replaying a video signal and one or more audio signals related to audio/video data that are based on a 24Hz frame frequency video signal |
| WO2006082150A2 (en) * | 2005-02-07 | 2006-08-10 | Thomson Licensing | METHOD AND APPARATUS FOR REPLAYING A VIDEO SIGNAL AND ONE OR MORE AUDIO SIGNALS RELATED TO AUDIO/VIDEO DATA THAT ARE BASED ON A 24Hz FRAME FREQUENCY VIDEO SIGNAL |
| US7228059B2 (en) | 2002-05-31 | 2007-06-05 | Kabushiki Kaisha Toshiba | Audio reproducing apparatus and audio reproduction control method for use in the same |
| US7280738B2 (en) | 2001-04-09 | 2007-10-09 | International Business Machines Corporation | Method and system for specifying a selection of content segments stored in different formats |
| JP2007259943A (ja) * | 2006-03-27 | 2007-10-11 | Samii Kk | 再生装置、データ再生方法及びプログラム |
| JP2008170752A (ja) * | 2007-01-12 | 2008-07-24 | Yamaha Corp | 音源回路 |
| WO2008106652A1 (en) * | 2007-03-01 | 2008-09-04 | Qualcomm Incorporated | Transcoder media time conversion |
| JP2009005910A (ja) * | 2007-06-28 | 2009-01-15 | Namco Bandai Games Inc | プログラム、情報記憶媒体、ゲーム装置 |
| WO2009027128A1 (en) * | 2007-08-31 | 2009-03-05 | International Business Machines Corporation | Method for synchronizing data flows |
| WO2011113315A1 (zh) * | 2010-03-17 | 2011-09-22 | 中兴通讯股份有限公司 | 一种流媒体直播业务系统及实现方法 |
| JP2011259049A (ja) * | 2010-06-07 | 2011-12-22 | Hitachi Kokusai Electric Inc | データ取り込み装置 |
| JP2012050492A (ja) * | 2010-08-31 | 2012-03-15 | Kyoraku Sangyo Kk | 遊技機 |
| US8526501B2 (en) | 2007-08-27 | 2013-09-03 | Fujitsu Limited | Decoder and decoding method based on video and audio time information |
| JP2015523808A (ja) * | 2012-06-22 | 2015-08-13 | エーティーアイ・テクノロジーズ・ユーエルシーＡｔｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｕｌｃ | 無線表示器の遠隔音声キープアライブ（ｋｅｅｐａｌｉｖｅ） |
-
1995
- 1995-08-28 JP JP7218837A patent/JPH0965303A/ja not_active Withdrawn
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7280738B2 (en) | 2001-04-09 | 2007-10-09 | International Business Machines Corporation | Method and system for specifying a selection of content segments stored in different formats |
| US6870887B2 (en) | 2001-04-09 | 2005-03-22 | International Business Machines Corporation | Method and system for synchronization between different content encoding formats |
| US8630528B2 (en) | 2001-04-09 | 2014-01-14 | International Business Machines Corporation | Method and system for specifying a selection of content segments stored in different formats |
| US7228059B2 (en) | 2002-05-31 | 2007-06-05 | Kabushiki Kaisha Toshiba | Audio reproducing apparatus and audio reproduction control method for use in the same |
| US8244094B2 (en) | 2005-02-07 | 2012-08-14 | Thomson Licensing | Method and apparatus for replaying a video signal and one or more audio signals related to audio/video data that are based on a 24Hz frame frequency video signal |
| EP1689179A1 (en) * | 2005-02-07 | 2006-08-09 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for replaying a video signal and one or more audio signals related to audio/video data that are based on a 24Hz frame frequency video signal |
| WO2006082150A2 (en) * | 2005-02-07 | 2006-08-10 | Thomson Licensing | METHOD AND APPARATUS FOR REPLAYING A VIDEO SIGNAL AND ONE OR MORE AUDIO SIGNALS RELATED TO AUDIO/VIDEO DATA THAT ARE BASED ON A 24Hz FRAME FREQUENCY VIDEO SIGNAL |
| WO2006082150A3 (en) * | 2005-02-07 | 2007-07-26 | Thomson Brandt Gmbh | METHOD AND APPARATUS FOR REPLAYING A VIDEO SIGNAL AND ONE OR MORE AUDIO SIGNALS RELATED TO AUDIO/VIDEO DATA THAT ARE BASED ON A 24Hz FRAME FREQUENCY VIDEO SIGNAL |
| JP2008530839A (ja) * | 2005-02-07 | 2008-08-07 | トムソン ライセンシング | ２４Ｈｚフレーム周波数のビデオ信号に基づくオーディオ／ビデオ・データに関係するビデオ信号および一つまたは複数のオーディオ信号を再生するための方法および装置 |
| JP2007259943A (ja) * | 2006-03-27 | 2007-10-11 | Samii Kk | 再生装置、データ再生方法及びプログラム |
| JP2008170752A (ja) * | 2007-01-12 | 2008-07-24 | Yamaha Corp | 音源回路 |
| WO2008106652A1 (en) * | 2007-03-01 | 2008-09-04 | Qualcomm Incorporated | Transcoder media time conversion |
| JP2009005910A (ja) * | 2007-06-28 | 2009-01-15 | Namco Bandai Games Inc | プログラム、情報記憶媒体、ゲーム装置 |
| US8526501B2 (en) | 2007-08-27 | 2013-09-03 | Fujitsu Limited | Decoder and decoding method based on video and audio time information |
| JP2010539739A (ja) * | 2007-08-31 | 2010-12-16 | インターナショナル・ビジネス・マシーンズ・コーポレーション | データ・フローを同期化する方法 |
| WO2009027128A1 (en) * | 2007-08-31 | 2009-03-05 | International Business Machines Corporation | Method for synchronizing data flows |
| WO2011113315A1 (zh) * | 2010-03-17 | 2011-09-22 | 中兴通讯股份有限公司 | 一种流媒体直播业务系统及实现方法 |
| JP2011259049A (ja) * | 2010-06-07 | 2011-12-22 | Hitachi Kokusai Electric Inc | データ取り込み装置 |
| JP2012050492A (ja) * | 2010-08-31 | 2012-03-15 | Kyoraku Sangyo Kk | 遊技機 |
| JP2015523808A (ja) * | 2012-06-22 | 2015-08-13 | エーティーアイ・テクノロジーズ・ユーエルシーＡｔｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｕｌｃ | 無線表示器の遠隔音声キープアライブ（ｋｅｅｐａｌｉｖｅ） |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3053541B2 (ja) | デジタル記録音声及びビデオの同期式可変速度再生 | |
| JP3063838B2 (ja) | オーディオ・ビデオ同期再生装置および方法 | |
| US6078725A (en) | Apparatus for a synchronized playback of audio-video signals | |
| JPH0965303A (ja) | 映像音声同期方法及び装置 | |
| JP2005084578A (ja) | 演奏システム及び楽音映像再生装置 | |
| JPH0462213B2 (ja) | ||
| US20020034144A1 (en) | Recording apparatus | |
| KR100490403B1 (ko) | 오디오 스트림의 버퍼링 제어 방법 및 그 장치 | |
| JP2000244914A (ja) | 映像音声多重化カメラ装置 | |
| US7084908B2 (en) | Image signal recording apparatus with controlled recording of main, preceding and succeeding moving image signals | |
| JPH0863884A (ja) | ディジタル情報符号化・復号装置 | |
| JPH10276407A (ja) | ビデオ情報提供管理方法およびシステム | |
| JPH06348580A (ja) | マルチメディア転送装置 | |
| JP3134588B2 (ja) | 圧縮画像データと圧縮音響データとの同期再生方法 | |
| JPH10271482A (ja) | 符号化映像の同期再生制御方法およびシステム | |
| JP3487483B2 (ja) | 動画像信号の記録再生方法 | |
| JP3536493B2 (ja) | オーサリングシステム，このシステムで使用される符号化装置及び多重化装置並びに多重ビットストリームを生成する方法 | |
| JP3894362B2 (ja) | 複数動画像の閲覧装置および記録媒体 | |
| JP3430613B2 (ja) | 情報信号再生方法及び装置 | |
| GB2314479A (en) | Special to normal moving picture reproduction mode transition | |
| JPH10164512A (ja) | データ処理同期装置 | |
| JP2003189222A (ja) | 連続情報の記録方法および記録装置 | |
| JPH10276408A (ja) | ビデオ情報提供制御方法およびシステム | |
| JPH05252495A (ja) | 放送番組の伝送方法 | |
| JP2006180315A (ja) | 動画撮影装置、動画再生装置および動画撮影方法、動画再生方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20021105 |