JP3392153B2 - 音声・動画像同期出力調整処理方法 - Google Patents
音声・動画像同期出力調整処理方法Info
- Publication number
- JP3392153B2 JP3392153B2 JP07190692A JP7190692A JP3392153B2 JP 3392153 B2 JP3392153 B2 JP 3392153B2 JP 07190692 A JP07190692 A JP 07190692A JP 7190692 A JP7190692 A JP 7190692A JP 3392153 B2 JP3392153 B2 JP 3392153B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- audio
- frame
- value
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【産業上の利用分野】本発明は、マルチメディア通信で
の複数メディア間の再生時での同期合わせを行う音声・
動画像同期出力調整処理方法に関する。
の複数メディア間の再生時での同期合わせを行う音声・
動画像同期出力調整処理方法に関する。
【０００２】利用分野としては、ＴＶ電話、ＴＶ会議、
電子出版、案内システム、等でのマルチメディア通信に
おいての音声（オーディオ）と動画（ビデオ）との再生
時での同期合わせに利用できる。
電子出版、案内システム、等でのマルチメディア通信に
おいての音声（オーディオ）と動画（ビデオ）との再生
時での同期合わせに利用できる。
【０００３】
【従来の技術】画像、音声、キャラクタ等のメディアの
複合体であるマルチメディア通信においては、通信デー
タ量が大となるため、各メディアを網内あるいは送信側
（端末あるいは蓄積センタ）でデータ圧縮を施し、受信
側では各メディア対応に伸張処理するという従来技術が
ある。伸張時には各メディアの同期再生が必要になる
が、従来の同期再生方法としては、 音声と画像とを
マルチプレックスの状態でほぼ同一時刻に対応するよう
にする簡易同期再生法（Implicit synchronization: 暗
黙的同期方法）、 音声と画像との各ＴＳ（タイムス
タンプ）の差分を算出し、その結果に応じて音声と画像
とのどちらか一方の復号化出力を遅延させて同期させる
高精度同期再生法 (Time-stamp: タイムスタンプによる
方法）、がある。
複合体であるマルチメディア通信においては、通信デー
タ量が大となるため、各メディアを網内あるいは送信側
（端末あるいは蓄積センタ）でデータ圧縮を施し、受信
側では各メディア対応に伸張処理するという従来技術が
ある。伸張時には各メディアの同期再生が必要になる
が、従来の同期再生方法としては、 音声と画像とを
マルチプレックスの状態でほぼ同一時刻に対応するよう
にする簡易同期再生法（Implicit synchronization: 暗
黙的同期方法）、 音声と画像との各ＴＳ（タイムス
タンプ）の差分を算出し、その結果に応じて音声と画像
とのどちらか一方の復号化出力を遅延させて同期させる
高精度同期再生法 (Time-stamp: タイムスタンプによる
方法）、がある。
【０００４】
【発明が解決しようとする課題】従来の同期方法は保証
速度での同期再生であり、クロック周波数や伸張器等の
システム条件が保証されている必要がある。しかし、シ
ステムを廉価な構成にして、上記のシステム条件（保証
速度での同期再生）が保証されない場合には、できるだ
け動画像のフレーム枚数を維持して高品質化しなくては
ならない。さらに、動画像の伸張処理時間は伸張時にし
かわからないための音声と動画像との同期ずれに対して
の同期ずれ吸収を必要とする。すなわち、動画像として
のフレーム数の保証と音声・動画像の同期ずれの吸収が
課題となる。
速度での同期再生であり、クロック周波数や伸張器等の
システム条件が保証されている必要がある。しかし、シ
ステムを廉価な構成にして、上記のシステム条件（保証
速度での同期再生）が保証されない場合には、できるだ
け動画像のフレーム枚数を維持して高品質化しなくては
ならない。さらに、動画像の伸張処理時間は伸張時にし
かわからないための音声と動画像との同期ずれに対して
の同期ずれ吸収を必要とする。すなわち、動画像として
のフレーム数の保証と音声・動画像の同期ずれの吸収が
課題となる。
【０００５】本発明は、音声・動画像の同期ずれを効果
的に吸収するようにすることを目的としている。
的に吸収するようにすることを目的としている。
【０００６】
【課題を解決するための手段】本発明は上記のかかる課
題を解決するものであり、特許請求の範囲における請求
項１の発明では、データ圧縮された動画像とそれに付帯
する音声のマルチメディア通信において、画像フレーム
に付帯する音声データを音声ブロックとするとき、デー
タ伸張時での画像フレームを特定する画像フレームカウ
ンタの値と音声ブロックを特定する音声ブロックカウン
タの値とを比較して、画像フレームカウンタの値が音声
ブロックカウンタの値よりもＫ１（正整数）フレーム相
当分以上遅れた時点で画像フレームと音声ブロックとの
同期ずれを検出するステップと、 当該同期ずれが検出さ
れた際に画像フレームを次フレームよりＬ１（正整数）
フレーム分を破棄する同期ずれ調整ステップとを有す
る。
題を解決するものであり、特許請求の範囲における請求
項１の発明では、データ圧縮された動画像とそれに付帯
する音声のマルチメディア通信において、画像フレーム
に付帯する音声データを音声ブロックとするとき、デー
タ伸張時での画像フレームを特定する画像フレームカウ
ンタの値と音声ブロックを特定する音声ブロックカウン
タの値とを比較して、画像フレームカウンタの値が音声
ブロックカウンタの値よりもＫ１（正整数）フレーム相
当分以上遅れた時点で画像フレームと音声ブロックとの
同期ずれを検出するステップと、 当該同期ずれが検出さ
れた際に画像フレームを次フレームよりＬ１（正整数）
フレーム分を破棄する同期ずれ調整ステップとを有す
る。
【０００７】請求項２の発明では、データ圧縮された動
画像とそれに付帯する音声のマルチメディア通信におい
て、画像フレームに付帯する音声データを音声ブロック
とするとき、データ伸張時での画像フレームを特定する
画像フレームカウンタの値と音声ブロックを特定する音
声ブロックカウンタの値とを比較して、画像フレームカ
ウンタの値が音声ブロックカウンタの値よりもＫ２（正
整数）フレーム相当分以上先行した時点で画像フレーム
と音声ブロックとの同期ずれを検出するステップと、 当
該同期ずれが検出された際に次画像フレームを次音声ブ
ロック送出契機に合わせて送出する同期ずれ調整ステッ
プとを有する。
画像とそれに付帯する音声のマルチメディア通信におい
て、画像フレームに付帯する音声データを音声ブロック
とするとき、データ伸張時での画像フレームを特定する
画像フレームカウンタの値と音声ブロックを特定する音
声ブロックカウンタの値とを比較して、画像フレームカ
ウンタの値が音声ブロックカウンタの値よりもＫ２（正
整数）フレーム相当分以上先行した時点で画像フレーム
と音声ブロックとの同期ずれを検出するステップと、 当
該同期ずれが検出された際に次画像フレームを次音声ブ
ロック送出契機に合わせて送出する同期ずれ調整ステッ
プとを有する。
【０００８】請求項３の発明では、上記請求項１と２と
での手段を組み合わせ、データ圧縮された動画像とそれ
に付帯する音声のマルチメディア通信において、画像フ
レームに付帯する音声データを音声ブロックとすると
き、データ伸張時での画像フレームを特定する画像フレ
ームカウンタの値と音声ブロックを特定する音声ブロッ
クカウンタの値とを比較して、画像フレームカウンタの
値が音声ブロックカウンタの値よりもＫ１（正整数）フ
レーム相当分以上遅れた第１の場合と、逆に画像フレー
ムカウンタの値が音声ブロックカウンタの値よりもＫ２
（正整数）フレーム相当分以上先行した第２の場合と
で、画像フレームと音声ブロックとの同期ずれを検出す
るステップと、 第１の場合にその時点で次の画像フレー
ムよりＬ１（正整数）フレーム分破棄する同期ずれ調整
ステップ１と、第２の場合に、次画像フレームの送出を
次音声ブロック送出契機に合わせる同期ずれ調整ステッ
プ２と、を有する。
での手段を組み合わせ、データ圧縮された動画像とそれ
に付帯する音声のマルチメディア通信において、画像フ
レームに付帯する音声データを音声ブロックとすると
き、データ伸張時での画像フレームを特定する画像フレ
ームカウンタの値と音声ブロックを特定する音声ブロッ
クカウンタの値とを比較して、画像フレームカウンタの
値が音声ブロックカウンタの値よりもＫ１（正整数）フ
レーム相当分以上遅れた第１の場合と、逆に画像フレー
ムカウンタの値が音声ブロックカウンタの値よりもＫ２
（正整数）フレーム相当分以上先行した第２の場合と
で、画像フレームと音声ブロックとの同期ずれを検出す
るステップと、 第１の場合にその時点で次の画像フレー
ムよりＬ１（正整数）フレーム分破棄する同期ずれ調整
ステップ１と、第２の場合に、次画像フレームの送出を
次音声ブロック送出契機に合わせる同期ずれ調整ステッ
プ２と、を有する。
【０００９】
【作用】請求項１では、同期ずれ検出手段により動画像
が音声よりもＫ１（正整数）フレームの遅れを検出する
と、同期ずれ調整手段によりその時点で次フレームより
Ｌ１フレーム（正整数）分を破棄することで、音声と動
画像の同期出力を調整する。
が音声よりもＫ１（正整数）フレームの遅れを検出する
と、同期ずれ調整手段によりその時点で次フレームより
Ｌ１フレーム（正整数）分を破棄することで、音声と動
画像の同期出力を調整する。
【００１０】請求項２では、同期ずれ検出手段により画
像フレームが音声ブロックよりもＫ２（正整数）フレー
ムの先行を検出すると、同期ずれ調整手段により、次画
像フレームの送出を、次の音声ブロックの送出契機に合
わせることで同期ずれを調整する。
像フレームが音声ブロックよりもＫ２（正整数）フレー
ムの先行を検出すると、同期ずれ調整手段により、次画
像フレームの送出を、次の音声ブロックの送出契機に合
わせることで同期ずれを調整する。
【００１１】請求項３では、同期ずれ検出手段により動
画像が音声よりもＫ１（正整数）フレームの遅れを検出
すると、同期ずれ調整手段によりその時点で次フレーム
よりＬ１フレーム（正整数）分を破棄し、逆に、同期ず
れ検出手段により画像フレームが音声ブロックよりもＫ
２（正整数）フレーム分の先行を検出すると、同期ずれ
調整手段により次画像フレームの送出を、次の音声ブロ
ックの送出契機に合わせることで同期ずれを調整する。
画像が音声よりもＫ１（正整数）フレームの遅れを検出
すると、同期ずれ調整手段によりその時点で次フレーム
よりＬ１フレーム（正整数）分を破棄し、逆に、同期ず
れ検出手段により画像フレームが音声ブロックよりもＫ
２（正整数）フレーム分の先行を検出すると、同期ずれ
調整手段により次画像フレームの送出を、次の音声ブロ
ックの送出契機に合わせることで同期ずれを調整する。
【００１２】
【実施例】図１は本発明の方法を説明するための音声・
動画像提供システムの構成図である。１は端末、２は動
画像蓄積センタ、３はＩＳＤＮ通信網、１１は中央処理
装置（ＣＰＵ）、１２はメインメモリ（ＭＭ）、１３は
通信制御部、１４は音声復号部、１５は動画復号部、１
６はＴＶモニタ、１７はスピーカである。
動画像提供システムの構成図である。１は端末、２は動
画像蓄積センタ、３はＩＳＤＮ通信網、１１は中央処理
装置（ＣＰＵ）、１２はメインメモリ（ＭＭ）、１３は
通信制御部、１４は音声復号部、１５は動画復号部、１
６はＴＶモニタ、１７はスピーカである。
【００１３】動画像蓄積センタ２はあらかじめ、１秒間
にＮコマ（フレーム）の割合の動画像と連続音声とが図
２に示す形式で格納してある。図２では１フレーム分の
画像データとＴＣ（＝１／Ｎ）秒分の音声ブロックとが
１対になって基本ユニットを構成し、フレーム数分のユ
ニットを持った形式になっている。動画像蓄積センタ２
に格納の動画像および音声は端末１からの要求によりＩ
ＳＤＮ通信網３を経由して端末１へ出力する構成となっ
ている。
にＮコマ（フレーム）の割合の動画像と連続音声とが図
２に示す形式で格納してある。図２では１フレーム分の
画像データとＴＣ（＝１／Ｎ）秒分の音声ブロックとが
１対になって基本ユニットを構成し、フレーム数分のユ
ニットを持った形式になっている。動画像蓄積センタ２
に格納の動画像および音声は端末１からの要求によりＩ
ＳＤＮ通信網３を経由して端末１へ出力する構成となっ
ている。
【００１４】次に、端末１側での画像出力および音声出
力の基本動作について説明する。まず、端末１は通信制
御部１３により動画像蓄積センタ２からのデータを受信
しＭＭ１２に展開する。ＣＰＵ１１はＭＭ１２に混在し
ている音声ブロックｎと画像ｎとを分離し、音声は音声
復号部１４に送出し、画像は動画復号部１５に出力す
る。さらに音声ｎは音声復号部１４で復号しスピーカ１
７に出力され、画像ｎは動画復号部１５で伸張されＴＶ
モニタ１６に出力される。端末側の動画復号部１５では
フレーム単位で画像伸張終了時に次フレームの画像要求
を出し、ＣＰＵ１１は動画復号部よりの次フレーム（画
像ｎ＋１）の送出要求を監視する。また、音声について
はＴＣ秒間隔でＭＭ１２より音声復号部１４へ順次音声
ブロックを送出して連続音声とする。 （請求項１の実施例）図３及び図５，図６を用いて動画
像が音声に対して遅延した場合での動画像と音声との同
期調整について説明する。図３（Ａ）は同期調整しない
場合での出力例を示し、図３（Ｂ）は図３（Ａ）のパタ
ンに請求項１の発明をＫ１＝１、Ｌ１＝1 として作用さ
せた場合の動画像と音声との出力パターン例を示す。ま
た、請求項１の同期調整の処理フロー例を図５，図６に
示す。
力の基本動作について説明する。まず、端末１は通信制
御部１３により動画像蓄積センタ２からのデータを受信
しＭＭ１２に展開する。ＣＰＵ１１はＭＭ１２に混在し
ている音声ブロックｎと画像ｎとを分離し、音声は音声
復号部１４に送出し、画像は動画復号部１５に出力す
る。さらに音声ｎは音声復号部１４で復号しスピーカ１
７に出力され、画像ｎは動画復号部１５で伸張されＴＶ
モニタ１６に出力される。端末側の動画復号部１５では
フレーム単位で画像伸張終了時に次フレームの画像要求
を出し、ＣＰＵ１１は動画復号部よりの次フレーム（画
像ｎ＋１）の送出要求を監視する。また、音声について
はＴＣ秒間隔でＭＭ１２より音声復号部１４へ順次音声
ブロックを送出して連続音声とする。 （請求項１の実施例）図３及び図５，図６を用いて動画
像が音声に対して遅延した場合での動画像と音声との同
期調整について説明する。図３（Ａ）は同期調整しない
場合での出力例を示し、図３（Ｂ）は図３（Ａ）のパタ
ンに請求項１の発明をＫ１＝１、Ｌ１＝1 として作用さ
せた場合の動画像と音声との出力パターン例を示す。ま
た、請求項１の同期調整の処理フロー例を図５，図６に
示す。
【００１５】一定時間の間隔ＴＣで画像フレームの伸張
処理の状況を監視し、画像フレームが音声と比較してＫ
１フレーム以上遅れた段階で、次フレーム目よりＬ１フ
レーム分を破棄する場合を図５，図６で説明する。 音声ブロックカウンタ（Scounter) および画像フレ
ームカウンタ（Mcounter) のカウンタ類を初期設定〔Ｓ
５０１〕し、通信制御部１３からＭＭ１２内に画像デー
タと音声データを取り込み、画像はフレーム単位に、音
声は基本ブロック単位に順次揃える〔Ｓ５０２〕。次
に、ＭＭ１２より音声ブロックｎを音声復号部１４に送
出し、画像ｍを動画復号部１５に各々送出〔Ｓ５０３〕
する。
処理の状況を監視し、画像フレームが音声と比較してＫ
１フレーム以上遅れた段階で、次フレーム目よりＬ１フ
レーム分を破棄する場合を図５，図６で説明する。 音声ブロックカウンタ（Scounter) および画像フレ
ームカウンタ（Mcounter) のカウンタ類を初期設定〔Ｓ
５０１〕し、通信制御部１３からＭＭ１２内に画像デー
タと音声データを取り込み、画像はフレーム単位に、音
声は基本ブロック単位に順次揃える〔Ｓ５０２〕。次
に、ＭＭ１２より音声ブロックｎを音声復号部１４に送
出し、画像ｍを動画復号部１５に各々送出〔Ｓ５０３〕
する。
【００１６】また、音声ブロックｎを送出後は音声ブロ
ック送出タイマStimerを開始〔Ｓ５０４〕する。 ＣＰＵ１１では次フレームの送出要求が動画復号部
１５よりＴＣ秒以内に来るか監視〔Ｓ５０５〕し、次の
画像の送信要求が来た場合にはｍを＋１加算〔Ｓ５０
６〕し、画像ｍをＭＭ１２より動画復号部１５に送出
〔Ｓ５０７〕し、Mcounterを＋１加算〔Ｓ５０８〕す
る。
ック送出タイマStimerを開始〔Ｓ５０４〕する。 ＣＰＵ１１では次フレームの送出要求が動画復号部
１５よりＴＣ秒以内に来るか監視〔Ｓ５０５〕し、次の
画像の送信要求が来た場合にはｍを＋１加算〔Ｓ５０
６〕し、画像ｍをＭＭ１２より動画復号部１５に送出
〔Ｓ５０７〕し、Mcounterを＋１加算〔Ｓ５０８〕す
る。
【００１７】また、送信要求なしの場合にはのＳ５０
９の処理に移る。 最終の音声ブロックが送出済みかどうかを判定し、
送出済みの場合はに移行し、送出済みでない場合は
のＳ５１０に移行する。 音声ブロックｎを音声復号部１４に送出してからＴ
Ｃ秒経過したかを監視〔Ｓ５１０〕し、経過した場合に
は、Stimerを初期化した後に起動〔Ｓ５１１〕し、ｎ＝
ｎ＋１の加算処理〔Ｓ５１２〕した後、ＭＭ１２より音
声復号部１４に次音声ブロックｎを送出する〔Ｓ５１
３〕。音声ブロックカウンタScounterを＋１加算〔Ｓ５
１４〕し、Scounter-Mcounter の値がＫ１以上であるか
の演算を行い、Ｋ１以上であるならば、音声に比べて画
像フレームはＫ１フレーム遅れていると判定する〔Ｓ５
１５〕。Ｋ１フレーム遅れていると判定された場合には
に移行する。また、Ｋ１よりも小さい場合はＳ５１９
に移行する。 画像ｍ＋１から画像ｍ＋L1までのＬ１フレーム分の
情報をＭＭ１２より破棄〔Ｓ５１６〕し、Mcounterを＋
Ｌ１加算〔Ｓ５１７〕し、ｍをＬ１＋１加算〔Ｓ５１
８〕する。 上記の処理を最終ブロック、最終フレーム（画像ｍ
e ）まで繰り返す〔Ｓ５１９、Ｓ５２０〕。 （請求項２の実施例）図４及び図７，図８を用いて動画
像が音声に対して先行した場合での動画像と音声との同
期調整について説明する。図４（Ａ）は同期調整しない
場合での出力例を示し、図４（Ｂ）は図４（Ａ）のパタ
ンに請求項２の発明をＫ２＝１として作用させた場合の
動画像と音声との出力パターン例を示す。また、請求項
２の同期調整の処理フロー例を図７，図８に示す。
９の処理に移る。 最終の音声ブロックが送出済みかどうかを判定し、
送出済みの場合はに移行し、送出済みでない場合は
のＳ５１０に移行する。 音声ブロックｎを音声復号部１４に送出してからＴ
Ｃ秒経過したかを監視〔Ｓ５１０〕し、経過した場合に
は、Stimerを初期化した後に起動〔Ｓ５１１〕し、ｎ＝
ｎ＋１の加算処理〔Ｓ５１２〕した後、ＭＭ１２より音
声復号部１４に次音声ブロックｎを送出する〔Ｓ５１
３〕。音声ブロックカウンタScounterを＋１加算〔Ｓ５
１４〕し、Scounter-Mcounter の値がＫ１以上であるか
の演算を行い、Ｋ１以上であるならば、音声に比べて画
像フレームはＫ１フレーム遅れていると判定する〔Ｓ５
１５〕。Ｋ１フレーム遅れていると判定された場合には
に移行する。また、Ｋ１よりも小さい場合はＳ５１９
に移行する。 画像ｍ＋１から画像ｍ＋L1までのＬ１フレーム分の
情報をＭＭ１２より破棄〔Ｓ５１６〕し、Mcounterを＋
Ｌ１加算〔Ｓ５１７〕し、ｍをＬ１＋１加算〔Ｓ５１
８〕する。 上記の処理を最終ブロック、最終フレーム（画像ｍ
e ）まで繰り返す〔Ｓ５１９、Ｓ５２０〕。 （請求項２の実施例）図４及び図７，図８を用いて動画
像が音声に対して先行した場合での動画像と音声との同
期調整について説明する。図４（Ａ）は同期調整しない
場合での出力例を示し、図４（Ｂ）は図４（Ａ）のパタ
ンに請求項２の発明をＫ２＝１として作用させた場合の
動画像と音声との出力パターン例を示す。また、請求項
２の同期調整の処理フロー例を図７，図８に示す。
【００１８】すなわち、一定時間の間隔ＴＣで画像フレ
ームの伸張処理の状況を監視し、音声をＭＭ１２から音
声復号部１４に転送開始時に画像が音声ブロックよりＫ
２フレーム以上先行している場合には、次画像フレーム
はＬ２ブロック後の音声ブロックの送出契機に合わせて
送出する場合を図７，図８を用いて説明する。 音声ブロック番号の初期値（ｎ＝１）の設定、画像
フレーム番号の初期値（ｍ＝１）の設定、音声ブロック
カウンタの初期化（Scounter＝０）、画像フレームカウ
ンタの初期化（Mcounter＝０）、動画保留カウンタの初
期化（Hcounter＝０）を行う〔Ｓ６０１〕。 通信制御部１３からＭＭ１２内にユニット（画像フ
レームと音声ブロックの対）を取り込み、画像はフレー
ム単位に、音声はブロック単位に分離〔Ｓ６０２〕させ
る。ＭＭ１２より音声ブロックｎは音声復号部１４に、
また画像ｍは動画復号部１５に送出〔Ｓ６０３〕する。 McounterとScounterとの＋１加算〔Ｓ６０４〕を
し、さらに音声ブロック送出タイマStimerを開始〔Ｓ６
０５〕する。 ＴＣ秒経過（Stimer≧ＴＣ）したかを判定〔Ｓ６０
６〕し、ＴＣ秒経過した場合にはのＳ６１２に移行
し、経過していない場合には画像ｍの送出要求有りの判
定〔Ｓ６０７〕に移る。画像ｍの送出要求有りの場合に
はに移行し、送信要求なしの場合にはのＳ６０６に
移行する。 画像保留要求有り（Hcounter≧１）の判定〔Ｓ６０
８〕をし、有りの場合はのＳ６０６に移行する。なし
の場合はに移行する。 ｍ＝ｍ＋１の加算処理〔Ｓ６０９〕をした後、ＭＭ
１２より動画復号部１５に画像ｍを送出〔Ｓ６１０〕
し、Mcounterを＋１加算〔Ｓ６１１〕し、のＳ６０６
に移行する。 音声ブロック送出タイマStimerを初期化して起動
〔Ｓ６１２〕し、ｎ＝ｎ＋１の加算処理〔Ｓ６１３〕の
後、ＭＭ１２より音声復号部１４に音声ブロックｎを送
出〔Ｓ６１４〕し、Scounterを＋１加算〔Ｓ６１５〕
し、Hcounter≧１により動画保留要求有りの判断〔Ｓ６
１６〕をし、動画保留要求なしの場合はＳ６１９に移行
し、動画保留要求有りの場合はのＳ６１７に移行す
る。 画像ｍを保留〔Ｓ６１７〕し、Hcounterを１減算
〔Ｓ６１８〕をし、のＳ６０６に移行する。 Mcounterの値よりｍの値を検出し、Scounterの値よ
りｎの値を検出し、ｎ−ｍ≧Ｋ２の演算〔Ｓ６１９〕を
する。すなわち、音声より先行している動画像のフレー
ム数が規定値以上（ｎ−ｍ≧Ｋ２）かを判定する。ｎ−
ｍ≧Ｋ２の場合にはHcounterの値を１に設定〔Ｓ６２
０〕しのＳ６０６に移行する。音声ブロックより先行
していない場合は(10)に移行する。 (10)最終音声ブロックが送出済みか否かを判定〔Ｓ６２
１〕し、送出済みなら処理終了とし、送出済みでないな
らば上記のＳ６０６に移行する。 （請求項３の実施例）『画像ｎが音声ｍよりもＫ１（正
整数）フレーム以上遅れた場合』には、請求項１の発明
によりその時点で次フレームよりＬ１フレーム（正整
数）分を破棄することで同期ずれを調整し、『画像ｎが
音声ｍよりもＫ２フレーム以上先行した場合』には、請
求項２の発明により動画像はその時点で画像ｎを保留
し、次音声ｍ＋１と次画像ｎ＋１との先頭を合わせるこ
とで同期ずれを調整する。
ームの伸張処理の状況を監視し、音声をＭＭ１２から音
声復号部１４に転送開始時に画像が音声ブロックよりＫ
２フレーム以上先行している場合には、次画像フレーム
はＬ２ブロック後の音声ブロックの送出契機に合わせて
送出する場合を図７，図８を用いて説明する。 音声ブロック番号の初期値（ｎ＝１）の設定、画像
フレーム番号の初期値（ｍ＝１）の設定、音声ブロック
カウンタの初期化（Scounter＝０）、画像フレームカウ
ンタの初期化（Mcounter＝０）、動画保留カウンタの初
期化（Hcounter＝０）を行う〔Ｓ６０１〕。 通信制御部１３からＭＭ１２内にユニット（画像フ
レームと音声ブロックの対）を取り込み、画像はフレー
ム単位に、音声はブロック単位に分離〔Ｓ６０２〕させ
る。ＭＭ１２より音声ブロックｎは音声復号部１４に、
また画像ｍは動画復号部１５に送出〔Ｓ６０３〕する。 McounterとScounterとの＋１加算〔Ｓ６０４〕を
し、さらに音声ブロック送出タイマStimerを開始〔Ｓ６
０５〕する。 ＴＣ秒経過（Stimer≧ＴＣ）したかを判定〔Ｓ６０
６〕し、ＴＣ秒経過した場合にはのＳ６１２に移行
し、経過していない場合には画像ｍの送出要求有りの判
定〔Ｓ６０７〕に移る。画像ｍの送出要求有りの場合に
はに移行し、送信要求なしの場合にはのＳ６０６に
移行する。 画像保留要求有り（Hcounter≧１）の判定〔Ｓ６０
８〕をし、有りの場合はのＳ６０６に移行する。なし
の場合はに移行する。 ｍ＝ｍ＋１の加算処理〔Ｓ６０９〕をした後、ＭＭ
１２より動画復号部１５に画像ｍを送出〔Ｓ６１０〕
し、Mcounterを＋１加算〔Ｓ６１１〕し、のＳ６０６
に移行する。 音声ブロック送出タイマStimerを初期化して起動
〔Ｓ６１２〕し、ｎ＝ｎ＋１の加算処理〔Ｓ６１３〕の
後、ＭＭ１２より音声復号部１４に音声ブロックｎを送
出〔Ｓ６１４〕し、Scounterを＋１加算〔Ｓ６１５〕
し、Hcounter≧１により動画保留要求有りの判断〔Ｓ６
１６〕をし、動画保留要求なしの場合はＳ６１９に移行
し、動画保留要求有りの場合はのＳ６１７に移行す
る。 画像ｍを保留〔Ｓ６１７〕し、Hcounterを１減算
〔Ｓ６１８〕をし、のＳ６０６に移行する。 Mcounterの値よりｍの値を検出し、Scounterの値よ
りｎの値を検出し、ｎ−ｍ≧Ｋ２の演算〔Ｓ６１９〕を
する。すなわち、音声より先行している動画像のフレー
ム数が規定値以上（ｎ−ｍ≧Ｋ２）かを判定する。ｎ−
ｍ≧Ｋ２の場合にはHcounterの値を１に設定〔Ｓ６２
０〕しのＳ６０６に移行する。音声ブロックより先行
していない場合は(10)に移行する。 (10)最終音声ブロックが送出済みか否かを判定〔Ｓ６２
１〕し、送出済みなら処理終了とし、送出済みでないな
らば上記のＳ６０６に移行する。 （請求項３の実施例）『画像ｎが音声ｍよりもＫ１（正
整数）フレーム以上遅れた場合』には、請求項１の発明
によりその時点で次フレームよりＬ１フレーム（正整
数）分を破棄することで同期ずれを調整し、『画像ｎが
音声ｍよりもＫ２フレーム以上先行した場合』には、請
求項２の発明により動画像はその時点で画像ｎを保留
し、次音声ｍ＋１と次画像ｎ＋１との先頭を合わせるこ
とで同期ずれを調整する。
【００１９】動画像と音声とのフレーム差をカウント
し、フレームの差に応じて請求項１の処理を実施するか
請求項２の処理を実施するかを決定し、動画像と音声と
の同期ずれをダイナミックに調整する。
し、フレームの差に応じて請求項１の処理を実施するか
請求項２の処理を実施するかを決定し、動画像と音声と
の同期ずれをダイナミックに調整する。
【００２０】
【発明の効果】以上説明したように本発明によれば、第
１の発明では、圧縮した動画像の伸張時に動画像が音声
よりも遅れる場合の同期ずれを調整し、動画像と音声の
調和を図ることができる。
１の発明では、圧縮した動画像の伸張時に動画像が音声
よりも遅れる場合の同期ずれを調整し、動画像と音声の
調和を図ることができる。
【００２１】また、第２の発明では、圧縮した動画像の
伸張時には動画像が音声よりも早くなる場合の同期ずれ
を調整し、動画像と音声の調和を図ることができる。さ
らに、第１の発明と第２の発明を組み合わせた第３の発
明により、動画像と音声との同期ずれをダイナミックに
調整できる。
伸張時には動画像が音声よりも早くなる場合の同期ずれ
を調整し、動画像と音声の調和を図ることができる。さ
らに、第１の発明と第２の発明を組み合わせた第３の発
明により、動画像と音声との同期ずれをダイナミックに
調整できる。
【００２２】すなわち、データ圧縮されたマルチメディ
ア情報の伸張時の同期調整を図ることにより、音声と画
像との間で同期のとれた違和感のないマルチメディア通
信を図れるという効果がある。
ア情報の伸張時の同期調整を図ることにより、音声と画
像との間で同期のとれた違和感のないマルチメディア通
信を図れるという効果がある。
【図１】音声・動画像提供システムの構成例である。
【図２】動画像蓄積センタでのデータ格納形式である。
【図３】第１の発明の動画像と音声の同期手順である。
【図４】第２の発明の動画像と音声の同期手順である。
【図５】第１の発明の動画像と音声との同期手順のフロ
ーチャートである。
ーチャートである。
【図６】第１の発明の動画像と音声との同期手順のフロ
ーチャートである。
ーチャートである。
【図７】第２の発明の動画像と音声との同期手順のフロ
ーチャートである。
ーチャートである。
【図８】第２の発明の動画像と音声との同期手順のフロ
ーチャートである。
ーチャートである。
１ 端末
２ 動画像蓄積センタ
３ ＩＳＤＮ通信網
１１ 中央処理装置
１２ メインメモリ
１３ 通信制御部
１４ 音声復号部
１５ 動画復号部
１６ ＴＶモニタ
１７ スピーカ
フロントページの続き
(56)参考文献 特開 平５−75974（ＪＰ，Ａ)
特開 平４−82433（ＪＰ，Ａ)
特開 平４−40184（ＪＰ，Ａ)
特開 平２−82776（ＪＰ，Ａ)
特開 平５−122681（ＪＰ，Ａ)
特開 平５−3561（ＪＰ，Ａ)
特開 昭63−313384（ＪＰ，Ａ)
特開 平５−28648（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 7/00 - 7/088
H04N 7/14 - 7/173
H04N 7/24 - 7/68
H04N 5/50 - 5/63
H04N 5/765 - 5/775
H04N 5/91 - 5/956
Claims (3)
- 【請求項１】 データ圧縮された動画像とそれに付帯す
る音声のマルチメディア通信において、 画像フレームに付帯する音声データを音声ブロックとす
るとき、データ伸張時での画像フレームを特定する画像
フレームカウンタの値と音声ブロックを特定する音声ブ
ロックカウンタの値とを比較して、画像フレームカウン
タの値が音声ブロックカウンタの値よりもＫ１（正整
数）フレーム相当分以上遅れた時点で画像フレームと音
声ブロックとの同期ずれを検出するステップと、 当該同期ずれが検出された際に 画像フレームを次フレー
ムよりＬ１（正整数）フレーム分を破棄する同期ずれ調
整ステップとを有することを特徴とする音声・動画像同
期出力調整処理方法。 - 【請求項２】 データ圧縮された動画像とそれに付帯す
る音声のマルチメディア通信において、 画像フレームに付帯する音声データを音声ブロックとす
るとき、データ伸張時での画像フレームを特定する画像
フレームカウンタの値と音声ブロックを特定する音声ブ
ロックカウンタの値とを比較して、画像フレームカウン
タの値が音声ブロックカウンタの値よりもＫ２（正整
数）フレーム相当分以上先行した時点で画像フレームと
音声ブロックとの同期ずれを検出するステップと、 当該同期ずれが検出された際に 次画像フレームを次音声
ブロック送出契機に合わせて送出する同期ずれ調整ステ
ップとを有することを特徴とする音声・動画像同期出力
調整処理方法。 - 【請求項３】 データ圧縮された動画像とそれに付帯す
る音声のマルチメディア通信において、 画像フレームに付帯する音声データを音声ブロックとす
るとき、データ伸張時での画像フレームを特定する画像
フレームカウンタの値と音声ブロックを特定する音声ブ
ロックカウンタの値とを比較して、画像フレームカウン
タの値が音声ブロックカウンタの値よりもＫ１（正整
数）フレーム相当分以上遅れた第１の場合と、逆に画像
フレームカウンタの値が音声ブロックカウンタの値より
もＫ２（正整数）フレーム相当分以上先行した第２の場
合とで、画像フレームと音声ブロックとの同期ずれを検
出するステップと、 第１の場合にその時点で次の画像フレームよりＬ１（正
整数）フレーム分破棄する同期ずれ調整ステップ１と、 第２の場合に、次画像フレームの送出を次音声ブロック
送出契機に合わせる同期ずれ調整ステップ２と、 を有することを特徴とする音声・動画像同期出力調整処
理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07190692A JP3392153B2 (ja) | 1992-03-30 | 1992-03-30 | 音声・動画像同期出力調整処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07190692A JP3392153B2 (ja) | 1992-03-30 | 1992-03-30 | 音声・動画像同期出力調整処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05276158A JPH05276158A (ja) | 1993-10-22 |
| JP3392153B2 true JP3392153B2 (ja) | 2003-03-31 |
Family
ID=13474055
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07190692A Expired - Fee Related JP3392153B2 (ja) | 1992-03-30 | 1992-03-30 | 音声・動画像同期出力調整処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3392153B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000092348A (ja) | 1998-09-10 | 2000-03-31 | Mitsubishi Electric Corp | フレームシンクロナイザ |
| EP2045937B1 (en) * | 2007-10-04 | 2019-06-19 | Microchip Technology Germany GmbH | System and method for real time synchronization through a communication system |
-
1992
- 1992-03-30 JP JP07190692A patent/JP3392153B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH05276158A (ja) | 1993-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4382736B2 (ja) | 音声信号と映像信号を同期させる装置 | |
| KR101228177B1 (ko) | 네트워크 장치용의 동기화된 오디오/비디오 디코딩 | |
| US6429902B1 (en) | Method and apparatus for audio and video end-to-end synchronization | |
| JP3809220B2 (ja) | 伝送システム及び伝送方法 | |
| US7725202B2 (en) | Audio splice process for digital Ad insertion | |
| JP2002344898A (ja) | 映像表示装置、音声調整装置及び映像音声出力装置、並びに映像音声同期方法 | |
| JP2001358685A (ja) | 同期装置および同期方法 | |
| JP2003259314A (ja) | 映像音声同期方法及びそのシステム | |
| KR20070008069A (ko) | 음성/영상신호의 동기화 장치 및 방법 | |
| JP3392153B2 (ja) | 音声・動画像同期出力調整処理方法 | |
| JP4903930B2 (ja) | 信号処理装置 | |
| JP4359024B2 (ja) | 同期制御方法と装置およびそれを用いた同期再生装置およびテレビジョン受信装置 | |
| JPH09135443A (ja) | Ｍｐｅｇ−２データストリームの高速等時性データの送信 | |
| JP2002176643A (ja) | 映像・音声復号処理における映像・音声の同期再生方式 | |
| JPH10271482A (ja) | 符号化映像の同期再生制御方法およびシステム | |
| JP2000092519A (ja) | 立体画像受信装置及び立体画像表示システム | |
| JP2000188752A (ja) | 多重分離制御装置 | |
| JP3958531B2 (ja) | 同期制御装置 | |
| KR20030082117A (ko) | 디지털 방송 수신기에서의 오디오/비디오 립 싱크 제어 방법 | |
| JPH09219859A (ja) | Ｍｐｅｇシステム復号器及びオーディオ／ビデオ信号同期方法 | |
| JPH09284759A (ja) | タイミング制御回路 | |
| JP2003179863A (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
| KR100188946B1 (ko) | 엠펙 복호기의 오디오/비디오 복호지연 보상 장치 및방법 | |
| JPH0974547A (ja) | データ多重化装置 | |
| JPH08280008A (ja) | 符号化方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |