JP4305065B2 - Ａｖ同期処理装置および方法ならびにａｖ記録装置 - Google Patents
Ａｖ同期処理装置および方法ならびにａｖ記録装置 Download PDFInfo
- Publication number
- JP4305065B2 JP4305065B2 JP2003168019A JP2003168019A JP4305065B2 JP 4305065 B2 JP4305065 B2 JP 4305065B2 JP 2003168019 A JP2003168019 A JP 2003168019A JP 2003168019 A JP2003168019 A JP 2003168019A JP 4305065 B2 JP4305065 B2 JP 4305065B2
- Authority
- JP
- Japan
- Prior art keywords
- pause
- frame
- audio
- video data
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
- H04N5/9265—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation with processing of the sound signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
- H04N5/783—Adaptations for reproducing at a rate different from the recording rate
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は映像データおよび音声データの記録装置および記録方法に関する。特に、映像データおよび音声データの一時停止（ポーズ）時のＡＶ同期技術に関する。
【０００２】
【従来の技術】
映像データと音声データの記録装置（以下、ＡＶ記録装置）、例えば、ＭＰＥＧのエンコーダの入力装置においては、映像データと音声データの入力信号のフレーム長（フレーム周期）が異なる場合が一般的である。また、音声データ及び映像データの取り込み周期がそれぞれフレーム単位で行われる点に特徴がある。
以下、このような従来のＡＶ記録装置の構成及び作用について説明する。
【０００３】
図１５は従来のＡＶ記録装置のシステム構成図である。
このシステムは、メインＣＰＵ１ａから制御指示を受ける入力データ制御部２ａ及びシステムエンコード部３ａから構成される。
入力データ制御部２ａは、メインＣＰＵ１ａからの制御指示を音声／映像制御部２１ａが受け、時間情報発生ハードウェア２４ａからの時間情報に基づき、音声入力制御ハードウェア２２ａ、映像入力制御ハードウェア２６ａに対する制御を行う。
【０００４】
音声／映像制御部２１ａは、音声入力制御ハードウェア２２ａに制御指示を出すことで、音声データの入力制御を行い、入力された音声データは、音声用データメモリ２３ａに格納される。また、音声／映像制御部２１ａは、映像入力制御ハードウェア２６ａに制御指示を出すことで、映像データの入力制御を行い、入力された映像データは、映像用データメモリ２５ａに格納される。
入力データ制御部２ａは、時間情報発生ハードウェア２４ａからの時間情報に基づき、システムエンコード部３ａに、時間情報ＰＴＳ（Presentation Time Stamp)を付加した音声データおよびＰＴＳを付加した映像データを提供する。
【０００５】
システムエンコード部３ａは、メインＣＰＵ１ａからの制御指示により制御される。音声エンコード部３１ａは、入力データ制御部２ａからのＰＴＳを付加した音声データをエンコードし、符号化する。映像エンコード部３３ａは、入力データ制御部２ａからのＰＴＳを付加した映像データをエンコードし、符号化する。マルチプレクサ部３２ａは、音声エンコード部３１ａと映像エンコード部３３ａにより符号化されたデータを多重化し、ビットストリームを生成する。
【０００６】
【発明が解決しようとする課題】
しかしながら、ＭＰＥＧのエンコーダを含むＡＶ記録装置では、ハードウエア上の制約から映像データと音声データのフレーム周期を変えられないことも多い。そのような場合に、映像データのフレームを基準にポーズ処理を行った時には、その後にポーズ解除を行ったときに、映像データに対する音声データのずれが発生するという問題（ＡＶ同期ずれ）がある。かかる問題に対し、適切な処置を行わない場合には同期のずれが蓄積され、視聴者に異和感となって知覚されることとなる。
【０００７】
以下、従来の問題点を図１６を用いて具体的に説明する。
図１６は、ポーズおよびポーズ解除の制御を行ったときのＡＶ同期ずれの例を示す図である。
【０００８】
図１５に示した従来のＡＶ記録装置においては、データの取り込み制御はフレーム単位でしか区切ることができず、またポーズ中も映像データと音声データのフレーム周期を変えることができない。
メインＣＰＵ１ａからポーズ指示を受けると、入力データ制御部２ａにおいてポーズ指示が反映されるのは、映像データ１のフレームの切れ目の時刻ｔ１６１である。音声データは、時刻ｔ１６１ではフレーム周期の途中であり、音声フレーム周期が変わったときにポーズ指示が反映されてポーズ状態になるので、ポーズ時映像データと音声データの差分ｔｐ１６１が生じる。
【０００９】
ポーズ中は、映像データのフレーム周期及び音声データのフレーム周期はそのまま変わらず、ポーズ時の映像データと音声データの差分ｔｐ１６１は生じたまま補正されていない状態である。
ＣＰＵ１ａからポーズ解除指示を受けると、入力データ制御部２ａにおいて、ポーズ解除指示が反映されるのは、映像データｎの入力開始である時刻ｔ１６２のタイミングである。ここで、ポーズ解除時に、ポーズ時の映像データと音声データの差分ｔｐ１６１を考慮して映像データに対する音声データの位相を合わせれば、ＡＶ同期のずれは生じない。
【００１０】
しかしながら、映像データと音声データのフレーム周期の差により、ポーズ解除の時刻ｔ１６２から音声入力データｎの入力開始時刻までの差分ｔｐ１６２が、ポーズ解除時の音声データと映像データの差分として発生するため、結果として、時刻ｔ１６１と時刻ｔｐ１６２からポーズ解除時にＡＶ同期のずれｔｐ１６３が生じる。
特に、映像データと音声データのフレーム周期が変えられない場合には、上記のずれ分ｔｐ１６３がポーズ指示毎に累積される可能性があり、このようなポーズ処理に伴うＡＶ同期のずれを解消することが要望される。
本発明は、かかる問題点に鑑みてなされたものであり、映像データと音声データのフレーム長が異なり、しかも映像データと音声データのフレーム長を変えられないＡＶ記録装置において、ＡＶ同期ずれを起こさないＡＶ同期処理装置および方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明によれば、それぞれ異なる所定のフレーム長を持つ映像データと音声データを入力し、ＡＶ同期処理を行った前記映像データと前記音声データを、時間情報を付加してエンコーダに供給するＡＶ同期処理装置であって、所定の周期に基づいて時間を計測するタイマ手段と、前記タイマ手段に基づいて、前記入力した映像データと音声データの各フレームの開始時刻、前記ポーズ要求および前記ポーズ解除要求があった時刻を記憶する時間記憶手段と、前記記憶した映像データと音声データの各フレームの開始時刻、ポーズ要求時刻またはポーズ解除要求の時刻に基づいて、前記ポーズ解除要求後に映像データと音声データのいずれかをフレーム単位で遅らせるか、またはいずれも遅らせないかを決定する、制御手段とを有し、
前記制御手段は、前記ポーズ指示があった時、映像データのフレームの切れ目を基準として、音声データのフレームの遅れ時間であるポーズ時音声遅れ時間を算出し、前記ポーズ指示後において、前記映像データの各フレームの開始時刻毎に、前記映像データに対する前記音声データのフレーム開始時刻の差分であるポーズ中ＡＶ差分値を算出し、前記算出したポーズ時音声遅れ時間と前記ポーズ中ＡＶ差分値に基づいて、前記ポーズ解除後に補正されるべきポーズ解除時音声補正値を算出し、複数のポーズ指示のそれぞれにおいて、前記ポーズ解除時音声補正値を累積した累積音声ずれ補正値により、前記ポーズ解除要求後に前記映像データと前記音声データのいずれかをフレーム単位で遅らせるか、またはいずれも遅らせないかを決定する、ＡＶ同期処理装置が提供される。
好ましくは、前記制御手段は、前記ポーズ解除要求があったときに、前記累積音声ずれ補正値に基づいて、前記音声データのフレームが前記映像データのフレームに対して進んでいると判断した場合、前記ポーズ解除後に前記音声データを前記映像データに対して１フレーム分遅らせて入力する。
また好ましくは、前記制御手段は、前記ポーズ解除要求があったときに、前記累積音声ずれ補正値に基づいて、前記音声データのフレームが前記映像データのフレームに対して１フレーム分以上遅れていると判断した場合、前記ポーズ解除後に前記映像データを前記音声データに対して１フレーム分遅らせて入力する。
また本発明によれば、それぞれ異なる所定のフレーム長を持つ映像データと音声データを入力し、ＡＶ同期処理を行った前記映像データと前記音声データを、時間情報を付加してエンコーダに供給するＡＶ同期処理方法であって、所定の周期に基づいて時刻を計測する工程と、前記計測した時刻に基づいて、前記入力した映像データと音声データの各フレームの開始時刻、前記ポーズ要求および前記ポーズ解除要求があった時刻を記憶する工程と、前記記憶した映像データと音声データの各フレームの開始時刻、前記ポーズ要求および前記ポーズ解除要求の時刻に基づいて、前記ポーズ解除要求後に映像データと音声データのいずれかをフレーム単位で遅らせるか、またはいずれも遅らせないかを決定する、制御工程とを有し、
前記制御工程において、前記ポーズ指示があった時、前記映像データのフレームの切れ目を基準として、前記音声データのフレームの遅れ時間であるポーズ時音声遅れ時間を算出し、前記ポーズ指示後において、前記映像データの各フレームの開始時刻毎に、前記映像データに対する前記音声データのフレームの開始時刻の差分であるポーズ中ＡＶ差分値を算出し、前記算出したポーズ時音声遅れ時間と前記ポーズ中ＡＶ差分値に基づいて、前記ポーズ解除後に補正されるべきポーズ解除時音声補正値を算出し、複数のポーズ指示のそれぞれにおいて、前記ポーズ解除時音声補正値を累積した累積音声ずれ補正値により、前記ポーズ解除要求後に前記映像データと前記音声データのいずれかをフレーム単位で遅らせるか、またはいずれも遅らせないかを決定する、ＡＶ同期処理方法が提供される。
また本発明によれば、それぞれ異なる所定のフレーム長を持つ映像データと音声データを入力して、ＡＶ同期処理を行い、時間情報を付加してエンコーダに供給し、前記エンコーダでは前記映像データと前記音声データと前記時間情報をコード化して多重化したビットストリームを出力するＡＶ記録装置であって、所定の周期に基づいて時間を計測するタイマ手段と、前記タイマ手段に基づいて、前記入力した映像データと音声データの各フレームの開始時刻、前記ポーズ要求および前記ポーズ解除要求があった時刻を記憶する時間記憶手段と、前記ポーズ指示があった時、映像データのフレームの切れ目を基準として、音声データのフレームの遅れ時間であるポーズ時音声遅れ時間を算出し、前記ポーズ指示後において、前記映像データの各フレームの開始時刻毎に、前記映像データのフレームに対する前記音声データのフレーム開始時刻の差分であるポーズ中ＡＶ差分値を算出し、前記算出したポーズ時音声遅れ時間と前記ポーズ中ＡＶ差分値に基づいて、前記ポーズ解除後に補正されるべきポーズ解除時音声補正値を算出し、複数のポーズ指示のそれぞれにおいて、前記ポーズ解除時音声補正値を累積した累積音声ずれ補正値により、前記ポーズ解除要求後に前記映像データと前記音声データのいずれかをフレーム単位で遅らせるか、またはいずれも遅らせないかを決定するＡＶ同期処理手段と、前記映像データと前記音声データの各フレームの開始時刻に基づいて、前記映像データと前記音声データの時間情報を管理する時間情報管理手段と、を有する、ＡＶ記録装置が提供される。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について、添付図面を参照して説明する。
図１は、本発明に係るＡＶ記録装置のシステム構成の実施の形態である。
図１のＡＶ記録装置は、図１５の従来のＡＶ記録装置と比較して、システム構成が同一であるが、音声／映像制御部２１における制御に特徴がある。
【００１３】
以下、順を追って、音声／映像制御部２１における、メインＣＰＵ１からのＳＴＡＲＴ指示に基づく処理、定常時における処理、メインＣＰＵ１からのポーズ指示に基づく処理、ポーズ中における処理、メインＣＰＵ１からのポーズ解除指示に基づく処理、そしてポーズ及びポーズ解除指示よりに生じるＡＶ同期ずれを解消する処理について説明する。
【００１４】
まず、メインＣＰＵ１からのＳＴＡＲＴ指示に基づく、音声／映像制御部２１で行われる処理について説明する。
図２は、音声／映像制御部２１がメインＣＰＵ１からＳＴＡＲＴ指示を受けた場合の処理を表すフローチャートである。
ここで、音声／映像制御部２１は、メインＣＰＵ１からＳＴＡＲＴ指示を受けると、時間情報発生ハードウェア２４から時間情報を取得し、ＳＴＣ＿ｏｆｆｓｅｔとして図示しないメモリに格納する。なお、時間情報発生ハードウェア２４は、例えば、９０ｋＨｚの時間情報を発生するハードウェアである。
【００１５】
図２に入力データ制御部２におけるメインＣＰＵ１からのＳＴＡＲＴ指示の処理フローを示す。
図２において、音声／映像制御部２１は、メインＣＰＵ１からＳＴＡＲＴ指示を受け取ると、映像データのフレームの切れ目を待ち、映像データのフレームの切れ目を検出すると（ＳＴ２１）、時間情報発生ハードウェア２４から時間情報を取得し、その情報をＳＴＣ＿ｏｆｆｓｅｔとして保存する（ＳＴ２２）。
次に、映像入力制御ハードウェア２６に映像データの入力開始指示を行い（ＳＴ２３）、さらに音声入力制御ハードウェア２２に音声データの入力開始指示を行い（ＳＴ２４）、ＣＰＵ１からのＳＴＡＲＴ指示における処理が終了する。
【００１６】
図３は、図２で示したメインＣＰＵ１からのＳＴＡＲＴ指示の処理フローチャートに基づいて、入力データ制御部２におけるＳＴＡＲＴ時のデータ入力開始タイミングと時間情報ＰＴＳのつけ方を示したものである。
メインＣＰＵ１からＳＴＡＲＴ指示を受けると、入力データ制御部２の音声／映像制御部２１は、映像のフレームを基準として、映像データと音声データの入力を開始する。そして、開始したときの時刻ｔ３１を時間情報ハードウェア２４から取得し、ＳＴＣ＿ｏｆｆｓｅｔとして保存する。
【００１７】
その後は、映像データおよび音声データそれぞれのフレームの切れ目において、時間情報ハードウェア２４から現在時刻を逐次取得し、ＳＴＡＲＴ時のＳＴＣ＿ｏｆｆｓｅｔ（ｔ３１）を引いた値をＰＴＳとして、システムエンコード部３に出力する。
例えば、図３においては、映像データフレームの切れ目を検出すると、時間情報ハードウェア２４から時刻ｔ３２を取得し、システムエンコード部３には、映像入力データとともに映像データのＰＴＳを通知する。同様に音声データフレームの切れ目を検出すると、時間情報ハードウェア２４から時刻ｔ３３を取得し、システムエンコード部３には、音声データとともに音声データのＰＴＳを通知する。
【００１８】
次に、メインＣＰＵ１からのＳＴＡＲＴ指示の処理後の定常時の処理について説明する。
図４は、入力データ制御部２がシステムエンコード部３に音声データを提供する際の、ＰＴＳを付加する処理のフローチャートを示したものである。
音声／映像制御部２１は、音声データのフレームの切れ目を検出すると（ＳＴ４１）、時間情報発生ハードウェア２４から時間情報の取得と保存を行う（ＳＴ４２）。そして、ＳＴＡＲＴ時に保存したＳＴＣ＿ｏｆｆｓｅｔと現在取得した時間情報から音声ＰＴＳを決定する（ＳＴ４３）。最後に、システムエンコード部３の音声エンコード部３１に、音声フレームデータにＰＴＳ情報を付加した情報を通知する（ＳＴ４４）。
以上の処理を定常処理時、音声入力フレーム毎に行う。
【００１９】
図５は、入力データ制御部２がシステムエンコード部３に映像データを提供する際の、ＰＴＳを付加する処理のフローチャートを示したものである。
音声／映像制御部２１は、映像データのフレームの切れ目を検出すると（ＳＴ５１）、時間情報発生ハードウェア２４から時間情報の取得と保存を行う（ＳＴ５２）。そして、ＳＴＡＲＴ時に保存したＳＴＣ＿ｏｆｆｓｅｔと現在取得した時間情報から映像ＰＴＳを決定する（ＳＴ５３）。最後に、システムエンコード部３の映像エンコード部３３に、映像フレームデータにＰＴＳ情報を付加した情報を通知する（ＳＴ５４）。
以上の処理を定常処理時、映像入力フレーム毎に行う。
【００２０】
上記の処理のフローチャートならびにタイミングに従って、入力データの入力開始ができ、定常状態において、ＰＴＳを付加したＡＶ同期のとれた音声データと映像データを入力データ制御部２からシステムエンコード部３に提供できるようになる。
【００２１】
次に、メインＣＰＵ１からのポーズ指示の処理について説明する。
図６は、メインＣＰＵ１からのポーズ指示に基づく音声／映像制御部２１における処理のフローチャートを示したものである。
ここで、メインＣＰＵ１からポーズ指示を受けたとき、音声／映像制御部２１が時間情報発生ハードウェア２４から取得する時間情報を格納する変数を、ｐａｕｓｅ＿ＳＴＣ＿ｏｆｆｓｅｔとしている。
【００２２】
音声／映像制御部２１は、メインＣＰＵ１からポーズ指示を受け取ると、映像データのフレームの切れ目を待ち、映像データのフレームの切れ目を検出すると（ＳＴ６１）、時間情報発生ハードウェア２４から時間情報を取得し、ｐａｕｓｅ＿ＳＴＣ＿ｏｆｆｓｅｔとして保存する（ＳＴ６２）。さらに、映像入力制御ハードウェア２６に映像データの入力停止指示を行い（ＳＴ６３）、時間情報ハードウェア２４から時間情報を取得し、音声データと映像データのずれ時間測定を開始する（ＳＴ６４）。
次に、音声データのフレームの切れ目を待ち、音声フレームの切れ目を検出すると（ＳＴ６５）、時間情報発生ハードウェア２４から時間情報の取得を行い、音声データと映像データのずれ時間測定を終了する（ＳＴ６６）。同時に、音声データと映像データのずれ時間であるポーズ時音声遅れ時間ｄｅｌａｙを保存する（ＳＴ６７）。さらに、音声データの入力停止指示を行って（ＳＴ６８）、メインＣＰＵ１からのポーズ指示における処理が終了する。
【００２３】
図７は、ポーズ時のデータ入力一時停止タイミングと時間情報の管理を示したものである。
図７において、メインＣＰＵ１からポーズ指示を受けると、音声／映像制御部２１は、映像データのフレームを基準として、映像データの入力を停止する。このときの時間情報ハードウェア２４から取得した時刻ｔ７１をｐａｕｓｅ＿ＳＴＣ＿ｏｆｆｓｅｔとして保存する。映像データ入力を一時停止した時刻ｔ７１から、次に音声データのフレームの切れ目を検出した時、時間情報ハードウェア２４から時刻ｔ７２を取得し、ポーズ時音声遅れ時間ｄｅｌａｙを保存し、音声データの入力一時停止を行う。
【００２４】
次に、メインＣＰＵ１からのポーズ指示処理後（図７において時刻ｔ７２以降）における、ポーズ中の処理について説明する。
ポーズ中は、音声データと映像データのずれであるポーズ中ＡＶ差分値ｃｏｕｎｔの測定を行う。
図８は、ポーズ中の音声／映像制御部２１の処理のフローチャートを示したものである。
【００２５】
図８において、まず現在ポーズ中であるか否かの判定を行い（ＳＴ８１）、ポーズ中であれば、音声データのフレームの切れ目を待ち、音声のフレームの切れ目を検出すると（ＳＴ８２）、時間情報発生ハードウェア２４から時間情報を取得して保存し、音声データと映像データのずれ時間測定を開始する（ＳＴ８３）。
次に映像データのフレームの切れ目を待ち、映像のフレームの切れ目を検出すると（ＳＴ８４）、時間情報発生ハードウェア２４から時間情報を取得して保存し、音声データと映像データのずれ時間測定を終了する（ＳＴ８５）。
そして、ＳＴ８３における音声データと映像データのずれ時間測定開始時刻と、ＳＴ８５における音声データと映像データのずれ時間測定終了時刻から、ポーズ中ＡＶ差分値ｃｏｕｎｔを保存する（ＳＴ８６）。
以上の処理をポーズ中に繰り返し行い、ポーズ中ＡＶ差分値ｃｏｕｎｔの測定を続ける。ポーズ中ＡＶ差分値ｃｏｕｎｔは、音声／映像制御部２１内のメモリに上書きされていくため、ポーズ中における最新の音声データと映像データのずれ時間を示している。ここで、最新のポーズ中ＡＶ差分値を算出しているのは、いつポーズ解除指示があるか不明であり、その指示に備える必要があるためである。
【００２６】
図９は、図８のフローチャートをもとに説明したポーズ中ＡＶ差分値ｃｏｕｎｔの測定方法を、図示したものである。
音声データの切れ目を検出すると、音声／映像制御部２１は、時間情報ハードウェア２４から時間情報ｔ９１を取得し、音声データと映像データのずれ時間測定を開始する。
次に映像データの切れ目を検出すると、音声／映像制御部２１は、時間情報ハードウェア２４から時間情報ｔ９２を取得し、音声データと映像データのずれ時間測定（ｔ９２ーｔ９１）を行う。ここで、測定された音声データと映像データのずれ時間が、ポーズ中ＡＶ差分値ｃｏｕｎｔになる。
この制御をポーズ中、音声データを基準に繰り返し行い、常に最新のポーズ中ＡＶ差分値ｃｏｕｎｔを保存する。図９においては、ポーズ中ＡＶ差分値ｃｏｕｎｔの最新値は、時刻ｔ９５と時刻ｔ９６の差分（ｔ９６ーｔ９５）である。
【００２７】
次に、メインＣＰＵ１からのポーズ解除指示の処理について説明する。
メインＣＰＵ１からポーズ解除指示があった時に、ポーズ指示があった時とポーズ中に測定した音声データと映像データのずれに基づいて、音声／映像制御部２１が、音声データの入力再開を遅らせるか、映像データの入力再開を遅らせるか、またはどちらも遅らせないかを決定し、ＡＶ同期のずれを解消する方法を以下に述べる。
図１０は、メインＣＰＵ１からポーズ解除指示があった時の、音声／映像制御部２１で行われる処理のフローチャートである。
なお、図１０のフローチャートにおける変数ｄｉｆｆは、ポーズ時とポーズ解除時における音声データと映像データのずれであるポーズ解除時音声補正値を表している。また、図１０のフローチャートにおけるｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙは、映像データに対する音声データのずれを蓄積していく変数である累積音声ずれ補正値であり、システム初期化時において０に初期化される。
また、既に述べたとおり、ポーズ中ＡＶ差分値ｃｏｕｎｔは映像データフレームの切れ目のタイミングで更新される。従って、時間軸において、音声データのフレームの切れ目から映像データのフレームの切れ目までの時間が、図１０のフローチャートにおいて、「音声データと映像データのずれ時間測定中」であることを意味している。
例えば、図９の横向きの矢印で示した時間が、音声データと映像データのずれ時間測定中であることを意味しており、それ以外の時間は音声データと映像データのずれ時間測定中ではないことを意味している。
【００２８】
図１０において、音声／映像制御部２１は、メインＣＰＵ１からポーズ解除指示を受け取ると、映像データのフレームの切れ目を待ち、映像データのフレームの切れ目を検出すると（ＳＴ１０１）、ＳＴＣ＿ｏｆｆｓｅｔの更新を行う（ＳＴ１０２）。
その後、音声データと映像データのずれ時間測定中であるか否かの判定を行い（ＳＴ１０３）、音声データと映像データのずれ時間測定中であれば、後述の図１１に示す計算により、ポーズ時とポーズ解除時の音声データと映像データのずれ時間であるポーズ解除時音声補正値ｄｉｆｆを求める（ＳＴ１０４）。測定中でなければ、後述の図１２に示す計算により、ポーズ解除時音声補正値ｄｉｆｆを求める（ＳＴ１０５）。
ポーズ解除時音声補正値ｄｉｆｆの詳細については後述するが、ポーズ時音声遅れ時間ｄｅｌａｙとポーズ中ＡＶ差分値ｃｏｕｎｔに基づいて、そのポーズ処理において、ポーズ解除時において補正されるべき映像データに対する音声データのずれを表している。ポーズ解除時音声補正値ｄｉｆｆが正の値の時は、映像データに対して音声データが遅れていることを意味し、ポーズ解除時音声補正値ｄｉｆｆが負の時は、映像データに対して音声データが進んでいることを意味している。
【００２９】
次に、ステップＳＴ１０４またはステップＳＴ１０５で求められたポーズ解除時音声補正値ｄｉｆｆを、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙに加算する（ＳＴ１０６）。
従って、システム起動時に初期値０である累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙは、システム動作中の間、複数のポーズ処理に対して、逐次ステップＳＴ１０６において累積加算される。ポーズ解除時音声補正値ｄｉｆｆは各ポーズ処理時に補正されるべき音声データのずれ分であるのに対し、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙは、各回のポーズ解除時音声補正値ｄｉｆｆを加算した累積値となるため、これが実際に補正されるべき映像データに対する音声データ補正値となる。
ステップＳＴ１０７以降は、システム動作中ポーズ処理毎に累積される累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙの値に基づいて、ＡＶ同期のずれをどのように制御するか、具体的には映像データに対する音声データのずれを補正すべきか否か、及び、補正する場合は音声データと映像データのどちらを遅らせるかについて決定する処理である。
【００３０】
まず、ステップＳＴ１０７において、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが負、つまり音声データが進んでいる時には、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙに映像データの１フレーム長の時間を加算した（ＳＴ１０８）うえで、実際に映像データの再開を１フレーム遅らせる処理を行う。映像データの再開を１フレーム遅らせる処理は、映像データのフレーム切れ目を検出するまで映像データの入力再開を待つことにより実現される（ＳＴ１０９）。
映像フレームの切れ目を検出すると、映像データの入力を再開する（ＳＴ１１０）。
【００３１】
ステップＳＴ１０７において、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが負でない場合、つまり音声データが同じか遅れている時には、映像データは遅らせることなくそのまま入力を再開し（ＳＴ１１０）、ステップＳＴ１１１へ進む。
ステップＳＴ１１１においては、正である累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが１音声データフレーム以上である場合には、音声データの再開を遅らせる必要があるため、ステップＳＴ１１２以降に進む。
累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが、正ではあるが１音声データフレーム未満の場合には、音声データを遅らせることなく再開させる（ＳＴ１１４）。
ステップＳＴ１１２では、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙに音声データの１フレーム長の時間を減算した（ＳＴ１１２）うえで、実際に音声データの再開を１フレーム遅らせる処理を行う。この音声データの再開を１フレーム遅らせる処理は、音声データのフレーム切れ目を検出するまで音声データの入力再開を待つことにより実現される（ＳＴ１１３）。
音声フレームの切れ目を検出すると、映像データの入力を再開する（ＳＴ１１４）。
【００３２】
次に、図１０のフローチャートのステップＳＴ１０４及びＳＴ１０５において算出しているポーズ解除時音声補正値ｄｉｆｆについて、その算出方法を図１１及び図１２により具体的に説明する。
図１１は、ポーズ中のずれ時間測定中の場合に、図１０のフローチャートに基づいて行われるポーズ解除時音声補正値ｄｉｆｆの計算を図示したものである。
これは、ポーズ中のずれ時間測定中の場合、すなわち、メインＣＰＵ１から音声／映像制御部２１に対するポーズ解除指示が、音声データのフレームの切れ目から映像データのフレームの切れ目の間に行われたため、そのポーズ解除指示後に求められるポーズ中ＡＶ差分値ｃｏｕｎｔの値を用いて、ポーズ解除時音声補正値ｄｉｆｆを算出する場合である。
以下、図１１に従って、ポーズ解除時音声補正値ｄｉｆｆを算出するために、図１０のステップＳＴ１０４で行われる手順について説明する。
【００３３】
音声／映像制御部２１は、メインＣＰＵ１からポーズ解除指示を受け取ると、映像のフレーム周期に合わせて、時間情報ハードウェア２４から時刻ｔ１１１を取得し、ポーズ指示時に保存していたｐａｕｓｅ＿ＳＴＣ＿ｏｆｆｓｅｔを基準としてＳＴＣ＿ｏｆｆｓｅｔを再設定する。
また、時刻ｔ１１１のタイミングにおいて、ポーズ中ＡＶ差分値ｃｏｕｎｔの測定も行われる。
ここで、ｄｅｌａｙは、すでに述べたとおり、ポーズ時における音声データと映像データのずれ時間であるポーズ時音声遅れ時間であり、ポーズ時に算出し保持していたデータである。また、ａｕｄｉｏ＿ｆｒａｍｅ＿ｔｉｍｅは、音声データのフレーム周期である。
図１１から明らかなように、下式（１）によりポーズ解除時音声補正値ｄｉｆｆを求めることができる。
【００３４】
【数１】
ｄｉｆｆ＝ｄｅｌａｙ＋ｃｏｕｎｔ−ａｕｄｉｏ＿ｆｒａｍｅ＿ｔｉｍｅ…（１）
【００３５】
図１２は、ポーズ中のずれ時間測定中でない場合に、図１０のフローチャートに基づいて行われるポーズ解除時音声補正値ｄｉｆｆの計算を図示したものである。
これは、ポーズ中のずれ時間測定中の場合、すなわち、メインＣＰＵ１から音声／映像制御部２１に対するポーズ解除指示が、映像データのフレームの切れ目から音声データのフレームの切れ目の間に行われたため、そのポーズ解除指示前に求めたポーズ中ＡＶ差分値ｃｏｕｎｔの値を用いて、ポーズ解除時音声補正値ｄｉｆｆを算出する場合である。
以下、図１２に従って、ポーズ解除時音声補正値ｄｉｆｆを算出するために、図１０のステップＳＴ１０５で行われる手順について説明する。
【００３６】
音声／映像制御部２１が、メインＣＰＵ１からポーズ解除指示を受け取ると、映像のフレーム周期に合わせて、時間情報ハードウェア２４から時刻ｔ１２１を取得し、ポーズ指示時に保存していたｐａｕｓｅ＿ＳＴＣ＿ｏｆｆｓｅｔを基準としてＳＴＣ＿ｏｆｆｓｅｔを再設定する。
ここで、ｄｅｌａｙは、すでに述べたとおり、ポーズ時の音声データと映像データずれ時間であるポーズ時音声遅れ時間であり、ポーズ時に算出し保持していたデータである。
また、ａｕｄｉｏ＿ｆｒａｍｅ＿ｔｉｍｅは、音声データのフレーム周期である。
ｖｉｄｅｏ＿ｆｒａｍｅ＿ｔｉｍｅは、映像データのフレーム周期である。
図１２から明らかなように、下式（２）によりポーズ解除時音声補正値ｄｉｆｆを求めることができる。
【００３７】
【数２】
ｄｉｆｆ＝ｄｅｌａｙ＋ｃｏｕｎｔ−ａｕｄｉｏ＿ｆｒａｍｅ＿ｔｉｍｅ＋ｖｉｄｅｏ＿ｆｒａｍｅ＿ｔｉｍｅ …（２）
【００３８】
以上のようにして、ポーズ解除時音声補正値ｄｉｆｆが求められる。
【００３９】
次に、図１０のフローチャートを使って説明した、ポーズ解除時におけるＡＶ同期のずれを解消する処理について、図１３及び図１４を用いて具体的に説明する。
図１３は、映像データの入力再開を１フレーム遅らせる処理により、ＡＶ同期ずれを解消する処理を説明するための図である。
映像データの入力再開を遅らせる制御は、図１０のポーズ解除時のフローチャートに従ってすでに述べたとおり、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが負であるため（ＳＴ１０７）、ＡＶ同期ずれの補正を行い（ＳＴ１０８）、映像データのフレームの切れ目を見つけるまで、映像データの再開を１フレーム遅らせる処理を行う（ＳＴ１０９）ことにより実現される。
図１３において、音声／映像制御部２１がメインＣＰＵ１からのポーズ解除指示を受け取ると、映像データのフレームの切れ目を待ち、映像データのフレームの切れ目を検出すると（時刻ｔ１３１）、図１０の処理フローに基づき累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙを算出する。これが負であるため、１映像フレーム待ってから映像データの入力を再開する（時刻ｔ１３２）。
【００４０】
図１４は、音声データの入力再開を１フレーム遅らせる処理により、ＡＶ同期ずれを解消する処理を説明するための図である。
音声データの入力再開を遅らせる制御は、図１０のポーズ解除時のフローチャートに従ってすでに述べたとおり、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが１音声フレーム以上の場合に、ＡＶ同期ずれの補正を行い（Ｓｔ１１２）、音声データのフレームの切れ目を見つけるまで、音声データの再開を１フレーム遅らせる処理を行う（ＳＴ１１３）処理によって実現される。
図１４において、音声／映像制御部２１が、メインＣＰＵ１からのポーズ解除指示を受け取ると、映像データのフレームの切れ目を待ち、映像データのフレームの切れ目を検出すると（時刻ｔ１４１）、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが１音声フレームを超えているため、１音声フレーム待ってから音声データの入力を再開する（時刻ｔ１４２）。
【００４１】
図１０のフローチャートにおいて、ステップＳＴ１０７及びＳＴ１１１から明らかなように、蓄積音声ずれ時間ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが正であり１音声フレームを超えていない場合には、音声データ／映像データの入力再開のいずれも遅らせない。この場合には、この時ポーズ処理で生じた音声データと映像データのずれは、蓄積音声ずれ時間ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙに蓄積されていくことになる。
もっとも、音声データ／映像データの入力再開のいずれかを遅らせてＡＶ同期ずれの解消が行われた場合にも、図１０のステップＳＴ１０８及びＳＴ１１２の処理によって蓄積音声ずれ時間ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙは０にならないため、完全にＡＶ同期ずれが解消されることはない。
しかしながら、本発明に係るＡＶ記録装置によれば、当該ＡＶ記録装置が動作中において、蓄積ずれ時間ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが常に１音声データフレーム以内に収まることになるため、その差が視聴者に認識されることはなく、十分にＡＶ同期ずれを解消することが可能となる。
【００４２】
【発明の効果】
以上説明したように、本発明によれば、音声の入力データの取り込み停止がフレーム単位で行われ、ポーズ中も音声データのフレーム間隔が変えられないＡＶ記録装置において、ポーズ時に生ずるＡＶ同期ずれを解消することができるため、ポーズ解除後においても視聴者が違和感を感じない。
【図面の簡単な説明】
【図１】本発明に係るＡＶ記録装置のシステム構成を示す図である。
【図２】メインＣＰＵからのＳＴＡＲＴ指示による処理のフローチャートである。
【図３】ＳＴＡＲＴ時のデータ入力開始タイミングと時間情報のつけ方を示した図である。
【図４】音声データ提供定常時のＰＴＳをつける処理のフローチャートである。
【図５】映像データ提供定常時のＰＴＳをつける処理のフローチャートである。
【図６】ポーズ時の処理のフローチャートである。
【図７】ポーズ時のデータ入力一時停止タイミングと時間情報の管理を示した図である。
【図８】ポーズ中の処理のフローチャートである。
【図９】ポーズ中の音声データと映像データのずれ測定を示した図である。
【図１０】ポーズ解除時の処理のフローチャートである。
【図１１】ポーズ解除時のＡＶ同期ずれの計算（測定中の場合）を示した図である。
【図１２】ポーズ解除時のＡＶ同期ずれの計算（測定中でない場合）を示した図である
【図１３】映像データの入力再開を１フレーム遅らせる処理により、ＡＶ同期のずれを解消する処理を説明するための図である。
【図１４】音声データの入力再開を１フレーム遅らせる処理により、ＡＶ同期のずれを解消する処理を説明するための図である。
【図１５】従来のＡＶ記録装置のシステム構成を示す図である。
【図１６】ポーズ及びポーズ解除処理に伴う従来のＡＶ記録装置の問題点を示した図である。
【符号の説明】
１，１ａ…メインＣＰＵ、２，２ａ…入力データ制御部、２１，２１ａ…音声／映像制御部、２２，２２ａ…音声入力制御ハードウェア、２３，２３ａ…音声用データメモリ、２４，２４ａ…時間情報発生ハードウェア、２５，２５ａ…映像用データメモリ、２６，２６ａ…映像入力制御ハードウェア、３，３ａ…システムエンコード部、３１，３１ａ…音声エンコード部、３２，３２ａ…マルチプレクサ部、３３，３３ａ…映像エンンコード部
【発明の属する技術分野】
本発明は映像データおよび音声データの記録装置および記録方法に関する。特に、映像データおよび音声データの一時停止（ポーズ）時のＡＶ同期技術に関する。
【０００２】
【従来の技術】
映像データと音声データの記録装置（以下、ＡＶ記録装置）、例えば、ＭＰＥＧのエンコーダの入力装置においては、映像データと音声データの入力信号のフレーム長（フレーム周期）が異なる場合が一般的である。また、音声データ及び映像データの取り込み周期がそれぞれフレーム単位で行われる点に特徴がある。
以下、このような従来のＡＶ記録装置の構成及び作用について説明する。
【０００３】
図１５は従来のＡＶ記録装置のシステム構成図である。
このシステムは、メインＣＰＵ１ａから制御指示を受ける入力データ制御部２ａ及びシステムエンコード部３ａから構成される。
入力データ制御部２ａは、メインＣＰＵ１ａからの制御指示を音声／映像制御部２１ａが受け、時間情報発生ハードウェア２４ａからの時間情報に基づき、音声入力制御ハードウェア２２ａ、映像入力制御ハードウェア２６ａに対する制御を行う。
【０００４】
音声／映像制御部２１ａは、音声入力制御ハードウェア２２ａに制御指示を出すことで、音声データの入力制御を行い、入力された音声データは、音声用データメモリ２３ａに格納される。また、音声／映像制御部２１ａは、映像入力制御ハードウェア２６ａに制御指示を出すことで、映像データの入力制御を行い、入力された映像データは、映像用データメモリ２５ａに格納される。
入力データ制御部２ａは、時間情報発生ハードウェア２４ａからの時間情報に基づき、システムエンコード部３ａに、時間情報ＰＴＳ（Presentation Time Stamp)を付加した音声データおよびＰＴＳを付加した映像データを提供する。
【０００５】
システムエンコード部３ａは、メインＣＰＵ１ａからの制御指示により制御される。音声エンコード部３１ａは、入力データ制御部２ａからのＰＴＳを付加した音声データをエンコードし、符号化する。映像エンコード部３３ａは、入力データ制御部２ａからのＰＴＳを付加した映像データをエンコードし、符号化する。マルチプレクサ部３２ａは、音声エンコード部３１ａと映像エンコード部３３ａにより符号化されたデータを多重化し、ビットストリームを生成する。
【０００６】
【発明が解決しようとする課題】
しかしながら、ＭＰＥＧのエンコーダを含むＡＶ記録装置では、ハードウエア上の制約から映像データと音声データのフレーム周期を変えられないことも多い。そのような場合に、映像データのフレームを基準にポーズ処理を行った時には、その後にポーズ解除を行ったときに、映像データに対する音声データのずれが発生するという問題（ＡＶ同期ずれ）がある。かかる問題に対し、適切な処置を行わない場合には同期のずれが蓄積され、視聴者に異和感となって知覚されることとなる。
【０００７】
以下、従来の問題点を図１６を用いて具体的に説明する。
図１６は、ポーズおよびポーズ解除の制御を行ったときのＡＶ同期ずれの例を示す図である。
【０００８】
図１５に示した従来のＡＶ記録装置においては、データの取り込み制御はフレーム単位でしか区切ることができず、またポーズ中も映像データと音声データのフレーム周期を変えることができない。
メインＣＰＵ１ａからポーズ指示を受けると、入力データ制御部２ａにおいてポーズ指示が反映されるのは、映像データ１のフレームの切れ目の時刻ｔ１６１である。音声データは、時刻ｔ１６１ではフレーム周期の途中であり、音声フレーム周期が変わったときにポーズ指示が反映されてポーズ状態になるので、ポーズ時映像データと音声データの差分ｔｐ１６１が生じる。
【０００９】
ポーズ中は、映像データのフレーム周期及び音声データのフレーム周期はそのまま変わらず、ポーズ時の映像データと音声データの差分ｔｐ１６１は生じたまま補正されていない状態である。
ＣＰＵ１ａからポーズ解除指示を受けると、入力データ制御部２ａにおいて、ポーズ解除指示が反映されるのは、映像データｎの入力開始である時刻ｔ１６２のタイミングである。ここで、ポーズ解除時に、ポーズ時の映像データと音声データの差分ｔｐ１６１を考慮して映像データに対する音声データの位相を合わせれば、ＡＶ同期のずれは生じない。
【００１０】
しかしながら、映像データと音声データのフレーム周期の差により、ポーズ解除の時刻ｔ１６２から音声入力データｎの入力開始時刻までの差分ｔｐ１６２が、ポーズ解除時の音声データと映像データの差分として発生するため、結果として、時刻ｔ１６１と時刻ｔｐ１６２からポーズ解除時にＡＶ同期のずれｔｐ１６３が生じる。
特に、映像データと音声データのフレーム周期が変えられない場合には、上記のずれ分ｔｐ１６３がポーズ指示毎に累積される可能性があり、このようなポーズ処理に伴うＡＶ同期のずれを解消することが要望される。
本発明は、かかる問題点に鑑みてなされたものであり、映像データと音声データのフレーム長が異なり、しかも映像データと音声データのフレーム長を変えられないＡＶ記録装置において、ＡＶ同期ずれを起こさないＡＶ同期処理装置および方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明によれば、それぞれ異なる所定のフレーム長を持つ映像データと音声データを入力し、ＡＶ同期処理を行った前記映像データと前記音声データを、時間情報を付加してエンコーダに供給するＡＶ同期処理装置であって、所定の周期に基づいて時間を計測するタイマ手段と、前記タイマ手段に基づいて、前記入力した映像データと音声データの各フレームの開始時刻、前記ポーズ要求および前記ポーズ解除要求があった時刻を記憶する時間記憶手段と、前記記憶した映像データと音声データの各フレームの開始時刻、ポーズ要求時刻またはポーズ解除要求の時刻に基づいて、前記ポーズ解除要求後に映像データと音声データのいずれかをフレーム単位で遅らせるか、またはいずれも遅らせないかを決定する、制御手段とを有し、
前記制御手段は、前記ポーズ指示があった時、映像データのフレームの切れ目を基準として、音声データのフレームの遅れ時間であるポーズ時音声遅れ時間を算出し、前記ポーズ指示後において、前記映像データの各フレームの開始時刻毎に、前記映像データに対する前記音声データのフレーム開始時刻の差分であるポーズ中ＡＶ差分値を算出し、前記算出したポーズ時音声遅れ時間と前記ポーズ中ＡＶ差分値に基づいて、前記ポーズ解除後に補正されるべきポーズ解除時音声補正値を算出し、複数のポーズ指示のそれぞれにおいて、前記ポーズ解除時音声補正値を累積した累積音声ずれ補正値により、前記ポーズ解除要求後に前記映像データと前記音声データのいずれかをフレーム単位で遅らせるか、またはいずれも遅らせないかを決定する、ＡＶ同期処理装置が提供される。
好ましくは、前記制御手段は、前記ポーズ解除要求があったときに、前記累積音声ずれ補正値に基づいて、前記音声データのフレームが前記映像データのフレームに対して進んでいると判断した場合、前記ポーズ解除後に前記音声データを前記映像データに対して１フレーム分遅らせて入力する。
また好ましくは、前記制御手段は、前記ポーズ解除要求があったときに、前記累積音声ずれ補正値に基づいて、前記音声データのフレームが前記映像データのフレームに対して１フレーム分以上遅れていると判断した場合、前記ポーズ解除後に前記映像データを前記音声データに対して１フレーム分遅らせて入力する。
また本発明によれば、それぞれ異なる所定のフレーム長を持つ映像データと音声データを入力し、ＡＶ同期処理を行った前記映像データと前記音声データを、時間情報を付加してエンコーダに供給するＡＶ同期処理方法であって、所定の周期に基づいて時刻を計測する工程と、前記計測した時刻に基づいて、前記入力した映像データと音声データの各フレームの開始時刻、前記ポーズ要求および前記ポーズ解除要求があった時刻を記憶する工程と、前記記憶した映像データと音声データの各フレームの開始時刻、前記ポーズ要求および前記ポーズ解除要求の時刻に基づいて、前記ポーズ解除要求後に映像データと音声データのいずれかをフレーム単位で遅らせるか、またはいずれも遅らせないかを決定する、制御工程とを有し、
前記制御工程において、前記ポーズ指示があった時、前記映像データのフレームの切れ目を基準として、前記音声データのフレームの遅れ時間であるポーズ時音声遅れ時間を算出し、前記ポーズ指示後において、前記映像データの各フレームの開始時刻毎に、前記映像データに対する前記音声データのフレームの開始時刻の差分であるポーズ中ＡＶ差分値を算出し、前記算出したポーズ時音声遅れ時間と前記ポーズ中ＡＶ差分値に基づいて、前記ポーズ解除後に補正されるべきポーズ解除時音声補正値を算出し、複数のポーズ指示のそれぞれにおいて、前記ポーズ解除時音声補正値を累積した累積音声ずれ補正値により、前記ポーズ解除要求後に前記映像データと前記音声データのいずれかをフレーム単位で遅らせるか、またはいずれも遅らせないかを決定する、ＡＶ同期処理方法が提供される。
また本発明によれば、それぞれ異なる所定のフレーム長を持つ映像データと音声データを入力して、ＡＶ同期処理を行い、時間情報を付加してエンコーダに供給し、前記エンコーダでは前記映像データと前記音声データと前記時間情報をコード化して多重化したビットストリームを出力するＡＶ記録装置であって、所定の周期に基づいて時間を計測するタイマ手段と、前記タイマ手段に基づいて、前記入力した映像データと音声データの各フレームの開始時刻、前記ポーズ要求および前記ポーズ解除要求があった時刻を記憶する時間記憶手段と、前記ポーズ指示があった時、映像データのフレームの切れ目を基準として、音声データのフレームの遅れ時間であるポーズ時音声遅れ時間を算出し、前記ポーズ指示後において、前記映像データの各フレームの開始時刻毎に、前記映像データのフレームに対する前記音声データのフレーム開始時刻の差分であるポーズ中ＡＶ差分値を算出し、前記算出したポーズ時音声遅れ時間と前記ポーズ中ＡＶ差分値に基づいて、前記ポーズ解除後に補正されるべきポーズ解除時音声補正値を算出し、複数のポーズ指示のそれぞれにおいて、前記ポーズ解除時音声補正値を累積した累積音声ずれ補正値により、前記ポーズ解除要求後に前記映像データと前記音声データのいずれかをフレーム単位で遅らせるか、またはいずれも遅らせないかを決定するＡＶ同期処理手段と、前記映像データと前記音声データの各フレームの開始時刻に基づいて、前記映像データと前記音声データの時間情報を管理する時間情報管理手段と、を有する、ＡＶ記録装置が提供される。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について、添付図面を参照して説明する。
図１は、本発明に係るＡＶ記録装置のシステム構成の実施の形態である。
図１のＡＶ記録装置は、図１５の従来のＡＶ記録装置と比較して、システム構成が同一であるが、音声／映像制御部２１における制御に特徴がある。
【００１３】
以下、順を追って、音声／映像制御部２１における、メインＣＰＵ１からのＳＴＡＲＴ指示に基づく処理、定常時における処理、メインＣＰＵ１からのポーズ指示に基づく処理、ポーズ中における処理、メインＣＰＵ１からのポーズ解除指示に基づく処理、そしてポーズ及びポーズ解除指示よりに生じるＡＶ同期ずれを解消する処理について説明する。
【００１４】
まず、メインＣＰＵ１からのＳＴＡＲＴ指示に基づく、音声／映像制御部２１で行われる処理について説明する。
図２は、音声／映像制御部２１がメインＣＰＵ１からＳＴＡＲＴ指示を受けた場合の処理を表すフローチャートである。
ここで、音声／映像制御部２１は、メインＣＰＵ１からＳＴＡＲＴ指示を受けると、時間情報発生ハードウェア２４から時間情報を取得し、ＳＴＣ＿ｏｆｆｓｅｔとして図示しないメモリに格納する。なお、時間情報発生ハードウェア２４は、例えば、９０ｋＨｚの時間情報を発生するハードウェアである。
【００１５】
図２に入力データ制御部２におけるメインＣＰＵ１からのＳＴＡＲＴ指示の処理フローを示す。
図２において、音声／映像制御部２１は、メインＣＰＵ１からＳＴＡＲＴ指示を受け取ると、映像データのフレームの切れ目を待ち、映像データのフレームの切れ目を検出すると（ＳＴ２１）、時間情報発生ハードウェア２４から時間情報を取得し、その情報をＳＴＣ＿ｏｆｆｓｅｔとして保存する（ＳＴ２２）。
次に、映像入力制御ハードウェア２６に映像データの入力開始指示を行い（ＳＴ２３）、さらに音声入力制御ハードウェア２２に音声データの入力開始指示を行い（ＳＴ２４）、ＣＰＵ１からのＳＴＡＲＴ指示における処理が終了する。
【００１６】
図３は、図２で示したメインＣＰＵ１からのＳＴＡＲＴ指示の処理フローチャートに基づいて、入力データ制御部２におけるＳＴＡＲＴ時のデータ入力開始タイミングと時間情報ＰＴＳのつけ方を示したものである。
メインＣＰＵ１からＳＴＡＲＴ指示を受けると、入力データ制御部２の音声／映像制御部２１は、映像のフレームを基準として、映像データと音声データの入力を開始する。そして、開始したときの時刻ｔ３１を時間情報ハードウェア２４から取得し、ＳＴＣ＿ｏｆｆｓｅｔとして保存する。
【００１７】
その後は、映像データおよび音声データそれぞれのフレームの切れ目において、時間情報ハードウェア２４から現在時刻を逐次取得し、ＳＴＡＲＴ時のＳＴＣ＿ｏｆｆｓｅｔ（ｔ３１）を引いた値をＰＴＳとして、システムエンコード部３に出力する。
例えば、図３においては、映像データフレームの切れ目を検出すると、時間情報ハードウェア２４から時刻ｔ３２を取得し、システムエンコード部３には、映像入力データとともに映像データのＰＴＳを通知する。同様に音声データフレームの切れ目を検出すると、時間情報ハードウェア２４から時刻ｔ３３を取得し、システムエンコード部３には、音声データとともに音声データのＰＴＳを通知する。
【００１８】
次に、メインＣＰＵ１からのＳＴＡＲＴ指示の処理後の定常時の処理について説明する。
図４は、入力データ制御部２がシステムエンコード部３に音声データを提供する際の、ＰＴＳを付加する処理のフローチャートを示したものである。
音声／映像制御部２１は、音声データのフレームの切れ目を検出すると（ＳＴ４１）、時間情報発生ハードウェア２４から時間情報の取得と保存を行う（ＳＴ４２）。そして、ＳＴＡＲＴ時に保存したＳＴＣ＿ｏｆｆｓｅｔと現在取得した時間情報から音声ＰＴＳを決定する（ＳＴ４３）。最後に、システムエンコード部３の音声エンコード部３１に、音声フレームデータにＰＴＳ情報を付加した情報を通知する（ＳＴ４４）。
以上の処理を定常処理時、音声入力フレーム毎に行う。
【００１９】
図５は、入力データ制御部２がシステムエンコード部３に映像データを提供する際の、ＰＴＳを付加する処理のフローチャートを示したものである。
音声／映像制御部２１は、映像データのフレームの切れ目を検出すると（ＳＴ５１）、時間情報発生ハードウェア２４から時間情報の取得と保存を行う（ＳＴ５２）。そして、ＳＴＡＲＴ時に保存したＳＴＣ＿ｏｆｆｓｅｔと現在取得した時間情報から映像ＰＴＳを決定する（ＳＴ５３）。最後に、システムエンコード部３の映像エンコード部３３に、映像フレームデータにＰＴＳ情報を付加した情報を通知する（ＳＴ５４）。
以上の処理を定常処理時、映像入力フレーム毎に行う。
【００２０】
上記の処理のフローチャートならびにタイミングに従って、入力データの入力開始ができ、定常状態において、ＰＴＳを付加したＡＶ同期のとれた音声データと映像データを入力データ制御部２からシステムエンコード部３に提供できるようになる。
【００２１】
次に、メインＣＰＵ１からのポーズ指示の処理について説明する。
図６は、メインＣＰＵ１からのポーズ指示に基づく音声／映像制御部２１における処理のフローチャートを示したものである。
ここで、メインＣＰＵ１からポーズ指示を受けたとき、音声／映像制御部２１が時間情報発生ハードウェア２４から取得する時間情報を格納する変数を、ｐａｕｓｅ＿ＳＴＣ＿ｏｆｆｓｅｔとしている。
【００２２】
音声／映像制御部２１は、メインＣＰＵ１からポーズ指示を受け取ると、映像データのフレームの切れ目を待ち、映像データのフレームの切れ目を検出すると（ＳＴ６１）、時間情報発生ハードウェア２４から時間情報を取得し、ｐａｕｓｅ＿ＳＴＣ＿ｏｆｆｓｅｔとして保存する（ＳＴ６２）。さらに、映像入力制御ハードウェア２６に映像データの入力停止指示を行い（ＳＴ６３）、時間情報ハードウェア２４から時間情報を取得し、音声データと映像データのずれ時間測定を開始する（ＳＴ６４）。
次に、音声データのフレームの切れ目を待ち、音声フレームの切れ目を検出すると（ＳＴ６５）、時間情報発生ハードウェア２４から時間情報の取得を行い、音声データと映像データのずれ時間測定を終了する（ＳＴ６６）。同時に、音声データと映像データのずれ時間であるポーズ時音声遅れ時間ｄｅｌａｙを保存する（ＳＴ６７）。さらに、音声データの入力停止指示を行って（ＳＴ６８）、メインＣＰＵ１からのポーズ指示における処理が終了する。
【００２３】
図７は、ポーズ時のデータ入力一時停止タイミングと時間情報の管理を示したものである。
図７において、メインＣＰＵ１からポーズ指示を受けると、音声／映像制御部２１は、映像データのフレームを基準として、映像データの入力を停止する。このときの時間情報ハードウェア２４から取得した時刻ｔ７１をｐａｕｓｅ＿ＳＴＣ＿ｏｆｆｓｅｔとして保存する。映像データ入力を一時停止した時刻ｔ７１から、次に音声データのフレームの切れ目を検出した時、時間情報ハードウェア２４から時刻ｔ７２を取得し、ポーズ時音声遅れ時間ｄｅｌａｙを保存し、音声データの入力一時停止を行う。
【００２４】
次に、メインＣＰＵ１からのポーズ指示処理後（図７において時刻ｔ７２以降）における、ポーズ中の処理について説明する。
ポーズ中は、音声データと映像データのずれであるポーズ中ＡＶ差分値ｃｏｕｎｔの測定を行う。
図８は、ポーズ中の音声／映像制御部２１の処理のフローチャートを示したものである。
【００２５】
図８において、まず現在ポーズ中であるか否かの判定を行い（ＳＴ８１）、ポーズ中であれば、音声データのフレームの切れ目を待ち、音声のフレームの切れ目を検出すると（ＳＴ８２）、時間情報発生ハードウェア２４から時間情報を取得して保存し、音声データと映像データのずれ時間測定を開始する（ＳＴ８３）。
次に映像データのフレームの切れ目を待ち、映像のフレームの切れ目を検出すると（ＳＴ８４）、時間情報発生ハードウェア２４から時間情報を取得して保存し、音声データと映像データのずれ時間測定を終了する（ＳＴ８５）。
そして、ＳＴ８３における音声データと映像データのずれ時間測定開始時刻と、ＳＴ８５における音声データと映像データのずれ時間測定終了時刻から、ポーズ中ＡＶ差分値ｃｏｕｎｔを保存する（ＳＴ８６）。
以上の処理をポーズ中に繰り返し行い、ポーズ中ＡＶ差分値ｃｏｕｎｔの測定を続ける。ポーズ中ＡＶ差分値ｃｏｕｎｔは、音声／映像制御部２１内のメモリに上書きされていくため、ポーズ中における最新の音声データと映像データのずれ時間を示している。ここで、最新のポーズ中ＡＶ差分値を算出しているのは、いつポーズ解除指示があるか不明であり、その指示に備える必要があるためである。
【００２６】
図９は、図８のフローチャートをもとに説明したポーズ中ＡＶ差分値ｃｏｕｎｔの測定方法を、図示したものである。
音声データの切れ目を検出すると、音声／映像制御部２１は、時間情報ハードウェア２４から時間情報ｔ９１を取得し、音声データと映像データのずれ時間測定を開始する。
次に映像データの切れ目を検出すると、音声／映像制御部２１は、時間情報ハードウェア２４から時間情報ｔ９２を取得し、音声データと映像データのずれ時間測定（ｔ９２ーｔ９１）を行う。ここで、測定された音声データと映像データのずれ時間が、ポーズ中ＡＶ差分値ｃｏｕｎｔになる。
この制御をポーズ中、音声データを基準に繰り返し行い、常に最新のポーズ中ＡＶ差分値ｃｏｕｎｔを保存する。図９においては、ポーズ中ＡＶ差分値ｃｏｕｎｔの最新値は、時刻ｔ９５と時刻ｔ９６の差分（ｔ９６ーｔ９５）である。
【００２７】
次に、メインＣＰＵ１からのポーズ解除指示の処理について説明する。
メインＣＰＵ１からポーズ解除指示があった時に、ポーズ指示があった時とポーズ中に測定した音声データと映像データのずれに基づいて、音声／映像制御部２１が、音声データの入力再開を遅らせるか、映像データの入力再開を遅らせるか、またはどちらも遅らせないかを決定し、ＡＶ同期のずれを解消する方法を以下に述べる。
図１０は、メインＣＰＵ１からポーズ解除指示があった時の、音声／映像制御部２１で行われる処理のフローチャートである。
なお、図１０のフローチャートにおける変数ｄｉｆｆは、ポーズ時とポーズ解除時における音声データと映像データのずれであるポーズ解除時音声補正値を表している。また、図１０のフローチャートにおけるｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙは、映像データに対する音声データのずれを蓄積していく変数である累積音声ずれ補正値であり、システム初期化時において０に初期化される。
また、既に述べたとおり、ポーズ中ＡＶ差分値ｃｏｕｎｔは映像データフレームの切れ目のタイミングで更新される。従って、時間軸において、音声データのフレームの切れ目から映像データのフレームの切れ目までの時間が、図１０のフローチャートにおいて、「音声データと映像データのずれ時間測定中」であることを意味している。
例えば、図９の横向きの矢印で示した時間が、音声データと映像データのずれ時間測定中であることを意味しており、それ以外の時間は音声データと映像データのずれ時間測定中ではないことを意味している。
【００２８】
図１０において、音声／映像制御部２１は、メインＣＰＵ１からポーズ解除指示を受け取ると、映像データのフレームの切れ目を待ち、映像データのフレームの切れ目を検出すると（ＳＴ１０１）、ＳＴＣ＿ｏｆｆｓｅｔの更新を行う（ＳＴ１０２）。
その後、音声データと映像データのずれ時間測定中であるか否かの判定を行い（ＳＴ１０３）、音声データと映像データのずれ時間測定中であれば、後述の図１１に示す計算により、ポーズ時とポーズ解除時の音声データと映像データのずれ時間であるポーズ解除時音声補正値ｄｉｆｆを求める（ＳＴ１０４）。測定中でなければ、後述の図１２に示す計算により、ポーズ解除時音声補正値ｄｉｆｆを求める（ＳＴ１０５）。
ポーズ解除時音声補正値ｄｉｆｆの詳細については後述するが、ポーズ時音声遅れ時間ｄｅｌａｙとポーズ中ＡＶ差分値ｃｏｕｎｔに基づいて、そのポーズ処理において、ポーズ解除時において補正されるべき映像データに対する音声データのずれを表している。ポーズ解除時音声補正値ｄｉｆｆが正の値の時は、映像データに対して音声データが遅れていることを意味し、ポーズ解除時音声補正値ｄｉｆｆが負の時は、映像データに対して音声データが進んでいることを意味している。
【００２９】
次に、ステップＳＴ１０４またはステップＳＴ１０５で求められたポーズ解除時音声補正値ｄｉｆｆを、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙに加算する（ＳＴ１０６）。
従って、システム起動時に初期値０である累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙは、システム動作中の間、複数のポーズ処理に対して、逐次ステップＳＴ１０６において累積加算される。ポーズ解除時音声補正値ｄｉｆｆは各ポーズ処理時に補正されるべき音声データのずれ分であるのに対し、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙは、各回のポーズ解除時音声補正値ｄｉｆｆを加算した累積値となるため、これが実際に補正されるべき映像データに対する音声データ補正値となる。
ステップＳＴ１０７以降は、システム動作中ポーズ処理毎に累積される累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙの値に基づいて、ＡＶ同期のずれをどのように制御するか、具体的には映像データに対する音声データのずれを補正すべきか否か、及び、補正する場合は音声データと映像データのどちらを遅らせるかについて決定する処理である。
【００３０】
まず、ステップＳＴ１０７において、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが負、つまり音声データが進んでいる時には、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙに映像データの１フレーム長の時間を加算した（ＳＴ１０８）うえで、実際に映像データの再開を１フレーム遅らせる処理を行う。映像データの再開を１フレーム遅らせる処理は、映像データのフレーム切れ目を検出するまで映像データの入力再開を待つことにより実現される（ＳＴ１０９）。
映像フレームの切れ目を検出すると、映像データの入力を再開する（ＳＴ１１０）。
【００３１】
ステップＳＴ１０７において、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが負でない場合、つまり音声データが同じか遅れている時には、映像データは遅らせることなくそのまま入力を再開し（ＳＴ１１０）、ステップＳＴ１１１へ進む。
ステップＳＴ１１１においては、正である累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが１音声データフレーム以上である場合には、音声データの再開を遅らせる必要があるため、ステップＳＴ１１２以降に進む。
累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが、正ではあるが１音声データフレーム未満の場合には、音声データを遅らせることなく再開させる（ＳＴ１１４）。
ステップＳＴ１１２では、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙに音声データの１フレーム長の時間を減算した（ＳＴ１１２）うえで、実際に音声データの再開を１フレーム遅らせる処理を行う。この音声データの再開を１フレーム遅らせる処理は、音声データのフレーム切れ目を検出するまで音声データの入力再開を待つことにより実現される（ＳＴ１１３）。
音声フレームの切れ目を検出すると、映像データの入力を再開する（ＳＴ１１４）。
【００３２】
次に、図１０のフローチャートのステップＳＴ１０４及びＳＴ１０５において算出しているポーズ解除時音声補正値ｄｉｆｆについて、その算出方法を図１１及び図１２により具体的に説明する。
図１１は、ポーズ中のずれ時間測定中の場合に、図１０のフローチャートに基づいて行われるポーズ解除時音声補正値ｄｉｆｆの計算を図示したものである。
これは、ポーズ中のずれ時間測定中の場合、すなわち、メインＣＰＵ１から音声／映像制御部２１に対するポーズ解除指示が、音声データのフレームの切れ目から映像データのフレームの切れ目の間に行われたため、そのポーズ解除指示後に求められるポーズ中ＡＶ差分値ｃｏｕｎｔの値を用いて、ポーズ解除時音声補正値ｄｉｆｆを算出する場合である。
以下、図１１に従って、ポーズ解除時音声補正値ｄｉｆｆを算出するために、図１０のステップＳＴ１０４で行われる手順について説明する。
【００３３】
音声／映像制御部２１は、メインＣＰＵ１からポーズ解除指示を受け取ると、映像のフレーム周期に合わせて、時間情報ハードウェア２４から時刻ｔ１１１を取得し、ポーズ指示時に保存していたｐａｕｓｅ＿ＳＴＣ＿ｏｆｆｓｅｔを基準としてＳＴＣ＿ｏｆｆｓｅｔを再設定する。
また、時刻ｔ１１１のタイミングにおいて、ポーズ中ＡＶ差分値ｃｏｕｎｔの測定も行われる。
ここで、ｄｅｌａｙは、すでに述べたとおり、ポーズ時における音声データと映像データのずれ時間であるポーズ時音声遅れ時間であり、ポーズ時に算出し保持していたデータである。また、ａｕｄｉｏ＿ｆｒａｍｅ＿ｔｉｍｅは、音声データのフレーム周期である。
図１１から明らかなように、下式（１）によりポーズ解除時音声補正値ｄｉｆｆを求めることができる。
【００３４】
【数１】
ｄｉｆｆ＝ｄｅｌａｙ＋ｃｏｕｎｔ−ａｕｄｉｏ＿ｆｒａｍｅ＿ｔｉｍｅ…（１）
【００３５】
図１２は、ポーズ中のずれ時間測定中でない場合に、図１０のフローチャートに基づいて行われるポーズ解除時音声補正値ｄｉｆｆの計算を図示したものである。
これは、ポーズ中のずれ時間測定中の場合、すなわち、メインＣＰＵ１から音声／映像制御部２１に対するポーズ解除指示が、映像データのフレームの切れ目から音声データのフレームの切れ目の間に行われたため、そのポーズ解除指示前に求めたポーズ中ＡＶ差分値ｃｏｕｎｔの値を用いて、ポーズ解除時音声補正値ｄｉｆｆを算出する場合である。
以下、図１２に従って、ポーズ解除時音声補正値ｄｉｆｆを算出するために、図１０のステップＳＴ１０５で行われる手順について説明する。
【００３６】
音声／映像制御部２１が、メインＣＰＵ１からポーズ解除指示を受け取ると、映像のフレーム周期に合わせて、時間情報ハードウェア２４から時刻ｔ１２１を取得し、ポーズ指示時に保存していたｐａｕｓｅ＿ＳＴＣ＿ｏｆｆｓｅｔを基準としてＳＴＣ＿ｏｆｆｓｅｔを再設定する。
ここで、ｄｅｌａｙは、すでに述べたとおり、ポーズ時の音声データと映像データずれ時間であるポーズ時音声遅れ時間であり、ポーズ時に算出し保持していたデータである。
また、ａｕｄｉｏ＿ｆｒａｍｅ＿ｔｉｍｅは、音声データのフレーム周期である。
ｖｉｄｅｏ＿ｆｒａｍｅ＿ｔｉｍｅは、映像データのフレーム周期である。
図１２から明らかなように、下式（２）によりポーズ解除時音声補正値ｄｉｆｆを求めることができる。
【００３７】
【数２】
ｄｉｆｆ＝ｄｅｌａｙ＋ｃｏｕｎｔ−ａｕｄｉｏ＿ｆｒａｍｅ＿ｔｉｍｅ＋ｖｉｄｅｏ＿ｆｒａｍｅ＿ｔｉｍｅ …（２）
【００３８】
以上のようにして、ポーズ解除時音声補正値ｄｉｆｆが求められる。
【００３９】
次に、図１０のフローチャートを使って説明した、ポーズ解除時におけるＡＶ同期のずれを解消する処理について、図１３及び図１４を用いて具体的に説明する。
図１３は、映像データの入力再開を１フレーム遅らせる処理により、ＡＶ同期ずれを解消する処理を説明するための図である。
映像データの入力再開を遅らせる制御は、図１０のポーズ解除時のフローチャートに従ってすでに述べたとおり、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが負であるため（ＳＴ１０７）、ＡＶ同期ずれの補正を行い（ＳＴ１０８）、映像データのフレームの切れ目を見つけるまで、映像データの再開を１フレーム遅らせる処理を行う（ＳＴ１０９）ことにより実現される。
図１３において、音声／映像制御部２１がメインＣＰＵ１からのポーズ解除指示を受け取ると、映像データのフレームの切れ目を待ち、映像データのフレームの切れ目を検出すると（時刻ｔ１３１）、図１０の処理フローに基づき累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙを算出する。これが負であるため、１映像フレーム待ってから映像データの入力を再開する（時刻ｔ１３２）。
【００４０】
図１４は、音声データの入力再開を１フレーム遅らせる処理により、ＡＶ同期ずれを解消する処理を説明するための図である。
音声データの入力再開を遅らせる制御は、図１０のポーズ解除時のフローチャートに従ってすでに述べたとおり、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが１音声フレーム以上の場合に、ＡＶ同期ずれの補正を行い（Ｓｔ１１２）、音声データのフレームの切れ目を見つけるまで、音声データの再開を１フレーム遅らせる処理を行う（ＳＴ１１３）処理によって実現される。
図１４において、音声／映像制御部２１が、メインＣＰＵ１からのポーズ解除指示を受け取ると、映像データのフレームの切れ目を待ち、映像データのフレームの切れ目を検出すると（時刻ｔ１４１）、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが１音声フレームを超えているため、１音声フレーム待ってから音声データの入力を再開する（時刻ｔ１４２）。
【００４１】
図１０のフローチャートにおいて、ステップＳＴ１０７及びＳＴ１１１から明らかなように、蓄積音声ずれ時間ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが正であり１音声フレームを超えていない場合には、音声データ／映像データの入力再開のいずれも遅らせない。この場合には、この時ポーズ処理で生じた音声データと映像データのずれは、蓄積音声ずれ時間ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙに蓄積されていくことになる。
もっとも、音声データ／映像データの入力再開のいずれかを遅らせてＡＶ同期ずれの解消が行われた場合にも、図１０のステップＳＴ１０８及びＳＴ１１２の処理によって蓄積音声ずれ時間ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙは０にならないため、完全にＡＶ同期ずれが解消されることはない。
しかしながら、本発明に係るＡＶ記録装置によれば、当該ＡＶ記録装置が動作中において、蓄積ずれ時間ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが常に１音声データフレーム以内に収まることになるため、その差が視聴者に認識されることはなく、十分にＡＶ同期ずれを解消することが可能となる。
【００４２】
【発明の効果】
以上説明したように、本発明によれば、音声の入力データの取り込み停止がフレーム単位で行われ、ポーズ中も音声データのフレーム間隔が変えられないＡＶ記録装置において、ポーズ時に生ずるＡＶ同期ずれを解消することができるため、ポーズ解除後においても視聴者が違和感を感じない。
【図面の簡単な説明】
【図１】本発明に係るＡＶ記録装置のシステム構成を示す図である。
【図２】メインＣＰＵからのＳＴＡＲＴ指示による処理のフローチャートである。
【図３】ＳＴＡＲＴ時のデータ入力開始タイミングと時間情報のつけ方を示した図である。
【図４】音声データ提供定常時のＰＴＳをつける処理のフローチャートである。
【図５】映像データ提供定常時のＰＴＳをつける処理のフローチャートである。
【図６】ポーズ時の処理のフローチャートである。
【図７】ポーズ時のデータ入力一時停止タイミングと時間情報の管理を示した図である。
【図８】ポーズ中の処理のフローチャートである。
【図９】ポーズ中の音声データと映像データのずれ測定を示した図である。
【図１０】ポーズ解除時の処理のフローチャートである。
【図１１】ポーズ解除時のＡＶ同期ずれの計算（測定中の場合）を示した図である。
【図１２】ポーズ解除時のＡＶ同期ずれの計算（測定中でない場合）を示した図である
【図１３】映像データの入力再開を１フレーム遅らせる処理により、ＡＶ同期のずれを解消する処理を説明するための図である。
【図１４】音声データの入力再開を１フレーム遅らせる処理により、ＡＶ同期のずれを解消する処理を説明するための図である。
【図１５】従来のＡＶ記録装置のシステム構成を示す図である。
【図１６】ポーズ及びポーズ解除処理に伴う従来のＡＶ記録装置の問題点を示した図である。
【符号の説明】
１，１ａ…メインＣＰＵ、２，２ａ…入力データ制御部、２１，２１ａ…音声／映像制御部、２２，２２ａ…音声入力制御ハードウェア、２３，２３ａ…音声用データメモリ、２４，２４ａ…時間情報発生ハードウェア、２５，２５ａ…映像用データメモリ、２６，２６ａ…映像入力制御ハードウェア、３，３ａ…システムエンコード部、３１，３１ａ…音声エンコード部、３２，３２ａ…マルチプレクサ部、３３，３３ａ…映像エンンコード部
Claims (9)
- それぞれ異なる所定のフレーム長を持つ映像データと音声データを入力し、ＡＶ同期処理を行った前記映像データと前記音声データを、時間情報を付加してエンコーダに供給するＡＶ同期処理装置であって、
所定の周期に基づいて時間を計測するタイマ手段と、
前記タイマ手段に基づいて、前記入力した映像データと音声データの各フレームの開始時刻、前記ポーズ要求および前記ポーズ解除要求があった時刻を記憶する時間記憶手段と、
前記記憶した映像データと音声データの各フレームの開始時刻、ポーズ要求時刻またはポーズ解除要求の時刻に基づいて、前記ポーズ解除要求後に映像データと音声データのいずれかをフレーム単位で遅らせるか、またはいずれも遅らせないかを決定する、制御手段と
を有し、
前記制御手段は、
前記ポーズ指示があった時、映像データのフレームの切れ目を基準として、音声データのフレームの遅れ時間であるポーズ時音声遅れ時間を算出し、
前記ポーズ指示後において、前記映像データの各フレームの開始時刻毎に、前記映像データに対する前記音声データのフレーム開始時刻の差分であるポーズ中ＡＶ差分値を算出し、
前記算出したポーズ時音声遅れ時間と前記ポーズ中ＡＶ差分値に基づいて、前記ポーズ解除後に補正されるべきポーズ解除時音声補正値を算出し、
複数のポーズ指示のそれぞれにおいて、前記ポーズ解除時音声補正値を累積した累積音声ずれ補正値により、前記ポーズ解除要求後に前記映像データと前記音声データのいずれかをフレーム単位で遅らせるか、またはいずれも遅らせないかを決定する、
ＡＶ同期処理装置。 - 前記制御手段は、前記ポーズ解除要求があったときに、前記累積音声ずれ補正値に基づいて、前記音声データのフレームが前記映像データのフレームに対して進んでいると判断した場合、前記ポーズ解除後に前記音声データを前記映像データに対して１フレーム分遅らせて入力する
請求項１に記載のＡＶ同期処理装置。 - 前記制御手段は、前記ポーズ解除要求があったときに、前記累積音声ずれ補正値に基づいて、前記音声データのフレームが前記映像データのフレームに対して１フレーム分以上遅れていると判断した場合、前記ポーズ解除後に前記映像データを前記音声データに対して１フレーム分遅らせて入力する
請求項１に記載のＡＶ同期処理装置。 - それぞれ異なる所定のフレーム長を持つ映像データと音声データを入力し、ＡＶ同期処理を行った前記映像データと前記音声データを、時間情報を付加してエンコーダに供給するＡＶ同期処理方法であって、
所定の周期に基づいて時刻を計測する工程と、
前記計測した時刻に基づいて、前記入力した映像データと音声データの各フレームの開始時刻、前記ポーズ要求および前記ポーズ解除要求があった時刻を記憶する工程と、
前記記憶した映像データと音声データの各フレームの開始時刻、前記ポーズ要求および前記ポーズ解除要求の時刻に基づいて、前記ポーズ解除要求後に映像データと音声データのいずれかをフレーム単位で遅らせるか、またはいずれも遅らせないかを決定する、制御工程と
を有し、
前記制御工程において、
前記ポーズ指示があった時、前記映像データのフレームの切れ目を基準として、前記音声データのフレームの遅れ時間であるポーズ時音声遅れ時間を算出し、
前記ポーズ指示後において、前記映像データの各フレームの開始時刻毎に、前記映像データに対する前記音声データのフレームの開始時刻の差分であるポーズ中ＡＶ差分値を算出し、
前記算出したポーズ時音声遅れ時間と前記ポーズ中ＡＶ差分値に基づいて、前記ポーズ解除後に補正されるべきポーズ解除時音声補正値を算出し、
複数のポーズ指示のそれぞれにおいて、前記ポーズ解除時音声補正値を累積した累積音声ずれ補正値により、前記ポーズ解除要求後に前記映像データと前記音声データのいずれかをフレーム単位で遅らせるか、またはいずれも遅らせないかを決定する、
ＡＶ同期処理方法。 - 前記制御工程において、前記ポーズ解除要求があったときに、前記累積音声ずれ補正値に基づいて、前記音声データのフレームが前記映像データのフレームに対して１フレーム分以上遅れていると判断した場合、前記ポーズ解除後に前記映像データを前記音声データに対して１フレーム分遅らせて入力する、
請求項４に記載のＡＶ同期処理方法。 - 前記制御工程において、前記ポーズ解除要求があったときに、前記累積音声ずれ補正値に基づいて、前記音声データのフレームが前記映像データのフレームに対して１フレーム分以上遅れていると判断した場合、前記ポーズ解除後に前記映像データを前記音声データに対して１フレーム分遅らせて入力する
請求項４に記載のＡＶ同期処理方法。 - それぞれ異なる所定のフレーム長を持つ映像データと音声データを入力して、ＡＶ同期処理を行い、時間情報を付加してエンコーダに供給し、前記エンコーダでは前記映像データと前記音声データと前記時間情報をコード化して多重化したビットストリームを出力するＡＶ記録装置であって、
所定の周期に基づいて時間を計測するタイマ手段と、
前記タイマ手段に基づいて、前記入力した映像データと音声データの各フレームの開始時刻、前記ポーズ要求および前記ポーズ解除要求があった時刻を記憶する時間記憶手段と、
前記ポーズ指示があった時、映像データのフレームの切れ目を基準として、音声データのフレームの遅れ時間であるポーズ時音声遅れ時間を算出し、前記ポーズ指示後において、前記映像データの各フレームの開始時刻毎に、前記映像データのフレームに対する前記音声データのフレーム開始時刻の差分であるポーズ中ＡＶ差分値を算出し、前記算出したポーズ時音声遅れ時間と前記ポーズ中ＡＶ差分値に基づいて、前記ポーズ解除後に補正されるべきポーズ解除時音声補正値を算出し、複数のポーズ指示のそれぞれにおいて、前記ポーズ解除時音声補正値を累積した累積音声ずれ補正値により、前記ポーズ解除要求後に前記映像データと前記音声データのいずれかをフレーム単位で遅らせるか、またはいずれも遅らせないかを決定するＡＶ同期処理手段と、
前記映像データと前記音声データの各フレームの開始時刻に基づいて、前記映像データと前記音声データの時間情報を管理する時間情報管理手段と、
を有する、ＡＶ記録装置。 - 前記ＡＶ同期処理手段は、前記ポーズ解除要求があったときに、前記累積音声ずれ補正値に基づいて、前記音声データのフレームが前記映像データのフレームに対して１フレーム分以上遅れていると判断した場合、前記ポーズ解除後に前記映像データを前記音声データに対して１フレーム分遅らせて入力する、
請求項７に記載のＡＶ記録装置。 - 前記ＡＶ同期処理手段は、前記ポーズ解除要求があったときに、前記累積音声ずれ補正値に基づいて、前記音声データのフレームが前記映像データのフレームに対して１フレーム分以上遅れていると判断した場合、前記ポーズ解除後に前記映像データを前記音声データに対して１フレーム分遅らせて入力する、
請求項７に記載のＡＶ記録装置。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003168019A JP4305065B2 (ja) | 2003-06-12 | 2003-06-12 | Ａｖ同期処理装置および方法ならびにａｖ記録装置 |
| KR1020057022680A KR101006593B1 (ko) | 2003-06-12 | 2004-06-03 | 영상 데이터와 음성 데이터의 기록 장치 |
| CNB2004800160768A CN100521766C (zh) | 2003-06-12 | 2004-06-03 | 记录视频数据和音频数据的设备 |
| US10/559,419 US7738772B2 (en) | 2003-06-12 | 2004-06-03 | Apparatus and method for synchronizing video data and audio data having different predetermined frame lengths |
| EP04735991A EP1633138B1 (en) | 2003-06-12 | 2004-06-03 | Device for recording video data and audio data |
| PCT/JP2004/008053 WO2004112391A1 (ja) | 2003-06-12 | 2004-06-03 | 映像データと音声データの記録装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003168019A JP4305065B2 (ja) | 2003-06-12 | 2003-06-12 | Ａｖ同期処理装置および方法ならびにａｖ記録装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005006095A JP2005006095A (ja) | 2005-01-06 |
| JP4305065B2 true JP4305065B2 (ja) | 2009-07-29 |
Family
ID=33549324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003168019A Expired - Fee Related JP4305065B2 (ja) | 2003-06-12 | 2003-06-12 | Ａｖ同期処理装置および方法ならびにａｖ記録装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7738772B2 (ja) |
| EP (1) | EP1633138B1 (ja) |
| JP (1) | JP4305065B2 (ja) |
| KR (1) | KR101006593B1 (ja) |
| CN (1) | CN100521766C (ja) |
| WO (1) | WO2004112391A1 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100762608B1 (ko) * | 2004-04-06 | 2007-10-01 | 마쯔시다덴기산교 가부시키가이샤 | 음성 재생 장치, 음성 재생 방법 및 프로그램 |
| JP4560788B2 (ja) * | 2005-05-26 | 2010-10-13 | カシオ計算機株式会社 | カメラ装置及び録画装置並びにプログラム |
| JP4665719B2 (ja) * | 2005-10-28 | 2011-04-06 | オムロン株式会社 | フィルタパラメータ設定装置、フィルタリング処理装置、フィルタパラメータ設定方法、作業時間計測システム、制御プログラム、および、記録媒体 |
| TWI314017B (en) * | 2006-07-12 | 2009-08-21 | Quanta Comp Inc | System and method for synchronizing video frames and audio frames |
| US20080263612A1 (en) * | 2007-04-18 | 2008-10-23 | Cooper J Carl | Audio Video Synchronization Stimulus and Measurement |
| WO2010069375A1 (en) | 2008-12-17 | 2010-06-24 | Telefonaktiebolaget L M Ericsson (Publ) | Method and apparatus for measuring audiovisual synchronisation |
| US8989280B2 (en) * | 2011-06-30 | 2015-03-24 | Cable Television Laboratories, Inc. | Frame identification |
| WO2014087449A1 (en) * | 2012-12-04 | 2014-06-12 | Hitachi, Ltd. | Network device and method of controlling the network device |
| US8913189B1 (en) * | 2013-03-08 | 2014-12-16 | Amazon Technologies, Inc. | Audio and video processing associated with visual events |
| JP6358113B2 (ja) | 2015-01-30 | 2018-07-18 | 株式会社Ｊｖｃケンウッド | 記録装置及び多重化方法 |
| CN105141869B (zh) * | 2015-08-19 | 2018-12-18 | 中山市天启智能科技有限公司 | 基于Android系统的分段录像数据处理方法 |
| CA3061654A1 (en) | 2017-05-09 | 2018-11-15 | Echo360, Inc. | Methods and apparatus for ordered serial synchronization of multimedia streams upon sensor changes |
| CN109040818B (zh) * | 2017-06-12 | 2021-04-27 | 武汉斗鱼网络科技有限公司 | 直播时的音视频同步方法、存储介质、电子设备及系统 |
| CN108965971B (zh) * | 2018-07-27 | 2021-05-14 | 北京数码视讯科技股份有限公司 | 多路音频同步控制方法、控制装置及电子设备 |
| CN110225279B (zh) * | 2019-07-15 | 2022-08-16 | 北京小糖科技有限责任公司 | 一种移动终端的视频制作系统和视频制作方法 |
| CN110418183B (zh) * | 2019-08-05 | 2022-11-15 | 北京字节跳动网络技术有限公司 | 音视频同步方法、装置、电子设备及可读介质 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4703355A (en) * | 1985-09-16 | 1987-10-27 | Cooper J Carl | Audio to video timing equalizer method and apparatus |
| JP3255308B2 (ja) * | 1992-12-18 | 2002-02-12 | ソニー株式会社 | データ再生装置 |
| US5675511A (en) * | 1995-12-21 | 1997-10-07 | Intel Corporation | Apparatus and method for event tagging for multiple audio, video, and data streams |
| US6148135A (en) * | 1996-01-29 | 2000-11-14 | Mitsubishi Denki Kabushiki Kaisha | Video and audio reproducing device and video decoding device |
| US6181383B1 (en) * | 1996-05-29 | 2001-01-30 | Sarnoff Corporation | Method and apparatus for preserving synchronization of audio and video presentation when splicing transport streams |
| JP3698376B2 (ja) * | 1996-08-19 | 2005-09-21 | 松下電器産業株式会社 | 同期再生装置 |
| CN1145965C (zh) * | 1996-11-13 | 2004-04-14 | 松下电器产业株式会社 | 用于生成存储在信息记录盘上的图象位流设备和方法 |
| US6262777B1 (en) * | 1996-11-15 | 2001-07-17 | Futuretel, Inc. | Method and apparatus for synchronizing edited audiovisual files |
| US6262776B1 (en) * | 1996-12-13 | 2001-07-17 | Microsoft Corporation | System and method for maintaining synchronization between audio and video |
| JP3094999B2 (ja) * | 1998-10-15 | 2000-10-03 | 日本電気株式会社 | オーディオ・ビデオ同期再生装置 |
| US6583821B1 (en) * | 1999-07-16 | 2003-06-24 | Thomson Licensing S.A. | Synchronizing apparatus for a compressed audio/video signal receiver |
| JP4168307B2 (ja) | 2000-03-17 | 2008-10-22 | ソニー株式会社 | 情報再生装置および画像表示制御方法、並びに記録媒体 |
| JP4035277B2 (ja) | 2000-05-31 | 2008-01-16 | 富士通株式会社 | 映像・音声再生装置及び映像・音声再生方法 |
| JP2003199045A (ja) * | 2001-12-26 | 2003-07-11 | Victor Co Of Japan Ltd | 情報記録信号の生成方法、情報信号の再生方法、情報信号の伝送方法、情報記録信号生成装置、情報信号再生装置、情報信号伝送装置、情報信号記録媒体、及び情報信号伝送用プログラム |
| US6850284B2 (en) * | 2002-08-27 | 2005-02-01 | Motorola, Inc. | Method and apparatus for decoding audio and video information |
-
2003
- 2003-06-12 JP JP2003168019A patent/JP4305065B2/ja not_active Expired - Fee Related
-
2004
- 2004-06-03 WO PCT/JP2004/008053 patent/WO2004112391A1/ja active Application Filing
- 2004-06-03 CN CNB2004800160768A patent/CN100521766C/zh not_active Expired - Fee Related
- 2004-06-03 KR KR1020057022680A patent/KR101006593B1/ko not_active IP Right Cessation
- 2004-06-03 EP EP04735991A patent/EP1633138B1/en not_active Expired - Lifetime
- 2004-06-03 US US10/559,419 patent/US7738772B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| KR20060010829A (ko) | 2006-02-02 |
| JP2005006095A (ja) | 2005-01-06 |
| WO2004112391A1 (ja) | 2004-12-23 |
| CN1802851A (zh) | 2006-07-12 |
| US7738772B2 (en) | 2010-06-15 |
| EP1633138A1 (en) | 2006-03-08 |
| EP1633138A4 (en) | 2010-11-10 |
| EP1633138B1 (en) | 2012-08-08 |
| KR101006593B1 (ko) | 2011-01-07 |
| US20060140280A1 (en) | 2006-06-29 |
| CN100521766C (zh) | 2009-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4305065B2 (ja) | Ａｖ同期処理装置および方法ならびにａｖ記録装置 | |
| JP3698376B2 (ja) | 同期再生装置 | |
| JP3094999B2 (ja) | オーディオ・ビデオ同期再生装置 | |
| US20020061067A1 (en) | Splicing compressed, local video segments into fixed time slots in a network feed | |
| JPH06181564A (ja) | 多重化データ分離装置 | |
| KR100847534B1 (ko) | 비디오 프레임의 렌더링 지속시간 결정 장치 및 방법 | |
| JP4778608B2 (ja) | Ｍｐｅｇ復号器の同期方法及び同期装置 | |
| CN110430445A (zh) | 一种视频同步播放方法、装置、设备及介质 | |
| JP3100308B2 (ja) | 画像及び音声情報の再生システム | |
| EP1014724A2 (en) | Image processing apparatus and method, and storage medium storing image processing program | |
| US20080253446A1 (en) | Decoding circuit | |
| JP2872104B2 (ja) | タイムスタンプ付加装置および方法、並びにそれを用いた動画像圧縮伸張伝送システムおよび方法 | |
| JP5279588B2 (ja) | 画像処理装置及びその方法 | |
| JP2009290768A (ja) | 映像処理装置および映像処理方法 | |
| JP3350365B2 (ja) | 映像同期信号補正装置 | |
| JP3377401B2 (ja) | 再生同期装置 | |
| JPH10210483A (ja) | 動画像再生装置及びその方法 | |
| JP3184175B2 (ja) | 復号化装置 | |
| JPH0984023A (ja) | フレーム内符号化挿入方法および映像符号化装置 | |
| JPH10336602A (ja) | 画像音声符号化データ多重化方法とその装置 | |
| JPH099215A (ja) | データ多重方法、データ伝送方法、及び多重データ復号方法、多重データ復号装置 | |
| JP3953285B2 (ja) | Ｍｐｅｇ符号化処理装置及び処理方法 | |
| JP2000165888A (ja) | 動画像復号表示方法および装置 | |
| CN115842897A (zh) | 一种全景相机的视频录制方法及装置 | |
| JPH11252058A (ja) | 多重化装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060424 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090113 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090316 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090407 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090420 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |