JP3807053B2 - 映像音声同期化方法及び映像音声信号記録再生装置 - Google Patents
映像音声同期化方法及び映像音声信号記録再生装置 Download PDFInfo
- Publication number
- JP3807053B2 JP3807053B2 JP27017197A JP27017197A JP3807053B2 JP 3807053 B2 JP3807053 B2 JP 3807053B2 JP 27017197 A JP27017197 A JP 27017197A JP 27017197 A JP27017197 A JP 27017197A JP 3807053 B2 JP3807053 B2 JP 3807053B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- frame
- information
- signal
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像と音声の同期化の技術分野で用いられる映像音声同期化方法及び映像音声信号記録再生装置に関する。
【０００２】
【従来の技術】
映像と音声の同期化方法としては、例えばいわゆるＭＰＥＧ（Moving Picture Image Coding Experts Group）で用いられているような映像、音声それぞれの信号の同期タイミングの時刻情報をタイムスタンプとして多重化する方法が、符号化した信号においては有名である。なお、ＭＰＥＧとは、ISO/IEC JTC1/SC29(International Organization for Stan-dardization/International Electrotechnical Commission, Joint Technical Commitee 1/Sub Commitee 29：国際標準化機構／国際電機標準会議 合同技術委員会１／専門部会 ２９）の蓄積用動画像符号化の検討組織の略称であり、ＭＰＥＧ１標準としてＩＳＯ１１１７２が、ＭＰＥＧ２標準としてＩＳＯ１３８１８がある。これらの国際標準において、システム多重化の項目でＩＳＯ１１１７２−１及びＩＳＯ１３８１８−１が、映像符号化（ＭＰＥＧビデオ）の項目でＩＳＯ１１１７２−２及びＩＳＯ１３８１８−２が、音声符号化（ＭＰＥＧオーディオ）の項目でＩＳＯ１１１７２−３及びＩＳＯ１３８１８−３が、それぞれ標準化されている。
【０００３】
【発明が解決しようとする課題】
上記の同期化方法では、入力した信号の同期信号のタイミングで基準カウンタの時刻を取得するため、フレームシンクロナイザなどの可変の遅延要素が信号に狭まれた場合には、映像の時刻情報を完全に入力信号に合わせると音声との同期をとるのが難しく、符号化または復号化時に複雑な処理をしなくてはならない。
【０００４】
しかし、今後、ＭＰＥＧ等の符号化器を搭載した民生機器が登場すると、外部入力としての非標準信号が入力される状況も必然となり、フレームシンクロナイザなどの同期化手段は必須となってくるはずである。
【０００５】
そこで、本発明はこのような状況に鑑みてなされたものであり、フレームシンクロナイザなどの可変遅延要素がある場合において、映像と音声の遅延を視聴覚上問題ない範囲に規定することにより、簡単に映像と音声の同期化を実現する映像音声同期化方法と、簡単な構成で映像と音声の同期化を実現でき、更にフレームシンクロナイザの情報を符号化の画質や復号化時の変速再生に応用可能な映像音声信号記録再生装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の映像音声同期化方法は、入力された映像信号を基準同期信号に同期化させる可変遅延処理を有する映像音声同期化方法において、上記可変遅延処理による映像の遅延時間を１フレーム以内に制御し、上記映像信号の基準同期信号のタイミングで基準時刻をラッチして映像の時刻情報を算出し、入力された音声信号の符号化に用いる符号化用同期信号のタイミングで基準時刻をラッチした時刻情報に基準同期の１フレーム分の時間を加算して音声の時刻情報を算出し、上記算出した時刻情報を映像，音声信号と共に多重化した多重化信号を生成し、記録或いは伝送された上記多重化信号から上記映像，音声信号及び時刻情報を分離し、上記分離した時刻情報に基づいて映像と音声の同期をとることにより、上述した課題を解決するものである。
【０００７】
また、本発明の映像音声信号記録再生装置は、入力された映像信号を基準同期信号に同期化させる可変遅延手段を有する映像音声信号記録再生装置において、上記可変遅延手段による映像信号の遅延時間を１フレーム以内に制御する遅延時間制御手段と、上記映像信号の基準同期信号のタイミングで基準時刻をラッチして映像の時刻情報を算出する映像時刻情報算出手段と、入力された音声信号の符号化に用いる符号化用同期信号のタイミングで基準時刻をラッチした時刻情報に基準同期の１フレーム分の時間を加算して音声の時刻情報を算出する音声時刻情報算出手段と、上記映像時刻情報算出手段及び音声時刻情報算出手段にて算出した時刻情報を映像，音声信号と共に多重化する多重化手段と、上記多重化手段からの多重化信号を記録媒体に記録し、当該記録媒体に記録された多重化信号を再生する記録再生手段と、上記記録媒体から再生された多重化信号から上記映像，音声信号及び時刻情報を分離する分離手段と、上記分離した時刻情報に基づいて映像信号と音声信号の同期をとる同期化手段とを有することにより、上述した課題を解決するものである。
【０００８】
すなわち、本発明の映像音声同期化方法及び映像音声信号記録再生装置によれば、映像の可変遅延処理を行う手段（フレームシンクロナイザ）による遅延時間が０〜１フレームと任意に変化したときでも、音声系に回路の追加無しに、映像の基準同期タイミングと音声の基準同期タイミングから一義的に算出した時刻情報のみで、視聴覚上問題ない範囲での映像と音声の同期化を簡易に図ることができる。
【０００９】
また、本発明の映像音声同期化方法及び映像音声信号記録再生装置においては、多重化前に例えばＭＰＥＧのような時間軸上の圧縮（前後のフレーム間差分）を用いるような符号化を行う場合に、映像の可変遅延処理を行う手段（フレームシンクロナイザ）によるフレーム飛び情報又はフレーム繰り返し情報を検出し、この情報により符号化のパラメータをリアルタイムに変化させることで、画質の改善を図るようにしている。
【００１０】
さらに、本発明の映像音声同期化方法及び映像音声信号記録再生装置においては、映像の可変遅延処理を行う手段（フレームシンクロナイザ）によるフレーム飛び情報又はフレーム繰り返し情報を検出し、この情報も映像，音声信号等と同様に多重化することにより、変速再生時の付加情報としてこれらフレーム飛び情報又はフレーム繰り返し情報を用い、スロウ再生やフレーム送り再生などの品質を上げ得るようにしている。
【００１１】
【発明の実施の形態】
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。
【００１２】
図１には、本発明の映像音声同期化方法及び映像音声信号記録再生装置が適用される一実施の形態として、ディスクレコーダの構成を示す。
【００１３】
この図１において、指示符号１０にて示す構成要素は、当該ディスクレコーダの操作パネル上に設けられた各種キー（Ｋｅｙ）と、これら各種キーの何れかを操作者が指にて押圧したときに当該押圧されたキーに対応した電圧を出力する抵抗ラダー回路とからなる（以下、当該構成をキー回路と呼ぶ）。このキー回路１０からのキー押圧に応じた出力データは、マイクロコンピュータ（以下、マイコンと略称する）１１へ供給される。ここで、上記各種キーのうち、例えば記録のキーが押圧されると、マイコン１１は、そのキーの押圧に対応する電圧から記録開始の指示がなされたとの判断をして、記録動作を開始させる。なお、マイコン１１は、以下の記録時の一連のデバイス制御を全て行っている。
【００１４】
Ｓ映像入力端子１２から入力されたＳ映像信号は、Ｖ−Ａ／Ｄ回路１３で同期分離やＮＴＳＣクロマデコードなどのアナログ処理を施された後、ＹＵＶディジタル信号にそれぞれＡ／Ｄ（アナログ／ディジタル）変換され、フレームシンクロナイザ１４に入力される。また、上記Ｖ−Ａ／Ｄ回路１３で同期分離された同期信号（ＶＦＲ−ｅｘｔ）２１は入力に同期した信号であり、フレームシンクロナイザ１４の入力側の制御信号となる。
【００１５】
一方、タイミングジェネレータ（ＴＧ）２４で２７ＭＨｚの水晶発振子からフリーランに作られた同期信号（ＶＦＲ−ｉｎｔ）２２は、映像信号用の内部の基準同期信号であり、フレームシンクロナイザ１４の出力側の制御信号となる。上記同期信号（ＶＦＲ−ｉｎｔ）２２に同期してフレームシンクロナイザ１４から出力されたＹＵＶ信号は、ＭＰＥＧ−Ｖエンコーダ１５に入力されて、ＭＰＥＧビデオの信号に符号化され、内部のコードバッファ内に蓄積される。
【００１６】
また、Ｌ（左），Ｒ（右）のステレオ音声信号は、音声信号入力端子１６Ｌ、１６Ｒから入力されて、Ａ−Ａ／Ｄ回路１７でフィルタリング後、Ａ／Ｄ変換されてＭＰＥＧ−Ａエンコーダ１８に供給される。ＭＰＥＧ−Ａエンコーダ１８では、タイミングジェネレータ（ＴＧ）２４で４４．１ＫＨｚから作られた音声符号化用の同期信号（ＡＦＲ−ｉｎｔ）２３に同期して、ＭＰＥＧオーディオの信号に符号化され、内部のコードバッファ内に蓄積される。
【００１７】
そして映像、音声それぞれの符号化コードは、マルチプレクサ（ＭＵＸ）１９において、ＭＰＥＧシステムのプログラムストリーム（Program Stream：ＰＳ）に準拠してヘッダ付加と多重化の処理が施され、記録用バッファ（ＷＢＵＦ）２０へ蓄積される。またこの時のマルチプレクサ１９では、基準時刻カウンタ（ＲｅｃＳＴＣ）２５にて上記同期信号（ＶＦＲ−ｉｎｔ）２２と同期信号（ＡＦＲ−ｉｎｔ）２３のタイミングでラッチされた時刻にフレームシンクロナイザ用処理を行った時刻情報も、それぞれＰＥＳ（Packetized Elementary Stream）ヘッダの中に表示時刻ＰＴＳ（Presentation Time Stamp）とデコード時刻ＤＴＳ（Decoding Time Stamp）として多重化する。この処理の詳細は、後ほど説明する。
【００１８】
最後に記録用バッファ（ＷＢＵＦ）２０に蓄積されたＭＰＥＧビットストリームは、ディスクドライブ２６の要求に応じて転送され記録媒体としてのディスクに記録される。なお、ディスクとしては、光ディスクやハードディスクなどが考えられる。
【００１９】
次に、再生動作を説明する。
【００２０】
記録時同様、前記各種キーのうち、例えば再生のキーが押圧されると、マイコン１１は、その再生のキーの押圧に対応する電圧から再生開始が指示されたと判断して再生動作を開始する。なお、マイコン１１は、以下の再生時の一連のデバイス制御をも全て行っている。
【００２１】
この再生動作が開始すると、ディスクに記録されたＭＰＥＧビットストリームは、ディスクドライブ２６の準備が整い次第、再生されて再生用バッファ（ＲＢＵＦ）２７に順次蓄積されていく。
【００２２】
上記再生用バッファ（ＲＢＵＦ）２７に蓄積されたビットストリームは、ＭＰＥＧシステムに準じてデマルチプレクサ（ＤＭＵＸ）２８に入力され、ここでヘッダの解析後、映像、音声に分離されてそれぞれのデコーダすなわち映像用のＭＰＥＧ−Ｖデコーダ２９と、音声用のＭＰＥＧ−Ａデコーダ３３内のコードバッファへと蓄積される。各コードバッファ内の符号化コードは、上記ヘッダ解析で得られた上記デコード時刻ＤＴＳ，表示時刻ＰＴＳとの位相管理が行われ、再生用の基準時刻カウンタ（ＰｂＳＴＣ）３７の時刻と一致したときにそれぞれのＭＰＥＧデコーダで符号化が行われる。実際は、デコード時刻ＤＴＳ，表示時刻ＰＴＳの各時刻に、基準時刻カウンタ（ＰｂＳＴＣ）３７が映像／音声それぞれの同期信号（ＶＦＲ−ｐｂ）３０，（ＡＦＲ−ｐｂ）３４を発生させて処理のタイミングを図る事になる。
【００２３】
ＭＰＥＧ−Ｖデコーダ２９は、内部同期信号（ＶＦＲ−ｐｂ）３０に同期して動作し、復号化されたＹＵＶデータはＶ−Ｄ／Ａ回路３１に入力される。Ｖ−Ｄ／Ａ回路３１では、ＹＵＶデータそれぞれをＤ／Ａ（ディジタル／アナログ）変換処理してアナログ信号に変換した後、ＮＴＳＣクロマエンコードや同期付加等のアナログ処理を施し、得られたＳ映像信号がＳ映像出力端子３２から出力される。
【００２４】
また、ＭＰＥＧ−Ａデコーダ３３は、内部同期信号（ＡＦＲ−ｐｂ）３４に同期して動作し、復号化された音声信号はＡ−Ｄ／Ａ回路３５に入力される。Ａ−Ｄ／Ａ回路３５では、ステレオのＬ（左），Ｒ（右）それぞれの信号をＤ／Ａ変換処理してアナログ信号に変換し、これらアナログ信号はその後、フィルタリングなどのアナログ処理が施されてステレオ音声信号として音声信号出力端子３６Ｌ、３６Ｒから出力される。
【００２５】
次に、上述した一実施の形態の構成におけるフレームシンクロナイザ１４の制御について、図１のフレームシンクロナイザ１４を抜き出して示す図２と、図３に示すタイミングチャートを参照して説明する。なお、図３のタイミングチャートは、説明を分かり易くするために、通常ではあり得ないかなり大きな周波数変動で描いてある。また、図３中の番号１，２，３，４，・・・は、それぞれフレームを示している。
【００２６】
図２に示すフレームシンクロナイザ１４は、通常、フレームメモリを利用してクロック及び同期タイミングの乗り換えを行う回路であり、非標準信号やジッタのある信号を標準信号に変換して、更に所望のフレーム同期タイミングに合わせるために使用する。よって、フレームシンクロナイザ１４の入力と出力は完全に非同期でクロックも位相が異なるため、ある周期で出力の１フレームを抜いたり繰り返したりして時間調整をする必要がでてくる。この図２の例では、映像入力信号と同期している外部同期信号（ＶＦＲ−ｅｘｔ）２１と、フレームシンクロナイザ１４の出力信号と同期している基準内部同期信号（ＶＦＲ−ｉｎｔ）２２とが完全に非同期であり、また、外部クロック（ＣＬＫ）と内部クロックも位相が異なっている。
【００２７】
図３において、ＯＵＴ１に示すタイミングは入力された外部同期信号（ＶＦＲ−ｅｘｔ）２１よりも内部基準同期信号（ＶＦＲ−ｉｎｔ）２２の方が周波数が微妙に高い場合を示しており、この場合は入力された外部同期信号（ＶＦＲ−ｅｘｔ）２１と内部の同期信号（ＶＦＲ−ｉｎｔ）２２の位相差が０フレーム以下に短くなったら、１フレームを繰り返す処理を行う。図３の例では、番号５のフレームを繰り返した様子を示している。
【００２８】
また、図３のＯＵＴ２に示すタイミングは、入力された外部同期信号（ＶＦＲ−ｅｘｔ）２１よりも内部基準同期信号（ＶＦＲ−ｉｎｔ）２２の方が周波数が微妙に低い場合を示しており、この場合は入力の外部同期信号（ＶＦＲ−ｅｘｔ）２１と内部の同期信号（ＶＦＲ−ｉｎｔ）２２の位相差が１フレーム以上長くなったら、１フレームを抜く処理を行う。図３の例では、番号６のフレームを抜いた様子を示している。
【００２９】
以上のような制御により、入力信号と出力信号の位相関係は必ず０〜１フレームの遅延となる。
【００３０】
次に、上述した一実施の形態の構成において多重化する時刻情報の生成方法について、図１の一部を抜き出して示す図４のブロック図を参照して説明する。
【００３１】
フレームシンクロナイザ１４の入力から出力への映像信号の遅延時間が上述のように０〜１フレームという事は、入力された音声信号とフレームシンクロナイザ１４から出力された映像信号との遅延時間も０〜１フレームという事になる。そこで、音声の時刻情報（Ａ−ＰＴＳ）をマルチプレクサ１９にて多重化する前に、マイコン１１内部の加算器３０によって、下記式（１）のように、上記音声の時刻情報（Ａ−ＰＴＳ）に内部基準同期の１フレーム分の時間（ｄＶＦＲ−ｉｎｔ）を予め加算しておくようにする。こうすることにより、入力された音声信号とフレームシンクロナイザ１４から出力された映像信号との遅延時間が、タイムスタンプ上では−１〜０フレームとなる。
【００３２】
Ａ−ＰＴＳ’＝Ａ−ＰＴＳ＋ｄＶＦＲ−ｉｎｔ （１）
これは、映像に対して音声が時間的に進んでいるより遅れている方が視聴覚上目立たないためであり、映像１フレーム（３３．３ｍｓ）以内の音声の遅延ならば十分許容できるはずである。
【００３３】
上述のように、予め多重化時にこの処理をすることで、再生分離時は通常時と同様に単に時刻情報だけを見て復号化／出力すればよい。
【００３４】
なお、本発明は上述した実施の形態にのみ限定されるものではなく、例えば、図５、図６のような応用が考えられる。なお、図５，図６は、図１の構成の必要な部分のみを抜き出して示している。
【００３５】
図５は、ＭＰＥＧ−Ｖエンコーダ１５のパラメータ制御への応用を示すブロック図である。この図５において、フレームシンクロナイザ１４で出力の１フレームを抜いたり、繰り返したりした情報はリアルタイムにマイコン１１に送られる。マイコン１１では、その情報を元にＭＰＥＧ−Ｖエンコーダ１５の符号化パラメータをダイナミックに制御する。
【００３６】
例えば、フレームシンクロナイザ１４において、フレームが繰り返されたときには、その繰り返されたフレームの映像が全く前回のフレームと同じ映像なので、マイコン１１はこのフレームを例えばＭＰＥＧにおけるＰピクチャにして動きベクトルを０に固定するような制御をする。一方で、フレームシンクロナイザ１４において、フレームが抜かれたときには、このフレームが抜かれた直後のフレームと前のフレームとの間で時間的距離が倍になっているため、マイコン１１は、それに応じて動きベクトルの探索範囲などを増やすような制御を行う。
【００３７】
この図５の例の場合、上述のようなパラメータ制御を行うことにより、画質の向上を図ることができる。
【００３８】
図６は、変速再生の表示制御への応用を示すブロック図である。この図６の構成では、表示コントローラ４０が新たに設けられている。
【００３９】
この図６において、先ず記録系では、フレームシンクロナイザ１４で出力の１フレームを抜いたり、繰り返したりした情報をマイコン１１に送り、また映像信号との位相を合わせて時刻情報と一緒にマルチプレクサ１９にて多重化する。再生系では、多重化されているフレーム抜け／繰り返し情報を分離してマイコン１１に送り、マイコン１１はその情報に応じてＭＰＥＧ−Ｖデコーダ２９と表示コントローラ４０を制御することで、変速再生の制御方法をダイナミックに変化させる。
【００４０】
例えば、スロー再生や、フレーム送り再生の時に、フレーム繰り返しポイントがあった場合、マイコン１１は、繰り返しフレームをスキップさせて表示させるように、ＭＰＥＧ−Ｖデコーダ２９と表示コントローラ４０を制御する。一方で、フレーム抜かれたポイントがあった場合、マイコン１１は、前後のフレームから補間してフレームを作成して表示するように、ＭＰＥＧ−Ｖデコーダ２９と表示コントローラ４０を制御する。
【００４１】
なお、上記変速再生時は音声の再生を行わない場合がほとんどなので、映像と音声の同期を考える必要がないため、このような純粋に原映像信号に忠実な制御を行うことにより、変速再生の品質向上を図ることができる。
【００４２】
以上説明したようなことから、本発明の実施の形態によれば、以下のような効果が得られる。
【００４３】
１．簡単な手段で映像入力にフレームシンクロナイザを入れたときの映像と音声を視聴覚上問題のない範囲で同期再生させる時刻情報を生成できる。
【００４４】
２．音声系、及び再生系には特別な回路を必要としないで、フレームシンクロナイザを入れたときの映像と音声の同期化が実現できる。
【００４５】
３．最小限の追加手段で、符号化の画質改善や、変速再生時の品質向上が図れる。
【００４６】
【発明の効果】
以上の説明で明らかなように、本発明においては、映像の可変遅延処理を行う手段（フレームシンクロナイザ）による遅延時間が０〜１フレームと任意に変化したときでも、映像の基準同期タイミングと音声の基準同期タイミングから一義的に算出した時刻情報のみを用いることで、簡単な方法及び構成で（音声系に回路の追加無しに）、視聴覚上問題ない範囲での映像と音声の同期化を簡易に図ることができる。また、本発明においては、映像の可変遅延処理を行う手段（フレームシンクロナイザ）の情報を符号化の画質向上や、復号化時の変速再生の制御にも応用可能としている。
【図面の簡単な説明】
【図１】本発明の一実施の形態としてのディスクレコーダの概略構成を示すブロック回路図である。
【図２】本発明実施の形態の構成のフレームシンクロナイザ部分を抜き出して示す図である。
【図３】本発明実施の形態の構成におけるフレームシンクロナイザの制御を示すタイミングチャートである。
【図４】本発明実施の形態の構成において多重化する時刻情報の生成方法の説明に用いる図である。
【図５】本発明実施の形態のＭＰＥＧエンコーダのパラメータ制御への応用を示すブロック回路図である。
【図６】本発明実施の形態のディスクレコーダにおいて変速再生の表示制御への応用を示すブロック回路図である。
【符号の説明】
１０ キー回路、 １１ マイコン、 １２ Ｓ映像信号入力端子、 １３ Ｖ−Ａ／Ｄ回路、 １４ フレームシンクロナイザ、 １５ ＭＰＥＧ−Ｖエンコーダ、 １６Ｌ、１６Ｒ ステレオ音声信号入力端子、 １７ Ａ−Ａ／Ｄ回路、 １８ ＭＰＥＧ−Ａエンコーダ、 １９ マルチプレクサ（ＭＵＸ）、 ２０ 記録用バッファ（ＷＢＵＦ）、 ２１ 外部映像同期信号（ＶＦＲ−ｅｘｔ）、 ２２ 内部映像同期信号（ＶＦＲ−ｉｎｔ）、 ２３ 内部音声同期信号（ＡＦＲ−ｉｎｔ）、 ２４ タイミングジェネレータ（ＴＧ）、 ２５ 記録用基準時刻カウンタ（ＲｅｃＳＴＣ）、 ２６ ディスクドライブ、 ２７ 再生用バッファ（ＲＢＵＦ）、 ２８ デマルチプレクサ（ＤＭＵＸ）、 ２９ＭＰＥＧ−Ｖデコーダ、 ３０ 再生映像同期信号（ＶＦＲ−ｐｂ）、 ３１Ｖ−Ｄ／Ａ回路、 ３２ Ｓ映像信号出力端子、 ３３ ＭＰＥＧ−Ａデコーダ、 ３４ 再生音声同期信号（ＡＦＲ−ｐｂ）、 ３５ Ａ−Ｄ／Ａ回路、 ３６Ｌ、３６Ｒ ステレオ音声信号出力端子、 ３７ 再生用基準時刻カウンタ（ＰｂＳＴＣ）
【発明の属する技術分野】
本発明は、映像と音声の同期化の技術分野で用いられる映像音声同期化方法及び映像音声信号記録再生装置に関する。
【０００２】
【従来の技術】
映像と音声の同期化方法としては、例えばいわゆるＭＰＥＧ（Moving Picture Image Coding Experts Group）で用いられているような映像、音声それぞれの信号の同期タイミングの時刻情報をタイムスタンプとして多重化する方法が、符号化した信号においては有名である。なお、ＭＰＥＧとは、ISO/IEC JTC1/SC29(International Organization for Stan-dardization/International Electrotechnical Commission, Joint Technical Commitee 1/Sub Commitee 29：国際標準化機構／国際電機標準会議 合同技術委員会１／専門部会 ２９）の蓄積用動画像符号化の検討組織の略称であり、ＭＰＥＧ１標準としてＩＳＯ１１１７２が、ＭＰＥＧ２標準としてＩＳＯ１３８１８がある。これらの国際標準において、システム多重化の項目でＩＳＯ１１１７２−１及びＩＳＯ１３８１８−１が、映像符号化（ＭＰＥＧビデオ）の項目でＩＳＯ１１１７２−２及びＩＳＯ１３８１８−２が、音声符号化（ＭＰＥＧオーディオ）の項目でＩＳＯ１１１７２−３及びＩＳＯ１３８１８−３が、それぞれ標準化されている。
【０００３】
【発明が解決しようとする課題】
上記の同期化方法では、入力した信号の同期信号のタイミングで基準カウンタの時刻を取得するため、フレームシンクロナイザなどの可変の遅延要素が信号に狭まれた場合には、映像の時刻情報を完全に入力信号に合わせると音声との同期をとるのが難しく、符号化または復号化時に複雑な処理をしなくてはならない。
【０００４】
しかし、今後、ＭＰＥＧ等の符号化器を搭載した民生機器が登場すると、外部入力としての非標準信号が入力される状況も必然となり、フレームシンクロナイザなどの同期化手段は必須となってくるはずである。
【０００５】
そこで、本発明はこのような状況に鑑みてなされたものであり、フレームシンクロナイザなどの可変遅延要素がある場合において、映像と音声の遅延を視聴覚上問題ない範囲に規定することにより、簡単に映像と音声の同期化を実現する映像音声同期化方法と、簡単な構成で映像と音声の同期化を実現でき、更にフレームシンクロナイザの情報を符号化の画質や復号化時の変速再生に応用可能な映像音声信号記録再生装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の映像音声同期化方法は、入力された映像信号を基準同期信号に同期化させる可変遅延処理を有する映像音声同期化方法において、上記可変遅延処理による映像の遅延時間を１フレーム以内に制御し、上記映像信号の基準同期信号のタイミングで基準時刻をラッチして映像の時刻情報を算出し、入力された音声信号の符号化に用いる符号化用同期信号のタイミングで基準時刻をラッチした時刻情報に基準同期の１フレーム分の時間を加算して音声の時刻情報を算出し、上記算出した時刻情報を映像，音声信号と共に多重化した多重化信号を生成し、記録或いは伝送された上記多重化信号から上記映像，音声信号及び時刻情報を分離し、上記分離した時刻情報に基づいて映像と音声の同期をとることにより、上述した課題を解決するものである。
【０００７】
また、本発明の映像音声信号記録再生装置は、入力された映像信号を基準同期信号に同期化させる可変遅延手段を有する映像音声信号記録再生装置において、上記可変遅延手段による映像信号の遅延時間を１フレーム以内に制御する遅延時間制御手段と、上記映像信号の基準同期信号のタイミングで基準時刻をラッチして映像の時刻情報を算出する映像時刻情報算出手段と、入力された音声信号の符号化に用いる符号化用同期信号のタイミングで基準時刻をラッチした時刻情報に基準同期の１フレーム分の時間を加算して音声の時刻情報を算出する音声時刻情報算出手段と、上記映像時刻情報算出手段及び音声時刻情報算出手段にて算出した時刻情報を映像，音声信号と共に多重化する多重化手段と、上記多重化手段からの多重化信号を記録媒体に記録し、当該記録媒体に記録された多重化信号を再生する記録再生手段と、上記記録媒体から再生された多重化信号から上記映像，音声信号及び時刻情報を分離する分離手段と、上記分離した時刻情報に基づいて映像信号と音声信号の同期をとる同期化手段とを有することにより、上述した課題を解決するものである。
【０００８】
すなわち、本発明の映像音声同期化方法及び映像音声信号記録再生装置によれば、映像の可変遅延処理を行う手段（フレームシンクロナイザ）による遅延時間が０〜１フレームと任意に変化したときでも、音声系に回路の追加無しに、映像の基準同期タイミングと音声の基準同期タイミングから一義的に算出した時刻情報のみで、視聴覚上問題ない範囲での映像と音声の同期化を簡易に図ることができる。
【０００９】
また、本発明の映像音声同期化方法及び映像音声信号記録再生装置においては、多重化前に例えばＭＰＥＧのような時間軸上の圧縮（前後のフレーム間差分）を用いるような符号化を行う場合に、映像の可変遅延処理を行う手段（フレームシンクロナイザ）によるフレーム飛び情報又はフレーム繰り返し情報を検出し、この情報により符号化のパラメータをリアルタイムに変化させることで、画質の改善を図るようにしている。
【００１０】
さらに、本発明の映像音声同期化方法及び映像音声信号記録再生装置においては、映像の可変遅延処理を行う手段（フレームシンクロナイザ）によるフレーム飛び情報又はフレーム繰り返し情報を検出し、この情報も映像，音声信号等と同様に多重化することにより、変速再生時の付加情報としてこれらフレーム飛び情報又はフレーム繰り返し情報を用い、スロウ再生やフレーム送り再生などの品質を上げ得るようにしている。
【００１１】
【発明の実施の形態】
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。
【００１２】
図１には、本発明の映像音声同期化方法及び映像音声信号記録再生装置が適用される一実施の形態として、ディスクレコーダの構成を示す。
【００１３】
この図１において、指示符号１０にて示す構成要素は、当該ディスクレコーダの操作パネル上に設けられた各種キー（Ｋｅｙ）と、これら各種キーの何れかを操作者が指にて押圧したときに当該押圧されたキーに対応した電圧を出力する抵抗ラダー回路とからなる（以下、当該構成をキー回路と呼ぶ）。このキー回路１０からのキー押圧に応じた出力データは、マイクロコンピュータ（以下、マイコンと略称する）１１へ供給される。ここで、上記各種キーのうち、例えば記録のキーが押圧されると、マイコン１１は、そのキーの押圧に対応する電圧から記録開始の指示がなされたとの判断をして、記録動作を開始させる。なお、マイコン１１は、以下の記録時の一連のデバイス制御を全て行っている。
【００１４】
Ｓ映像入力端子１２から入力されたＳ映像信号は、Ｖ−Ａ／Ｄ回路１３で同期分離やＮＴＳＣクロマデコードなどのアナログ処理を施された後、ＹＵＶディジタル信号にそれぞれＡ／Ｄ（アナログ／ディジタル）変換され、フレームシンクロナイザ１４に入力される。また、上記Ｖ−Ａ／Ｄ回路１３で同期分離された同期信号（ＶＦＲ−ｅｘｔ）２１は入力に同期した信号であり、フレームシンクロナイザ１４の入力側の制御信号となる。
【００１５】
一方、タイミングジェネレータ（ＴＧ）２４で２７ＭＨｚの水晶発振子からフリーランに作られた同期信号（ＶＦＲ−ｉｎｔ）２２は、映像信号用の内部の基準同期信号であり、フレームシンクロナイザ１４の出力側の制御信号となる。上記同期信号（ＶＦＲ−ｉｎｔ）２２に同期してフレームシンクロナイザ１４から出力されたＹＵＶ信号は、ＭＰＥＧ−Ｖエンコーダ１５に入力されて、ＭＰＥＧビデオの信号に符号化され、内部のコードバッファ内に蓄積される。
【００１６】
また、Ｌ（左），Ｒ（右）のステレオ音声信号は、音声信号入力端子１６Ｌ、１６Ｒから入力されて、Ａ−Ａ／Ｄ回路１７でフィルタリング後、Ａ／Ｄ変換されてＭＰＥＧ−Ａエンコーダ１８に供給される。ＭＰＥＧ−Ａエンコーダ１８では、タイミングジェネレータ（ＴＧ）２４で４４．１ＫＨｚから作られた音声符号化用の同期信号（ＡＦＲ−ｉｎｔ）２３に同期して、ＭＰＥＧオーディオの信号に符号化され、内部のコードバッファ内に蓄積される。
【００１７】
そして映像、音声それぞれの符号化コードは、マルチプレクサ（ＭＵＸ）１９において、ＭＰＥＧシステムのプログラムストリーム（Program Stream：ＰＳ）に準拠してヘッダ付加と多重化の処理が施され、記録用バッファ（ＷＢＵＦ）２０へ蓄積される。またこの時のマルチプレクサ１９では、基準時刻カウンタ（ＲｅｃＳＴＣ）２５にて上記同期信号（ＶＦＲ−ｉｎｔ）２２と同期信号（ＡＦＲ−ｉｎｔ）２３のタイミングでラッチされた時刻にフレームシンクロナイザ用処理を行った時刻情報も、それぞれＰＥＳ（Packetized Elementary Stream）ヘッダの中に表示時刻ＰＴＳ（Presentation Time Stamp）とデコード時刻ＤＴＳ（Decoding Time Stamp）として多重化する。この処理の詳細は、後ほど説明する。
【００１８】
最後に記録用バッファ（ＷＢＵＦ）２０に蓄積されたＭＰＥＧビットストリームは、ディスクドライブ２６の要求に応じて転送され記録媒体としてのディスクに記録される。なお、ディスクとしては、光ディスクやハードディスクなどが考えられる。
【００１９】
次に、再生動作を説明する。
【００２０】
記録時同様、前記各種キーのうち、例えば再生のキーが押圧されると、マイコン１１は、その再生のキーの押圧に対応する電圧から再生開始が指示されたと判断して再生動作を開始する。なお、マイコン１１は、以下の再生時の一連のデバイス制御をも全て行っている。
【００２１】
この再生動作が開始すると、ディスクに記録されたＭＰＥＧビットストリームは、ディスクドライブ２６の準備が整い次第、再生されて再生用バッファ（ＲＢＵＦ）２７に順次蓄積されていく。
【００２２】
上記再生用バッファ（ＲＢＵＦ）２７に蓄積されたビットストリームは、ＭＰＥＧシステムに準じてデマルチプレクサ（ＤＭＵＸ）２８に入力され、ここでヘッダの解析後、映像、音声に分離されてそれぞれのデコーダすなわち映像用のＭＰＥＧ−Ｖデコーダ２９と、音声用のＭＰＥＧ−Ａデコーダ３３内のコードバッファへと蓄積される。各コードバッファ内の符号化コードは、上記ヘッダ解析で得られた上記デコード時刻ＤＴＳ，表示時刻ＰＴＳとの位相管理が行われ、再生用の基準時刻カウンタ（ＰｂＳＴＣ）３７の時刻と一致したときにそれぞれのＭＰＥＧデコーダで符号化が行われる。実際は、デコード時刻ＤＴＳ，表示時刻ＰＴＳの各時刻に、基準時刻カウンタ（ＰｂＳＴＣ）３７が映像／音声それぞれの同期信号（ＶＦＲ−ｐｂ）３０，（ＡＦＲ−ｐｂ）３４を発生させて処理のタイミングを図る事になる。
【００２３】
ＭＰＥＧ−Ｖデコーダ２９は、内部同期信号（ＶＦＲ−ｐｂ）３０に同期して動作し、復号化されたＹＵＶデータはＶ−Ｄ／Ａ回路３１に入力される。Ｖ−Ｄ／Ａ回路３１では、ＹＵＶデータそれぞれをＤ／Ａ（ディジタル／アナログ）変換処理してアナログ信号に変換した後、ＮＴＳＣクロマエンコードや同期付加等のアナログ処理を施し、得られたＳ映像信号がＳ映像出力端子３２から出力される。
【００２４】
また、ＭＰＥＧ−Ａデコーダ３３は、内部同期信号（ＡＦＲ−ｐｂ）３４に同期して動作し、復号化された音声信号はＡ−Ｄ／Ａ回路３５に入力される。Ａ−Ｄ／Ａ回路３５では、ステレオのＬ（左），Ｒ（右）それぞれの信号をＤ／Ａ変換処理してアナログ信号に変換し、これらアナログ信号はその後、フィルタリングなどのアナログ処理が施されてステレオ音声信号として音声信号出力端子３６Ｌ、３６Ｒから出力される。
【００２５】
次に、上述した一実施の形態の構成におけるフレームシンクロナイザ１４の制御について、図１のフレームシンクロナイザ１４を抜き出して示す図２と、図３に示すタイミングチャートを参照して説明する。なお、図３のタイミングチャートは、説明を分かり易くするために、通常ではあり得ないかなり大きな周波数変動で描いてある。また、図３中の番号１，２，３，４，・・・は、それぞれフレームを示している。
【００２６】
図２に示すフレームシンクロナイザ１４は、通常、フレームメモリを利用してクロック及び同期タイミングの乗り換えを行う回路であり、非標準信号やジッタのある信号を標準信号に変換して、更に所望のフレーム同期タイミングに合わせるために使用する。よって、フレームシンクロナイザ１４の入力と出力は完全に非同期でクロックも位相が異なるため、ある周期で出力の１フレームを抜いたり繰り返したりして時間調整をする必要がでてくる。この図２の例では、映像入力信号と同期している外部同期信号（ＶＦＲ−ｅｘｔ）２１と、フレームシンクロナイザ１４の出力信号と同期している基準内部同期信号（ＶＦＲ−ｉｎｔ）２２とが完全に非同期であり、また、外部クロック（ＣＬＫ）と内部クロックも位相が異なっている。
【００２７】
図３において、ＯＵＴ１に示すタイミングは入力された外部同期信号（ＶＦＲ−ｅｘｔ）２１よりも内部基準同期信号（ＶＦＲ−ｉｎｔ）２２の方が周波数が微妙に高い場合を示しており、この場合は入力された外部同期信号（ＶＦＲ−ｅｘｔ）２１と内部の同期信号（ＶＦＲ−ｉｎｔ）２２の位相差が０フレーム以下に短くなったら、１フレームを繰り返す処理を行う。図３の例では、番号５のフレームを繰り返した様子を示している。
【００２８】
また、図３のＯＵＴ２に示すタイミングは、入力された外部同期信号（ＶＦＲ−ｅｘｔ）２１よりも内部基準同期信号（ＶＦＲ−ｉｎｔ）２２の方が周波数が微妙に低い場合を示しており、この場合は入力の外部同期信号（ＶＦＲ−ｅｘｔ）２１と内部の同期信号（ＶＦＲ−ｉｎｔ）２２の位相差が１フレーム以上長くなったら、１フレームを抜く処理を行う。図３の例では、番号６のフレームを抜いた様子を示している。
【００２９】
以上のような制御により、入力信号と出力信号の位相関係は必ず０〜１フレームの遅延となる。
【００３０】
次に、上述した一実施の形態の構成において多重化する時刻情報の生成方法について、図１の一部を抜き出して示す図４のブロック図を参照して説明する。
【００３１】
フレームシンクロナイザ１４の入力から出力への映像信号の遅延時間が上述のように０〜１フレームという事は、入力された音声信号とフレームシンクロナイザ１４から出力された映像信号との遅延時間も０〜１フレームという事になる。そこで、音声の時刻情報（Ａ−ＰＴＳ）をマルチプレクサ１９にて多重化する前に、マイコン１１内部の加算器３０によって、下記式（１）のように、上記音声の時刻情報（Ａ−ＰＴＳ）に内部基準同期の１フレーム分の時間（ｄＶＦＲ−ｉｎｔ）を予め加算しておくようにする。こうすることにより、入力された音声信号とフレームシンクロナイザ１４から出力された映像信号との遅延時間が、タイムスタンプ上では−１〜０フレームとなる。
【００３２】
Ａ−ＰＴＳ’＝Ａ−ＰＴＳ＋ｄＶＦＲ−ｉｎｔ （１）
これは、映像に対して音声が時間的に進んでいるより遅れている方が視聴覚上目立たないためであり、映像１フレーム（３３．３ｍｓ）以内の音声の遅延ならば十分許容できるはずである。
【００３３】
上述のように、予め多重化時にこの処理をすることで、再生分離時は通常時と同様に単に時刻情報だけを見て復号化／出力すればよい。
【００３４】
なお、本発明は上述した実施の形態にのみ限定されるものではなく、例えば、図５、図６のような応用が考えられる。なお、図５，図６は、図１の構成の必要な部分のみを抜き出して示している。
【００３５】
図５は、ＭＰＥＧ−Ｖエンコーダ１５のパラメータ制御への応用を示すブロック図である。この図５において、フレームシンクロナイザ１４で出力の１フレームを抜いたり、繰り返したりした情報はリアルタイムにマイコン１１に送られる。マイコン１１では、その情報を元にＭＰＥＧ−Ｖエンコーダ１５の符号化パラメータをダイナミックに制御する。
【００３６】
例えば、フレームシンクロナイザ１４において、フレームが繰り返されたときには、その繰り返されたフレームの映像が全く前回のフレームと同じ映像なので、マイコン１１はこのフレームを例えばＭＰＥＧにおけるＰピクチャにして動きベクトルを０に固定するような制御をする。一方で、フレームシンクロナイザ１４において、フレームが抜かれたときには、このフレームが抜かれた直後のフレームと前のフレームとの間で時間的距離が倍になっているため、マイコン１１は、それに応じて動きベクトルの探索範囲などを増やすような制御を行う。
【００３７】
この図５の例の場合、上述のようなパラメータ制御を行うことにより、画質の向上を図ることができる。
【００３８】
図６は、変速再生の表示制御への応用を示すブロック図である。この図６の構成では、表示コントローラ４０が新たに設けられている。
【００３９】
この図６において、先ず記録系では、フレームシンクロナイザ１４で出力の１フレームを抜いたり、繰り返したりした情報をマイコン１１に送り、また映像信号との位相を合わせて時刻情報と一緒にマルチプレクサ１９にて多重化する。再生系では、多重化されているフレーム抜け／繰り返し情報を分離してマイコン１１に送り、マイコン１１はその情報に応じてＭＰＥＧ−Ｖデコーダ２９と表示コントローラ４０を制御することで、変速再生の制御方法をダイナミックに変化させる。
【００４０】
例えば、スロー再生や、フレーム送り再生の時に、フレーム繰り返しポイントがあった場合、マイコン１１は、繰り返しフレームをスキップさせて表示させるように、ＭＰＥＧ−Ｖデコーダ２９と表示コントローラ４０を制御する。一方で、フレーム抜かれたポイントがあった場合、マイコン１１は、前後のフレームから補間してフレームを作成して表示するように、ＭＰＥＧ−Ｖデコーダ２９と表示コントローラ４０を制御する。
【００４１】
なお、上記変速再生時は音声の再生を行わない場合がほとんどなので、映像と音声の同期を考える必要がないため、このような純粋に原映像信号に忠実な制御を行うことにより、変速再生の品質向上を図ることができる。
【００４２】
以上説明したようなことから、本発明の実施の形態によれば、以下のような効果が得られる。
【００４３】
１．簡単な手段で映像入力にフレームシンクロナイザを入れたときの映像と音声を視聴覚上問題のない範囲で同期再生させる時刻情報を生成できる。
【００４４】
２．音声系、及び再生系には特別な回路を必要としないで、フレームシンクロナイザを入れたときの映像と音声の同期化が実現できる。
【００４５】
３．最小限の追加手段で、符号化の画質改善や、変速再生時の品質向上が図れる。
【００４６】
【発明の効果】
以上の説明で明らかなように、本発明においては、映像の可変遅延処理を行う手段（フレームシンクロナイザ）による遅延時間が０〜１フレームと任意に変化したときでも、映像の基準同期タイミングと音声の基準同期タイミングから一義的に算出した時刻情報のみを用いることで、簡単な方法及び構成で（音声系に回路の追加無しに）、視聴覚上問題ない範囲での映像と音声の同期化を簡易に図ることができる。また、本発明においては、映像の可変遅延処理を行う手段（フレームシンクロナイザ）の情報を符号化の画質向上や、復号化時の変速再生の制御にも応用可能としている。
【図面の簡単な説明】
【図１】本発明の一実施の形態としてのディスクレコーダの概略構成を示すブロック回路図である。
【図２】本発明実施の形態の構成のフレームシンクロナイザ部分を抜き出して示す図である。
【図３】本発明実施の形態の構成におけるフレームシンクロナイザの制御を示すタイミングチャートである。
【図４】本発明実施の形態の構成において多重化する時刻情報の生成方法の説明に用いる図である。
【図５】本発明実施の形態のＭＰＥＧエンコーダのパラメータ制御への応用を示すブロック回路図である。
【図６】本発明実施の形態のディスクレコーダにおいて変速再生の表示制御への応用を示すブロック回路図である。
【符号の説明】
１０ キー回路、 １１ マイコン、 １２ Ｓ映像信号入力端子、 １３ Ｖ−Ａ／Ｄ回路、 １４ フレームシンクロナイザ、 １５ ＭＰＥＧ−Ｖエンコーダ、 １６Ｌ、１６Ｒ ステレオ音声信号入力端子、 １７ Ａ−Ａ／Ｄ回路、 １８ ＭＰＥＧ−Ａエンコーダ、 １９ マルチプレクサ（ＭＵＸ）、 ２０ 記録用バッファ（ＷＢＵＦ）、 ２１ 外部映像同期信号（ＶＦＲ−ｅｘｔ）、 ２２ 内部映像同期信号（ＶＦＲ−ｉｎｔ）、 ２３ 内部音声同期信号（ＡＦＲ−ｉｎｔ）、 ２４ タイミングジェネレータ（ＴＧ）、 ２５ 記録用基準時刻カウンタ（ＲｅｃＳＴＣ）、 ２６ ディスクドライブ、 ２７ 再生用バッファ（ＲＢＵＦ）、 ２８ デマルチプレクサ（ＤＭＵＸ）、 ２９ＭＰＥＧ−Ｖデコーダ、 ３０ 再生映像同期信号（ＶＦＲ−ｐｂ）、 ３１Ｖ−Ｄ／Ａ回路、 ３２ Ｓ映像信号出力端子、 ３３ ＭＰＥＧ−Ａデコーダ、 ３４ 再生音声同期信号（ＡＦＲ−ｐｂ）、 ３５ Ａ−Ｄ／Ａ回路、 ３６Ｌ、３６Ｒ ステレオ音声信号出力端子、 ３７ 再生用基準時刻カウンタ（ＰｂＳＴＣ）
Claims (6)
- 入力された映像信号を基準同期信号に同期化させる可変遅延処理を有する映像音声同期化方法において、
上記可変遅延処理による映像の遅延時間を１フレーム以内に制御し、
上記映像信号の基準同期信号のタイミングで基準時刻をラッチして映像の時刻情報を算出し、
入力された音声信号の符号化に用いる符号化用同期信号のタイミングで基準時刻をラッチした時刻情報に基準同期の１フレーム分の時間を加算して音声の時刻情報を算出し、
上記算出した時刻情報を映像，音声信号と共に多重化した多重化信号を生成し、
記録或いは伝送された上記多重化信号から上記映像，音声信号及び時刻情報を分離し、
上記分離した時刻情報に基づいて映像と音声の同期をとることを特徴とする映像音声同期化方法。 - 上記多重化前の映像，音声信号を時間軸上で圧縮して符号化し、
上記可変遅延処理によるフレーム飛び情報又はフレーム繰り返し情報を検出し、
上記検出したフレーム飛び情報又はフレーム繰り返し情報に基づいてフレームの動きベクトルを制御することを特徴とする請求項１記載の映像音声同期化方法。 - 上記可変遅延処理によるフレーム飛び情報又はフレーム繰り返し情報を検出し、
上記フレーム飛び情報又はフレーム繰り返し情報をも多重化し、
記録或いは伝送された上記多重化信号から上記フレーム飛び情報又はフレーム繰り返し情報をも分離し、
この分離したフレーム飛び情報又はフレーム繰り返し情報に基づいて前後のフレームから補間してフレームを作成して表示する又は繰り返しフレームをスキップさせて表示させるように変速再生時の制御を行うことを特徴とする請求項１記載の映像音声同期化方法。 - 入力された映像信号を基準同期信号に同期化させる可変遅延手段を有する映像音声信号記録再生装置において、
上記可変遅延手段による映像信号の遅延時間を１フレーム以内に制御する遅延時間制御手段と、
上記映像信号の基準同期信号のタイミングで基準時刻をラッチして映像の時刻情報を算出する映像時刻情報算出手段と、
入力された音声信号の符号化に用いる符号化用同期信号のタイミングで基準時刻をラッチした時刻情報に基準同期の１フレーム分の時間を加算して音声の時刻情報を算出する音声時刻情報算出手段と、
上記映像時刻情報算出手段及び音声時刻情報算出手段にて算出した時刻情報を映像，音声信号と共に多重化する多重化手段と、
上記多重化手段からの多重化信号を記録媒体に記録し、当該記録媒体に記録された多重化信号を再生する記録再生手段と、
上記記録媒体から再生された多重化信号から上記映像，音声信号及び時刻情報を分離する分離手段と、
上記分離した時刻情報に基づいて映像信号と音声信号の同期をとる同期化手段とを有することを特徴とする映像音声信号記録再生装置。 - 上記多重化前の映像，音声信号を時間軸上で圧縮して符号化する圧縮符号化手段と、
上記可変遅延手段によるフレーム飛び情報又はフレーム繰り返し情報を検出する検出手段と、
上記検出されたフレーム飛び情報又はフレーム繰り返し情報に基づいてフレームの動きベクトルを制御する符号化制御手段とを設けることを特徴とする請求項４記載の映像音声信号記録再生装置。 - 上記可変遅延手段によるフレーム飛び情報又はフレーム繰り返し情報を検出する検出手段と、
フレーム飛び情報又はフレーム繰り返し情報に基づいて前後のフレームから補間してフレームを作成して表示する又は繰り返しフレームをスキップさせて表示させるように変速再生時の制御を行う再生制御手段とを設け、
上記多重化手段では、上記検出したフレーム飛び情報又はフレーム繰り返し情報をも多重化し、
上記分離手段では、記録媒体から再生された多重化信号から上記フレーム飛び情報又はフレーム繰り返し情報をも分離し、
上記再生制御手段では、上記分離手段が分離した上記フレーム飛び情報又はフレーム繰り返し情報を用いて上記変速再生時の制御を行うことを特徴とする請求項４記載の映像音声信号記録再生装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27017197A JP3807053B2 (ja) | 1997-10-02 | 1997-10-02 | 映像音声同期化方法及び映像音声信号記録再生装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27017197A JP3807053B2 (ja) | 1997-10-02 | 1997-10-02 | 映像音声同期化方法及び映像音声信号記録再生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11112937A JPH11112937A (ja) | 1999-04-23 |
| JP3807053B2 true JP3807053B2 (ja) | 2006-08-09 |
Family
ID=17482529
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27017197A Expired - Fee Related JP3807053B2 (ja) | 1997-10-02 | 1997-10-02 | 映像音声同期化方法及び映像音声信号記録再生装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3807053B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7683942B2 (en) | 2004-05-18 | 2010-03-23 | Canon Kabushiki Kaisha | Information recording apparatus and control method thereof |
| JP4826798B2 (ja) * | 2007-02-28 | 2011-11-30 | 日本電気株式会社 | 映像符号化システム、方法及びプログラム |
-
1997
- 1997-10-02 JP JP27017197A patent/JP3807053B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11112937A (ja) | 1999-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3094999B2 (ja) | オーディオ・ビデオ同期再生装置 | |
| KR100290331B1 (ko) | 오디오-비디오 신호의 동기 재생 장치 | |
| KR100711328B1 (ko) | 데이터 처리 장치 및 방법 | |
| US6163647A (en) | Apparatus for synchronized playback of audio-video signals | |
| US6339760B1 (en) | Method and system for synchronization of decoded audio and video by adding dummy data to compressed audio data | |
| CN101076121B (zh) | 流生成装置、成像装置、数据处理装置和流生成方法 | |
| KR101132043B1 (ko) | 디코더 장치 및 디코드 방법 | |
| JP2002501702A (ja) | ビデオ及び音声信号処理 | |
| US8301018B2 (en) | Audio/video synchronous playback device | |
| KR100693233B1 (ko) | 데이터 기록 재생 장치 | |
| JP3807053B2 (ja) | 映像音声同期化方法及び映像音声信号記録再生装置 | |
| JP2000078531A (ja) | オ―ディオデ―タ編集方法、編集システム | |
| KR100240331B1 (ko) | 디코더 시스템의 비디오/오디오 동기화 장치 | |
| JP3617171B2 (ja) | エンコーダ装置及び方法、デコーダ装置及び方法、並びに信号伝送方法 | |
| JP2006352587A (ja) | 情報処理装置 | |
| JP2558730B2 (ja) | 映像伝送方式 | |
| JPH08263086A (ja) | オーディオデータ再生装置およびオーディオデータ伝送システム並びにこれらに用いられるコンパクトディスク | |
| JP3075034B2 (ja) | 画像・音声復号化装置 | |
| JP2004153631A (ja) | デジタル映像音声記録装置 | |
| JP2000155598A (ja) | 多チャンネル・オーディオ信号の符号化／復号化方法と装置 | |
| JPH11346348A (ja) | 映像音声同期方法及び映像音声多重化装置 | |
| JP3994786B2 (ja) | ビデオテープレコーダ | |
| JPH08180585A (ja) | オーデイオ信号符号化復号化装置 | |
| JP2004200798A (ja) | Ｍｐｅｇトランスポートストリーム生成装置、ｍｐｅｇトランスポートストリーム記録再生装置 | |
| JP2001309305A (ja) | 記録装置および方法、並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060117 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060320 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060425 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060508 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100526 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100526 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110526 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110526 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120526 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120526 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130526 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |