JPH0787324A - 動画・音声同期処理システム - Google Patents

Abstract

(57)【要約】 【目的】データ形式の異なる画像データと音声データと
を効率を良く同期させる。 【構成】画像入出力部１に取込まれた１フレーム分の画
像データに対応する音声データは、音声処理部３でデジ
タル変換された後、フォーマット変換部４内のラッチ部
４１にラッチされる。変換部４は、この音声データをメ
モリ部４２に８回書込んで、同データを横方向に引伸ば
した後、この横に引伸ばされた音声データを８回読込ん
で、同データを縦方向に引き伸ばし、音声データのフォ
ーマットを縦横８×８ピクセルの画像データのフォーマ
ットに変換する。この変換後の音声データは、圧縮伸張
部５により画像データとして圧縮された後、対応する画
像データのブランキング領域に挿入されて、記憶部６に
格納される。再生時には、画像データと音声データとに
対して入力時と逆の処理が行われ、画像と音声とが同期
して復元される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像、音声、文字情報
などを扱うマルチメディアシステムに係り、特に動画像
に音声を同期させる動画・音声同期処理システムに関す
る。

【０００２】

【従来の技術】従来、動画と音声を同期させて記録再生
する技術として、「マルチメディア同期再生のための記
述方式（１９９２年電子情報通信学会秋季大会 Ｐ１−
２７９）」などのように、画像および音声それぞれに処
理を行い、この処理した画像および音声を関連づける同
期情報により管理し、同期再生を行うものがあった。

【０００３】また、画像情報と他のデ−タとを合成して
処理する技術としては、「階層型予測符号化における多
値画像への属性情報の埋め込み（１９９０／３電子情報
通信学会論文誌 Ｐ２２９〜２３５）」というものがあ
った。これは、多値画像を予測符号化法で階層的に伝送
する際に、画像情報の識別を容易にする属性情報、例え
ば文字情報を画像デ−タに埋め込むといった多重化法
（属性情報の多重化）であった。

【０００４】

【発明が解決しようとする課題】上記「マルチメディア
同期再生のための記述方式（１９９２年電子情報通信学
会秋季大会 Ｐ１−２７９）」では、画像および音声の
デ−タが別々であるためデ−タの処理に負担がかかり効
率は良くなかった。さらに、動画および音声を同期させ
るのに同期情報を必要としているので、デ−タの扱いが
繁雑なものとなっていた。

【０００５】また、上記「階層型予測符号化における多
値画像への属性情報の埋め込み（１９９０／３ 電子情
報通信学会論文誌 Ｐ２２９〜２３５）」では、属性情
報を画像デ−タの中に埋め込むことで、属性情報の取扱
いは容易になるが、動画と音声とを同期させるためには
依然として同期情報が必要であった。

【０００６】一方、マルチメディア、編集の分野では、
よりシンプルで簡単に、画像データ、音声データといっ
た形式の異なるデ−タを同期させる技術が望まれてい
た。本発明は、上記事情を考慮して成されたものであ
り、その目的は、デ−タ形式の異なる画像情報と音声情
報とをそれぞれ独立して記憶し、これら画像情報と音声
情報とを関連付ける同期情報により同期させていた従来
の動画・音声同期処理システムに比べ、画像情報および
音声情報の扱いが簡単で、しかも効率の良い動画・音声
同期処理システムを提供することにある。

【０００７】

【課題を解決するための手段】本発明は、画像入出力手
段と、入力された画像デ−タを記憶するための画像デ−
タ記憶手段と、画像デ−タを圧縮または伸張する画像圧
縮伸張手段と、圧縮された画像デ−タを記憶するための
圧縮データ記憶手段と、画像データに対応する音声デー
タを入出力する音声データ入出力手段と、この入力され
た音声デ−タを、上記画像圧縮伸張手段での圧縮処理に
適合したフォーマットに変換するフォーマット変換手段
と、このフォーマット変換された音声デ−タを記憶する
ための音声データ記憶手段とを設け、上記画像データ記
憶手段に記憶された画像データを圧縮すると共に、上記
音声データ記憶手段に記憶されているフォーマット変換
後の音声データを、画像データとして扱って圧縮し、画
像と音声とを同期させる構成としたことを特徴とする。

【０００８】

【作用】上記した構成において、１フレーム分の画像デ
ータに対応する音声データは、音声入出力手段によりデ
ジタル変換される。このデジタル変換された音声データ
は、フォーマット変換手段により、画像圧縮伸張手段で
の画像圧縮処理に適合したフォーマット、例えばＪＰＥ
Ｇ方式による画像圧縮処理に適合したフォーマットに変
換される。その後、このフォーマットの変換された音声
データは、音声データ記憶手段に記憶される。

【０００９】一方、この音声データに対応する１フレー
ム分の画像データは、画像入出力手段を介して画像デー
タ記憶手段に記憶された後、画像圧縮伸張手段によりＪ
ＰＥＧ方式で圧縮されて、圧縮データ記憶手段に記憶さ
れる。

【００１０】また、上記したように音声データ記憶手段
に記憶された音声データは、画像圧縮伸張手段により画
像データとして扱われて圧縮される。この圧縮された音
声データは、画像圧縮伸張手段によって同音声データに
対応する画像データのブランキング領域に挿入されて、
圧縮データ記憶手段に記憶される。

【００１１】このように、１フレーム分の音声デ−タを
画像圧縮処理用のフォーマットに変換し、変換した音声
データを画像デ−タとして圧縮するというようにフレー
ム単位で処理を行うことにより、画像と同期した音声の
記録ができる。したがって、再生時に、画像データおよ
び音声データに対して記録時と逆の処理を施すことによ
り、音声は画像に同期して再生される。

【００１２】また、上記した構成では、画像データと音
声データとを一体化して同じデ−タ形式で記憶する構成
としているので、デ−タ形式の異なる画像データと音声
データとを独立に記憶し、これら独立に記憶した画像デ
ータと音声データとを関連付ける同期情報により同期さ
せている従来の動画・音声同期処理システムよりも、デ
−タの管理手順も楽であり、管理情報も必要ない。

【００１３】また、上記した構成においては、画像と音
声とのデ−タ形式が同じであるために、画像のみに対応
したシステムでも再生でき、ただ単に画像情報に音声情
報を入れた場合（画像情報に音声情報を埋め込んだ場
合）と比べて再生が容易となる。

【００１４】また、上記した構成において、音声データ
を画像のブランキング期間に画像フォーマットで挿入す
ることにより、再生時に音声の処理をせずにそのまま表
示したとしても、画像には影響しない。とくに、音声デ
ータを垂直ブランキング期間に挿入することにより、１
フィールド毎に音声デ−タと画像デ−タとを同期させる
ことができる。

【００１５】

【実施例】以下、図面を参照して本発明の一実施例を説
明する。図１は、同実施例に係る動画・音声同期処理シ
ステムの概略構成図である。ここで、この動画・音声同
期処理システムでは、画像処理方式としてＪＰＥＧ方
式、音声処理方式としてＰＣＭ（Pulse Code Modulatio
n ）方式を用いている。

【００１６】なお、ＪＰＥＧとは、ＣＣＩＴＴとＩＳＯ
の合同によるカラー静止画伝送・蓄積のための画像圧縮
方式の国際標準化を行う委員会（Joint Photographic E
xperts Group）の略称であり、このＪＰＥＧで定められ
た静止画像圧縮方式が、ＪＰＥＧ方式と呼ばれているも
のである。

【００１７】図１において、動画・音声同期処理システ
ムは、画像入出力部１、画像メモリ部２、音声処理部
３、フォーマット変換部４、画像圧縮伸張部５、および
圧縮デ−タ記憶部６から構成される。

【００１８】画像入出力部１は、入力部１１と出力部１
２とから構成されている。入力部１１は、アンプ１１
１、バイアスクランプ１１２、ローパスフィルタ１１３
およびＡ／Ｄ（アナログ／デジタル）変換装置１１４か
ら構成される。出力部１２は、Ｄ／Ａ（デジタル／アナ
ログ）変換装置１２１、ローパスフィルタ１２２および
アンプ１２３から構成されている。

【００１９】画像の入力時には、画像入出力部１の入力
部１１が、アナログ入力画像をデジタル画像に変換す
る。入力部１１は、変換されたデジタル画像を画像メモ
リ部２に出力する。

【００２０】一方、画像の出力時には、画像入出力部１
の出力部１１が、画像メモリ部２に記憶されたデジタル
画像をアナログ画像に変換して外部に出力する。画像メ
モリ部２は、画像入出力部１から入力される画像データ
あるいは画像圧縮伸張部５で伸張された画像データを記
憶するためのものである。

【００２１】音声処理部３は、アナログ音声信号をＰＣ
Ｍ方式で変換し、８ビットのデジタル音声デ−タに変換
する。フォーマット変換部４は、音声処理部３でデジタ
ル変換された音声デ−タを画像デ−タとして扱って圧縮
・伸張処理できるように、この音声データのフォーマッ
トを画像データのフォーマットに変換するもので、ラッ
チ部４１および音声データメモリ部４２を有する。

【００２２】ラッチ部４１は、音声処理部３でデジタル
変換された音声データをラッチする。ラッチ部４１にラ
ッチされた音声データは音声データメモリ部４２に８回
格納される。

【００２３】一方、画像の出力時には、フォーマット変
換部４は、画像圧縮伸張部５により伸張された音声デー
タのフォーマットを変換し音声処理部３に出力する。画
像圧縮伸張部５は、画像入力時には、画像メモリ部２か
ら取り込んだ画像デ−タと、フォーマット変換部４によ
りフォーマット変換された音声データを、ＪＰＥＧ方式
で圧縮する。画像圧縮伸張部５は、圧縮した画像データ
の後ろに音声データを付けて圧縮データ記憶部６に格納
する。一方、画像出力時には、画像圧縮伸張部５は、圧
縮データ記憶部６から読み込んだ圧縮データを伸張し、
伸張したデータの内画像データを画像メモリ部２に、音
声データをフォーマット変換部４にそれぞれ出力する。

【００２４】圧縮データ記憶部６は、画像圧縮伸張部５
により圧縮された画像データおよび音声データを記憶す
るためのものである。つぎに、上記構成の動画・音声同
期処理システムの動作を図を用いて説明する。

【００２５】ここでは、入力画像として、ＮＴＳＣコン
ポーネント信号（６０ｆｐｓ、走査線５２５本／フレー
ム、インターレス、Ｙ／Ｃ（Ｙ：輝度信号，Ｃ：色差信
号））を用いた場合を例にとって説明を行う。

【００２６】まず、画像入出力部１は、アナログ入力画
像（映像（Ｙ／Ｃ））を、デジタル画像に変換し、画像
メモリ部２に出力する。このとき、サンプリング周波数
を１４．３１８１８ＭＨｚとすると、画像サイズは横９
１０×縦２６２．２５ピクセルとなり、図２に示すフォ
ーマットで画像は出力される。図２に示すように、画像
は有効画像領域（表示領域）とその周囲のブランキング
領域とから構成される。

【００２７】画像メモリ部２には、この画像のうち有効
画像領域分の約７６０×２４０ピクセルの画像データが
記憶される。これと同時に、音声処理部３は、サンプリ
ングクロックとして画像のＨＳＹＮＣ（１５．７３４Ｋ
Ｈｚ）を用いて音声を取り込む。

【００２８】音声処理部３は、このサンプリングクロッ
クで取り込んだ音声を、ＰＣＭ方式により、８ビット
（１バイト）のデジタル音声デ−タ（値は「０」〜「２
５５」の範囲）に変換する。これにより、音声デ−タ
は、画像入出力部１により入力される画像デ−タと同期
したものになり、画像１フィールドの入力に対して、Ｏ
ＤＤフィールド（走査線２６２本）の場合は、２６２個
の音声デ−タＤ１〜Ｄ２６２が、ＥＶＥＮフィールド
（走査線２６３本）の場合は、図３（ａ）に示すように
２６３個の音声デ−タＤ１〜Ｄ２６３が出力される。

【００２９】音声処理部３によりデジタル変換された音
声デ−タＤ１〜Ｄ２６２またはＤ１〜Ｄ２６３は、フォ
ーマット変換部４に順次出力される。図４に示すよう
に、この音声処理部３からフォーマット変換部４に出力
された音声デ−タＤ１は、同変換部４内のラッチ部４１
によりラッチされる。変換部４（内の図示せぬ制御部）
は、ラッチ部４１にラッチされた音声デ−タＤ１を横方
向（ラスタ方向）に１データ長分ずつ位置を変えなが
ら、８回音声デ−タメモリ部４２に格納する。その後、
変換部４（内の図示せぬ制御部）は、音声処理部３から
音声デ−タＤ１に続いて順次出力される音声デ−タＤ
２，Ｄ３，…，Ｄ２６３についても、音声デ−タＤ１と
同様に、それぞれラッチ部４１によりラッチして、それ
ぞれ８回ずつ音声デ−タメモリ部４２に格納する。この
ようにして、音声デ−タの横方向のフォーマットの変換
が完了する。このフォーマット変換部４１による横方向
フォーマット変換の様子を図４に示す。

【００３０】一方、画像圧縮伸張部５は、まず、画像メ
モリ部２から画像データをＹ／Ｃそれぞれ１ラインずつ
取り込んで、同圧縮伸張部５内部に８ライン分画像デー
タを蓄え、８×８ピクセルを単位に画像データを圧縮す
る処理を画像データの全ラインについて、繰り返し実行
する。つぎに、画像圧縮伸張部５は、フォーマット変換
部４内の音声データメモリ部４２に格納されている音声
データについても画像データと同様に、８ライン分音声
データを蓄えてから、８×８ピクセル単位で圧縮処理を
行う。

【００３１】この画像データおよび音声データの圧縮処
理について、図を用いて説明する。まず、圧縮前の画像
データおよび音声データの構造を図５（ａ）に示す。た
だし、図５（ａ）では、画像データの後に音声データ取
り込んだ状態でのデータ構造を論理的に示している。

【００３２】先程述べた通り、入力された画像データ
は、その画像サイズが７６０×２４０ピクセルであるの
で、８×８ピクセル（画素）を１ブロックとすれば、図
５（ａ）に示すように、画像データは９５×３０ブロッ
ク＝２８５０ブロック（ブロックＢ１〜Ｂ２８５０）に
分割することができる。

【００３３】一方、音声データは、後述するように画像
データのデータフォーマットに変換されて圧縮される。
そこで、そのデータサイズを画像サイズに合わせると図
５（ａ）に示すように７６０×２４ピクセルに相当す
る。したがって、音声データは、画像データと同様に８
×８ピクセルを１ブロックとすれば、図５（ｂ）に示す
ようなブロックに分割することができる。この場合、ブ
ロック数は９５×３ブロック＝２８５ブロックになる。
しかし、実際の音声データは２６２または２６３ブロッ
クであるので、残りのブロック（すなわちブロック２６
３〜２８５、またはブロック２６４〜２８５）には、図
６に示すようにダミーデータ（値は「０」）が入れられ
る。

【００３４】また、図７は、図５（ａ）に示したデータ
構造に応じたデータ圧縮／伸張処理の順序を説明するた
めの図である。画像圧縮伸張部５は、図７に示すよう
に、画像の左上から水平方向に左から右へ順に圧縮処理
を進めていく。すなわち、画像圧縮伸張部５は、まず、
画像メモリ部２から読み出した画像データを、ブロック
Ｂ１から順にブロックＢ２、ブロックＢ３、…と圧縮し
ていく。そして、画像圧縮伸張部５は、画像データの最
終ブロックＢ２８５０の圧縮が終了すると、フォーマッ
ト変換部４から出力される音声データを順次圧縮してい
く。このような手順により圧縮された画像データおよび
音声データは、画像圧縮伸張部５により圧縮データ記憶
部６に格納される。

【００３５】つぎに、この画像圧縮伸張部５での音声デ
ータの具体的な圧縮処理について詳細に説明する。ま
ず、画像データ（ブロックＢ１〜Ｂ２８５０）の圧縮処
理が終了すると、画像圧縮伸張部５は、フォーマット変
換部４に対して同期信号を出力する。

【００３６】フォーマット変換部４は、同変換部４内の
音声データメモリ４２に格納されている音声データを、
画像データの１ラインに相当する７６０データ分（７６
０バイト）を１単位として、画像圧縮伸張部５からの同
期信号に同期してそれぞれ８回ずつ順次読み込んで、今
度は音声データを縦方向に８倍する。すなわち、音声デ
ータは、ＪＰＥＧ方式による画像圧縮に適合するデータ
フォーマットである８×８ピクセルからなるブロックに
変換される。

【００３７】ここで、音声データＤ１を例にとれば、同
データＤ１は、図３（ｂ）に示すように、まず横方向に
８倍され、その後縦方向に８倍される。このように、フ
ォーマット変換部４により８×８ピクセルからなるブロ
ックにフォーマット変換された音声データＤ１は、画像
圧縮伸張部５に出力される。

【００３８】画像圧縮伸張部５は、例えば図８（ａ）に
示すような音声データＤ１を受け取ると、同データＤ１
に対してＤＣＴ（Discrete Cosine Transform ）変換を
施す。すると、図８（ｂ）に示すように音声データＤ１
のＤＣ成分にのみ係数が現れる。ここでは、音声データ
Ｄ１の値は“５０”であるので、図８（ｂ）に示すよう
に、ブロック左上のＤＣ成分にのみ係数“５０”が現れ
る。

【００３９】つぎに、画像圧縮伸張部５は、ＤＣＴ変換
された音声データＤ１を例えば図８（ｄ）に示すような
量子化テーブルを用いて量子化する。ここで、ＤＣＴ変
換後の音声データＤ１は、図８（ｂ）から明らかなよう
にＤＣ成分のみ係数が“５０”で、その他の成分はすべ
て“０”となっているので、図８（ａ）に示す量子化テ
ーブルを用いた量子化の結果、音声データＤ１は図８
（ｃ）のようになる。

【００４０】この後、画像圧縮伸張部５は、量子化した
音声データＤ１をハフマン符号化し、符号化したデータ
を圧縮データ記憶部６に格納する。一般に、人間の視覚
は、高周波成分には鈍感であるといわれており、画像の
圧縮の時には、画像の低周波成分の比重を大きくして、
低周波成分の比重を少なくするように、量子化テーブル
は設定されている。このため、量子化テーブルのＤＣ成
分は、常に低い値に設定されており、この特徴を利用し
て音声の処理を行う。量子化テーブルには、デフォルト
値がないため、自由に設定することが可能であり、本実
施例では図８（ｄ）に示したようにＤＣ成分を“１”に
設定している。

【００４１】しかしながら、圧縮率の制限、その他の要
因により、量子化テーブルのＤＣ成分を“１”に設定し
ない場合も考えられる。そのような場合においては、有
効ビットというものを考慮して処理をするようにしなけ
ればならない。特に、ＰＣＭ方式のように絶対値でデー
タを表す方式ではなく、ＡＤＭ（Adaptive Delta Modul
ation ）方式などのように前データとの差分が関係する
ような方式を用いる場合では、データが正しく復元され
ないと音が崩れてしまう。また、ＤＣ成分に限らず、Ａ
Ｃ成分でも非常に低い成分であれば、量子化テーブルの
設定次第でかなりの精度で音声を復元できる。

【００４２】つぎに、画像伸張時の音声データの復元を
図９を用いて説明する。画像圧縮伸張部５は、図７に示
したように画像データのブロックＢ１から順に水平方向
に伸張していく。画像圧縮伸張部５は、伸張した画像デ
ータを画像メモリ部２に記憶する。画像データの最終ブ
ロックＢ２８５０まで伸張処理が終了すると、画像圧縮
伸張部５は、音声データＤ１を読み出して、続けて伸張
処理を行う。

【００４３】まず、画像圧縮伸張部５は、圧縮データ記
憶部６から読み出した音声データＤ１に対し、ハフマン
復号化を施す。ハフマン復号化はハフマン符号化されて
いる音声データを完全に元の状態に戻せるため、ハフマ
ン復号化後の音声データＤ１は、図９（ａ）に示すよう
に、図８（ａ）に示したハフマン符号化前の音声データ
Ｄ１と同一のものとなる。

【００４４】このように復号化された音声データＤ１
を、画像圧縮伸張部５は、図９（ｄ）に示す量子化テー
ブル（図８（ｄ）に示す量子化テーブルと同じもの）を
用いて逆量子化する。すると、図９（ｂ）のような音声
データＤ１が得られる。この後、圧縮伸張部５は、逆量
子化された音声データＤ１についてＩＤＣＴ（逆ＤＣ
Ｔ）演算を行って、図９（ｃ）のような伸張された音声
データＤ１を得る。このデータに対して入力時と逆の処
理をすれば、音声を復元できる。このとき、音声データ
Ｄ１のフォーマットは、図９（ｃ）に示したように縦横
８×８ピクセルの画像データのフォーマットのままであ
るが、フォーマット変換部４の音声データメモリ部４２
には、図９（ｃ）の音声データＤ１の内水平方向一列分
（すなわち８個分）のみが格納される。そして、フォー
マット変換部４（内の図示せぬ制御部）は、この一列分
（８個分）の音声データＤ１の内１個だけをラッチ部４
１でラッチする。音声処理部３は、ラッチ部４２でラッ
チされた音声データＤ１を基に、音声を復元する。

【００４５】この復元された音声は、、画像メモリ部２
に出力された画像データを基に画像入出力部１により復
元される画像と同期したものとなる。このように、上記
実施例では、１フレーム分の音声データを画像処理用の
フォーマットに変換し、変換したデータを画像データの
中に入れてから、ＪＰＥＧ方式により、フレーム単位で
圧縮することにより、画像と同期した音声の記録・再生
ができる。

【００４６】上記実施例では、画像圧縮用の量子化テー
ブルを音声にも共用しているため、値が小さく設定され
ているＤＣ成分、ＡＣ成分の低周波領域を使用したが、
画像用と音声用に別々の量子化テーブルを用意する場合
においては、量子化テーブルの設定は自由であり、デー
タ形式もそれに適したサイズでよい。例えば量子化テー
ブルの値を全て１に設定した場合は、音声データを縦横
数倍に割り増しする必要はなく、フォーマット変換部４
では、ただ画像圧縮のタイミングでデータを出力すれば
よい。

【００４７】上記実施例では、Ｙ／Ｃで、しかもＣにの
み音声信号を付加したが、ＲＧＢ処理の場合は、画像は
ＲＧＢ同時に処理を行うため、画像データの後ろに付加
する音声データも３つに分けて処理することができ、処
理サイズを小さくすることができる。

【００４８】通常これらをハードウェアで実現する場合
は、ビデオ側のＳＹＮＣと圧縮伸張側のＳＹＮＣが異な
るため、画像データメモリ、音声データメモリなどはそ
れぞれ２面用意したほうがよい。この場合、音声データ
メモリは、２６３（または２６２）×８Ｂｙｔｅの領域
を２つ必要とする。これは、一方のメモリが画像圧縮伸
張処理部５とアクセスしている間、もう一方のメモリは
画像入出力部１とアクセスを行うというように切り替え
て使用できるようにするためである。

【００４９】上記実施例では、機能実現の１方法とし
て、サンプリングクロックに画像のＨＳＹＮＣを用いビ
ット長を８ビットにしたが、実際には扱う音声によりク
ロック、ビット長などを最適な値にする必要がある。し
かしながら、処理は画像のビット長に合わせる必要があ
り、音声のビット長がそれより長い場合には、データを
２つに分けなければならないが、量子化テーブルの値か
ら有効ビット数を十分考慮する必要がある。

【００５０】上記実施例では、音声データの挿入位置を
Ｖ（垂直）ブランキング期間に設定したため、フィール
ド単位にしか音声は同期しないが、音声データの挿入位
置をＨ（水平）ブランキング期間に設定することによ
り、ＨＳＹＮＣ単位での音声の同期も可能である。

【００５１】

【発明の効果】本発明によれば、１フレーム分の音声デ
ータを画像処理用のフォーマットに変換し、フォーマッ
ト変換した音声データを画像データの中に入れてから、
この音声データを含む画像データをフレーム単位で圧縮
することにより、画像と同期した音声の記録・再生がで
きる。

【００５２】また、本発明によれば、画像情報と音声情
報とを一体化して同じデータ形式で記憶しているので、
データ形式の異なる画像情報と音声情報とを独立して記
憶し、これら画像情報と音声情報とを関連付ける同期情
報により画像情報と音声情報とを同期させる従来の動画
・音声同期処理システムよりも、データの管理手順は楽
であり、また同期情報のような管理情報も必要ない。

【００５３】また、本発明によれば、画像処理用のフォ
ーマットに変換した音声情報を画像情報の中に入れるよ
うにしているので、すなわち画像と音声とのデータ形式
を同一にしているので、画像のみに対応したシステムで
も再生できる。したがって、本発明によれば、ただ単に
画像情報に音声情報を入れた場合に比べて、画像と音声
を容易に再生できる。

【００５４】また、本発明によれば、音声データを画像
のブランキング期間に画像処理用のフォーマットで挿入
することにより、再生時に、音声データの処理をせずに
そのまま表示したとしても、画像には影響せず、かつ音
声データをＶ（垂直）ブランキング期間に挿入すること
により、１フィールド毎に音声データが同期する。

【図面の簡単な説明】

【図１】本発明の一実施例に係る動画・音声同期処理シ
ステムの構成を示すブロック図。

【図２】図１の画像入出力部１に入力される画像のフォ
ーマットを示す図。

【図３】図１のフォーマット変換部４から出力される音
声データのフォーマットと画像圧縮伸張部５で認識され
る音声データのフォーマットとを対比して示す図。

【図４】図１のフォーマット変換部４での音声データの
フォーマット変換の様子を示す図。

【図５】図１の画像圧縮伸張部５での圧縮処理前の画像
データおよび音声データのフォーマットを論理的構造で
示した図。

【図６】図５の音声データのフォーマットの詳細な構造
を示す図。

【図７】図１の画像圧縮伸張部５での画像圧縮／伸張処
理の順序を示す図。

【図８】図１の画像圧縮伸張部５での音声データの圧縮
処理の手順を示す図。

【図９】図１の画像圧縮伸張部５での音声データの伸張
処理の手順を示す図。

【符号の説明】

１…画像入出力装置、２…画像メモリ部、３…音声処理
部、４…フォーマット変換部、５…画像圧縮伸張部、６
…圧縮データ記憶部、４１…ラッチ部、４２…音声デー
タメモリ部。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 画像デ−タを入出力する画像入出力手段
   と、 前記画像入出力手段により入力された画像デ−タを記憶
   するための画像データ記憶手段と、 画像デ−タを圧縮または伸張する画像圧縮伸張手段と、 前記画像圧縮伸張手段により圧縮された画像デ−タを記
   憶するための圧縮データ記憶手段と、 前記画像データに対応する音声データを入出力する音声
   入出力手段と、 前記音声入出力手段により入力された音声デ−タを、前
   記画像圧縮伸張手段での圧縮処理に適合したフォーマッ
   トに変換するフォーマット変換手段と、 前記フォーマット変換手段によりフォーマット変換され
   た音声デ−タを記憶するための音声データ記憶手段と、 を備え、 前記画像圧縮伸張手段は、前記画像データ記憶手段に記
   憶された画像データを圧縮すると共に、前記音声データ
   記憶手段に記憶された前記フォーマット変換後の音声デ
   ータを、画像データとして扱って圧縮し、画像と音声と
   を同期させることを特徴とする動画・音声同期処理シス
   テム。
2. 【請求項２】 前記画像圧縮伸張手段は、前記フォーマ
   ット変換手段によりフォーマット変換された音声デ−タ
   を、画像データの中に入れてから、ＪＰＥＧ（Joint Ph
   otographic Experts Group）圧縮することを特徴とする
   請求項１記載の動画・音声同期処理システム。
3. 【請求項３】 前記画像圧縮伸張手段は、前記フォーマ
   ット変換手段によりフォーマット変換された音声デ−タ
   を、前記画像デ−タのブランキング領域に入れることを
   特徴とする請求項１または請求項２に記載の動画・音声
   同期処理システム。