JPH08280008A - 符号化方法及び装置 - Google Patents

Abstract

(57)【要約】 【目的】 復号化後の音声と映像との時間差（リップシ
ンク）を解消する。 【構成】 入力端子１に供給される映像信号がフレーム
シンクロナイザー２に供給されて、端子３に供給される
基準の同期信号に同期化される。この同期化された映像
信号が映像符号化器４に供給されて符号化され、この符
号化された映像信号がデーター合成器５に供給される。
また入力端子６に供給される音声信号は、そのまま音声
符号化器７に供給されて符号化され、この符号化された
音声信号が遅延量可変の遅延回路８に供給される。この
遅延回路８にはフレームシンクロナイザー２からの遅延
量が入力されて遅延量の調整が行われる。そしてこの遅
延回路８を通じた符号化された音声信号がデーター合成
器５に供給される。さらに符号化された音声信号と映像
信号が時分割などによって１つの伝送路に合成され、チ
ャンネルコーダーや変調器（図示せず）に供給される端
子９に取り出される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば音声及び映像入
力を同期して符号化する際に使用して好適な符号化方法
及び装置に関するものである。

【０００２】

【従来の技術】いわゆるマルチメディアと呼ばれる情報
伝達システムにおいては、基準の同期信号に対して音声
信号及び映像信号が同期化されて伝送信号の形成が行わ
れている。そこでこのような音声信号及び映像信号を同
期化して符号化する場合には、従来から例えば図５に示
すような装置が用いられていた。

【０００３】すなわち図５において、送信側の符号化装
置では、入力端子５１に供給される映像信号がフレーム
シンクロナイザー５２に供給されて、端子５３に供給さ
れる基準の同期信号に同期化される。この同期化された
映像信号が映像符号化器５４に供給されて符号化され、
この符号化された映像信号がデーター合成器５５に供給
される。

【０００４】また入力端子５６に供給される音声信号
は、そのまま音声符号化器５７に供給されて符号化さ
れ、この符号化された音声信号が映像信号との処理時間
を調整する遅延回路５８を通じてデーター合成器５５に
供給される。これによって符号化された音声信号と映像
信号のデーターが１つの伝送路に合成される。さらにこ
のデーター合成器５５からの信号がチャンネルコーダー
や変調器（図示せず）に供給される端子５９に取り出さ
れる。

【０００５】これに対して受信側の復号化装置では、チ
ャンネルデコーダーや復調器（図示せず）からの信号が
端子６０を通じてデーター分離器６１に供給される。そ
して分離された符号化映像信号が映像復号化器６２に供
給されて元の映像信号が復元され、出力端子６３に取り
出される。またデーター分離器６１で分離された符号化
音声信号が、音声復号化器６４に供給されて元の音声信
号が復元され、出力端子６５に取り出される。

【０００６】この装置において、映像信号のフレームシ
ンクロナイザー５２での遅延量をＴvd、映像符号化器５
４での遅延量をＴv1、映像復号化器６２での遅延量をＴ
v2とし、音声信号の音声符号化器５７での遅延量をＴa
1、音声復号化器６４での遅延量をＴa2とすると、遅延
回路５８での遅延量Ｔadは次の式１のように定められ
る。 Ｔad＝Ｔv1＋Ｔv2＋Ｔvd−（Ｔa1＋Ｔa2） ・・・・ 式１

【０００７】ここで、一般に定ビットレートのコーデッ
クでは、時間内に一定量では発生しないデーターを伝送
路上で定レートにするために、いわゆる定レートバッフ
ァーを符号化器内に持ち、また符号化、復号化を通して
の遅延量が一定になるように復号化器内にもバッファー
を持っている。従ってこのような装置では、上述の遅延
量Ｔv1、Ｔv2、Ｔa1、Ｔa2のそれぞれは変数であるもの
の、Ｔv1＋Ｔv2、Ｔa1＋Ｔa2はそれぞれシステムで一意
に決まる定数とされるものである。

【０００８】そこで上述の装置において、フレームシン
クロナイザー５２での遅延量Ｔvdを固定値と仮定する
と、遅延回路５８での遅延量Ｔadも固定値で考えること
ができる。しかしながら現実には遅延量Ｔvdが固定値で
あることはなく、従って遅延量Ｔadを固定値にした場合
には入力映像信号と基準同期信号の位相差分だけ、復号
化後の音声と映像に時間差（リップシンク）が発生して
しまうものであった。

【０００９】また上述のマルチメディアと呼ばれる情報
伝達システムにおいては、複数の映像及び音声の入力信
号が共通の基準同期信号で符号化される場合がある。こ
の場合に、複数の映像信号間で事前に同期化が行われて
いないと、それぞれのフレームシンクロナイザーでの遅
延量Ｔvdは映像信号ごとに個別に持つことになる。従っ
て遅延量Ｔadを固定値にした場合には、復号化後の音声
と映像に各入力映像信号ごとに個別に時間差（リップシ
ンク）が発生してしまうものであった。

【００１０】

【発明が解決しようとする課題】この出願はこのような
点に鑑みて成されたものであって、解決しようとする問
題点は、従来の装置では入力映像信号と基準同期信号の
位相差分だけ、復号化後の音声と映像に時間差（リップ
シンク）が発生してしまうというものである。

【００１１】

【課題を解決するための手段】このため本発明において
は、映像入力のフレーム同期を取る際の基準同期信号に
対する映像入力の遅延量に応じて、対応する音声入力の
遅延量を制御するようにしたものである。

【００１２】

【作用】これによれば、復号化後の音声と映像との時間
差（リップシンク）を解消することができる。

【００１３】

【実施例】以下、図面を参照して本発明を説明するに、
図１は本発明による符号化方法及び装置を適用した伝送
システムの一例の構成を示すブロック図である。

【００１４】この図１において、送信側の符号化装置で
は、入力端子１に供給される映像信号がフレームシンク
ロナイザー２に供給されて、端子３に供給される基準の
同期信号に同期化される。この同期化された映像信号が
映像符号化器４に供給されて符号化され、この符号化さ
れた映像信号がデーター合成器５に供給される。

【００１５】また入力端子６に供給される音声信号は、
そのまま音声符号化器７に供給されて符号化され、この
符号化された音声信号が遅延量可変の遅延回路８に供給
される。ここでこの遅延回路８には後述するフレームシ
ンクロナイザー２からの遅延量が入力されて遅延量の調
整が行われる。そしてこの遅延回路８を通じた符号化さ
れた音声信号がデーター合成器５に供給される。

【００１６】これによってこのデーター合成器５では、
上述の符号化された音声信号と映像信号のデーターが時
分割などによって１つの伝送路に合成される。さらにこ
のデーター合成器５からの信号がチャンネルコーダーや
変調器（図示せず）に供給される端子９に取り出され
る。

【００１７】これに対して受信側の復号化装置では、上
述の従来例と同様に、チャンネルデコーダーや復調器
（図示せず）からの信号が端子１０を通じてデーター分
離器１１に供給される。そして分離された符号化映像信
号が映像復号化器１２に供給されて元の映像信号が復元
され、出力端子１３に取り出される。またデーター分離
器１１で分離された符号化音声信号が、音声復号化器１
４に供給されて元の音声信号が復元され、出力端子１５
に取り出される。

【００１８】そしてこの装置において、上述のフレーム
シンクロナイザー２は例えば図２に示すように構成され
ている。すなわち図２において、入力端子１からの映像
信号が同期分離回路２１を通じてフレームメモリ２２に
供給される。また同期分離回路２１で分離された入力映
像信号の同期信号が書き込みアドレス生成回路２３に供
給されて、入力映像信号をフレームメモリ２２に書き込
むための書き込みアドレスが生成される。

【００１９】また端子３に供給される基準同期信号が読
み出しアドレス生成回路２４に供給される。これによっ
て基準同期信号に同期した読み出しアドレスが生成さ
れ、この読み出しアドレスがフレームメモリ２２に供給
されて、フレームメモリ２２に書き込まれた映像信号が
基準同期信号に同期して端子２５に読み出される。

【００２０】さらにアドレス生成回路２３からの書き込
みアドレスと、読み出しアドレス生成回路２４からの読
み出しアドレスがアドレス比較回路２６に供給される。
これによってこれらのアドレスの差であるフレームシン
クロナイザー２の遅延量Ｔvdが検出され、この遅延量Ｔ
vdが端子２７に取り出される。

【００２１】そしてこの検出されたフレームシンクロナ
イザー２の遅延量Ｔvdが上述の遅延回路８に供給され、
この遅延回路８の遅延量がフレームシンクロナイザー２
の遅延量Ｔvdに従って設定される。すなわち遅延回路８
の遅延量（可変）Ｔadは、システムで固定の遅延量Ｔad
1 とフレームシンクロナイザー２による遅延量Ｔad2と
から成る。そしてこの遅延量Ｔad2 の設定が、上述のフ
レームシンクロナイザー２からの遅延量Ｔvdと等しくな
るように行われる。

【００２２】そこでこの装置において、映像符号化器４
での遅延量をＴv1、映像復号化器１２での遅延量をＴv2
とし、音声信号の音声符号化器７での遅延量をＴa1、音
声復号化器１４での遅延量をＴa2とすると、 Ｔv1＋Ｔv2＝Ｔa1＋Ｔa2＋Ｔad1 の条件式が得られる。

【００２３】一方、上述のようにＴad2 ＝Ｔvdに設定さ
れることで、この条件式は、 Ｔv1＋Ｔv2＋Ｔvd＝Ｔa1＋Ｔa2＋Ｔad1 ＋Ｔad2 となり、Ｔad＝Ｔad1 ＋Ｔad2 であることから、 Ｔv1＋Ｔv2＋Ｔvd＝Ｔa1＋Ｔa2＋Ｔad ・・・・ 式２ となる。

【００２４】すなわちこの装置において、フレームシン
クロナイザー２の遅延量Ｔvdが変動しても常にこの式２
の条件式が成立する。これによって上述の式１が常に成
立されることになり、復号化後の音声と映像の時間差
（リップシンク）が解消されることになる。

【００２５】従ってこの装置において、従来の装置では
入力映像信号と基準同期信号の位相差分だけ復号化後の
音声と映像に時間差（リップシンク）が発生していたも
のを、映像入力のフレーム同期を取る際の基準同期信号
に対する映像入力の遅延量に応じて対応する音声入力の
遅延量を制御することにより、復号化後の音声と映像と
の時間差（リップシンク）を解消することができる。

【００２６】また例えばマルチメディアと呼ばれる情報
伝達システムにおいて、パケット化された伝送が行われ
る場合には、その伝送信号中のパケットヘッダーと呼ば
れる部分に、例えばＰＴＳ（Presentation Time Stamp)
と称される時刻を示す信号が設けられる。そこでこのよ
うな情報伝達システムに本発明を適用する場合には、例
えば図３に示すような構成が用いられる。

【００２７】この図３において、遅延回路８０には Ｔad1 ＝Ｔv1＋Ｔv2−（Ｔa1＋Ｔa2） ・・・・ 式３ の固定の遅延量Ｔad1 が設けられる。またフレームシン
クロナイザー２から取り出される遅延量Ｔvdがデーター
合成器５０に供給されて、音声信号の復号の時刻の補正
値が形成される。他は図１の実施例と同様に構成され
る。

【００２８】すなわちこの図３の装置において、映像復
号化器１２での復号は上述のＰＴＳと基準時計の時刻が
一致したときに行われる。一方、音声復号化器１４での
復号は、映像と音声の時刻が一致しているときは上述の
ＰＴＳによって行われるが、一致していないときは信号
ごとにＤＴＳ（Decoding Time Stamp)と称される復号の
時刻を示す信号が設けられて、このＤＴＳと基準時計の
時刻が一致したときに行われるようにされている。

【００２９】そこで上述のデーター合成器５０では、フ
レームシンクロナイザー２から取り出される遅延量Ｔvd
を用いて、上述のＰＴＳに対して遅延量Ｔvd分遅延して
復号が行われるようなＤＴＳが形成され、このＤＴＳが
対応する音声信号のデーターと共に伝送される。これに
よって符号化、復号化を通じての映像側、音声側の遅延
量を等しく保つことができる。

【００３０】こうして上述の符号化方法及び装置によれ
ば、音声及び映像入力を同期して符号化する符号化方法
において、フレームシンクロナイザーを用いて符号化前
に共通の基準同期信号に対して映像入力のフレーム同期
を取る際に、基準同期信号に対する映像入力の遅延量を
得、この遅延量に応じて映像入力に対応する音声入力の
遅延量を制御することにより、復号化後の音声と映像と
の時間差（リップシンク）を解消することができるもの
である。

【００３１】ところで例えば放送衛星を用いたデジタル
テレビジョン放送が実施されている。このようなデジタ
ルテレビジョン放送においては、１チャンネル当たり例
えば約２０Ｍｂｐｓの伝送能力が設けられ、いわゆる高
精細度テレビジョン（ＨＤＴＶ）信号の伝送も可能なよ
うに設計が行われているものである。

【００３２】このようなデジタルテレビジョン放送にお
いて、例えば従来の標準精細度のテレビジョン（ＳＤＴ
Ｖ）信号を伝送する場合には、画像圧縮等の技術によっ
て１つのＳＤＴＶ信号を約５Ｍｂｐｓ程度に圧縮するこ
とが可能であり、上述の１チャンネルの放送で４つのＳ
ＤＴＶ信号を伝送することができる。従って現行のデジ
タルテレビジョン放送においては、１チャンネルの放送
で４つのＳＤＴＶ信号を伝送することが実施されてい
る。

【００３３】すなわちその場合に送信側では、例えば４
つのＳＤＴＶ信号は、それぞれが垂直解像度（有効走査
線数）４８０本（画素）、水平解像度（有効水平画素
数）７２０画素で形成される。そしてこれらのＳＤＴＶ
信号がそれぞれ動き補償ＤＣＴ符号化方式等で符号化さ
れ、それぞれが約５Ｍｂｐｓに圧縮される。さらにこれ
らの圧縮された符号化データに、識別のためのヘッダー
情報や同期情報等が付加され、これらの情報等の付加さ
れた符号化データの４つが多重化されて約２０Ｍｂｐｓ
のビット列が形成される。

【００３４】そしてこのビット列が所定の変調キャリア
で例えばＱＰＳＫ変調された後、例えば放送衛星に向け
て変調された電波が送信される。なお複数のチャンネル
で放送が行われる場合には、それぞれのチャンネルごと
に、例えば上述の多重化された約２０Ｍｂｐｓのビット
列が形成され、これらのビット列がそれぞれ異なる変調
キャリアで例えばＱＰＳＫ変調された後、例えば放送衛
星に向けて変調された電波が送信される。

【００３５】そこでこのようなデジタルテレビジョン放
送において、例えば従来の標準精細度のテレビジョン
（ＳＤＴＶ）信号の４チャンネル分を伝送する場合に
は、各チャンネルの映像信号が基準の同期信号に同期化
されると共に、それらの音声信号の遅延量を調整して符
号化及び多重化を行う必要がある。

【００３６】すなわち図４はそのような複数のチャンネ
ルの映像信号及び音声信号の符号化を行う場合に本発明
を適用した装置の一例の構成を示す。なおこの図４で
は、２チャンネルの映像信号及び音声信号を符号化する
装置の例を示すが、３チャンネル以上の多チャンネルで
あっても同様の構成を繰り返して設ければよいことは明
らかである。

【００３７】この図４において、送信側の符号化装置で
は、入力端子１ａ、１ｂに供給される映像信号がそれぞ
れフレームシンクロナイザー２ａ、２ｂに供給されて、
端子３に供給される基準の同期信号に同期化される。こ
の同期化された映像信号がそれぞれ映像符号化器４ａ、
４ｂに供給されて符号化され、この符号化された映像信
号がそれぞれデーター合成器５ａ、５ｂに供給される。

【００３８】また入力端子６ａ、６ｂに供給される音声
信号は、そのまま音声符号化器７ａ、７ｂに供給されて
符号化され、この符号化された音声信号がそれぞれ遅延
量可変の遅延回路８ａ、８ｂに供給される。ここでこの
遅延回路８ａ、８ｂにはそれぞれフレームシンクロナイ
ザー２ａ、２ｂからの遅延量Ｔvdａ、Ｔvdｂが入力され
て遅延量の調整が行われる。そしてこの遅延回路８ａ、
８ｂを通じた符号化された音声信号がデーター合成器５
ａ、５ｂに供給される。

【００３９】これによってこのデーター合成器５ａ、５
ｂでは、上述の符号化された音声信号と映像信号のデー
ターが時分割などによって１つの伝送路に合成される。
さらにこのデーター合成器５ａ、５ｂからの信号がチャ
ンネルコーダーや変調器（図示せず）を通じて伝送され
る。

【００４０】これに対して受信側の復号化装置では、上
述の従来例と同様に、チャンネルデコーダーや復調器
（図示せず）からの信号がデーター分離器１１ａ、１１
ｂに供給される。そして分離された符号化映像信号が映
像復号化器１２ａ、１２ｂに供給されて元の映像信号が
復元され、出力端子１３ａ、１３ｂに取り出される。ま
たデーター分離器１１ａ、１１ｂで分離された符号化音
声信号が、音声復号化器１４ａ、１４ｂに供給されて元
の音声信号が復元され、出力端子１５ａ、１５ｂに取り
出される。

【００４１】従ってこの装置において、複数のチャンネ
ルの映像信号及び音声信号の符号化を行う場合に、これ
らの映像信号間で事前に同期化が行われていない場合に
も、それぞれのフレームシンクロナイザーでの遅延量が
各音声信号ごとに補正され、復号化後の音声と映像の時
間差（リップシンク）を解消することができる。これに
よって全てのチャンネル間で映像も音声も同期して再生
することのできるシステムを構築することができる。

【００４２】なお図４の実施例において、上述の図３の
実施例と同様に遅延回路８ａ、８ｂの遅延量は固定に
し、データー合成器５ａ、５ｂでフレームシンクロナイ
ザー２ａ、２ｂから取り出される遅延量Ｔvdａ、Ｔvdｂ
を用いて、上述のＰＴＳに対して遅延量Ｔvdａ、Ｔvdｂ
分遅延して復号が行われるようなＤＴＳを形成し、この
ＤＴＳを対応する音声信号のデーターと共に伝送するよ
うにしてもよい。

【００４３】こうして上述の符号化方法及び装置によれ
ば、複数の音声及び映像入力を同期して並列に符号化す
る符号化方法において、フレームシンクロナイザーを用
いて符号化前に共通の基準同期信号に対して複数チャン
ネルの映像入力のフレーム同期をそれぞれ取る際に、基
準同期信号に対する各映像入力のそれぞれの遅延量を
得、これらの遅延量に応じて各映像入力に対応する音声
入力の遅延量をそれぞれ制御することにより、復号化後
の音声と映像の時間差（リップシンク）を解消すること
ができるものである。

【００４４】

【発明の効果】この発明によれば、従来の装置では入力
映像信号と基準同期信号の位相差分だけ復号化後の音声
と映像に時間差（リップシンク）が発生していたもの
を、映像入力のフレーム同期を取る際の基準同期信号に
対する映像入力の遅延量に応じて対応する音声入力の遅
延量を制御することにより、復号化後の音声と映像との
時間差（リップシンク）を解消することができるように
なった。

【００４５】また、複数のチャンネルの映像信号及び音
声信号の符号化を行う場合に、これらの映像信号間で事
前に同期化が行われていない場合にも、それぞれのフレ
ームシンクロナイザーでの遅延量が各音声信号ごとに補
正され、復号化後の音声と映像の時間差（リップシン
ク）を解消することができ、これによって全てのチャン
ネル間で映像も音声も同期して再生することのできるシ
ステムを構築することができるようになった。

【図面の簡単な説明】

【図１】本発明の適用される符号化装置の一例の構成図
である。

【図２】その要部を成すフレームシンクロナイザーの一
例の構成図である。

【図３】本発明の適用される符号化装置の他の例の構成
図である。

【図４】本発明の適用される符号化装置のさらに他の例
の構成図である。

【図５】従来の符号化装置の構成図である。

【符号の説明】

１ 映像信号の入力端子 ２ フレームシンクロナイザー ３ 基準の同期信号の供給される端子 ４ 映像符号化器 ５ データー合成器 ６ 音声信号の入力端子 ７ 音声符号化器 ８ 遅延量可変の遅延回路 ９ 合成された信号の取り出される端子

Claims (5)

【特許請求の範囲】
1. 【請求項１】 音声及び映像入力を同期して符号化する
   符号化方法において、 フレームシンクロナイザーを用いて上記符号化前に共通
   の基準同期信号に対して上記映像入力のフレーム同期を
   取る際に、上記基準同期信号に対する上記映像入力の遅
   延量を得、 この遅延量に応じて上記映像入力に対応する上記音声入
   力の遅延量を制御するようにしたことを特徴とする符号
   化方法。
2. 【請求項２】 音声及び映像信号を同期して符号化する
   符号化装置において、 符号化前に上記映像信号をフレームシンクロナイザーに
   供給して共通の基準同期信号に対するフレーム同期を取
   ると共に、 上記フレームシンクロナイザーにおける上記基準同期信
   号に対する上記映像信号の遅延量を得る手段を設け、 この遅延量に応じて上記映像信号に対応する上記音声信
   号の遅延量を制御するようにしたことを特徴とする符号
   化装置。
3. 【請求項３】 請求項２記載の符号化装置において、 上記音声信号の遅延量が自動的に設定されるようにした
   ことを特徴とする符号化装置。
4. 【請求項４】 請求項３記載の符号化装置において、 上記フレームシンクロナイザーは、フレームメモリー
   と、上記映像信号を上記フレームメモリーに書き込むた
   めのライトカウンターと、上記フレームメモリーから上
   記書き込まれた映像信号を読み出すためのリードカウン
   ターと、上記ライトカウンターとリードカウンターの出
   力を比較する比較器とを有し、 上記比較器の出力に応じて上記映像信号に対応する上記
   音声信号の遅延量を制御するようにしたことを特徴とす
   る符号化装置。
5. 【請求項５】 複数の音声及び映像入力を同期して並列
   に符号化する符号化方法において、 フレームシンクロナイザーを用いて上記符号化前に共通
   の基準同期信号に対して複数チャンネルの上記映像入力
   のフレーム同期をそれぞれ取る際に、上記基準同期信号
   に対する各上記映像入力のそれぞれの遅延量を得、 これらの遅延量に応じて各上記映像入力に対応する上記
   音声入力の遅延量をそれぞれ制御するようにしたことを
   特徴とする符号化方法。