JPH10336602A - 画像音声符号化データ多重化方法とその装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像と音声の同期再生を行う際、音声符号化
データを対応する画像符号化データの作成終了まで遅延
させることは、受信側において音声データの遅延を大き
くしてしまい、テレビ会議やテレビ電話などのシステム
においては音声の遅延が大きくなり利用者に違和感を感
じさせることがある。 【解決手段】 音声データ符号化部102で音声フレーム
データの符号化が終了するまでに画像データ符号化部10
4で符号化された画像データのフレーム数を画像符号化
フレーム数情報計測部106で画像符号化フレーム数情報
として計測し、計測した画像符号化フレーム数情報を用
いて、符号化する音声フレームデータに対応する画像デ
ータのフレーム数を算出する。算出したフレーム数の画
像データの符号化を行い、音声符号化データとこの音声
符号化データに対応する画像符号化データを画像音声符
号化データ多重化部109にて多重化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化データ
と音声符号化データを同期を取りながら再生可能にする
ための画像音声符号化データ多重化方法、及びその多重
化方法を用いた装置に関するものである。

【０００２】

【従来の技術】従来の多重化方法及び装置では、符号化
を行う画像データは一定の速度で入力されており、音声
フレームデータに対応する画像データのフレーム数は一
定の枚数である。しかし、画像音声多重化データを構成
する画像符号化データと音声符号化データは符号化及び
復号化方法が異なっており、画像データの符号化及び復
号化の処理時間の方が、音声フレームデータの符号化及
び復号化の処理時間よりかかることが多い。

【０００３】そのため、音声フレームデータの符号化及
び復号化が終了しても、音声フレームデータの再生時間
に対応するフレーム数の画像データの符号化及び復号化
が終了していないこともある。

【０００４】また、画像符号化データと音声符号化デー
タの同期再生のために、送信側においては画像データの
符号化が終了するまで音声符号化データをメモリに蓄積
させることによってや、また遅延回路を用いて音声符号
化データを遅延させることによって画像符号化データと
音声符号化データの多重化を行ったり、受信側において
は画像符号化データの復号化が終了するまで復号化され
た音声データをメモリに蓄積させることによってや、ま
た遅延回路を用いて音声データを遅延させることによっ
て画像データと音声データの同期再生を行う。

【０００５】この場合、音声符号化データ及び音声デー
タの遅延時間は、メモリの容量などにより一定の値とな
る。

【０００６】

【発明が解決しようとする課題】しかしながら、画像と
音声の同期再生を行うために、音声符号化データを対応
する画像符号化データの作成終了まで遅延させること
は、受信側において音声データの遅延を大きくしてしま
い、例えば、テレビ会議やテレビ電話などのシステムに
おいては音声の遅延が大きくなり利用者に違和感を感じ
させることになる。

【０００７】また、送信側において一定の遅延時間を音
声符号化データに施して伝送したり、受信側において一
定の遅延時間を復号化された音声データに施して出力し
ても、画像符号化データの復号化時間が一定でないため
に画像と音声の同期が取れないこともあり得る。

【０００８】本発明は上記のような課題を簡単な方法で
解決し、受信側において画像符号化データを再生したと
きに連続性も良くなるように画像符号化データと音声符
号化データを多重化することを目的とする。

【０００９】

【課題を解決するための手段】本発明は上記課題を解決
し目的を達成するために、画像音声符号化データを多重
化する第１の方法においては、音声フレームデータの符
号化が終了するまでに符号化された画像データのフレー
ム数を画像符号化フレーム数情報として計測し、前記計
測した画像符号化フレーム数情報を用いて、符号化する
音声フレームデータに対応する画像データのフレーム数
を算出し、前記算出したフレーム数の画像データの符号
化を行い、音声符号化データと前記音声符号化データに
対応する画像符号化データの多重化を行うものである。

【００１０】また、画像音声符号化データを多重化する
第２の方法においては、前記第１の画像音声符号化デー
タを多重化する方法に加えて、画像データを符号化する
際に行われる符号化した画像符号化データを復号化する
復号化処理時間を計測し、音声フレームデータを符号化
する際に行われる符号化した音声符号化データを復号化
する音声符号化データ復号化処理時間を計測し、画像符
号化データと音声符号化データを多重化する際に前記計
測した画像符号化データ復号化処理時間と前記計測した
符号化データ復号化処理時間の差だけ音声符号化データ
を遅延させて多重化を行うものである。

【００１１】また、前記画像音声符号化データを多重化
する第１の方法の装置においては、音声フレームデータ
を符号化する音声データ符号化手段と、音声フレームデ
ータの符号化の終了を検出し音声フレームデータの符号
化を制御する音声符号化制御手段と、音声フレームデー
タの符号化が終了するまでに符号化された前記音声フレ
ームデータに対応する画像データのフレーム数を計測し
記憶保持しておく画像符号化フレーム数情報計測手段
と、前記計測した画像符号化フレーム数情報を用いて、
符号化する音声フレームデータに対応する画像データの
フレーム数を算出し、画像データの符号化を制御する画
像符号化制御手段と、画像データを符号化する画像デー
タ符号化手段と、音声符号化データと前記音声符号化デ
ータに対応する画像符号化データを多重化する手段で構
成する。

【００１２】また、前記画像音声符号化データを多重化
する第２の方法の装置においては、前記画像音声符号化
データを多重化する第１の方法の装置に加えて、画像デ
ータを符号化する際に行われる符号化した画像符号化デ
ータを復号化する復号化処理時間を計測する手段と、音
声フレームデータを符号化する際に行われる符号化した
音声符号化データを復号化する音声符号化データ復号化
処理時間を計測する手段で構成する。

【００１３】

【発明の実施の形態】以下、本発明の各実施の形態につ
いて図面を用いて説明を行う。 （実施の形態１）図１は、本発明の実施の形態１におけ
る画像音声符号化データ多重化装置の構成を示すブロッ
ク図であり(請求項３対応)、図２は図１を用いた第１の
画像音声符号化データ多重化方法の処理の流れ図であり
(請求項１対応)、また図３は音声フレームデータと画像
データの構成例図である。

【００１４】図１において、101は音声フレームデータ
入力部、102は音声データ符号化部、103は画像データ入
力部、104は画像データ符号化部、105は画像符号化デー
タ蓄積部、106は画像符号化フレーム数情報計測部、107
は音声符号化制御部、108は画像符号化制御部、そして1
09は画像音声符号化データ多重化部である。

【００１５】次に図１の画像音声符号化データ多重化装
置の動作を、図２の処理の流れ図を用いて説明する。

【００１６】図１に示すように、まず音声フレームデー
タ入力部101より符号化を行なう音声フレームデータが
音声データ符号化部102に入力される(図２のＳ201)。ま
た、音声フレームデータに対応する画像データが、画像
データ入力部103より画像データ符号化部104に入力され
る(図２のＳ211)。

【００１７】音声データ符号化部102では、入力された
音声フレームデータの符号化を行う。この時、音声符号
化データは、入力された音声フレームデータの符号化が
終了するまで音声データ符号化部102より出力されない
(図２のＳ202)。

【００１８】一方、画像データ符号化部104では、画像
符号化制御部108より与えられる音声フレームデータの
符号化処理時間に対して符号化可能な画像データのフレ
ーム数に従って画像データの符号化を行う(図２のＳ21
2)。この時、画像符号化データは、入力された画像デー
タのフレーム単位で画像符号化データ蓄積部105に出力
される(図２のＳ213)。

【００１９】画像符号化フレーム数情報計測部106で
は、画像符号化データ蓄積部105に出力された画像符号
化データのフレーム数を、符号化を行っている音声フレ
ームデータに対応する画像データの最初のフレームから
計測する(図２のＳ214)。

【００２０】音声符号化制御部107では、音声データ符
号化部102を監視しており、音声データ符号化部102の符
号化処理が終了すると(図２のＳ203)、音声フレームデ
ータ符号化終了信号を画像符号化制御部108に送信する
(図２のＳ204)。

【００２１】画像符号化制御部108では、音声フレーム
データ符号化終了信号を受信すると(図２のＳ215)、画
像符号化フレーム数情報計測部106より画像符号化フレ
ーム数情報を読み取り、読み取った画像符号化フレーム
数情報と画像符号化制御部108に記憶保持されていた画
像符号化フレーム数情報から次の音声フレームデータに
対応する符号化可能な画像データのフレーム数の算出処
理を行い(図２のＳ216)、新しい画像符号化フレーム数
情報として記憶保持される。

【００２２】画像音声符号化データ多重化部109では、
画像符号化制御部108が音声フレームデータ符号化終了
信号を受信すると、画像符号化データ蓄積部105に蓄積
されている画像符号化データが入力され(図２のＳ21
7)、音声符号化制御部107が音声フレームデータ符号化
終了信号を送信すると、音声データ符号化部102から音
声符号化データが入力され(図２のＳ205)、多重化が行
われ(図２のＳ200)、画像音声多重化データ110が出力さ
れる。

【００２３】次に、具体的に画像データと音声フレーム
データを用いた本実施の形態１における処理の流れを説
明する。図３に例示する音声フレームデータと画像デー
タの構成において、入力される音声データ(a)の音声フ
レームデータＡＦ０からＡＦｎは連続したデータであ
り、再生すると連続した音声となる。

【００２４】音声フレームデータの再生時間に対応する
画像データのフレーム数を８枚とすると、図３において
音声フレームデータＡＦ０に対応する入力される画像デ
ータ(b)は画像フレームデータＶＦ０からＶＦ７とな
る。

【００２５】まず音声フレームデータ入力部101より音
声フレームデータＡＦ０が音声データ符号化部102に入
力される(図２のＳ201)。また、音声フレームデータＡ
Ｆ０に対応する画像フレームデータＶＦ０から順番に、
画像データ入力部103より画像データ符号化部104に入力
される(図２のＳ211)。

【００２６】音声データ符号化部102では、入力された
音声フレームデータＡＦ０の符号化を行う(図２のＳ20
2)。

【００２７】一方、画像データ符号化部104では、画像
符号化制御部108より音声フレームデータＡＦ０の符号
化処理時間に対して符号化可能な画像データのフレーム
数情報Ｆｎが与えられ、この値に従って画像データの符
号化を行う(図２のＳ212)。この時、画像符号化データ
は、入力された画像データのフレーム単位で画像符号化
データ蓄積部105に出力される(図２のＳ213)。

【００２８】画像符号化フレーム数情報計測部106で
は、画像符号化データ蓄積部105に出力された画像符号
化データのフレーム数を、音声フレームデータＡＦ０に
対応する画像データの最初の画像フレームデータＶＦ０
から計測し記憶保持しておく(図２のＳ214)。

【００２９】音声符号化制御部107では、音声データ符
号化部102の符号化処理が終了すると(図２のＳ203)、音
声フレームデータ符号化終了信号を画像符号化制御部10
8に送信する(図２のＳ204)。

【００３０】画像符号化制御部108は、音声フレームデ
ータ符号化終了信号を受信すると(図２のＳ215)、画像
符号化フレーム数情報計測部106より画像符号化フレー
ム数情報を読み取る。この時、画像符号化データ蓄積部
105に４フレーム分の画像符号化データが蓄積されてい
るとすると、画像符号化フレーム数情報計測部106より
読み取る値は４となり、次の音声フレームデータに対応
する画像符号化データフレーム情報Ｆｎ-ｎｅｗは画像
符号化制御部108に記憶保持されていた画像符号化フレ
ーム数情報Ｆｎと読み取った画像符号化フレーム数情報
４を足し平均を取ることによって算出される(Ｆｎ-ｎｅ
ｗ＝(Ｆｎ＋ｍ)／２)(図２のＳ216)。

【００３１】例えば、符号化開始時におけるＦｎが音声
フレームデータの再生時間に対応する画像データのフレ
ーム数であるとすれば、次の音声フレームデータに対応
する画像符号化データフレーム情報Ｆｎ-ｎｅｗは(８＋
４)／２で６となる。

【００３２】ここで算出された値Ｆｎ-ｎｅｗ(＝６)
は、次の音声フレームデータＡＦ１に対応する画像フレ
ームデータＶＦ８からＶＦ15に対して用いられ、Ｆｎ-
ｎｅｗ(＝６)がＦｎとして画像符号化制御部108に記憶
保持される。

【００３３】画像音声符号化データ多重化部109では、
画像符号化制御部108が音声フレームデータ符号化終了
信号を受信すると、画像符号化データ蓄積部105に蓄積
されている画像符号化データが入力され(図２のＳ21
7)、音声符号化制御部107が音声フレームデータ符号化
終了信号を送信すると、音声データ符号化部102から音
声符号化データが入力され(図２のＳ205)、多重化が行
われ(図２のＳ200)、画像音声多重化データ110が出力さ
れる。

【００３４】以後、これらの処理を繰り返し行っていく
が、音声フレームデータの符号化処理の間に符号化可能
な画像データのフレーム数を算出しているために、画像
符号化処理と音声符号化処理がほぼ同じになり、音声符
号化データに対する画像符号化データを即座に多重化す
ることができ、受信側において音声データの遅延を大き
くすることがなくなる。

【００３５】また、音声フレームデータの再生時間に対
応する画像データのフレーム群から平均的に画像フレー
ムデータを取り出し符号化することができるために受信
側において画像符号化データを再生したときに連続性も
良くなる。

【００３６】なお、音声データ符号化部の入力を音声デ
ータとしているが、音声に限るものではなくオーディオ
であっても良い。

【００３７】また、音声フレームデータの符号化処理の
間に符号化可能な画像データのフレーム数の算出方法と
して平均を取ることとしたが、算出方法はこれに限るも
のではない。

【００３８】また、本実施の形態の音声フレームデータ
の再生時間に対応する画像データのフレーム数は本発明
を説明するための一例であり、この例に限るものではな
い。

【００３９】さらに、本実施の形態において画像符号化
フレーム数情報の初期値を音声フレームデータの再生時
間に対応する画像データのフレーム数としているが、こ
の値は本発明を説明するための一例であり、この例に限
るものではない。

【００４０】（実施の形態２）図４は本発明の実施の形
態２における画像音声符号化データ多重化装置の構成を
示すブロック図であり(請求項４対応)、図５は図４を用
いた画像音声符号化データ多重化方法の処理の流れ図で
あり(請求項２対応)、図６は音声フレームデータと画像
データの構成例である。

【００４１】本実施の形態２においては、画像データ符
号化部104に、画像データを符号化する際に行われる符
号化した画像符号化データを復号化する画像符号化デー
タ復号化処理時間計測部1041を有する点と、音声データ
符号化部102に、音声フレームデータを符号化する際に
行われる符号化した音声符号化データを復号化する音声
符号化データ復号化処理時間計測部1021を有する点が、
前記実施の形態１の図１と異なりその他の構成は同じで
ある。

【００４２】また、本実施の形態２における基本的な処
理の流れは前記実施の形態１の処理の流れと同じである
が、一部新しい処理を行う。なお図５において図２と同
一の符号を付した処理要素は図２と同一の処理要素を示
している。

【００４３】図５に示すように、まず音声フレームデー
タ入力部101より符号化を行う音声フレームデータが音
声データ符号化部102に入力され、符号化される(図５の
Ｓ201，Ｓ202)。

【００４４】この時、音声フレームデータの符号化の際
に行われる音声符号化データの復号化処理時間を音声符
号化データ復号化処理時間計測部1021で計測し、音声符
号化データ復号化処理時間として記憶保持しておく(図
５のＳ501)。

【００４５】また、音声フレームデータに対応する画像
データが、画像データ入力部103より画像データ符号化
部104に入力され、前記実施の形態１と同様にして画像
データ符号化部104で符号化を行う(図５のＳ211，Ｓ21
2)。

【００４６】ここで、符号化を行っている音声フレーム
データに対応する画像データの最初のフレームの符号化
の際に行われる復号化処理の時間を画像符号化データ復
号化処理時間計測部1041で計測し、画像符号化データ復
号化処理時間として記憶保持しておく(図５のＳ511，Ｓ
512)。

【００４７】前記実施の形態１と同様に、画像符号化デ
ータは入力された画像データのフレーム単位で画像符号
化データ蓄積部105に出力される(図５のＳ213)。

【００４８】画像符号化フレーム数情報計測部106で
は、画像符号化データ蓄積部105に出力された画像符号
化データのフレーム数を、符号化を行っている音声フレ
ームデータに対応する画像データの最初のフレームから
計測し記憶保持しておく(図５のＳ214)。

【００４９】音声符号化制御部107では、前記実施の形
態１と同様に音声データ符号化部102の符号化処理が終
了すると(図５のＳ203)、音声フレームデータ符号化終
了信号を画像符号化制御部108に送信する(図５のＳ20
4)。

【００５０】画像符号化制御部108では、前記実施の形
態１と同様にして音声フレームデータ符号化終了信号を
受信すると(図５のＳ215)、次の音声フレームデータに
対応する符号化する画像データのフレーム数の算出処理
を行い(図５のＳ216)、画像符号化フレーム数情報を記
憶保持すると共に、画像符号化データ復号化処理時間計
測部1041に記憶保持された画像符号化データ復号化処理
時間を読み取り、音声符号化制御部107に送信する(図５
のＳ513)。

【００５１】画像音声符号化データ多重化部109では、
画像符号化制御部108が画像符号化データ復号化処理時
間を送信すると、画像符号化制御部108によって画像符
号化データ蓄積部105に蓄積されている画像符号化デー
タが入力され(図５のＳ217)、音声符号化制御部107が画
像符号化制御部108より画像符号化データ復号化処理時
間を受信すると、音声符号化制御部107によって画像符
号化データ復号化処理時間と音声符号化データ復号化処
理時間の差だけ遅延されて音声データ符号化部102から
音声符号化データが入力され(図５のＳ502)、多重化が
行われ(図５のＳ200)、画像音声多重化データ110が出力
される。

【００５２】次に、具体的に画像データと音声フレーム
データを用いた本実施の形態２における処理の流れを説
明する。図６に例示する音声フレームデータと画像デー
タの構成において、(a)の音声フレームデータＡＦ０か
らＡＦｎは連続したデータであり、再生すると連続した
音声となる。

【００５３】音声フレームデータの再生時間に対応する
画像データのフレーム数を８枚とすると、図６において
音声フレームデータＡＦ０に対応する入力される画像デ
ータ(b)はＶＦ０からＶＦ７となる。

【００５４】まず音声フレームデータ入力部101より音
声フレームデータＡＦ０が音声データ符号化部102に入
力される(図５のＳ201)。また、音声フレームデータに
対応する画像フレームデータＶＦ０から順番に画像デー
タ入力部103より画像データ符号化部104に入力される
(図５のＳ211)。

【００５５】音声データ符号化部102では、入力された
音声フレームデータＡＦ０の符号化を行なう。(図５の
Ｓ202)。

【００５６】この時、音声フレームデータＡＦ０の符号
化の際に行われる音声符号化データの復号化処理時間を
音声符号化データ復号化処理時間計測部1021で計測し、
音声符号化データ復号化処理時間ＡＤＴとして記憶保持
しておく(図５のＳ501)。

【００５７】また、音声フレームデータに対応する画像
フレームデータＶＦ０からＶＦ７を、前記実施の形態１
と同様にして画像データ符号化部104で符号化を行う(図
５のＳ211，Ｓ212)。

【００５８】ここで、音声フレームデータＡＦ０に対応
する画像データの最初のフレームＶＦ０の符号化の際に
行なわれる画像符号化データの復号化処理の時間を画像
符号化データ復号化処理時間計測部1041で計測し、画像
符号化データ復号化処理時間ＶＤＴとして記憶保持して
おく(図５のＳ511，Ｓ512)。

【００５９】前記実施の形態１と同様に、画像符号化デ
ータは入力された画像データのフレーム単位で画像符号
化データ蓄積部105に出力される(図５のＳ213)。

【００６０】音声符号化制御部107では、音声データ符
号化部102の符号化処理が終了すると(図５のＳ203)、音
声フレームデータ符号化終了信号を画像符号化制御部10
8に送信する(図５のＳ204)。

【００６１】画像符号化制御部108は、音声フレームデ
ータ符号化終了信号を受信すると(図５のＳ215)、画像
符号化フレーム数情報計測部106より画像符号化フレー
ム数情報を読み取る。この時、画像符号化データ蓄積部
105に４フレーム分の画像符号化データが蓄積されてい
るとすると、画像符号化フレーム数情報計測部106より
読み取る値は４となり、次の音声フレームデータに対応
する画像符号化データフレーム情報Ｆｎ-ｎｅｗは記憶
保持されていた画像符号化フレーム数情報Ｆｎと４を足
し平均を取ることによって算出される(Ｆｎ-ｎｅｗ＝
(Ｆｎ＋ｍ)／２)(図５のＳ216)。

【００６２】例えば、符号化開始時におけるＦｎが音声
フレームデータの再生時間に対応する画像データのフレ
ーム数であるとすれば、次の音声フレームデータに対応
する画像符号化データフレーム情報Ｆｎ-ｎｅｗは(８＋
４)／２で６となる。

【００６３】ここで算出された値Ｆｎ-ｎｅｗ(＝６)
は、次の音声フレームデータＡＦ１に対応する画像フレ
ームデータＶＦ８からＶＦ15に対して用いられ、Ｆｎ-
ｎｅｗ(＝６)がＦｎとして画像符号化制御部108に記憶
保持される。

【００６４】また、画像符号化制御部108は、画像符号
化データフレーム数情報の算出処理を行うと共に、画像
符号化データ復号化処理時間計測部1041に記憶保持され
た画像符号化データ復号化処理時間ＶＤＴを読み取り、
音声符号化制御部107に送信する(図５のＳ513)。

【００６５】画像音声符号化データ多重化部109では、
画像符号化制御部108が画像符号化データ復号化処理時
間ＶＤＴを送信すると、画像符号化制御部108によって
画像符号化データ蓄積部105に蓄積されている画像符号
化データが入力され(図５のＳ217)、音声符号化制御部1
07が画像符号化制御部108より画像符号化データ復号化
処理時間ＶＤＴを受信すると、音声符号化制御部107に
よって画像符号化データ復号化処理時間ＶＤＴと音声符
号化データ復号化処理時間ＡＤＴの差(ＶＤＴ-ＡＤＴ)
だけ遅延されて音声データ符号化部102から音声符号化
データが入力され(図５のＳ502)、多重化が行われ(図５
のＳ200)、画像音声多重化データ110が出力される。

【００６６】以後、これらの処理を繰り返し行っていく
が、送信側において画像符号化データの復号化時間と音
声符号化データの復号化時間の差を音声符号化データの
遅延時間として多重化しているために、受信側において
復号後の画像と音声の同期を取ることができるようにな
る。

【００６７】なお、音声データ符号化部の入力を音声デ
ータとしているが、音声に限るものではなくオーディオ
であっても良い。

【００６８】また、音声フレームデータの符号化処理の
間に符号化可能な画像データのフレーム数の算出方法と
して平均を取ることとしたが、本発明を説明するための
一例であり、この例に限るものではない。

【００６９】また、本実施の形態の音声フレームデータ
の再生時間に対応する画像データのフレーム数は本発明
を説明するための一例であり、この例に限るものではな
い。

【００７０】さらに、本実施の形態において画像符号化
フレーム数情報の初期値を音声フレームデータの再生時
間に対応する画像データのフレーム数としているが、こ
の値は本発明を説明するための一例であり、この例に限
るものではない。

【００７１】

【発明の効果】以上説明したように請求項１記載の画像
音声符号化データ多重化方法を用いる請求項３記載の画
像音声符号化データ多重化装置において、受信側におい
て音声データの遅延が少なくなるように、また音声フレ
ームデータの再生時間に対応する画像データのフレーム
群から平均的に画像データを取り出して符号化すること
ができ、受信側において画像符号化データを再生した時
に連続性も良くなるように、画像符号化データと音声符
号化データを多重化することができる。

【００７２】また、請求項２記載の画像音声符号化デー
タ多重化方法を用いる請求項４記載の画像音声符号化デ
ータ多重化装置において、受信側で画像データと音声デ
ータの同期再生が可能になるように、画像符号化データ
と音声符号化データを多重化することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態１における画像音声符号化
データ多重化装置の構成を示すブロック図である。

【図２】図１の実施の形態１における画像音声符号化デ
ータ多重化装置を用いた時の処理の流れ図である。

【図３】本発明の実施の形態１における画像データ及び
音声データの構成例図である。

【図４】本発明の実施の形態２における画像音声符号化
データ多重化装置の構成を示すブロック図である。

【図５】図４の実施の形態２におけるの画像音声符号化
データ多重化装置を用いた時の処理の流れ図である。

【図６】本発明の実施の形態２における画像データ及び
音声データの構成例図である。

【符号の説明】

101…音声フレームデータ入力部、 102…音声データ符
号化部、 103…画像データ入力部、 104…画像データ
符号化部、 105…画像符号化データ蓄積部、106…画像
符号化フレーム数情報計測部、 107…音声符号化制御
部、 108…画像符号化制御部、 109…画像音声符号化
データ多重化部、 110…画像音声多重化データ、 102
1…音声符号化データ復号化処理時間計測部、 1041…
画像符号化データ復号化処理時間計測部。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 画像データをフレーム内符号化、時間的
   に前のフレームとの相関を利用する前方向予測符号化、
   時間的に前のフレームか後のフレームまたは前後両方の
   フレームとの相関を利用する両方向予測符号化のいずれ
   かまたは組み合わせて構成する画像符号化データと音声
   データを復号後同一の再生時間となる音声フレーム単位
   で符号化した音声符号化データを多重化する画像音声符
   号化データ多重化方法において、音声フレームデータと
   前記音声フレームデータの再生時間に対応する画像デー
   タの符号化を行う際に、音声フレームデータの符号化が
   終了するまでに符号化された前記画像データのフレーム
   数を計測し画像符号化フレーム数情報として記憶保持し
   ておき、前記記憶保持した画像符号化フレーム数情報を
   用いて、符号化する音声フレームデータに対応する画像
   データのフレーム数を算出し、前記算出したフレーム数
   の画像データの符号化を行い、音声符号化データと前記
   音声符号化データに対応する画像符号化データを多重化
   することを特徴とする画像音声符号化データ多重化方
   法。
2. 【請求項２】 画像データを符号化する際に行われる符
   号化した画像符号化データを復号化する画像符号化デー
   タ復号化処理時間を計測し、音声フレームデータを符号
   化する際に行われる符号化した音声符号化データを復号
   化する音声符号化データ復号化処理時間を計測し、画像
   符号化データと音声符号化データを多重化する際に前記
   計測した画像符号化データ復号化処理時間と音声符号化
   データ復号化処理時間の差だけ音声符号化データを遅延
   させて多重化することを特徴とする請求項１記載の画像
   音声符号化データ多重化方法。
3. 【請求項３】 画像データをフレーム内符号化、時間的
   に前のフレームとの相関を利用する前方向予測符号化、
   時間的に前のフレームか後のフレームまたは前後両方の
   フレームとの相関を利用する両方向予測符号化のいずれ
   かまたは組み合わせて構成する画像符号化データと音声
   データを復号後同一の再生時間となる音声フレーム単位
   で符号化した音声符号化データを多重化する画像音声符
   号化データ多重化装置において、音声フレームデータを
   符号化する音声データ符号化手段と、音声フレームデー
   タの符号化の終了を検出し音声フレームデータの符号化
   を制御する音声符号化制御手段と、音声フレームデータ
   の符号化が終了するまでに符号化された前記音声フレー
   ムデータに対応する画像データのフレーム数を計測し記
   憶保持しておく画像符号化フレーム数情報計測手段と、
   前記記憶保持した画像符号化フレーム数情報を用いて、
   符号化する音声フレームデータに対応する画像データの
   フレーム数を算出し、画像データの符号化を制御する画
   像符号化制御手段と、画像データを符号化する画像デー
   タ符号化手段と、音声符号化データと前記音声符号化デ
   ータに対応する画像符号化データを多重化する手段を有
   することを特徴とする画像音声符号化データ多重化装
   置。
4. 【請求項４】 画像データを符号化する際に行われる符
   号化した画像符号化データを復号化する画像符号化デー
   タ復号化処理時間を計測する手段と、音声フレームデー
   タを符号化する際に行われる符号化した音声符号化デー
   タを復号化する音声符号化データ復号化処理時間を計測
   する手段を有することを特徴とする請求項３記載の画像
   音声符号化データ多重化装置。