JPH10174065A - 画像音声多重化データ編集方法およびその装置 - Google Patents

Abstract

(57)【要約】 【課題】 符号化方法が異なる画像符号化データと音声
符号化データを多重化した画像音声多重化データの結合
編集を行なう際、画像と音声の同期にずれがない画像音
声多重化データを作成する。 【解決手段】 (a)において、編集に必要と画像符号化
データＶ２からＶ６と音声符号化データＡ１の表示開始
時間の差と画像符号化データＶ１０からＶ１３と音声符
号化データＡ５の表示開始時間の差を記憶保持しておく
ことで、各符号化データを結合し多重化する際にこれら
表示開始時間の差を持ちいることで画像と音声の同期が
ずれない画像音声多重化データの編集を行なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化データ
と音声符号化データを多重化した画像音声多重化データ
を編集する方法、及びその編集方法を用いた装置に関す
るものである。

【０００２】

【従来の技術】画像音声多重化データを構成する画像符
号化データと音声符号化データとでは、符号化方法が異
なっていることが多い。

【０００３】画像データの符号化方法としては、フレー
ム内のデータのみを利用した方法と、フレーム間の相関
を利用した方法（フレーム間予測符号化）がある。

【０００４】フレーム内符号化では、そのフレームの圧
縮データのみで復号化が可能である。フレーム間予測符
号化には、時間的に前のフレームとの相関を利用する前
方向予測符号化と、時間的に前のフレームか後のフレー
ムまたは両方のフレームとの相関を利用する両方向予測
符号化とがある。フレーム間予測符号化はフレーム内符
号化に比べ圧縮率を高めることができるが、符号化や再
生を行なう時にエラーを生じた場合、エラーが時間方向
に伝わってしまう。このため、周期的にフレーム内符号
化を行なってエラーの伝播を防いでいる。

【０００５】このように、画像符号化データは、フレー
ム内符号化データ及びフレーム間予測符号化データを組
み合わせたデータで構成されている。

【０００６】一方、音声データの符号化方法として、帯
域分割を利用した方法が知られている。音声符号化デー
タは単独で音声データに復号でき、復号された結果が同
じ再生時間となる単位で構成されている。

【０００７】上記のように符号化方法が異なる画像と音
声を多重化した画像音声多重化データでは、各画像・音
声符号化データをパケット化したデータに各画像・音声
符号化データの表示時間を付加することで画像と音声の
同期をとっていた。

【０００８】また、画像音声多重化データを編集点で結
合する際、画像音声多重化データから画像符号化データ
と音声符号化データを分離し、必要とする画像符号化デ
ータとそれに対応する音声符号化データを取り出し記憶
保持し、再パケット化、再多重化を行なっている。

【０００９】ここで編集点で結合する際、必要とする画
像符号化データに対応する音声符号化データを画像符号
化データの再生時間と同じ時間のデータ分だけ取り出せ
れば、各データの結合を行なっていっても編集された多
重化データで画像と音声の同期が最後までとれることに
なる。

【００１０】

【発明が解決しようとする課題】しかし、音声符号化デ
ータを画像符号化データの再生時間と同じ時間のデータ
分だけ取り出せなければ、編集された多重化データで画
像と音声の同期が崩れてしまうことになる。

【００１１】また、画像音声多重化データを画像符号化
データと音声符号化データに分離し、必要とする画像符
号化データとそれに対応する音声符号化データを記憶保
持することは多くの蓄積資源と時間を要することにな
る。

【００１２】

【課題を解決するための手段】上記課題を解決するた
め、本発明は、一つまたは複数の画像音声多重化データ
を編集点で結合する時、前記画像音声多重化データから
必要とする画像符号化データと前記画像符号化データに
対応する前記音声符号化データの表示開始時間の差を記
憶保持し、前記画像符号化データと前記音声符号化デー
タをパケット化する際に前記表示開始時間の差を用いて
時間情報を付加し多重化することで画像音声多重化デー
タの編集を行なうものである。

【００１３】また、画像音声多重化データを復号する手
段と、前記画像音声多重化データから必要とする画像符
号化データと前記画像符号化データ部分に対応する音声
符号化データを抽出する手段と、前記画像符号化データ
と前記音声符号化データの表示開始時間の差を記憶保持
する手段と、画像符号化データと音声符号化データをパ
ケット化する手段と、画像パケットと音声パケットに時
間情報とパケットに含まれるデータの情報を付加する手
段と、画像パケットと音声パケットを多重化する手段で
構成する。

【００１４】

【発明の実施の形態】これより、本発明の一実施の形態
について図面を用いて説明を行なう。

【００１５】（実施の形態１）図１は、本発明の第１の
実施の形態に係る画像音声多重化データ編集装置のブロ
ック図で、図２は本実施の形態における処理の流れを示
すフローチャートである。

【００１６】図１に示すように、まず入力画像音声多重
化データ蓄積部１０１より編集を行なう画像音声多重化
データが画像音声多重化データ復号化部１０２に入力さ
れる（図２のＳ２０１、Ｓ２０２）。この画像音声多重
化データ復号化部１０２の出力結果である画像データが
画像データ表示部１０３に入力される。

【００１７】必要とする画像符号化データ部分の画像デ
ータが画像データ表示部１０３に表示されている時に、
画像データ指定部１０４から抽出開始信号が画像・音声
符号化データ抽出部１０５に入力されると（図２のＳ２
０３）、画像・音声符号化データ抽出部１０５では、画
像データ表示部１０３に表示されている画像符号化デー
タを含む画像パケットに付加されたパケット情報を解析
し、抽出始点となる画像符号化データの表示時間を取り
出し記憶保持する（図２のＳ２０４）。

【００１８】次に、必要とする画像符号化データ部分の
画像データが画像データ表示部１０３に表示されている
時に、画像データ指定部１０４から抽出終了信号が画像
・音声符号化データ抽出部１０５に入力されると（図２
のＳ２０５）、画像・音声符号化データ抽出部１０６で
は、画像データ表示部１０３に表示されている画像符号
化データを含む画像パケットに付加されたパケット情報
を解析し、抽出終点となる画像符号化データの表示時間
を取り出し記憶保持する（図２のＳ２０６）。

【００１９】これらの処理を繰り返すことによって、画
像音声多重化データから結合するために必要とする画像
符号化データを選択し、必要とする画像符号化データの
抽出始点と抽出終点の表示時間を記憶保持していく（図
２のＳ２０７）。選択が終了すると、画像・音声符号化
データ抽出部１０５では、記憶保持された抽出始点と抽
出終点の表示時間を元に各画像符号化データと各画像符
号化データに対応する音声符号化データの抽出を行な
う。

【００２０】画像符号化データの抽出において、記憶保
持された抽出始点と終点の表示時間に従って画像パケッ
トに付加されているパケット情報を解析し画像符号化デ
ータのみを抽出し、抽出データ記憶部１０６に記憶保持
する（図２のＳ２０８）。

【００２１】音声符号化データの抽出においては、抽出
始点は画像符号化データの抽出始点の表示時間と同時間
か最も近い表示時間となるように音声パケットに付加さ
れているパケット情報を解析して求め、データの長さは
画像符号化データの再生時間と同時間か最も等しくなる
ように音声パケットから音声符号化データのみ抽出し、
抽出データ記憶部１０６に記憶保持する（図２のＳ２０
９）。

【００２２】ここで、画像符号化データと音声符号化デ
ータを抽出する時、画像符号化データと音声符号化デー
タの抽出始点の表示開始時間の差を求め、抽出した符号
化データと関連付けて抽出データ記憶部１０６に記憶保
持しておく（図２のＳ２１０）。

【００２３】これらの処理を選択したデータの数だけ繰
り返すことによって、結合するために必要とする画像符
号化データと画像符号化データに対応する音声符号化デ
ータの抽出を行なう（図２のＳ２１１）。

【００２４】符号化データパケット化部１０７では、パ
ケット化開始信号が入力されると（図２のＳ２１１）、
抽出データ記憶部１０６に上記処理で記憶保持された画
像符号化データに対して表示時間とパケットに関するデ
ータを付加してパケット化（図２のＳ２１２、２１３）
を行ない、これらの画像パケットデータをパケットデー
タ記憶部１０８に記憶保持しておく。このとき、画像パ
ケットに付加された画像符号化データの表示開始時間及
び表示終了時間を記憶保持しておく（図２のＳ２１
４）。

【００２５】画像符号化データのパケット化が終了する
と、前記処理で記憶保持された画像符号化データの表示
開始時間と抽出データ記憶部１０６に記憶保持された画
像符号化データとそれに対応する音声符号化データの表
示時間の差を用いて、対応する音声符号化データの表示
開始時間を求め（図２のＳ２１５）、新しい音声符号化
データの表示開始時間に対する表示時間とパケットに関
するデータを付加してパケット化（図２のＳ２１６）を
行ない、これらの音声パケットデータをパケットデータ
記憶部１０８に記憶保持しておく。

【００２６】画像符号化データと対応する音声符号化デ
ータのパケット化が終了すると、パケットデータ多重化
部１０９で画像パケットと音声パケットの多重化を行な
い、画像音声多重化データを作成する（図２のＳ２１
７）。ここで、抽出した符号化データをすべてパケット
化をしてなければ、画像符号化データをパケット化する
処理から多重化までの処理を繰り返す（図２のＳ２１
８）。

【００２７】これらの処理において、結合点より後ろに
結合される画像符号化データの表示開始時間は、上記処
理中で記憶保持した結合点より前の画像符号化データの
表示終了時間を元に求める（図２のＳ２１２）。また、
音声符号化データの表示開始時間については画像符号化
データの表示開始時間を求めた後、上記同じ処理を行な
う（図２のＳ２１５）。

【００２８】なお、画像データ表示部１０３を見ながら
必要とする画像符号化データ部分を指定するのではな
く、画像データ指定部１０４より必要とする画像符号化
データの範囲、画像音声多重化データにおける表示開始
位置及び表示終了位置などを直接入力してもよい。

【００２９】この場合、符号化データ抽出部１０５では
表示開始位置における画像パケットのパケット情報から
表示開始時間と表示終了位置における画像パケットのパ
ケット情報から表示終了時間を取り出す。

【００３０】この後の処理は上記に示した処理と同じで
ある。なお、画像符号化データと音声符号化データを１
組づづパケット化し多重化するのではなく、画像符号化
データ及び音声符号化データをすべてパケット化した後
に多重化を行なっても良い。

【００３１】この場合は、結合点より後ろの画像符号化
データの表示開始時間を記憶保持しておき、各音声符号
化データの表示開始時間を求めパケットの情報を付加し
ながらパケット化を行なっていく。

【００３２】これらパケット化に関する処理以前の処理
は上記に述べた処理（図２のＳ２０１〜Ｓ２１１）と同
じで、パケット化処理のあと多重化処理を行なう。

【００３３】後の処理は上記で述べたものと同じであ
る。次に、具体的に画像音声多重化データを用いた本実
施の形態における処理の流れを説明する。

【００３４】図３に図１の画像音声多重化データ編集装
置を用いる時の画像音声多重化データの構成を示す。

【００３５】図３(a)は入力画像音声多重化データ蓄積
部１０１から入力される画像音声多重化データ構成図で
ある。

【００３６】図３中の記号で、ＶＰは画像符号化データ
を含む画像パケット、ＡＰは音声符号化データを含む音
声パケット、Ｖは画像符号化データ、Ａは音声符号化デ
ータ、ＶＴは画像符号化データの表示時間、ＡＴは音声
符号化データの表示時間である。

【００３７】ＶＰ、ＡＰの添字は順番で、ＶＴ、ＡＴの
添字は画像符号化データ及び音声符号化データに対応し
たものである。

【００３８】入力画像音声多重化データ蓄積部１０１よ
り画像音声多重化データ復号化部１０２に入力される
（図２のＳ２０１、Ｓ２０２）と画像データ表示部１０
３に画像データが表示される。

【００３９】必要とする画像符号化データが図３(a)の
画像パケットＶＰ２からＶＰ６までに、それに対応する
音声符号化データが音声パケットＡＰ１に含まれていて
るとする。

【００４０】画像データ表示部１０３に図３(a)のＶＰ
２に含まれる画像符号化データＶ２内の最初の画像が表
示されたとき、画像データ指定部１０４より抽出開始信
号が画像・音声符号化データ抽出部１０５に入力される
（図２のＳ２０３）。

【００４１】この抽出開始信号が入力されると、画像・
音声符号化データ抽出部１０５はＶＰ２に付加されてい
る画像符号化データＶ２内の最初の画像の表示時間ＶＴ
２を一時保持する（図２のＳ２０４）。

【００４２】次に画像データ表示部１０３に図３(a)の
ＶＰ６に含まれる画像符号化データＶＰ６内の最後の画
像が表示されたとき、画像データ指定部１０４より抽出
終了信号が画像・音声符号化データ抽出部１０５に入力
される（図２のＳ２０５のＹ）。

【００４３】この抽出終了信号が入力されると、画像・
音声符号化データ抽出部１０５はＶＰ６に付加されてい
る画像符号化データＶ６内の最後の画像の表示時間ＶＴ
６を一時保持する（図２のＳ２０６）。

【００４４】上記の処理を繰り返すこと（図２のＳ２０
７）により、必要とする画像符号化データの選択を行な
い、選択した画像符号化データの開始部分と終了部分の
表示時間を一時保持する。

【００４５】選択が終了すると（図２のＳ２０７の
Ｎ）、画像・音声符号化データ抽出部１０５では、一時
保持された画像符号化データの開始部分と終了部分の表
示時間に対応する画像符号化データＶ２からＶ６を画像
パケットＶＰ２からＶＰ６より抽出し、図３(b)のよう
に画像符号化データとして抽出データ記憶部１０６に記
憶保持する（図２の２０８）。

【００４６】次に必要とする画像符号化データの抽出及
び記憶が終了すると、抽出された画像符号化データＶ２
の最初の画像の表示時間ＶＴ２と同時間か最も近い表示
時間となり、表示の長さが画像符号化データと同じか最
も等しくなる音声符号化データＡ１を音声パケットＡＰ
１より抽出し、図３(c)のように音声符号化データとし
て抽出データ記憶部１０６に記憶保持する（図２の２０
９）。

【００４７】この時、ＶＴ２とＡ１の表示時間ＡＴ１の
差Ｄ０（＝ＶＴ２-ＡＴ１）を求め、画像符号化データ
Ｖ２からＶ６と音声符号化データＡ１とに関連付けて表
示開始時間の差Ｄ０を抽出データ記憶部１０６に記憶保
持する（図２の２１０）。

【００４８】以下同様の処理を選択されたすべての画像
符号化データに対して行ない（図２の２１１）、抽出さ
れた画像符号化データ（Ｖ１０からＶ１３、図３(d)）
とそれに対応する音声符号化データ（Ａ５、図３(e)）
と画像符号化データとそれに対応する音声符号化データ
の表示開始時間（Ｄ１＝ＶＴ１０-ＡＴ５）の差を抽出
データ記憶部１０６に記憶保持する。

【００４９】符号化データパケット化部１０７では、パ
ケット化開始信号が入力されると（図２のＳ２１１）、
抽出データ記憶部１０６に上記処理で記憶保持された画
像符号化データＶ２からＶ６に対して新しい表示時間と
パケットに関するデータを付加してパケット化（図２の
Ｓ２１２、２１３）を行ない、これらの画像パケットデ
ータをパケットデータ記憶部１０８に記憶保持してお
く。このとき、画像符号化データＶ２からＶ６の表示開
始時間ｎｅｗＶＴ２及び表示終了時間ｎｅｗＶＴ６を記
憶保持しておく（図２のＳ２１４）。

【００５０】画像符号化データＶ２からＶ６のパケット
化が終了すると、符号化データパケット化部１０７に記
憶保持されたｎｅｗＶＴ２と抽出データ記憶部１０６に
記憶保持された画像符号化データと対応する音声符号化
データの表示開始時間の差Ｄ０を用いて、音声符号化デ
ータＡ１の表示開始時間ｎｅｗＡＴ１（＝ｎｅｗＶＴ２
＋Ｄ０）を求め（図２のＳ２１５）、表示時間とパケッ
トに関するデータを付加してパケット化（図２のＳ２１
６）を行ない、これらの音声パケットデータをパケット
データ記憶部１０８に記憶保持しておく。

【００５１】これらのパケット化が終了すると、パケッ
トデータ多重化部１０９で画像パケットと音声パケット
の多重化を行ない、画像音声多重化データを作成する
（図２のＳ２１７）。

【００５２】次に、抽出した符号化データがあるので
（図２のＳ２１８）、符号化データパケット化部１０７
では画像符号化データＶ１０からＶ１３のパケット化を
行なう。画像符号化データＶ２からＶ６の時の処理と同
様にして、画像符号化データＶ１０からＶ１３に対して
新しい表示時間とパケットに関するデータを付加してパ
ケット化（図２のＳ２１２、２１３）を行ない、これら
の画像パケットデータをパケットデータ記憶部１０８に
記憶保持しておく。画像符号化データＶ１０からＶ１３
の表示開始時間は画像符号化データＶ２からＶ６の表示
終了時間ｎｅｗＶＴ６に画像１枚の再生時間を足すこと
で求められる。この時、画像符号化データＶ１０からＶ
１３の表示開始時間ｎｅｗＶＴ１０及び表示終了時間ｎ
ｅｗＶＴ１３を同様に記憶保持しておく（図２のＳ２１
４）。

【００５３】画像符号化データＶ１０からＶ１３のパケ
ット化が終了すると、符号化データパケット化部１０７
に記憶保持されたｎｅｗＶＴ１０と抽出データ記憶部１
０６に記憶保持された画像符号化データと対応する音声
符号化データの表示開始時間の差Ｄ１を用いて、音声符
号化データＡ５の表示開始時間ｎｅｗＡＴ５（＝ｎｅｗ
ＶＴ１０＋Ｄ１）を求め（図２のＳ２１５）、表示時間
とパケットに関するデータを付加してパケット化（図２
のＳ２１６）を行ない、これらの音声パケットデータを
パケットデータ記憶部１０８に記憶保持しておく。

【００５４】これらのパケット化が終了すると、パケッ
トデータ多重化部１０９で画像パケットと音声パケット
の多重化を行ない、画像音声多重化データを作成する
（図２のＳ２１７）。

【００５５】これらの処理によって作成された画像音声
多重化データは図３(f)に示すように編集点で結合さ
れ、画像符号化データと音声符号化データの同期がとれ
たものとなる。

【００５６】なお、本実施の形態の入力画像音声多重化
データ蓄積部１０１に蓄積されている画像音声多重化デ
ータ及び必要とする画像符号化データと対応する音声符
号化データの構成は本発明を説明するための一例であ
り、多重化の構成及び必要とする画像符号化データと音
声符号化データの構成はこの例に限るものではない。

【００５７】（実施の形態２）次に、本発明の第２の実
施の形態について説明する。

【００５８】図４は本実施の形態に係る画像音声多重化
データ編集装置のブロック図で、図５は本実施形態の画
像音声多重化データ編集装置における処理の流れを示す
フローチャートである。

【００５９】図４において、入力画像音声多重化データ
蓄積部１０１と抽出データ記憶部１０６及び符号化デー
タ多重化部１０９が接続されている点が前記実施の形態
１の図１と異なり、他の構成は同じである。

【００６０】また、本実施の形態における基本的な処理
の流れは前記実施の形態１の処理の流れと同じである
が、一部異なる処理を行なう。なお図５において図２と
同一の符号を付した処理要素は図２と同一の処理要素を
示している。

【００６１】図５に示すように、入力画像音声多重化デ
ータ蓄積部１０１より編集を行なう画像音声多重化デー
タが画像音声多重化データ復号化部１０２に入力され、
必要とする画像符号化データを指定し、抽出始点と抽出
終点となる画像符号化データの表示時間を一時保持し、
結合するために必要な画像符号化データの選択する部分
までは図２に示すＳ２０１からＳ２０７と同様の処理を
行なう（図５のＳ２０１からＳ２０７）。

【００６２】画像符号化データの抽出において、記憶保
持された抽出始点と抽出終点の表示時間に従って画像パ
ケットを解析し、画像音声多重化データにおける画像符
号化データの開始位置と終了位置のみを抽出データ記憶
部１０６に記憶保持する（図５のＳ５０８）。これによ
って必要とする画像符号化データを指定する。

【００６３】音声符号化データの抽出においては、前記
実施の形態１では抽出し記憶した音声符号化データ（図
２のＳ２０９）の画像音声多重化データにおける開始位
置と終了位置のみを抽出データ記憶部１０６に記憶保持
する（図５のＳ５０９）。これによって対応する音声符
号化データを指定する。

【００６４】ここで、画像符号化データと音声符号化デ
ータの開始位置と終了位置を記憶保持する時、画像符号
化データと音声符号化データの抽出始点の表示開始時間
の差を求め、記憶保持した位置データと関連付けて抽出
データ記憶部１０６に記憶保持しておく（図５のＳ２１
０）。

【００６５】これらの処理を選択したデータの数だけ繰
り返すことによって、結合するために必要とする画像符
号化データと画像符号化データに対応する音声符号化デ
ータの選択を行なう（図５のＳ２１１）。

【００６６】符号化データパケット化部１０７では、パ
ケット化開始信号が入力されると（図５のＳ２１１）、
抽出データ記憶部１０６に上記処理で指定された画像符
号化データに対して画像パケットに付加される表示時間
とパケットに関するデータをパケットデータ記憶部１０
８に記憶保持しておく（図５のＳ５１２、５１３）。こ
のとき、画像符号化データの表示開始時間及び終了時間
を記憶保持しておく（図５のＳ２１４）。

【００６７】画像符号化データのパケット情報の記憶保
持が終了すると、前記処理で記憶保持された画像符号化
データの表示開始時間と抽出データ記憶部１０６に記憶
保持された画像符号化データと対応する音声符号化デー
タの表示時間の差を用いて、対応する音声符号化データ
の表示開始時間を求め（図５のＳ２１５）、音声符号化
データをパケット化した時に音声パケットに付加される
表示時間とパケットに関するデータをパケットデータ記
憶部１０８に記憶保持しておく（図５のＳ５１６）。

【００６８】画像符号化データと対応する音声符号化デ
ータのパケット化に必要なデータの記憶保持が終了する
と、パケットデータ多重化部１０９では画像パケットと
音声パケットの多重化を行ない、画像音声多重化データ
を作成する（図５のＳ５１７）。多重化を行なう際に、
画像パケットに含まれる画像符号化データは抽出データ
記憶部１０６に記憶保持された画像符号化データの開始
位置と終了位置及びパケットデータ記憶部１０８に記憶
保持された画像パケットに関する情報を用いて画像音声
多重化データから抽出されることになる。また、音声パ
ケットに含まれる音声符号化データについても同様の処
理を行なう。

【００６９】ここで、指定した符号化データをすべてパ
ケット化してなければ、画像符号化データをパケット化
する処理から多重化までの処理を繰り返す（図５のＳ２
１８）。

【００７０】なお、前記実施の形態１でも述べたよう
に、画像データ表示部１０３を見ながら必要とする画像
符号化データ部分を指定するのではなく、画像データ指
定部１０４より必要とする画像符号化データの範囲、画
像音声多重化データにおける表示開始位置及び表示終了
位置などを直接入力してもよい。

【００７１】この場合、符号化データ抽出部１０５では
表示開始位置における画像パケットのパケット情報から
表示開始時間と表示終了位置における画像パケットのパ
ケット情報から表示終了時間を取り出す。

【００７２】この後の処理は上記に示した処理と同じで
ある。なお、画像符号化データと音声符号化データを１
組づづパケット化し多重化するのではなく、画像符号化
データ及び音声符号化データをすべてパケット化した後
に多重化を行なっても良い。

【００７３】この場合は、結合点より後ろの画像符号化
データの表示開始時間を記憶保持しておき、各音声符号
化データの表示開始時間を求めパケットの情報を付加し
ながらパケット化を行なっていく。

【００７４】これらパケット化に関する処理以前の処理
は上記に述べた処理（図５のＳ２０１〜Ｓ５１１）と同
じで、パケット化処理のあと多重化処理を行なう。

【００７５】後の処理は上記で述べたものと同じであ
る。次に、具体的に画像音声多重化データを用いた本実
施の形態２における処理の流れを説明する。

【００７６】図６に図４の画像音声多重化データ編集装
置を用いる時の画像音声多重化データの構成を示す。

【００７７】図６(a)は入力画像音声多重化データ蓄積
部１０１から入力される画像音声多重化データ構成図で
ある。

【００７８】図６中の記号で、ＶＰは画像符号化データ
を含む画像パケット、ＡＰは音声符号化データを含む音
声パケット、Ｖは画像符号化データ、Ａは音声符号化デ
ータ、ＶＴは画像符号化データの表示時間、ＡＴは音声
符号化データの表示時間、ｐは画像音声多重化データに
おける位置を示すものである。

【００７９】ＶＰ、ＡＰの添字は順番で、ＶＴ、ＡＴの
添字は画像符号化データ及び音声符号化データに対応し
たものである。

【００８０】前記実施の形態１と同様に、必要とする画
像符号化データが図６(a)の画像パケットＶＰ２からＶ
Ｐ６までに、それに対応する音声符号化データが音声パ
ケットＡＰ１に含まれていてるとする。

【００８１】図５に示すように、必要とする画像符号化
データの選択までは前記実施の形態１と同じ処理である
（図５のＳ２０１からＳ２０７）。

【００８２】選択が終了すると（図５のＳ２０７の
Ｎ）、画像・音声符号化データ抽出部１０５では、一時
保持された画像符号化データの開始部分と終了部分の表
示時間に対応する画像符号化データＶ２からＶ６の画像
符号化データの位置を抽出し、図６(b)のように抽出デ
ータ記憶部１０６に記憶保持する（図５の５０８）。

【００８３】次に必要とする画像符号化データの開始位
置と終了位置の記憶が終了すると、指定されている画像
符号化データＶ２の最初の画像の表示時間ＶＴ２と同時
間か最も近い表示時間となり表示の長さが画像符号化デ
ータと同じか最も等しくなる音声符号化データＡ１の開
始位置と終了位置を抽出し、図６(c)のように抽出デー
タ記憶部１０６に記憶保持する（図５の５０９）。

【００８４】この時、ＶＴ２とＡ１の表示時間ＡＴ１の
差Ｄ０（＝ＶＴ２-ＡＴ１）を求め、画像符号化データ
Ｖ２からＶ６と音声符号化データＡ１とに関連付けて表
示開始時間の差Ｄ０を抽出データ記憶部１０６に記憶保
持する（図５の２１０）。

【００８５】以下同様の処理を選択されたすべての画像
符号化データに対して行ない（図５の２１１）、指定さ
れた画像符号化データ（Ｖ１０からＶ１３、図６(d)）
とそれに対応する音声符号化データ（Ａ５、図６(e)）
と画像符号化データとそれに対応する音声符号化データ
の表示開始時間（Ｄ１＝ＶＴ１０-ＡＴ５）の差を抽出
データ記憶部１０６に記憶保持する。

【００８６】符号化データパケット化部１０７では、パ
ケット化開始信号が入力されると（図５のＳ２１１）、
抽出データ記憶部１０６に上記処理で指定された画像符
号化データＶ２からＶ６に対して新しい表示時間を求め
（図５のＳ５１２）、パケットに関するデータと共にパ
ケットデータ記憶部１０８に記憶保持しておく（図５の
Ｓ５１３）。このとき、画像符号化データＶ２からＶ６
の表示開始時間ｎｅｗＶＴ２及び表示終了時間ｎｅｗＶ
Ｔ６を記憶保持しておく（図５のＳ２１４）。

【００８７】画像符号化データＶ２からＶ６のパケット
情報の記憶保持が終了すると、符号化データパケット化
部１０７に記憶保持されたｎｅｗＶＴ２と抽出データ記
憶部１０６に記憶保持された画像符号化データと対応す
る音声符号化データの表示開始時間の差Ｄ０を用いて、
音声符号化データＡ１の表示開始時間ｎｅｗＡＴ１（＝
ｎｅｗＶＴ２＋Ｄ０）を求め（図５のＳ２１５）、パケ
ットに関するデータと共にパケットデータ記憶部１０８
に記憶保持しておく（図５のＳ５１６）。

【００８８】これらのパケット情報の記憶保持が終了す
ると、パケットデータ多重化部１０９では、画像パケッ
トに含まれる画像符号化データを抽出データ記憶部１０
６に記憶保持された画像符号化データの開始位置と終了
位置及びパケットデータ記憶部１０８に記憶保持された
画像パケットに関する情報を用いて画像音声多重化デー
タから抽出し画像パケットを作成し、同様にして音声パ
ケットの作成を行ない、画像パケットと音声パケットの
多重化を行ない、画像音声多重化データを作成する（図
５のＳ５１７）。

【００８９】次に、抽出した符号化データがあるので
（図５の２１８）、符号化データパケット化部１０７で
は画像符号化データＶ１０からＶ１３に対して画像符号
化データＶ２からＶ６の時の処理と同様にして、新しい
表示開始時間を画像符号化データＶ２からＶ６の表示終
了時間ｎｅｗＶＴ６に画像１枚の再生時間を足すことに
よって求め（図５のＳ２１２）、この新しい表示開始時
間に対する表示時間とパケットに関するデータと共にパ
ケットデータ記憶部１０８に記憶保持しておく（図５の
Ｓ５１３）。

【００９０】この時、画像符号化データＶ１０からＶ１
３の表示開始時間ｎｅｗＶＴ１０及び表示終了時間ｎｅ
ｗＶＴ１３を同様に記憶保持しておく（図５のＳ２１
４）。

【００９１】画像符号化データＶ１０からＶ１３のパケ
ット情報の記憶保持が終了すると、符号化データパケッ
ト化部１０７に記憶保持されたｎｅｗＶＴ１０と抽出デ
ータ記憶部１０６に記憶保持された画像符号化データと
対応する音声符号化データの表示開始時間の差Ｄ１を用
いて、音声符号化データＡ５の表示開始時間ｎｅｗＡＴ
５（＝ｎｅｗＶＴ１０＋Ｄ１）を求め（図２のＳ２１
５）、この新しい表示開始時間に対する表示時間とパケ
ットに関するデータをパケットデータ記憶部１０８に記
憶保持しておく（図５のＳ５１６）。

【００９２】これらのパケット情報の記憶保持が終了す
ると、パケットデータ多重化部１０９では前記の多重化
処理と同様にして画像パケットと音声パケットの多重化
を行ない、画像音声多重化データを作成する（図５のＳ
５１７）。

【００９３】これらの処理によって作成された画像音声
多重化データは図６(f)に示すように編集点で結合さ
れ、画像符号化データと音声符号化データの同期がとれ
たものとなり、画像符号化データ及び音声符号化データ
を編集途中で画像音声多重化データより分離して記憶保
持することがないために、蓄積資源と編集時間の削減を
行なうことができる。

【００９４】なお、画像符号化データ及び音声符号化デ
ータの開始位置と終了位置の記憶保持の形式は一例であ
り、図６(b)、(d)の例に捕らわれるものではない。

【００９５】なお、本実施の形態の入力画像音声多重化
データ蓄積部１０１に蓄積されている画像音声多重化デ
ータ及び必要とする画像符号化データと対応する音声符
号化データの構成は本発明を説明するための一例であ
り、多重化の構成及び必要とする画像符号化データと音
声符号化データの構成はこの例に限るものではない。

【００９６】

【発明の効果】以上説明したように本発明によれば、画
像符号化データとそれに対応する音声符号化データの結
合を行なっても画像と音声の同期がずれることがない画
像音声多重化データを作成することができる。

【００９７】また、結合を続けても画像符号化データと
音声符号化データの同期が最後までずれることがなくな
るだけでなく、必要とする画像符号化データとそれに対
応する音声符号化データを画像音声多重化データより編
集を行なっている最中に取り出し記憶保持することがな
いために蓄積資源と編集時間の削減を行なうことができ
る。

【図面の簡単な説明】

【図１】本発明の第１の実施形態の画像音声多重化デー
タ編集装置の構成を示すブロック図

【図２】本発明の第１の実施形態における処理の流れを
示すフローチャート

【図３】本発明の第１の実施形態における画像音声多重
化データの構成図

【図４】本発明の第２の実施形態の画像音声多重化デー
タ編集装置の構成を示すブロック図

【図５】本発明の第２の実施形態における処理の流れを
示すフローチャート

【図６】本発明の第２の実施形態における画像音声多重
化データの構成図

【符号の説明】

１０１ 入力画像音声多重化データ蓄積部 １０２ 画像音声多重化データ復号化部 １０３ 画像データ表示部 １０４ 画像データ指定部 １０５ 画像・音声符号化データ抽出部 １０６ 抽出データ記憶部 １０７ 符号化データパケット化部 １０８ パケットデータ記憶部 １０９ パケットデータ多重化部

Claims (4)

【特許請求の範囲】
1. 【請求項１】 動画像をフレーム内符号化、時間的に前
   のフレームとの相関を利用する前方向予測符号化、時間
   的に前のフレームか後のフレームまたは両方のフレーム
   との相関を利用する両方向予測符号化のいずれかまたは
   組み合わせて構成する画像符号化データを、時間情報と
   パケットに含まれるデータの情報を付加してパケット化
   を行なった画像パケットと、 音声を同一の再生時間となる単位で復号できるように符
   号化した音声符号化データに、時間情報とパケットに含
   まれるデータの情報を付加してパケット化を行なった音
   声パケットとを多重化した画像音声多重化データを編集
   する方法であって、 一つのまたは複数の画像音声多重化データを編集点で結
   合する際に、 前記画像音声多重化データから必要とする画像符号化デ
   ータを抽出するとともに、前記抽出した画像符号化デー
   タに対応する音声符号化データを抽出して記憶保持し、 前記抽出した画像符号化データと前記取り出した音声符
   号化データの表示開始時間の差を記憶保持し、 前記抽出した画像符号化データと前記音取り出した声符
   号化データをパケット化する際に前記表示開始時間の差
   を用いて時間情報を付加して多重化することを特徴とす
   る画像音声多重化データ編集方法。
2. 【請求項２】 画像音声多重化データから抽出した画像
   符号化データおよび音声符号化データを記憶保持する代
   わりに、 前記抽出した画像符号化データを含む画像音声多重化デ
   ータにおける、前記抽出した画像符号化データの位置を
   示す情報と、 前記抽出した音声符号化データを含む画像音声多重化デ
   ータにおける、前記抽出した音声符号化データの位置を
   示す情報とを記憶保持することを特徴とする請求項１記
   載の画像音声多重化データ編集方法。
3. 【請求項３】 動画像をフレーム内符号化、時間的に前
   のフレームとの相関を利用する前方向予測符号化、時間
   的に前のフレームか後のフレームまたは両方のフレーム
   との相関を利用する両方向予測符号化のいずれかまたは
   組み合わせて構成する画像符号化データを、少なくとも
   時間情報とパケットに含まれるデータの種類を付加して
   パケット化を行なった画像パケットと、 音声を同一の再生時間となる単位で復号できるように符
   号化した音声符号化データに、時間情報とパケットに含
   まれるデータの種類を付加してパケット化を行なった音
   声パケットとを多重化した画像音声多重化データを編集
   する装置であって、 画像音声多重化データを復号する手段と、 前記画像音声多重化データから必要とする画像符号化デ
   ータを抽出するとともに、前記抽出した画像符号化デー
   タに対応する音声符号化データを抽出する手段と、 前記抽出した画像符号化データと前記抽出した音声符号
   化データを記憶保持する手段と、 前記抽出した画像符号化データと前記抽出した音声符号
   化データの表示開始時間の差を記憶保持する手段と、 前記抽出した画像符号化データと前記抽出した音声符号
   化データをパケット化する手段と、 画像パケットと音声パケットに時間情報とパケットに含
   まれるデータの情報を付加する手段と、 画像パケットと音声パケットを多重化する手段とを備え
   た画像音声多重化データ編集装置。
4. 【請求項４】 抽出した画像符号化データと音声符号化
   データを記憶保持する手段に代えて、 前記抽出した画像符号化データを含む画像音声多重化デ
   ータにおける、前記抽出した画像符号化データの位置を
   示すデータを記憶保持する手段と、 前記抽出した音声符号化データを含む画像音声多重化デ
   ータにおける、前記抽出した音声符号化データの位置を
   示すデータを記憶保持する手段とを備えた請求項３記載
   の画像音声多重化データ編集装置。