JPH08205174A - 動画像圧縮データ編集方法及びその装置 - Google Patents

Abstract

(57)【要約】 【目的】 フレーム間予測符号化された動画像圧縮デー
タをフレーム単位で編集を行なう際、符号化の計算量を
軽減し、正常な再生が可能である動画像圧縮データを作
成すること。 【構成】 （ａ）において、編集に必要とするＢ５、４
からＢ１２、１１までの動画像圧縮データから編集点の
前後の正常に再生することができない（ｃ）に示す動画
像データのみをフレーム内符号化し、Ｐ７、９からＢ
９、８までは入力動画像圧縮データから取り出し、先に
符号化した動画像圧縮データと組み合わせ、組み合わさ
れた動画像圧縮データを結合することによって動画像圧
縮データの編集を行なう。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像圧縮データを編
集する方法、及びその編集方法を用いた装置に関するも
のである。

【０００２】

【従来の技術】従来、動画像データの符号化方法として
フレーム内、フレーム間を利用した手段がある。

【０００３】フレーム内符号化では、そのフレームの圧
縮データのみで復号化が可能である。次にフレーム間予
測符号化には時間的に前のフレームとの相関を利用する
前方向予測符号化、時間的に前のフレームか後のフレー
ムまたは両方のフレームとの相関を利用する両方向予測
符号化がある。フレーム間予測符号化はフレーム内符号
化に比べ圧縮率を高めることができるが、符号化や再生
を行なう時エラーを生じた場合、時間方向に伝わるため
に周期的にフレーム内符号化を行なっている。

【０００４】動画像圧縮データの挿入、削除、抽出など
の編集をフレーム単位で行なう場合、フレーム内符号化
のみの圧縮データであるならば挿入点や削除点の前後で
また抽出した動画像データも正常に復号することができ
る。また、動画像圧縮データを復号化し編集を行なった
後、復号化された編集動画像データをすべてフレーム内
符号化とフレーム間予測符号化を組み合わせて符号化す
ることで正常に復号できる動画像圧縮データを作成でき
る。

【０００５】

【発明が解決しようとする課題】しかし、フレーム間予
測符号化された動画像圧縮データをフレーム単位で挿
入、削除、抽出の編集を行なう際、挿入点、削除点、抽
出点の前後で符号化の際に用いたフレームデータと復号
化に要するフレームデータが異なる場合が生じ正常な再
生が行なわれないことがある。

【０００６】また、編集後のすべての動画像データをフ
レーム内符号化とフレーム間予測符号化を組み合わせて
符号化することは、計算量が莫大なものになる。

【０００７】

【課題を解決するための手段】本発明は、上記課題を解
決するために、動画像をフレーム内符号化、時間的に前
のフレームとの相関を利用する前方向予測符号化、時間
的に前のフレームか後のフレームまたは両方のフレーム
との相関を利用する両方向予測符号化のいずれかまたは
すべてを組み合わせて構成する動画像圧縮データを編集
する方法において、動画像圧縮データを復号化し、前記
復号化の結果である動画像データの符号化の種類を検出
し、前記動画像データから必要とする動画像圧縮データ
部分の動画像データを抽出し、抽出始点となる第一の動
画像データの符号化の種類が両方向予測符号化である時
は前記第一の動画像データから前記第一の動画像データ
より時間的に後に表示される第一の前方向予測符号化で
ある動画像データまたは第一のフレーム内符号化である
動画像データの直前の動画像データまでを記憶保持し、
また前記第一の動画像データの符号化の種類が前方向予
測符号化である時は前記第一の動画像データを第一の前
方向予測符号化である動画像データとして記憶保持し、
また前記第一の動画像データがフレーム内符号化である
時は前記第一の動画像データを第一のフレーム内符号化
である動画像データとし、抽出終点となる第二の動画像
データの符号化の種類が両方向予測符号化である時は前
記第二の動画像データより時間的に前に表示される第二
の前方向予測符号化である動画像データまたは第二のフ
レーム内符号化である動画像データの直後から前記第二
の動画像データまでを記憶保持し、また前記第二の動画
像データが前方向予測符号化またはフレーム内符号化で
ある時は前記第二の動画像データを第二の前方向予測符
号化である動画像データまたは第二のフレーム内予測符
号化である動画像データとして、前記記憶保持された動
画像のデータを符号化し、前記第一の前方向予測符号化
である動画像データの直後の動画像データまたは前記第
一のフレーム内符号化である動画像データから前記第二
の前方向予測符号化である動画像データまたは第二のフ
レーム内符号化である動画像データまでは元の動画像圧
縮データを取り出し、前記符号化した動画像データと前
記取り出した動画像圧縮データを組み合わせることで編
集を行なうものである。

【０００８】また、動画像をフレーム内符号化、時間的
に前のフレームとの相関を利用する前方向予測符号化、
時間的に前のフレームか後のフレームまたは両方のフレ
ームとの相関を利用する両方向予測符号化のいずれかま
たはすべてを組み合わせて構成する動画像圧縮データを
編集する装置において、動画像圧縮データを復号化する
手段と、前記復号化の結果である動画像データの符号化
の種類を検出する手段と、前記動画像データから必要と
する動画像圧縮データ部分の動画像データを抽出する手
段と、前記検出結果を用いて記憶保持すべき動画像デー
タを判別する手段と、前記判別結果の動画像データを記
憶保持する手段と、前記記憶保持した動画像データを符
号化する手段と、前記記憶保持すべき動画像データをの
ぞく動画像データ部分の動画像圧縮データを元の動画像
圧縮データから取り出す手段と、前記符号化した動画像
データと前記取り出した動画像圧縮データを組み合わせ
る手段で構成する。

【０００９】

【作用】本発明の動画像圧縮データ編集装置では、必要
とする動画像圧縮データ部分を抽出する前に、抽出によ
り正常に再生することができなくなる動画像圧縮データ
を判別し、正常に再生することができない動画像圧縮デ
ータ部分の動画像データを符号化する。

【００１０】これにより、符号化の計算量を軽減するこ
とができ、抽出された動画像圧縮データを結合するだけ
で、正常な再生が可能な動画像圧縮データを編集するこ
とができる。

【００１１】

【実施例】これより、図面を用いて本発明の説明を行な
う。

【００１２】図１は、本発明の一実施例である動画像圧
縮データ編集装置のブロック図で、図２は本発明の一実
施例である動画像圧縮データ編集方法の処理の流れ図で
ある。

【００１３】図１に示すように、まず入力動画像圧縮デ
ータ蓄積部１０１より編集を行なう動画像圧縮データが
動画像圧縮データ復号化部１０２に入力される（図２の
Ｓ２０１、Ｓ２０２）。この動画像圧縮データ復号化部
１０２の出力結果である動画像データが動画像データ表
示部１０３と動画像データ抽出部１０６に入力される。
また、復号化データ判別部１０５では、動画像圧縮デー
タ復号化部１０２より動画像データのフレーム番号信号
と符号化種類信号が入力され、表示される動画像データ
をカウントしている。

【００１４】必要とする動画像圧縮データ部分の動画像
データが動画像データ表示部１０３に表示されている時
に、動画像データ指定部１０４から抽出開始信号が復号
化データ判別部１０５に入力されると（図２のＳ２０
３）、復号化データ判別部１０５は動画像データ抽出部
１０６に抽出動画像データ保持信号を出力する。動画像
データ抽出部１０６では、抽出動画像データ保持信号が
入力されると、抽出始点となる動画像データが入力され
てから前方向予測符号化またはフレーム内符号化の動画
像データの直前の動画像データまでを１周期として動画
像データを一時保持する（図２のＳ２０４）。

【００１５】復号化データ判別部１０５では、抽出動画
像データ保持信号を出力後、抽出始点の動画像圧縮デー
タを含め最初の前方向予測符号化の動画像データを検出
すると（図２のＳ２０５）、動画像データ記憶信号を動
画像データ抽出部１０６に出力する。動画像データ抽出
部１０６では、動画像データ記憶信号が入力されると、
その時点で一時保持している動画像データとその動画像
データ中の前方向予測符号化動画像データのフレーム番
号を抽出開始データとして動画像データ記憶部１０７に
記憶保持する。（図２のＳ２０６）また、フレーム内符
号化の動画像データを検出すると（図２のＳ２０５）、
動画像データフレーム番号記憶信号を動画像データ抽出
部１０６に出力する。動画像データ抽出部１０６では、
動画像データフレーム記憶信号が入力されると、その動
画像データグループの中のフレーム内符号化の動画像デ
ータのフレーム番号を抽出開始データとして動画像デー
タ記憶部１０７に記憶保持する（図２のＳ２０７）。

【００１６】動画像データ指定部１０４から抽出終了信
号が復号化データ判別部１０５に入力されるまで、前方
向予測符号化またはフレーム内符号化の直後の動画像デ
ータから次に表示される前方向予測符号化またはフレー
ム内符号化の動画像データを１周期として一時保持を続
ける（図２のＳ２０８）。

【００１７】次に、必要とする動画像圧縮データ部分の
動画像データが動画像データ表示部１０３に表示されて
いる時に動画像データ指定部１０４から抽出終了信号が
復号化データ判別部１０５に入力されると（図２のＳ２
０９）、復号化データ判別部１０５は、抽出終点の動画
像データの符号化の種類が両方向予測符号化ならば（図
２のＳ２１０）、動画像データ記憶信号を動画像データ
抽出部１０６に出力する。動画像データ抽出部１０６で
は、動画像データ記憶信号が入力されると、一時保持し
ている動画像データと抽出終点となる動画像データのフ
レーム番号を抽出終了データとして動画像データ記憶部
１０７に記憶保持する。（図２のＳ２１１）また、復号
化データ判別部１０５では、抽出終点の動画像データの
符号化の種類が前方向予測符号化またはフレーム内符号
化である判別すると（図２のＳ２１０）、動画像データ
フレーム番号記憶信号を動画像データ抽出部１０６に出
力する。動画像データ抽出部１０６では、動画像データ
フレーム記憶信号が入力されると、その動画像データグ
ループの中の抽出終点の動画像データのフレーム番号を
抽出終了データとして動画像データ記憶部１０７に記憶
保持する（図２のＳ２１２）。

【００１８】これらの処理を繰り返すことによって、復
号化の結果である動画像データから必要とする動画像圧
縮データの開始と終了部分の動画像データを選択してい
く。（図２のＳ２１３）選択が終了すると、符号化開始
信号が動画像データ符号化部１０８に入力される。

【００１９】動画像データ符号化部１０８では、動画像
データが記憶保持されている時（図２のＳ２１４）符号
化開始信号が入力されると、動画像データ記憶部１０７
に上記処理で記憶保持された抽出開始データの動画像デ
ータと抽出終了データの動画像データを符号化し（図２
のＳ２１５）、それぞれの動画像データの符号化の出力
結果とそれぞれのフレーム番号をまとめて動画像圧縮デ
ータ構成部１０９に入力する。また、フレーム番号のみ
が記憶保持されている時（図２のＳ２１４）は、符号化
処理を行なわず、フレーム番号を動画像圧縮データ構成
部１０９に入力する。

【００２０】動画像圧縮データ構成部１０９では、動画
像データ符号化部１０８より入力された抽出開始動画像
データのフレーム番号と抽出終了データのフレーム番号
の間の動画像圧縮データを入力動画像圧縮データ蓄積部
１０１から取り出し（図２のＳ２１６）、動画像データ
符号化部１０８で符号化された動画像圧縮データと組み
合わせることで必要とする動画像圧縮データを構成す
る。（図２のＳ２１７）構成された動画像圧縮データは
動画像圧縮データ蓄積部１１０に蓄積される。（図２の
Ｓ２１８）この処理を繰り返すことによって、動画像デ
ータ指定部１０４で指定した動画像データが動画像圧縮
データとして構成され、動画像圧縮データ蓄積部１１０
に蓄積されていく。

【００２１】動画像圧縮データ結合部１１１では、動画
像圧縮データ蓄積部１１０に蓄積された動画像圧縮デー
タを選択し結合することによって、新たな動画像圧縮デ
ータを作成する（図２のＳ２１９）。

【００２２】なお、動画像データ表示部１０３を見なが
ら必要とする動画像圧縮データ部分を指定するのではな
く、動画像データ指定部１０４より必要とする動画像圧
縮データの範囲、開始フレーム番号と終了フレーム番号
などを直接入力してもよい。この場合、必要とする動画
像圧縮データ開始部分の動画像データが表示される順番
になると（図２のＳ２０３）、復号化データ判別部１０
５は動画像データ抽出部１０６に抽出動画像データ保持
信号を出力するようになる。また、必要とする動画像圧
縮データ終了部分の動画像データが表示される順番にな
ると（図２のＳ２０９）、復号化データ判別部１０５
は、抽出終点の動画像データの符号化の種類が両方向予
測符号化ならば（図２のＳ２１０）、動画像データ記憶
信号を動画像データ抽出部１０６に出力するようにな
る。

【００２３】後の処理は上記で述べたものと同じであ
る。なお、本実施例では、抽出した動画像圧縮データを
動画像圧縮データ蓄積部１１０に蓄積し新たな動画像圧
縮データを作成したが、蓄積することなく直接出力して
もよい。

【００２４】次に、具体的に動画像圧縮データを用いた
本実施例における処理の流れを説明する。

【００２５】図３に図１の動画像圧縮データ編集装置を
用いた時の動画像圧縮データの構成を示す。

【００２６】図３（ａ）は入力動画像圧縮データ蓄積部
１０１から入力される動画像圧縮データの表示順の、図
３（ｂ）は蓄積順の、構成図である。図３中の記号で、
Ｉはフレーム内符号化動画像データ、Ｐは前方向予測符
号化動画像データ、Ｂは両方向予測符号化動画像データ
を表し、一つ目の添字は蓄積順の番号、二つ目の添字は
表示順の番号を示している。入力動画像圧縮データ蓄積
部１０１より図３（ｂ）の動画像圧縮データが動画像圧
縮データ復号化部１０２に入力される（図２のＳ２０
１、Ｓ２０２）と図３（ａ）の動画像データが出力さ
れ、動画像データ表示部１０３と動画像データ抽出部１
０６に入力される。

【００２７】必要とする動画像圧縮データが図３（ａ）
のＢ５，４からＢ１２，１１までとする。動画像データ
表示部１０３に図３（ａ）のＢ５，４が表示されたと
き、動画像データ指定部１０４より抽出開始信号が復号
化データ判別部１０５に入力される。（図２のＳ２０
３）この抽出開始信号が入力されると、復号化データ判
別部１０５は動画像データ抽出部１０６に抽出動画像デ
ータ保持信号を出力し、動画像データ抽出部１０６では
この抽出動画像データ保持信号が入力されるとＢ５，４
の動画像データから一時保持を開始する。（図２のＳ２
０４）そして、復号化データ判別部１０５では抽出開始
動画像データが両方向符号化であるので（図２のＳ２０
５の両方向）、動画像データ表示部１０３に表示されて
いる動画像データがＢ５，４より後に表示されるＰ４，
６の動画像データであることを検出すると（図２のＳ２
０５の前方向）、動画像データ記憶信号を動画像データ
抽出部１０６に出力する。この動画像データ記憶信号が
入力されたとき動画像データ抽出部１０６には図３
（ｃ）に示すようにＢ５，４、Ｂ６，５、Ｐ４，６の動
画像データが一時保持されており、この３枚の動画像デ
ータとＰ４，６のフレーム番号を抽出開始データとして
動画像データ記憶部１０７に記憶保持する。（図２のＳ
２０６）この処理によって、必要とする動画像圧縮デー
タの開始部分の動画像データが記憶保持されたことにな
る。また、動画像データ指定部１０４から抽出終了信号
が復号化データ判別部１０５に入力されるまで、Ｐ４，
６の表示直後の動画像データＢ８，７からＢ９，８、Ｐ
７，９というようにＢ、Ｂ、Ｐという形式で一時保持を
続ける（図２のＳ２０８）。

【００２８】次に動画像データ表示部１０３に図３
（ａ）のＢ１２，１１が表示されたとき、動画像データ
指定部１０４より抽出終了信号が復号化データ判別部１
０５に入力される。（図２のＳ２０９のＹ）この抽出終
了信号が入力されると、復号化データ判別部１０５は抽
出終了動画像データが両方向符号化であるので（図２の
Ｓ２１０のＹ）、動画像データ抽出部１０６に動画像デ
ータ記憶信号を出力する。この動画像データ記憶信号が
入力されたとき動画像データ抽出部１０６には図３
（ｃ）に示すようにＢ１１，１０、Ｂ１２，１１の動画
像データが一時保持されており、この２枚の動画像デー
タとＢ１２，１１のフレーム番号を抽出終了データとし
て動画像データ記憶部１０７に記憶保持する。（図２の
Ｓ２１１）この処理によって、必要とする動画像圧縮デ
ータの終了部分の動画像データが記憶保持されたことに
なる。

【００２９】上記の処理を繰り返すことにより、必要と
する動画像圧縮データの開始と終了部分の動画像データ
を選択していき、選択が終了すると（図２のＳ２１３の
Ｎ）、動画像データ符号化部１０８に符号化開始信号が
入力される。動画像データ符号化部１０８では（図２の
Ｓ２１４のＮ）、この符号化開始信号が入力されると、
図３（ｄ）に示すように動画像データ記憶部１０７に記
憶保持された抽出開始データのＢ５，４をＩ５，４、Ｂ
６，５をＩ６，５、Ｐ４，６をＩ４，６と、また、抽出
終了データのＢ１１，１０をＩ１１，１０、Ｂ１２，１
１をＩ１２，１１と、それぞれの動画像データをフレー
ム内符号化する。（図２のＳ２１５）この符号化が終了
するとそれぞれの動画像データの符号化の出力結果とそ
れぞれのフレーム番号をまとめて動画像圧縮データ構成
部１０９に入力する。

【００３０】動画像圧縮データ構成部１０９では、動画
像データ符号化部１０８より入力された抽出開始データ
のフレーム番号と抽出終了データのフレーム番号を用い
て、その間のフレーム番号の動画像圧縮データＰ７，
９、Ｂ８，７、Ｂ９，８を入力動画像圧縮データ蓄積部
１０１から取り出してくる。（図２のＳ２１６）この取
り出してきた動画像圧縮データＰ７，９、Ｂ８，７、Ｂ
９，８と動画像圧縮データ符号化部から入力された動画
像圧縮データＩ５，４、Ｉ６，５、Ｉ４，６、Ｉ１１，
１０、Ｉ１２，１１とを図３（ｅ）に示すように正常に
再生できるように組み合わせて、必要とする動画像圧縮
データを構成する。（図２のＳ２１７）図３（ｅ）を表
示すると図３（ｆ）のようになる。この作成された動画
像圧縮データを動画像圧縮データ蓄積部１１０に蓄積す
る（図２のＳ２１８）。

【００３１】以下同様の処理を動画像データ記憶部１０
７に蓄積されている動画像データに対して行ない、作成
された動画像圧縮データを動画像圧縮データ蓄積部１１
０に蓄積する。

【００３２】動画像圧縮データ結合部１１１では、動画
像圧縮データ蓄積部１１０に蓄積されている動画像圧縮
データをつなぎ合わせることによって新たな動画像圧縮
データを作成する（図２のＳ２１９）。

【００３３】動画像圧縮データ蓄積部１１０に蓄積され
ている動画像圧縮データは、その動画像圧縮データ以外
の動画像圧縮データと相関がないために、その動画像圧
縮データのみで復号が可能である。よって、動画像圧縮
データ結合部１１１では、動画像圧縮データ蓄積部１１
０に蓄積されている動画像圧縮データをただ単純につな
ぎ合わせだけで新たな動画像圧縮データの作成が可能と
なる。

【００３４】なお、本実施例の入力動画像圧縮データ蓄
積部１０１に蓄積されている動画像圧縮データおよび必
要とする動画像圧縮データは本発明を説明するための一
例であり、圧縮符号化の構成はこの例に限るものではな
い。

【００３５】

【発明の効果】以上説明したように本発明では、必要と
する動画像圧縮データを抽出する前に、抽出により正常
に再生することができなくなる動画像圧縮データを判別
し正常に再生することができない動画像圧縮データ部分
の動画像データを符号化することで、符号化の計算量を
軽減することができ、抽出された動画像圧縮データはそ
の動画像圧縮データのみで正常な再生が可能であるため
に抽出された動画像圧縮データを結合するだけで正常な
再生が可能な動画像圧縮データを作成することができ
る。

【図面の簡単な説明】

【図１】本発明の一実施例の動画像圧縮データ編集装置
の構成を示すブロック図

【図２】本発明の一実施例の動画像圧縮データ編集装置
を用いた時の処理の流れ図

【図３】本発明の一実施例における動画像圧縮データの
構成図

【符号の説明】

１０１ 入力動画像圧縮データ蓄積部 １０２ 動画像圧縮データ復号化部 １０３ 動画像データ表示部 １０４ 動画像データ指定部 １０５ 復号化データ判別部 １０６ 動画像データ抽出部 １０７ 動画像データ記憶部 １０８ 動画像データ符号化部 １０９ 動画像圧縮データ構成部 １１０ 動画像圧縮データ蓄積部 １１１ 動画像圧縮データ結合部

Claims (2)

【特許請求の範囲】
1. 【請求項１】動画像をフレーム内符号化、時間的に前の
   フレームとの相関を利用する前方向予測符号化、時間的
   に前のフレームか後のフレームまたは両方のフレームと
   の相関を利用する両方向予測符号化のいずれかまたはす
   べてを組み合わせて構成する動画像圧縮データを編集す
   る方法において、 動画像圧縮データを復号化し、前記復号化の結果である
   動画像データの符号化の種類を検出し、前記動画像デー
   タから必要とする動画像圧縮データ部分の動画像データ
   を抽出し、 抽出始点となる第一の動画像データの符号化の種類が両
   方向予測符号化である時は前記第一の動画像データから
   前記第一の動画像データより時間的に後に表示される第
   一の前方向予測符号化である動画像データか第一のフレ
   ーム内符号化である動画像データの直前の動画像データ
   までを記憶保持し、 また前記第一の動画像データの符号化の種類が前方向予
   測符号化である時は前記第一の動画像データを第一の前
   方向予測符号化である動画像データとして記憶保持し、 また前記第一の動画像データがフレーム内符号化である
   時は前記第一の動画像データを第一のフレーム内予測符
   号化である動画像データとし、 抽出終点となる第二の動画像データの符号化の種類が両
   方向予測符号化である時は前記第二の動画像データより
   時間的に前に表示される第二の前方向予測符号化である
   動画像データまたは第二のフレーム内符号化である動画
   像データの直後から前記第二の動画像データまでを記憶
   保持し、 また前記第二の動画像データが前方向予測符号化または
   フレーム内符号化である時は前記第二の動画像データを
   第二の前方向予測符号化である動画像データまたは第二
   のフレーム内符号化である動画像データとして、前記記
   憶保持された動画像データを符号化し、 前記第一の前方向予測符号化である動画像データの直後
   の動画像データまたは前記第一のフレーム内符号化であ
   る動画像データから前記第二の前方向予測符号化である
   動画像データまたは第二のフレーム内符号化である動画
   像データまでは元の動画像圧縮データを取り出し、前記
   符号化した動画像データと前記取り出した動画像圧縮デ
   ータを組み合わせることを特徴とする動画像圧縮データ
   編集方法。
2. 【請求項２】動画像をフレーム内符号化、時間的に前の
   フレームとの相関を利用する前方向予測符号化、時間的
   に前のフレームか後のフレームまたは両方のフレームと
   の相関を利用する両方向予測符号化のいずれかまたはす
   べてを組み合わせて構成する動画像圧縮データを編集す
   る装置において、 動画像圧縮データを復号化する手段と、前記復号化の結
   果である動画像データの符号化の種類を検出する手段
   と、前記動画像データから必要とする動画像圧縮データ
   部分の動画像データを抽出する手段と、前記検出結果を
   用いて記憶保持すべき動画像データを判別する手段と、
   前記判別結果の動画像データを記憶保持する手段と、前
   記記憶保持した動画像データを符号化する手段と、前記
   記憶保持すべき動画像データをのぞく動画像データ部分
   の動画像圧縮データを元の動画像圧縮データから取り出
   す手段と、前記符号化した動画像データと前記取り出し
   た動画像圧縮データを組み合わせる手段を有することを
   特徴とする動画像圧縮データ編集装置。