JP3896697B2 - 非可逆圧縮データ編集装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は非可逆圧縮データを編集する非可逆圧縮データ編集装置にかかわり、特に、動画等の蓄積ファイル中の一部画像を編集加工する技術にかかわる。
【０００２】
【従来の技術】
一般に動画像など大量のデータを伝送したり媒体に蓄積する時に、伝送時間や蓄積メモリの節約をはかるために圧縮率の高い非可逆圧縮が用いられる。非可逆圧縮データのもっとも一般的な形式はビデオ、オーディオ、静止画、テキストなどのマルチメディアの複合体として構成され、さらに、これが伝送や媒体蓄積に適したパケットに区切られたデータフォーマット構成をとる。そして、このような複合メディアデータを再生するには、まず、前処理としてメディアごとにパケットを振り分ける分離操作をし、次いで単一メディアのパケットストリームのパケットをほどき、ビデオエレメントストリームやオーディオエレメントストリームに分離生成する。本発明でいう非可逆圧縮データとはこのような前処理を経た単一データエレメントストリームをさしている。
【０００３】
このような非可逆圧縮のプロトコルが多数開発されているが、例えば動画像の標準圧縮規格であるＭＰＥＧ規格のように、非可逆圧縮データの一部を編集加工するためには、いったんこれを復号化して映像として（すなわち伸長データとして）再現した状態でなければ編集加工することができないものが多い。ところがこのように圧縮原データを伸長原データに復号化し、これに編集を加えた伸長編集済データは、当然ながら膨大なデータ量であるため、この伸長編集済データを再び伝送したり媒体保管するためにこれに圧縮を行うと、非可逆圧縮の性質により、得られた圧縮編集済データのデータ品質はもとの圧縮原データの品質より全般に劣化する。劣化は編集加工により直接加工を加えられたセグメントのみならず、無編集無加工のセグメントにまでおよぶこととなる。これは、例えばＭＰＥＧ圧縮動画像の数フレームのみに編集加工を加えるだけで全体の画像の品質を劣化させる。
【０００４】
ここで図２に示すような標準ＭＰＥＧ１規格で圧縮されたビデオストリームを例に１枚の画像単位であるフレームの圧縮復号化方法とデータ構成について説明する。標準ＭＰＥＧ１規格では、一連の同一属性（例えば画像サイズ、レートなど）をもつビデオデータは図２に示すように複数のＧＯＰ(Group of Picture)を擁する一つのシーケンスからなっている。ＧＯＰは圧縮、復号化の最小単位であり、一つのＧＯＰパラメータ（ヘッダー）のもとに複数のピクチャ層が含まれた構造となっている。一つのピクチャ層は１枚の画面フレームをあらわす（ＭＰＥＧ圧縮されたフレームをピクチャと呼ぶ）。各ピクチャに適用される圧縮の種類によって各ピクチャは次の３種類のピクチャタイプをもつ。すなわち、圧縮に適用される予測符号化がフレーム内のみであるＩ(Intra-coded) ピクチャ、過去のフレームを参照して順方向フレーム間予測を行うＰ(Predictive-coded)ピクチャ、および過去未来の二つのフレームを参照して両方向フレーム間予測を行うＢ(Bidirectionally predictive-coded)ピクチャの３種類である。これらの区別は図２で各ピクチャ毎のピクチャＰ（ピクチャパラメータ）内にＰＣＴ(Picture Coding Type 図示略) として３ビットで表わされる。
【０００５】
さて、上記のような無編集無加工の部分の劣化を極力低く抑える技術が研究模索されている。例えば文献特開平８−１３０７１２号では、ＭＰＥＧ圧縮の場合のＧＯＰ単位で編集部分を同定し、当該ＧＯＰの圧縮伸長の処理回数を管理し、一定回数を越える場合にこれを原動画から作り直す技術が開示されている。しかしこの方法では常に原動画の保存準備が必要であり、また所定回数以下の場合には、１ＧＯＰ内のわずかなフレームのみの編集加工によっても、ＧＯＰ内の全フレームが再圧縮のために劣化する。
【０００６】
また、文献特開平９−１８８３０号では、フレーム単位で編集処理された映像データに対し、ＧＯＰ先頭検出パルスを利用した制御により、編集加工されたフレームが関係するＧＯＰのみを選択記録する技術が開示されている。しかしこの方法によっても、１ＧＯＰ内のわずかなフレームのみの編集加工によってＧＯＰ内の全フレームが再圧縮のために劣化する事情は変らない。
【０００７】
【発明が解決しようとする課題】
上述のように、従来の技術では、編集加工をされなかった画像フレームも復号化、再圧縮によって劣化させられ、通常のコンテンツ作成のように何十回となく編集試行工程を繰り返すような場合に、その画像劣化の累積は無視できない問題となっている。本発明はこのような課題を解決する非可逆圧縮データ編集装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
非可逆圧縮データを編集のため伸長し編集後に再び圧縮すると、編集によって変更を加えられなかったセグメントのデータ品質が劣化する、という上記の課題は図１に示す如く、
非可逆圧縮された圧縮原データg を復号化する復号部１と、復号化により得られる伸長原データＧ上の一部に編集加工を加える編集部２と、この編集部２の出力である伸長編集済データＨを再び非可逆圧縮して圧縮編集済データh を得る圧縮部３とを有する非可逆圧縮データ編集装置において、
前記伸長原データＧと前記伸長編集済データＨが異なるセグメントを示す加工セグメント情報k-idを決定する加工セグメント決定手段４と、
前記伸長編集済データＨを前記圧縮部３で再圧縮するときに前記加工セグメント情報k-idが示す加工セグメントを参照することにより圧縮がなされる他の圧縮セグメントを示す参照セグメント情報s-id、を決定する参照セグメント決定手段５と、
前記加工セグメント決定手段４および参照セグメント決定手段５により指示される加工セグメント情報k-idおよび参照セグメント情報s-idにしたがって、前記圧縮原データg のうち対応するセグメントのみを前記圧縮編集済データh の対応するセグメントで置き換えた無劣化圧縮編集済データh'を生成する選択手段６、とを有する非可逆圧縮データ編集装置を提供することによって解決される。
【０００９】
好適には、標準ＭＰＥＧフォーマットの動画データの編集における画像劣化という上記課題は、図１において加工セグメント決定手段４は伸長原データＧと伸長編集済データＨとをフレーム単位でバイナリ比較することによりフレーム単位の加工セグメント情報k-idを決定し、
参照セグメント決定手段５は、ＩピクチャまたはＰピクチャを含む加工セグメント情報k-idから、これらを参照して圧縮された他のＰピクチャまたはＢピクチャを参照セグメント情報s-idとして決定し、
選択手段６は、標準ＭＰＥＧフォーマットである圧縮原データg のうち、前記加工セグメント情報k-idおよび参照セグメント情報s-idに対応するピクチャのみを前記圧縮編集済データh の対応するピクチャで置き換えた無劣化圧縮編集済データh'を生成する、
非可逆圧縮データ編集装置を提供することによって解決される。
【００１０】
【発明の実施の形態】
非可逆圧縮データ編集装置の実施例を図１〜図４により説明する。なお、本発明におけるコンピュータ処理は、コンピュータプログラムにより当該コンピュータの主記憶装置上で実行されるが、このコンピュータプログラムの提供形態は、当該コンピュータに接続された補助記憶装置をはじめ、フロッピーディスクやＣＤ−ＲＯＭ等の可搬型記憶装置やネットワーク接続された他のコンピュータの主記憶装置及び補助記憶装置等の各記録媒体に格納されて提供されるもので、このコンピュータプログラムの実行に際しては、当該コンピュータの主記憶装置上にローディングされ実行されるものである。
【００１１】
図１は本発明の非可逆圧縮データ編集装置の実施例のブロック構成図である。編集対象となる圧縮原データg は先に述べたようなメディア分離前処理を経たデータエレメントストリームを前提としている。以下には圧縮原データg を図２に示すような標準ＭＰＥＧ１規格で圧縮されたビデオストリームとした場合について詳細に説明する。
【００１２】
図３(a) 〜(d) によってＧＯＰ内のピクチャの参照関係を説明する。原動画像の何フレームを１ＧＯＰにまとめるか、また、その中でＩまたはＰピクチャの現れる周期、といった圧縮パターンは、通常圧縮器によってデフォルトで決まっていたり操作者の初期設定で定まる。図３(a) の圧縮パターンの例では、１ＧＯＰを１５フレームとし、圧縮パターンは圧縮後の伝送上のならびでIBBPBBPBBPBBPBB とした例を示している。このような圧縮形式のもとで、図３(b) の原動画像Ｆ０〜Ｆ１４の１５フレームの画像が圧縮されると、図３(c) に示す圧縮データが得られる。ここに０〜１４は再生時の時間順序を示すフレームNo. であり、伝送上の順序ではない。なお、原画順を示すフレームNo. は各ピクチャ層のピクチャパラメータ中に１０ビットのＴＲ(Temporal Reference)として規定されている。また各ＧＯＰはヘッダー部にもつタイムコードＴＣ(Time Code：シーケンスの先頭からの時間が時分秒で設定されている) によって順序づけられている。図１における圧縮原データg は例えばこのようなフォーマットで復号部１に入力されるものである。
【００１３】
次に図３(c) によって各ピクチャの参照関係を説明する。ＩピクチャはフレームNo. ２の１フレームのみで、これは参照関係を持たずに圧縮復号化可能なフレームである。Ｐピクチャは過去のＩまたはＰフレームを参照して圧縮復号化される。よってフレームNo. ５，８，１１，１４はそれぞれ２，５，８，１１を参照する。Ｂピクチャは過去および未来のフレームを参照して圧縮復号化される。例えば、Ｂ３，Ｂ４のフレームは過去のＩ２フレームと未来のＰ５フレームを参照して圧縮復号化される。ここにＢ０，Ｂ１のフレームについてはこのＧＯＰの中には過去の参照フレームをもたないことに注意が必要である。これらのフレームは直前のＧＯＰの原画順で最後のピクチャを参照する。図３(c) で参照関係−１と記しているのはこのことを示すものである。図３(c) でＧＯＰ内の先頭がＩフレームから始まること、および最大フレームNo.14 がＰピクチャであること、はこのような符号化に必要な標準ＭＰＥＧ１の規約である。（なお、この例のような圧縮パターンをもつシーケンスでは、通常先頭のＧＯＰ内のＢ０，Ｂ１ピクチャは参照フレーム欠如のため圧縮復号化に特殊扱いが必要で、その方法はＧＯＰヘッダーに指定されている。）
図３(c) に示した参照関係を各フレーム毎にまとめると、図３(d) のような参照関係表が得られる。ここではフレームNo. N のピクチャが他のピクチャの圧縮復号化の際に参照されている状況を参照元のフレームNo. のリストで示す。フレームNo.14 のリスト内にX+0,X+1 とあるのはこのフレームが次ＧＯＰ内のＢ０，Ｂ１フレームから参照されていることを示す。これをタイムコードＴＣ＝t で特定されるＧＯＰの内部フレームの参照を示すリストLt(N) と次ＧＯＰ内のフレームの参照を示すリストXt(N) とに分けて表現することもできる。本発明においては復号部１に入力される圧縮原データg の圧縮形式情報をあらかじめ圧縮部３に設定しておき、圧縮部３において得られる圧縮編集済データh はもとの圧縮原データg と同じ圧縮形式とすることを前提する。したがって、図１において圧縮部３からあらかじめ加工セグメント決定手段４および参照セグメント決定手段５に供給されている圧縮形式情報enc-inf は、ここに説明した例えば図３(a) ，(d) の如き情報である。
【００１４】
さて、次に本発明の非可逆圧縮データ編集装置の各部の動作を説明する。図１において、まず圧縮原データg は後の使用のためバッファ10に保存されるとともに復号部１で復号化され伸長原データＧとしてバッファ20に蓄積される。ここに圧縮原データg は先に説明した図３(c) のような形式であり、伸長原データＧは図３(b) のように復元されている。次いで編集部２はバッファ20の出力である伸長原データＧを再生して、必要な箇所に外部より編集加工用データＥを加え画像編集を行なう。一般に画像編集ではフレームの更新、追加、削除、移動などの操作が重畳されるが、本発明ではこの編集の結果の伸長編集済データＨがもとの伸長原データＧと同数のフレーム数をもつような編集のみを対象とする。なお好適には、一部のフレーム更新のみを行い、フレームの追加、削除、移動が行なわれていない編集操作の場合にその効果が大である。そのような編集操作としては、例えば字幕の重畳、字幕の取り替え、モザイクや暈しの重畳、画面の入れ換え、背景の置き換えなどがこれに相当する。
【００１５】
編集部２は上記のような編集の結果の伸長編集済データＨをバッファ21に送るとともに、可能な場合には、編集部分情報Ｇ-infとして更新されたフレームNo. およびこのフレームの属するＧＯＰのＴＣを加工セグメント決定手段４にあたえる。次に圧縮部３はバッファ21の出力である伸長編集済データＨを圧縮し圧縮編集済データh を生成しバッファ30に蓄積する。
【００１６】
次いで加工セグメント決定手段４はバッファ20の出力として伸長原データＧを、またバッファ21の出力として伸長編集済データＨを受け、先に得られた編集部分情報Ｇ-infをもとに伸長原データＧと伸長編集済データＨの該当フレームをバイナリ比較し、変更があったことを確かめる。また、編集部２の機能によっては編集部分情報Ｇ-infを出さないものもあるが、その場合は、加工セグメント決定手段４は伸長原データＧと伸長編集済データＨの各フレームを先頭からバイナリ比較して同一でないフレームをすべて更新されたフレームとし、これを先頭からの通しのフレームNo. で特定する。そしてあらかじめ圧縮部３より得ている圧縮形式情報enc-inf のＧＯＰ内フレーム数（図３の例では１５）をもとに、更新フレームの存在する各ＧＯＰ毎にそのＴＣおよび更新フレームのフレームNo. に換算し決定する。ちなみに伸長１フレームを３６０×２４０×３バイトとしても全フレームのバイナリ比較を実時間の３６０倍高速サーチ程度で行なうことは容易である。
【００１７】
かくして加工セグメント決定手段４は更新されたフレームのフレームNo. およびこのフレームの属するＧＯＰのＴＣを得るので、これを加工セグメント情報k-idとして以下の如く決定し、参照セグメント決定手段５および選択手段６に提供する。すなわち、ＴＣ＝t のＧＯＰ内の更新フレームがｋ1,k2,..,kpのｐ個であるとき、この加工セグメント情報を｛k-id｝t ＝ t,(ｋ1,k2,..,kp) と表現するならば、加工セグメント情報の全体k-idは、
k-id＝Σ｛k-id｝t ＝ t,(ｋ1,k2,..,kp) for t ∈(t1,t2,...,tg) （式１）
のようにあらわされる。ここに(t1,t2,...,tg)は更新フレームを有するＧＯＰのＴＣのリストである。
【００１８】
次に参照セグメント決定手段５が加工セグメント決定手段４より受けた加工セグメント情報k-idおよび圧縮部３より受けた圧縮形式情報enc-inf をもとに参照セグメント情報s-idを決定する手順を説明する。先に図３(d) で述べた如く圧縮形式情報enc-inf は同一ＧＯＰt 内での参照リストLt(N) および次ＧＯＰt+1 内での参照リストXt(N) を与えるので、参照セグメント決定手段５は加工セグメント情報k-id＝ t,(ｋ1,k2,..,kp) の各々のピクチャに対応してＧＯＰt 内の参照ピクチャリスト｛s-id｝t として、
｛s-id｝t=Lt(k1)+Lt(k2)+...+Lt(kp)
および次ＧＯＰt+1 内での参照リスト｛s-id｝t+1 として、
｛s-id｝t+1=Xt(kp)
と決定する。ここに上式右辺の+ 記号は各リストの和集合をとることを意味するものとする。従って、参照セグメント情報s-idの全体は、同一ＧＯＰ参照分
s-id(t)=Lt(k1)+Lt(k2)+...+Lt(kp) for t∈(t1,t2,...,tg) （式２）
および次ＧＯＰ参照分
s-id(t+1)=Xt(kp) for t∈(t1,t2,...,tg) （式３）
によって決定される。
【００１９】
最後に選択手段６がバッファ30から得られる圧縮編集済データh とバッファ10から得られる圧縮原データg をピクチャ単位で選択し、これを組み合わせた無劣化圧縮編集済データh'を出力する手順を説明する。選択手段６は加工セグメント決定手段４から（式１）のピクチャリストを加工セグメント情報k-idとして、また参照セグメント決定手段５から（式２）（式３）のピクチャリストを参照セグメント情報s-idとして受けとる。またこれらにはそのピクチャを含むＧＯＰを特定するＴＣのリスト(t1,t2,...,tg)が付属している。選択手段６は圧縮編集済データh および圧縮原データg を先頭のＧＯＰから順次そのＴＣ値を吟味し、t1,t2,...,tgのＴＣ値をもつＧＯＰおよびそのそれぞれの次ＧＯＰに対してのみ、しかもその中に含まれる（式１）〜（式３）の式で示されるフレームNo. をもつピクチャのみをバッファ30の圧縮編集済データh から選びだし出力する。そしてその他のピクチャおよびＧＯＰは劣化した圧縮編集済データh のかわりに、その元データであり無劣化の圧縮原データg を選択し出力する。このように圧縮データ上でピクチャ単位で画像の入れ換えを行なってもシーケンス内のフレーム参照関係には何ら矛盾をきたさないことは上記の説明で明らかであろう。かくして選択手段６は無劣化圧縮編集済データh'を出力することができる。
【００２０】
以上の動作の具体例を図４(a) 〜(e) によって説明する。図４(a) は加工セグメント決定手段４における伸長原データＧと伸長編集済データＨとの比較結果例である。比較は各フレーム毎に行なわれ、圧縮原データg のＧＯＰに対応するまとまりとして比較結果が整理される。図４(a) の例ではＴＣ＝t1のＧＯＰに相当する部分にのみ加工セグメントを検出し、他のＧＯＰに相当する部分はすべて同一であった。そしてＴＣ＝t1のＧＯＰに相当する１５フレームをバイナリ比較した結果は、図で×印を付した６枚のフレームのみが編集加工されていることがわかった。
【００２１】
このような結果に対し加工セグメント決定手段４は図４(b) の如く加工セグメント情報k-idを決定する。すなわち、対象ＧＯＰリスト=(t1) というメンバー数１のリストとなり、ＴＣ＝t1のＧＯＰに関して、 k-id ＝ t1,(3,4,11,12,13,14) を得る。次いで、参照セグメント決定手段５はこの加工セグメント情報k-id をすでに図３(d) で説明した圧縮形式情報enc-inf の参照リストLt(N) 、Xt(N) と突き合わせ、ＴＣ＝t1のＧＯＰに関して、
s-id(t1)=(9,10,12,13,14)、およびＴＣ＝t1のＧＯＰの次のＧＯＰに関して、
s-id(t1+1)=Xt(14)=(0,1)
という参照セグメント情報s-idを出力する。
【００２２】
図４(d) には問題のＧＯＰの部分の圧縮編集済データh を示す。図中のフレームはi,p,b でピクチャタイプをh で圧縮編集済をあらわしihのように印をつけて示した。これは従来の非可逆圧縮データ編集装置から出力されるものと対応する。選択手段６はバッファ30から出されるこの圧縮編集済データh の中から、図４(b)(c)で指示されるフレームのみを選択し、その他のフレームについてはバッファ10からの圧縮原データg を選択して無劣化圧縮編集済データh'として出力する。図４(e) にはこのようにして得られた無劣化圧縮編集済データh'のフレーム構成を示す。図中の６個の×印は図４(b) の加工セグメント情報k-idが指示するフレームであり、７個の△印は図４(c) の参照セグメント情報s-idが指示するフレームである。その他の２０個の〇印はバッファ10の圧縮原データg からとられたフレームであり、g の印を付してh のフレームと区別した。これら２０個のｇフレームは対応するｈフレームと同じ画像をあらわす原データであり、図４(d) に比べて全く劣化していないものである。
【００２３】
なお図１においてバッファ10、バッファ20、バッファ21、バッファ30は復号部１、編集部２、圧縮部３、加工セグメント決定手段４、および選択手段６を動作させる時間遅れを補償する程度のものであればよく、また逆に蓄積媒体のようなオフライン操作を伴うものであってもよい。
【００２４】
【発明の効果】
以上の説明から明らかなように本発明によれば、編集によって直接加工された加工セグメントとこれを参照して圧縮される参照セグメントのみを圧縮編集済データから抽出して採用し、残りは圧縮原データを使った無劣化圧縮編集済データが得られるので、編集によって変更を加えられなかったセグメントのデータ品質を劣化させない、という著しい効果がある。
【図面の簡単な説明】
【図１】本発明の非可逆圧縮データ編集装置の実施例
【図２】標準ＭＰＥＧ１規格で圧縮されたビデオストリーム
【図３】ＧＯＰ内のピクチャの参照関係例
【図４】加工セグメント決定手段および参照セグメント決定手段の動作例
【符号の説明】
１ 復号部
２ 編集部
３ 圧縮部
４ 加工セグメント決定手段
５ 参照セグメント決定手段
６ 選択手段
g 圧縮原データ
Ｇ 伸長原データ
Ｅ 編集加工用データ
Ｈ 伸長編集済データ
h 圧縮編集済データ
h' 無劣化圧縮編集済データ
enc-inf 圧縮形式情報
Ｇ-inf 編集部分情報
k-id 加工セグメント情報
s-id 参照セグメント情報

Claims (2)

1. ＭＰＥＧフォーマットの非可逆圧縮動画原データを復号化する復号部と、復号化により得られる伸長原データ上の一部に編集加工を加える編集部と、この編集部の出力である伸長編集済データを再び非可逆圧縮して圧縮編集済データを得る圧縮部とを有する非可逆圧縮データ編集装置において、
   前記伸長原データと前記伸長編集済データとをフレーム単位でバイナリ比較することによりフレーム単位で異なるセグメントを示す加工セグメント情報を決定する加工セグメント決定手段と、
   前記加工セグメント情報に含まれるＩピクチャまたはＰピクチャを参照して圧縮伸長がなされる他のＰピクチャまたはＢピクチャを参照セグメント情報として決定する参照セグメント決定手段と、
   前記圧縮原データのうち、前記加工セグメント情報および参照セグメント情報に対応するピクチャのみを前記圧縮編集済データの対応するピクチャで置き換えた無劣化圧縮編集済データを生成する選択手段と、
   を有することを特徴とする非可逆圧縮データ編集装置。
2. ＭＰＥＧフォーマットの非可逆圧縮動画原データを復号化する復号部と、復号化により得られる伸長原データ上の一部に編集加工を加える編集部と、この編集部の出力である伸長編集済データを再び非可逆圧縮して圧縮編集済データを得る圧縮部としてコンピュータを機能させる非可逆圧縮データ編集情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
   前記伸長原データと前記伸長編集済データとをフレーム単位でバイナリ比較することによりフレーム単位で異なるセグメントを示す加工セグメント情報を決定する加工セグメント決定手段と、
   前記加工セグメント情報に含まれるＩピクチャまたはＰピクチャを参照して圧縮伸長がなされる他のＰピクチャまたはＢピクチャを参照セグメント情報として決定する参照セグメント決定手段と、
   前記圧縮原データのうち、前記加工セグメント情報および参照セグメント情報に対応するピクチャのみを前記圧縮編集済データの対応するピクチャで置き換えた無劣化圧縮編集済データを生成する選択手段と、
   してコンピュータを機能させる非可逆圧縮データ編集情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images