JP4822444B2

JP4822444B2 - 動画編集装置

Info

Publication number: JP4822444B2
Application number: JP2007091903A
Authority: JP
Inventors: 晴久加藤; 康弘滝嶋
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2007-03-30
Filing date: 2007-03-30
Publication date: 2011-11-24
Anticipated expiration: 2027-03-30
Also published as: JP2008252578A

Description

本発明は、動画編集装置に関し、特に、変換符号化とエントロピー符号化を組み合わせてエンコードされた動画像へフェードなどの映像効果を付与するのに好適な動画編集装置に関する。

映像コンテンツの編集に用いられる様々な特殊効果の中で、場面転換を効果的に表すトランジションとしてフェードが多用されている。フェードを実現する方法には、映像コンテンツを画素領域で編集する方式と符号領域で編集する方式とがある。

特許文献１、２には、複数の動画間における場面転換を明示的に示すため、連結区間にフェードを付与する技術が開示されており、ここでは、画素領域で重み付け平均を計算することでフェードを実現している。

一方、非特許文献１、２には、符号領域での編集処理でフェードを付与する技術が開示されている。非特許文献１では、DCT係数のDC成分を操作することによって輝度を変化させ、DC成分値が下限に近づいた場合にAC成分を強制的に0にすることでフェードを実現し、非特許文献２では、DCT係数領域で動き補償を行った後、Intra MB(イントラマクロブロック)に対してフェードを実現している。

最近、動画像符号化方式の国際標準規格としてH.264/AVCが注目されている。このH.264/AVCでは、輝度変化を補償するために、参照フレームの予測誤差に重み係数を掛けてデコードする重み付け予測(Weighted Prediction)が導入され、これによればフェード区間の符号化効率を大幅に向上させることができる。

本発明者は、H.264の重み予測を用いてフェードを実現する技術を特許文献３(先願)で提案した。
特開２００５−２８６８８１号公報特開２００５−３５３００６号公報特願２００６−２２３１８１号(先願) Shen,B.: Fast fade-out operation on MPEG video, in International Conference on Image Processing(ICIP), Vol.1, pp.852-856(1998) Fernando,W., Canagarajah, C. and Bull, D.: Fade, dissolve and wipe production in MPEG-2 compressed video, IEEE Transactions on Consumer Electronics, Vol.46, No.3, pp.717-727(2000)

特許文献１、２に開示された技術では、符号化された映像コンテンツを復号し、画素領域で編集処理を行った後に再符号化するので、復号と再符号化に膨大な時間が掛かり、また、再符号化による画質劣化が問題になるという課題がある。

非特許文献１に記載された技術では、輝度の濃淡の差が維持されたまま平均値だけが減少するので、フェード区間にあってもコントラストが高く、一様に収束しないという課題がある。

非特許文献２に開示された技術では、DCT係数領域での動き補償に膨大な量の計算を必要とするので、処理速度が問題になる。また、Intra MBの増加は符号化効率を低下させる恐れがあり、さらに、フェードのような輝度変化を伴う映像は、MPEG-1/2/4 など従来の映像圧縮方式では効率的に符号化できないという課題がある。

特許文献３に開示された技術では、フェードインの最初やフェードアウトの終端において、輝度情報が一様なフレームを参照フレームとして重み付け予測しても正しく補償できないので、画質が問題になるという課題がある。

本発明の目的は、上記した従来技術の課題を解決し、動画像への映像効果の付与に際し、符号化効率や画質の面で優れた編集を行うことができる動画編集装置を提供することにある。

上記の目的を達成するため、本発明は、変換符号化された動画像を編集して映像効果を付与する動画編集装置において、入力される符号化動画像を可変長復号し、符号領域での編集に必要な符号情報を抽出する可変長復号手段と、前記可変長復号手段により抽出された符号情報を元に、重み付け予測での重み情報として、映像効果に応じた重み係数をまず算出し、次に該重み係数を用いてオフセット係数を算出し、映像効果に応じて参照関係を変更するとともに、前記可変長復号手段により抽出された符号情報を前記重み係数およびオフセット係数を用いて編集することにより画素値を変化させる編集処理手段と、前記編集処理手段により編集された符号情報を可変長符号化し、映像効果が付与された動画像として出力する可変長符号化手段とを備えた点に第１の特徴がある。

また、本発明は、前記可変長復号手段が、符号領域での編集に必要な符号情報としてフレーム間符号化での符号情報、参照情報、符号化タイプ情報および参照フレーム情報を抽出し、前記編集処理手段が、映像効果を付与する位置、区間および種類を入力とし、参照画素との間での画素値変化を制御する重み情報として重み係数およびオフセット係数を算出する重み情報算出手段と、前記可変長復号手段により抽出されたフレーム間符号化での符号情報、符号化タイプ情報および参照フレーム情報を入力とし、映像効果に応じてフレーム間符号化での符号情報をフレーム内符号化に相当する符号情報に変更するとともに、符号化タイプ情報および参照フレーム情報を変更する逆動き補償手段と、前記可変長復号手段により抽出されたフレーム間符号化での参照フレーム情報および動き情報を入力とし、映像効果に応じて変更された参照フレーム情報および動き情報を出力する動き情報制御手段と、前記重み情報算出手段により算出された重み情報、前記逆動き補償手段により変更された符号情報、符号化タイプ情報および参照フレーム情報、前記動き情報制御手段により変更された参照フレーム情報および動き情報に基づいて変換係数を操作し、映像効果に応じた変換係数を出力する編集手段を備えた点に第２の特徴がある。

また、本発明は、前記編集手段が、映像効果が付与されて参照フレームの情報量が少なくなった場合、被参照画像を前記逆動き補償手段により変更された符号情報あるいは他の参照フレームを参照するフレーム間符号化での符号情報として編集する点に第３の特徴がある。

また、本発明は、前記逆動き補償手段が、フレーム間符号化の残差成分を逆動き補償によって再構成してフレーム内符号化に相当する符号情報に相当する情報を生成し、これをフレーム間符号化の残差成分として保持する点に第４の特徴がある。

また、本発明は、前記逆動き補償手段が、フレーム間符号化の残差成分を逆動き補償によって再構成してフレーム内符号化に相当する符号情報を生成し、これをＤＣ予測でフレーム内符号化して保持する点に第５の特徴がある。

また、本発明は、前記動き情報制御手段が、参照フレーム情報の変更に応じ、参照フレームの相対的位置関係に従って動き情報の方向および長さを制御する点に第６の特徴がある。

また、本発明は、前記動き情報制御手段が、参照されなくなった参照フレームに対する動き情報を破棄するとともに参照フレーム情報を変更する点に第７の特徴がある。

また、本発明は、前記編集手段が、フレーム内符号化画像およびフレーム間符号化画像の変換係数に前記重み情報算出手段で算出された重み係数を乗算する手段を備えた点に第８の特徴がある。

また、本発明は、前記編集手段が、フレーム内符号化画像の変換係数の一部の直流成分に前記重み情報算出手段で算出されたオフセット係数の定数倍を加算する手段を備えた点に第９の特徴がある。

さらに、本発明は、前記可変長符号化手段が、前記重み情報算出手段により算出された重み情報、前記逆動き補償手段により変更された符号化タイプ情報および参照フレーム情報、前記動き情報制御手段により変更された参照フレーム情報および動き情報、および前記編集手段により操作された変換係数を可変長符号化することで映像効果が付与された動画像を出力する点に第１０の特徴がある。

本発明によれば、変換符号化されて圧縮された動画像コンテンツを画素領域まで復号せず、符号領域での編集処理で映像効果を付与でき、復号や再符号化を必要としないので、それらによる処理速度の低下をなくすことができる。また、再符号化による画質劣化もなくすことができる。したがって、画質を劣化させずに短時間で動画像に映像効果を付与する編集が可能になる。

また、編集対象の動画像コンテンツがH.264/AVCに準拠した復号プロセスでの復号を前提としていれば、重み付け予測を利用して動画像に映像効果を付与できるので、符号化効率の高い編集が可能になる。

図面を参照して本発明を説明する。以下では、入力動画像がH.264に従うフォーマットで符号化されており、これにフェードを付与する場合を例にあげて説明する。

図１は、本発明に係る動画編集装置の基本構成を示すブロック図であり、可変長復号部11、編集処理部12、可変長符号化部13を備える。なお、これらの各部は、ハードウエアでもソフトウエアでも実現できる。

可変長復号部11は、入力される符号化動画像を可変長復号し、編集に必要な符号情報を抽出する。ここでの復号は、可変長復号すなわち符号情報までの部分的な復号である。また、編集に必要な符号情報は、符号化タイプ(フレーム内符号化かフレーム間符号化か)、変換係数、動き情報、参照フレーム情報(片方向予測か双方向予測か)である。可変長復号部11で抽出された符号情報は、編集処理部12に送られる。

編集処理部12は、動画像に付与する映像効果に応じて参照フレーム情報を変更するとともに、可変長復号部11により抽出された符号情報を編集することにより画素値を変化を実現し、映像効果が付与された符号情報を生成する。

可変長符号化部13は、編集処理部12により編集された符号情報を可変長符号化し、映像効果が付与された動画像として出力する。

次に、編集処理部12における処理を説明する。H.264では、輝度そのものの変化を補償するため重み付け予測を利用できる。参照画素をｐ_ｉ(i=1,2)すると、順方向あるいは逆方向の片方向予測による予測値ｐ′は、式(1)で与えられ、双方向予測による予測値ｐ′は、式(2)で与えられる。ここで、ｗ_ｉ(i=1,2)は重み係数、ｏ_ｉ(i=1,2)はオフセット係数と称される。

編集処理部12では、重み係数ｗ_ｉ(i=1,2)およびオフセット係数ｏ_ｉ(i=1,2)を求め、これらを用いてフェードが付与された符号情報を生成する。

図２は、編集処理部12における処理を示すフローチャートである。同図に示すように、編集処理は、重み情報算出処理S21、逆動き補償処理S22、MV制御処理S23、変換係数算出処理S24を含む。編集処理部12は、このフローチャートに従って符号化タイプや参照フレームの性質によって異なる処理を実行する。

まず、重み情報算出処理S21は、符号情報および編集処理のパラメータ(編集の位置、区間および種類)を入力とし、編集(映像効果)に依存した重み情報(重み係数とオフセット係数)を算出する。重み付き予測における重み係数とオフセット係数は、付与する編集の種類と編集区間に依存して決定される。

動画像にフェードを付与する場合、ある画素のフェード付与前の画素値(輝度値)をｑ、フェード付与後の収束値をｃとすると、その画素のフェード時の画素値ｐは、ｑとｃとの重み付き平均として与えられる。したがって、画素領域での処理の場合、フェード時の画素値ｐは、式(3)で定式化できる。ここで、画素領域における乗数ｍは、値ｃに依存せず、単調増加(フェードインの場合)あるいは単調減少(フェードアウトの場合)を続ける。

図３は、フェードイン付与の場合の画素領域でのスライスと乗数ｍの関係を示す図である。例えば、画素値範囲を0(黒)〜255(白)とし、ｃを「255」とすれば、ｍを0から1へ順次増加させることにより、白「255」からｑへのフェードインを実現できる。同図に示すように、スライスごとに乗数ｍ_ｉ(i=0,1,2,・・・)を定めることによりフェード区間と遷移過程が設定される。なお、図３のI,B,Pは、各スライスの符号化タイプを示している。

式(3)より、参照フレームI_５の画素値ｐは式(4)で表され、被参照フレームP_７の画素値ｐ′は式(5)で表されるので、参照フレームI_５の画素値ｐと被参照フレームP_７の画素値ｐ′とは式(6)の関係にある。

式(6)の右辺第１項のｐに係る係数(ｍ_６/ｍ_４)は、重み係数に相当する。よって、重み付き予測における重み係数ｗ_ｉは、画素領域での参照フレームに対する乗数ｍ_ｊと被参照フレームに対する乗数ｍ_ｋを使って式(7)で与えられる。

一方、オフセット係数ｏ_ｉは収束値に依存する。重み係数ｗ_ｉが0に収束するとき、コントラストが失われるとともに画素値そのものが0に近づくので、オフセット係数ｏ_ｉが収束値を決定する。オフセット係数ｏ_ｉは、式(6)の右辺第２項(c・(1-m_６/m_４))で与えられる。

重み係数ｗ_ｉは、量子化されるため量子化誤差を含むが、量子化誤差を加味した上でオフセット係数ｏ_ｉを求めることにより、重み付き予測を最適にすることができる。すなわち、量子化された重み係数ｗ_ｉを逆量子化することによって量子化誤差を含んだ重み係数ｗ_ｉを求め、これを使って式(8)でオフセット係数ｏ_ｉを求めることにより、量子化誤差を含んだ重み係数ｗ_ｉに最適な組み合わせのオフセット係数ｏ_ｉを求めることができる。このとき、式(6)の右辺全体で最適な重み付き予測が行われる。

以上では被参照フレームをPとしたが、被参照フレームがBの場合は、各参照フレームについてそれぞれ同じ処理を行うことにより、重み係数ｗ_ｉおよびオフセット係数ｏ_ｉを求めればよい。

式(8)において収束値ｃを任意に設定することにより、白または黒だけでなく中間色からのフェードインあるいは中間色へのフェードアウトも可能である。さらに、重み付き予測は色差の重みパラメータを輝度とは独立に設定できるので、任意色からのフェードインあるいは任意色へのフェードアウトも実現できる。

重み情報算出処理S21では、式(7)に従って重み係数ｗ_ｉを算出し、式(8)に従ってオフセット係数ｏ_ｉを算出する。これにより算出された重み係数ｗ_ｉおよびオフセット係数ｏ_ｉは、可変長符号化部13に送られる。

また、算出された重み係数ｗ_ｉおよびオフセット係数ｏ_ｉは、符号化タイプがフレーム間符号化かどうかの判定(S25)、フレーム間符号化でないと判定された場合には参照フレームが画素値一様なフレームかどうかの判定(S26)、参照フレームが画素値一様なフレームと判定された場合にはさらに片方向予測符号化か双方向予測符号化かの判定(S27)の結果に従って変換係数算出処理S24でそれぞれ異なる処理が施され、これにより編集後の変換係数が生成される。なお、画素値一様なフレームとは、AC成分が全て0であるフレームを意味する。

S25で符号化タイプがフレーム内符号化と判定された場合、重み情報算出処理S21で算出された重み係数ｗ_ｉおよびオフセット係数ｏ_ｉは、そのまま変換係数算出処理S24に与えられる。

符号化タイプがフレーム間符号化であり、参照フレームが画素値一様かつ他のフレームを参照できない場合、重み予測の乗数が機能しない。そこで、S25でフレーム間符号化と判定され、S26で参照フレームが画素値一様なフレームと判定され、S27で片方向予測符号化(Pスライス)と判定された場合、逆動き補償処理S22を実行する。

逆動き補償処理S22では、フレーム間符号化の残差成分を逆動き補償によって再構成し、フレーム内符号化に相当する符号情報を生成する。このために、入力としてフレーム間符号化での符号情報を与える。符号領域で動き補償を行う手段を適用すれば、符号領域でフレーム内符号化に相当する符号情報を生成することができる。フレーム間符号化での符号情報を画素領域まで復号し、再符号化することによりフレーム内符号化に相当する符号情報を符号生成することもできる。生成された符号情報は、フレーム間符号化の残差成分として保持され、あるいはDC予測でフレーム内符号化された後、保持される。この符号情報は、変換係数算出処理S24に与えられる。

S25でフレーム間符号化と判定され、S26で参照フレームが画素値一様なフレームと判定され、S27で双方向予測符号化(Bスライス)と判定された場合には、MV制御処理S23を実行する。MV制御処理S23では、動き情報と参照フレーム情報を入力とし、動き情報の参照フレームおよび長さを制御する。

参照フレームが画素値一様である場合、重み予測の乗数が機能しないため、該フレームだけを参照する動き情報は、他の参照フレームを参照するように制御する。さらに、動き情報MVを式(9)式を用いてMV′に変更する。

ここで，t0とt1は、処理対象フレーム位置を原点としたときのそれぞれの参照フレームまでの時間を表す(未来はプラス、過去はマイナスとする)。なお、該フレームを参照していない動き情報は変更しない。双方向予測の場合は該フレームを参照する動き情報を破棄し、片方向予測とする。

S25でフレーム間符号化と判定され、S26で参照フレームが画素値一様なフレームではないと判定された場合、重み情報算出処理S21で算出された重み係数ｗ_ｉおよびオフセット係数ｏ_ｉは、そのまま変換係数算出処理S24に与えられる。

重み予測は、PおよびBスライスでのみ用いられるため、図３における乗数ｍ_０をIスライスに掛けるには別途処理が必要となる。また、滑らかなフェードを実現するためには、PおよびBスライスの残差成分にも重み係数ｗ_ｉに応じた変化を与えることが望ましい。

変換係数算出処理S24は、フレーム内符号化に相当する符号情報、フレーム間符号化での符号情報を入力とし、編集に応じて変換係数を直接操作し、編集された後の変換係数を算出する。ここでは、符号領域で重み付き予測と同等の効果が得られるように変換係数を操作する。

変換係数算出処理S24に入力されるフレーム内符号化に相当する符号情報、フレーム間符号化での符号情報はそれぞれ、画素の変換係数、動き補償の残差に対する変換係数であるが、変換係数算出処理S24では同じ処理を適用する。

4*4整数変換行列および逆変換行列、変換係数をそれぞれC,D,Xで表すとき、ベースバンドで重み付き予測された係数X′は、式(10)で表される。

ここで、記号○、Tはそれぞれ、Hadamard積、転置操作を示している。また、Iは全要素が1の4*4行列を示し、Eは直交変換のためのスケーリング行列を示している。

式(10)において、[(CICT )○E-1] はDC成分にだけ「64」が残る。したがって、符号領域での重み付け予測は、変換係数Xに重み係数ｗ_ｉを乗じた後、オフセット係数64ｏ_ｉをDC 成分にだけ加算することにより実現できることになる。

ただし、フレーム内符号化されたフレーム(Iスライス)では周囲のブロックからIntra予測により予測値が生成されるので、画面左上のMB以外の変換係数Xは、PスライスおよびBスライスにおける残差成分に相当する。すなわち、予測値にはオフセット係数64ｏ_ｉがすでに含まれているので、変換係数に重み係数ｗ_ｉを掛けるだけでフェードを実現できる。

しかし、Iスライスの左上のMBだけは固定値に対する残差を符号化するので、その左上のMBにだけについては重み係数ｗ_ｉを掛けるだけでなく、固定値(=128)との差を吸収するため、DC成分に64(c-128)(1-ｗ_ｉ)を加算する必要がある。

したがって、S22でフレーム内符号化(Iスライス)と判定された場合、変換係数算出処理S24では、変換係数に重み係数ｗ_ｉを掛け、さらに左上のMBだけのDC成分に64(c-128)(1-ｗ_ｉ)を加算する。

また、S27で片方向予測符号化(Pスライス)と判定された場合、変換係数算出処理S24では、変換係数に重み係数ｗ_ｉを掛ける。さらに、逆動き補償処理S22の出力がフレーム内符号化として処理されている場合には、Iスライスと判定された場合と同様に、左上のMBだけのDC成分に64(c-128)(1-ｗ_ｉ)を加算する。

以上のように、変換係数算出処理S24では、S25〜S27での判定結果に依らず、全てのスライス(I,P,Bスライス)の変換係数に重み係数ｗ_ｉを掛け、また、符号領域で重み付き予測のオフセットと同等の効果が得られるように、符号化タイプに応じた方法で変換係数にオフセット係数ｏ_ｉを直接反映させる。

以上のS21〜S24の処理を編集処理区間で繰り返し行い(S28)、編集処理区間が終われば編集処理を終了する。

可変長符号化部13は、重み情報算出処理S21で算出された重み係数およびオフセット係数、逆動き補償処理22およびMV制御処理23で変更された符号化タイプや参照フレーム情報や動き情報、変換係数算出処理S24で算出された変換係数を可変長符号化することにより、編集された符号化動画像を出力する。

図４は、フレーム間参照関係の例を示す図であり、同図(ａ)は編集前、同図(ｂ)は編集後である。これは、最左端のI_１(スライス)にフェードイン効果が付与されて画素値一様フレームとなった場合の例である。この場合、中央のP_４は、I_１を参照しない符号化タイプに変更され、また、B_２,B_３は、P_４のみを参照するように変更される。

図５は、符号領域での重み付き予測による編集の具体例を示す図である。白(=255)からのフェードイン効果を付与する場合、例えば、図５に示すように、スライス1_１,B_２,P_３,B_４,・・・ごとに乗数ｍ_０(=0),ｍ_１(=0.125),ｍ_２(=0.25),ｍ_３(=0.375),・・・を定める。式(7)および式(8)により算出したｗ_１,ｏ_１,ｗ_２,ｏ_２の値を同図下部に示す。なお、( )内の値は、変換係数にだけ適用され、それ以外の値は、変換係数および重み係数に適用されることを示している。

重み付き予測における重み予測係数ｗ_ｉ,ｏ_ｉは、画素領域での参照フレームに対する乗数をｍ_{ｒｅｆｅｒｅｎｃｅ}、被参照フレームに対する乗数をｍ_{ｃｕｒｒｅｎｔ}、編集前の画素値をｐ、編集後の画素値をｐ′、重み係数をｗ_ｉ(i=1,2)、オフセット係数をｏ_ｉ(i=1,2)とすると、式(11)で算出された値となっている。このとき、重み付き予測による編集は、式(12)で表される。なお、式(11)は、式(7)と同じことを表している。

図５において、例えば、I_１とP_３とを参照していたB_２は、P_３だけを参照するように変更され、ｗ_２、ｏ_２はそれぞれ、0.5、128となる。また、I_１だけを参照している動き情報MVは、向きが反転(-MV)される。なお、参照フレームまでの時間的距離が異なる場合、式(9)に従ってその時間的距離に応じて動き情報の長さが補正される。

また、I_１のみを参照していたP_３は、逆動き補償処理(図２のS22)によりフレーム内符号化に変更され、ｗ_１、ｏ_１はそれぞれ、(0.25)、(192)となる。続くスライスで参照関係は変更されない。例えば、P_３とI_５とを参照していたB_４の参照関係は変更されず、ｗ_１、ｏ_１、ｗ_２、ｏ_２はそれぞれ、1.5、-128、0.75、64となる。

以上ではH.264に従うフォーマットで符号化された動画像にフェードを付与する場合を例にあげて説明したが、本発明は、これに限定されず、他のフォーマットで符号化された動画像を処理対象とし、これにディゾルブ(現画面が次第に消えて行くに連れて次画面がとけ込むように入り込んでくる画面切替えの映像効果)などの他の映像効果を付与する場合にも適用できる。

また、上記実施形態では、映像効果の付与により参照フレームの画素値が一様になった場合であるが、本発明は、映像効果の付与により参照フレームの画素値がほぼ白あるいは黒になるよう場合も含め、参照フレームの情報量が少なくなる場合に適用できる。

本発明に係る動画編集装置の基本構成を示すブロック図である。図１の編集処理部における処理を示すフローチャートである。フェードイン付与の場合の画素領域でのスライスと重み係数との関係を示す図である。編集前後のフレーム間参照関係を示す図である。符号領域での重み付き予測による編集の具体例を示す説明図である。

符号の説明

11・・・可変長復号部、12・・・編集処理部、13・・・可変長符号化部、S21・・・重み情報算出処理、S22・・・逆動き補償処理、S23・・・MV制御処理、S24・・・変換係数算出処理、S25・・・符号化タイプ判定、S26・・・参照フレームが画素値一様かの判定、S27・・・片方向予測符号化か双方向予測符号化かの判定

Claims

変換符号化された動画像を編集して映像効果を付与する動画編集装置において、
入力される符号化動画像を可変長復号し、符号領域での編集に必要な符号情報を抽出する可変長復号手段と、
前記可変長復号手段により抽出された符号情報を元に、重み付け予測での重み情報として、映像効果に応じた重み係数をまず算出し、次に該重み係数を用いてオフセット係数を算出し、映像効果に応じて参照関係を変更するとともに、前記可変長復号手段により抽出された符号情報を前記重み係数およびオフセット係数を用いて編集することにより画素値を変化させる編集処理手段と、
前記編集処理手段により編集された符号情報を可変長符号化し、映像効果が付与された動画像として出力する可変長符号化手段とを備えたことを特徴とする動画編集装置。
前記可変長復号手段は、符号領域での編集に必要な符号情報としてフレーム間符号化での符号情報、参照情報、符号化タイプ情報および参照フレーム情報を抽出し、
前記編集処理手段は、
映像効果を付与する位置、区間および種類を入力とし、参照画素との間での画素値変化を制御する重み情報として重み係数およびオフセット係数を算出する重み情報算出手段と、
前記可変長復号手段により抽出されたフレーム間符号化での符号情報、符号化タイプ情報および参照フレーム情報を入力とし、映像効果に応じてフレーム間符号化での符号情報をフレーム内符号化に相当する符号情報に変更するとともに、符号化タイプ情報および参照フレーム情報を変更する逆動き補償手段と、
前記可変長復号手段により抽出されたフレーム間符号化での参照フレーム情報および動き情報を入力とし、映像効果に応じて変更された参照フレーム情報および動き情報を出力する動き情報制御手段と、
前記重み情報算出手段により算出された重み情報、前記逆動き補償手段により変更された符号情報、符号化タイプ情報および参照フレーム情報、前記動き情報制御手段により変更された参照フレーム情報および動き情報に基づいて変換係数を操作し、映像効果に応じた変換係数を出力する編集手段を備えたことを特徴とする請求項１に記載の動画編集装置。
前記編集手段は、
映像効果が付与されて参照フレームの情報量が少なくなった場合、被参照画像を前記逆動き補償手段により変更された符号情報あるいは他の参照フレームを参照するフレーム間符号化での符号情報として編集することを特徴とする請求項２に記載の動画編集装置。
前記逆動き補償手段は、
フレーム間符号化の残差成分を逆動き補償によって再構成してフレーム内符号化に相当する符号情報を生成し、これをフレーム間符号化の残差成分として保持することを特徴とする請求項２に記載の動画編集装置。
前記逆動き補償手段は、
フレーム間符号化の残差成分を逆動き補償によって再構成してフレーム内符号化に相当する符号情報を生成し、これをＤＣ予測でフレーム内符号化して保持することを特徴とする請求項２に記載の動画編集装置。
前記動き情報制御手段は、
参照フレーム情報の変更に応じ、参照フレームの相対的位置関係に従って動き情報の方向および長さを制御することを特徴とする請求項２に記載の動画編集装置。
前記動き情報制御手段は、
参照されなくなった参照フレームに対する動き情報を破棄するとともに参照フレーム情報を変更することを特徴とする請求項２に記載の動画編集装置。
前記編集手段は、
フレーム内符号化画像およびフレーム間符号化画像の変換係数に前記重み情報算出手段で算出された重み係数を乗算する手段を備えたことを特徴とする請求項３に記載の動画編集装置。
前記編集手段は、
フレーム内符号化画像の変換係数の一部の直流成分に前記重み情報算出手段で算出されたオフセット係数の定数倍を加算する手段を備えたことを特徴とする請求項３に記載の動画編集装置。
前記可変長符号化手段は、
前記重み情報算出手段により算出された重み情報、前記逆動き補償手段により変更された符号化タイプ情報および参照フレーム情報、前記動き情報制御手段により変更された参照フレーム情報および動き情報、および前記編集手段により操作された変換係数を可変長符号化することで映像効果が付与された動画像を出力することを特徴とする請求項２に記載の動画編集装置。