JP4786614B2

JP4786614B2 - 動画編集装置

Info

Publication number: JP4786614B2
Application number: JP2007222505A
Authority: JP
Inventors: 晴久加藤; 康弘滝嶋
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2007-08-29
Filing date: 2007-08-29
Publication date: 2011-10-05
Anticipated expiration: 2027-08-29
Also published as: JP2009055536A

Description

本発明は、変換符号化とエントロピー符号化を組み合わせてエンコードされた動画像へ映像効果を付与する動画編集装置に関し、特に、該動画像へネガポジ反転の映像効果を付与するのに適する動画編集装置に関する。

映像コンテンツの編集に用いられる様々な特殊効果の中で、衝撃的な場面を効果的に表す演出としてネガポジ反転などが用いられている。また、弱視者にでも視認しやすくすることを目的として、眩しすぎるシーンをネガポジ反転させることもある。

特許文献１には、画素領域において白の画素値255(画素値0〜255)から入力画素値を引くことでネガポジ反転の映像効果を付与する方法が記載されている。
特開２００５−２０３１８号公報

特許文献１に記載された技術では、符号化された映像コンテンツを一旦画素領域まで復号し、画素領域において編集処理を行った後に再符号化するので、復号と再符号化に膨大な時間が掛かるという課題がある。また、再符号化による画質劣化が問題になるという課題もある。

本発明の目的は、上記した従来技術の課題を解決し、動画像への映像効果の付与に際し、符号化効率や画質の面で優れた編集を行うことができる動画編集装置を提供することにある。

上記目的を達成するため、本発明は、変換符号化された動画像を編集して映像効果を付与する動画編集装置において、入力される符号化動画像を可変長復号し、符号領域での編集に必要な符号情報を抽出する可変長復号手段と、前記可変長復号手段により抽出された符号情報を編集することにより画素値を変化させる編集処理手段と、前記編集処理手段により編集された符号情報を補正することにより前記編集処理手段での編集に伴って生じる画質劣化を軽減させる補正処理手段と、前記補正処理手段により補正された符号情報を可変長符号化し、映像効果が付与された動画像を出力する可変長符号化手段を備え、前記可変長復号手段は、符号領域での編集に必要な符号情報として変換係数、符号化タイプ情報および参照フレーム情報を抽出し、前記編集処理手段は、映像効果を付与する区間、前記可変長復号手段により抽出された変換係数、符号化タイプ情報および参照フレーム情報を入力とし、フレーム間符号化での参照関係が編集区間境界を跨ぐかどうかに応じて画素値変化を制御する重み予測係数を格納する格納手段と、前記可変長復号手段により抽出された符号化タイプ情報および参照フレーム情報に基づいて変換係数を操作し映像効果に応じた符号情報を出力する符号情報編集手段を備え、前記補正処理手段は、重みが１以外を含む平均値予測での予測画素の生成に用いられる複数の画素値の重み付け平均の正規化に用いられる分母に依存する値を要素とする補正行列から得られる値を補正量として前記編集処理手段で編集された符号情報の各変換係数に加算することにより、各変換係数に生じている誤差を相殺する補正手段を備えた点に第１の特徴がある。

また、本発明は、前記符号情報編集手段が、フレーム内符号化画像およびフレーム間符号化画像の変換係数の正負を反転させる変換係数正負反転手段を備えた点に第２の特徴がある。

また、本発明は、前記符号情報編集手段が、フレーム内符号化画像の変換係数の一部の直流成分にオフセット係数の定数倍を加算するオフセット係数加算手段を備えた点に第３の特徴がある。

また、本発明は、さらに、フレームの符号化タイプおよびブロックの符号化モードに応じて異なる補正量をもつ補正行列を切り替えて使用する点に第４の特徴がある。

さらに、本発明は、前記可変長符号化手段が、前記格納手段に格納された重み予測係数を可変長符号化するとともに、前記補正処理手段により補正された符号情報を可変長符号化することにより映像効果が付与された動画像を出力する点に第５の特徴がある。

本発明では、変換符号化されて圧縮された動画像コンテンツを画素領域まで復号せずに、符号領域における編集処理で映像効果を付与する。ここでは画素領域への復号や再符号化を必要としないので、処理速度の低下をなくすことができる。また、画素領域への復号や再符号化を必要としないので、画質劣化を抑制することもできる。

また、編集された符号情報を補正して編集に伴って生じる画質劣化を軽減するので、編集された符号情報が逆変換処理や予測画素生成処理された場合の画質劣化を符号領域における処理で軽減することができる。したがって、画質を劣化させずに短時間で動画像に映像効果を付与することができる。

以下、図面を参照して本発明を説明する。ここで処理対象とする入力動画像は、変換符号化とエントロピー符号化を組み合わせてエンコードされた符号化動画像である。以下では、入力動画像がH.264に従うフォーマットで符号化されており、この所定区間にネガポジ反転の映像効果を付与する場合を例にあげて説明する。

図１は、本発明に係る動画編集装置の基本構成を示すブロック図であり、可変長復号部11、編集処理部12、補正処理部13、可変長符号化部14を備える。なお、これらの各部は、ハードウエアでもソフトウエアでも実現できる。

可変長復号部11は、入力される符号化動画像を可変長復号し、編集に必要な符号情報を抽出する。可変長復号部11での復号は、可変長復号すなわち符号情報までの部分的な復号である。また、編集に必要な符号情報は、符号化タイプ(フレーム内符号化かフレーム間符号化か)、符号化モード(ブロックの予測方向)、変換係数、参照フレーム情報(片方向予測か双方向予測か)である。可変長復号部11で抽出された符号情報は、編集処理部12に送られる。

編集処理部12は、動画像の各フレームについて、可変長復号部11により抽出された符号情報を編集することにより、画素値変化を実現し、ネガポジ反転された符号情報を生成する。より具体的には、ネガポジ反転させる区間(編集区間)に応じて重み予測係数情報を付与(格納)するとともに変換係数の正負反転などの処理を行ってネガポジ反転された符号情報を生成する。

補正処理部13は、編集処理部12により正負反転された変換係数に起因して生じる誤差が補正されるようにし、誤差の伝播と蓄積による画質劣化を防ぐ。誤差は、編集処理において正負反転された変換係数を逆変換する場合に発生するものであり、補正は、該誤差を相殺する補正量を変換係数に加算しておくことで実現される。

可変長符号化部14は、編集処理部12により編集され、補正処理部13により補正された符号情報を可変長符号化し、ネガポジ反転された動画像を出力する。

可変長復号部11と可変長符号化部14での処理は、従来と同様であるので、以下では、編集処理部12と補正処理部13における処理を詳細に説明する。

まず、編集処理部12における処理について説明する。H.264では、重み付け予測を利用して輝度を変化させることができる。参照画素をｐ_ｉ(i=1,2)すると、順方向あるいは逆方向の片方向予測による予測値ｐ_０′は、式(1)で与えられ、双方向予測による予測値はｐ_０′は、式(2)で与えられる。ここで、ｗ_ｉ(i=1,2)は重み係数、ｏ_ｉ(i=1,2)は、オフセット係数と称される。ネガポジ反転は、フレーム間符号化のフレームについては重み予測係数(重み係数ｗ_１,オフセット係数ｏ_ｉ)を格納し、さらに動き補償の残差を操作することで実現され、フレーム内符号化のフレームについては画素の変換係数を操作することで実現される。

図２は、編集処理部12における処理を示すフローチャートである。同図に示すように、編集処理部12は、重み予測係数格納処理(S122)、オフセット係数加算処理(S125)および変換係数正負反転処理(S126)を実行する。編集処理部12(図１)は、このフローチャートに従って符号化タイプや参照関係によって異なる処理を実行する。

以下、図２を参照して編集処理を説明する。入力フレームが編集区間内にあり、かつその参照フレームとの参照関係が編集区間境界を跨ぐとすると、該入力フレームは、ネガポジ反転を必要とするフレームに相当する。また、入力フレームが編集区間外にあり、かつその参照フレームとの参照関係が編集区間境界を跨ぐとすると、該入力フレームについては、ネガポジ再反転(編集区間でのネガポジ反転を元に戻すこと)を必要とするフレームに相当する。これに応えるため、これらの入力フレームについては重み予測係数を操作する必要がある。参照フレームとの参照関係が編集区間境界を跨がない入力フレームについては、参照フレームをそのまま参照すればよいので、重み予測係数を操作することは不要である。

そこで、まず、入力フレームと参照フレームとの参照関係が編集区間境界を跨ぐがどうかを判定する(S121)。ここで、参照関係が編集区間境界を跨ぐと判定された場合、該入力フレームに対し重み予測係数格納処理(S122)実行する。なお、入力フレームがIスライスの場合、参照フレームはないが、参照関係が編集区間境界を跨がないものと判定する。

重み予測係数格納処理(S122)では、入力フレームに対し重み予測係数(重み係数ｗ_１,オフセット係数ｏ_ｉ)を格納する。具体的には、入力フレームが片方向予測である場合、ｗ_１に-1、ｏ_１に255を格納し、入力フレームが双方向予測である場合は、編集区間境界を跨ぐ参照関係の参照フレームに対する重み予測係数に-1、255を格納する。すなわち、LO予測の参照フレームとの参照関係が編集区間境界を跨ぐ場合、ｗ_１に-1、ｗ_２に1、ｏ_１に255、ｏ_２に0を格納し、L1予測の参照フレームとの参照関係がが編集区間境界を跨ぐ場合は、ｗ_１に1、ｗ_２に-1、ｏ_１に0、ｏ_２に255を格納する。双方向予測のいずれの参照フレームとの参照関係が編集区間境界を跨ぐ場合は、ｗ_１に-1、ｗ_２に-1、ｏ_１に255、ｏ_２に255を格納する。

次に、入力フレームが編集区間内かどうかを判定する(S123)。ここで、編集区間内と判定された場合、S124に進む。また、編集区間内でないと判定された場合にはS127に進む。

S124以下では、PおよびBスライスについての動き補償の残差に対する変換係数を操作し、また、Iスライスについての画素そのものの変換係数を操作する。

重み予測は、PおよびBスライスでのみ用いられる。このため、Iスライスについては、重み係数ｗ_ｉ=-1、オフセット係数ｏ_ｉ=255による重み予測と同等の効果を符号領域で変換係数に付与してネガポジ反転させる必要がある。また、PおよびBスライスについては、動き補償の残差に対する変換係数に重み係数ｗ_ｉに応じた変化を付与する必要がある。

4*4整数変換行列および逆変換行列、変換係数をそれぞれC,D,Xで表すとき、ベースバンドで重み予測された変換係数X′は、式(3)で表される。

ここで、○およびTは、それぞれHadamard積、転置操作を示す。また、Iは、全要素が1の4*4行列であり、Eは、直交変換のためのスケーリング行列を表す。

((CIC^Ｔ)○E^−１))は、DC成分にだけ64が残る。よって、符号領域での重み予測は、変換係数Xに重み係数ｗ_ｉを乗じた後、オフセット係数64ｏ_ｉを直流成分にだけ加算することになる。

Iスライスについて、重み係数ｗ_ｉ=-1による重み予測と同等の効果を符号領域で変換係数に付与するには、フレーム内符号化情報(画素の変換係数)を入力とし、その変換係数の正負を反転すればよい。また、PおよびBスライスについて、動き補償の残差に対する変換係数に重み係数ｗ_ｉに応じた変化を付与するには、フレーム間符号化情報(動き補償の残差に対する変換係数)を入力とし、その変換係数の正負を反転すればよい。したがって、IPBすべてのスライスの変換係数に対して、同じ正負反転処理を施す。

また、Iスライスについて、オフセット係数ｏ_ｉ=255による重み予測と同等の効果を符号領域で変換係数に付与するには、オフセット係数の定数倍をブロックの変換係数の直流成分に加算すればよい。ただし、フレーム内符号化画像において画面左上ブロック以外の変換係数Xは、周囲のブロックからイントラ(Intra)予測で予測値が生成され、オフセット係数をすでに含んでいる。

したがって、オフセット係数ｏ_ｉ=255による重み予測と同等の効果を符号領域で変換係数に適用するには、フレーム内符号化画像の画面左上ブロックの変換係数だけにオフセット係数の定数倍を加算すればよい。なお、フレーム内符号化画像の画面左上ブロックでは、固定値(=128)のDC予測に対する残差を符号化するので、固定値(=128)との差を吸収する定数倍は、64(ｏ_ｉ-128(1-ｗ_ｉ))=-64となる。

PおよびBスライスについては、参照フレームがすでにオフセット係数を含むので、オフセット係数を変換係数に加算する必要はない。

以上の処理を実行するため、まず、S123で入力フレームが編集区間内と判定された場合、該入力フレームがPあるいはBスライスかIスライスかを判定する(S124)。ここで、Iスライスと判定された場合には、オフセット係数加算処理(S125)を実行し、フレーム内符号化画像に対して、画面左上ブロックの変換係数の直流成分に64を加算する。なお、-64ではなく64を加算するのは、後段で変換係数正負反転処理(S126)が行われるためである。

次に、S125でオフセット加算処理された変換係数、およびS123でPあるいはBスライスと判定されたフレームの変換係数を、変換係数正負反転処理(S126)により正負反転する。

次に、S127では、全フレームの処理が完了したかどうかを判定し、完了していなければS121に戻って次のフレームに対してS121以下の処理を繰り返し実行し、完了していれば編集処理を終了する。

図３は、編集処理での重み予測係数(ｗ_１,ｏ_ｉ)格納、変換係数(X)反転の状態の具体例を示す説明図である。

図３(a)では、編集区間内の全てのフレームの変換係数が反転されるが、さらに編集区間最初のフレームがPスライスであり、その参照フレームとの参照関係が編集区間境界を跨ぐので、ｗ_１,ｏ_１にそれぞれ-1,255が格納される。また、編集区間最後のフレームはBスライスであり、LO予測の参照フレームとの参照関係が編集区間境界を跨がず、L1予測の参照フレームとの参照関係が編集区間境界を跨ぐので、ｗ_１に1、ｗ_２に-1、ｏ_１に0、ｏ_２に255が格納される。

図３(b)では、編集区間内の全てのフレームの変換係数が反転されるが、Iスライスについては画面左上ブロックの変換係数の直流成分に64が加算された後、反転される。また、編集区間後であってもBスライスは、LO予測の参照フレームとの参照関係が編集区間境界を跨ぎ、L1予測の参照フレームとの参照関係が編集区間境界を跨がないので、ｗ_１に-1、ｗ_２に1、ｏ_１に255、ｏ_２に0が格納される。

図３(c)では、編集区間内の全てのフレームの変換係数が反転されるが、編集区間最後のBスライスは、LO予測の参照フレームとの参照関係およびL1予測の参照フレームとの参照関係がともに編集区間境界を跨ぐので、ｗ_１に-1、ｗ_２に-1、ｏ_１に255、ｏ_２に255が格納される。また、編集区間後であってもPスライスは、その参照フレームとの参照関係が編集区間境界を跨ぐので、ｗ_１に-1、ｏ_１に255が格納される。

次に、補正処理部13における補正処理について説明する。補正処理部13は、編集処理部12で編集された変換係数のために発生する誤差が補正されるようにする。この誤差は、正負反転処理された変換係数が逆変換処理された場合に生じる。すなわち、正負反転処理の適用前および適用後の変換係数の逆変換を考えると、正負反転処理の適用後の変換係数の値が、正負反転処理の適用前の値を正負反転した値と一致せず、誤差を含む要素がある。

図４は、正負反転処理の適用前の4x4変換係数とその逆変換処理後の値の具体例を示し、図５は、正負反転処理の適用後の4x4変換係数とその逆変換処理後の値の具体例を示す。図４と図５の値を比較すると、図５の逆変換処理後の値が、一部の値(図で○で囲んだ値)が本来なるべき値(図４の値を正負反転したもの)より1だけ大きくなっている。

逆変換処理された場合の誤差は、逆変換処理の演算での小数第1位の四捨五入の方向が、正負反転処理の適用前と適用後とで反転することに起因し、その誤差は必ず+1となる。この誤差は、1ブロックでは小さなものであるが、フレーム内符号化のIntra予測では伝播するため、該誤差は蓄積され、画面右下にかけて著しい画質劣化をもたらすものとなる。補正処理部13では、正負反転処理された変換係数が逆変換処理された場合に生じる誤差が抑制されるように補正する。

演算での小数第1位の四捨五入の方向が、正負反転処理の適用前と適用後とで反転することに起因する誤差は、逆変換処理だけでなく、intra予測の予測画素生成処理の場合にも生じる。例えば、平均値予測で4つの画素値(2, 3, 4, 5)から予測画素を生成する場合、予測画素の値は、式(4)により4となる。一方、これを、ネガポジ反転した画像で予測画素を生成すると、予測画素の値は、式(5)により252となる。ここで、>>2は、2ビットシフトすなわち4で除算することを表す。なお、(x+0.5)という式で四捨五入演算を行うために2を加算して4で除算している。

ネガポジ反転した画像において期待される予測画素の値は(255-4)=251であるが、式(5)によれば252が算出され、+1の誤差が発生する。この誤差は、予測に使用する画素値平均の小数点以下が0.5となる場合にのみ発生する。すなわち、(x+0.5)という式で四捨五入を行った時に、正負反転処理の適用前と適用後とで、繰り上がりの方向が反転することに起因する。補正処理13では、正負反転処理された変換係数が予測画素生成処理に供された場合に生じる誤差も抑制されるように補正する。

しかし、実際上では誤差が何処に発生するか分からない。そこで、本発明では、逆変換処理および予測画素生成処理での誤差発生確率を考慮し、その確率で均一に誤差が生じるものとして補正を施す。

重みをそれぞれ1とした平均値予測で2つの画素値から予測画素を生成する場合、逆変換処理と予測画素生成処理にはそれぞれ2による除算が含まれ、各処理で0.5が発生する確率はそれぞれ1/2である。したがって、この場合の誤差発生確率を各画素についてそれぞれ1/2と仮定し、予測に用いられる箇所を-1(補正量=逆変換処理での誤差発生確率による補正量(-1/2)+(予測画素生成処理での誤差発生確率による補正量(-1/2))とした補正行列を作成する。そして、この補正行列を変換して得られる値を各変換係数に加算する。これにより、逆変換処理と予測画素生成処理で四捨五入に起因して生じる誤差の伝播を抑制することができる。

図６は、補正行列およびそれを変換した値の具体例を示す。予測ではブロックの4行目と4列目の画素が用いられる。上記した誤差の伝播を抑制するには、予測に用いられる箇所の画素を補正すればよいので、ブロックの4行目と4列目の要素を-1とし、他を0とした行列を補正行列とし、これを変換して得られる値を各変換係数に加算する。

なお、図６は、重みをそれぞれ1とした平均値予測で2つの画素値から予測画素を生成する場合の具体例であるが、補正行列による補正量は、誤差発生確率に応じて異なるものとなる。例えば、平均値予測で4つの画素値から予測画素を生成する場合、予測画素生成処理での誤差発生確率は、4つの画素値の重み付け平均の正規化に用いられる分母に依存し、8つの画素値から予測画素を生成する場合、予測画素生成処理での誤差発生確率は、8つの画素値の重み付け平均の正規化に用いられる分母に依存するので、それに応じた値を要素とする補正行列を作成する。例えば、平均値予測で4つの画素値a,b,c,dからそれぞれに対して重み2:3:2:1を付して平均して予測画素を生成する場合、(2a+3b+2c+d+2)≫3で表されるので、誤差発生確率は1/8となる。

また、予測モードやフレームの符号化タイプやブロックの符号化モードに応じて異なる補正量を持つ補正行列を切り替えて使用することができる。

intra予測には、平均値を計算しない予測モードも存在する。したがって、intra予測モードに応じて補正行列を切り替えるようにすることができる。まず、平均値を計算しないモード0,1では補正を必要としない。他のモード2〜8に関しては、個々の予測値生成式から誤差発生確率を算出し、予測モードに応じた補正行列を加算することで予測画素生成による誤差を補正する。例えば、モード8の補正行列およびそれが変換された値は、図７で与えられる。

フレーム間符号化でも、予測画素生成処理での誤差を考慮する必要がない。フレーム間符号化の場合には逆変換処理での誤差のみを考慮した補正行列を用いればよい。図８は、フレーム間符号化の場合の補正行列およびそれが変換された値の具体例を示す。フレーム間符号化では、この変換された値を各変換係数に加算すればよい。

または、図９に示すような、4x4の全てに補正量を配置した補正行列を用いることで、誤差伝搬を抑えるだけでなく、全体的に補正するようにしてもよい。この場合、変換された値はDC成分だけとなり、DC成分への加算だけで補正が可能となるので、処理量を抑えることができる。

可変長符号化部134は、格納された重み予測係数(重み係数ｗ_１,オフセット係数ｏ_ｉ)を可変長符号化するとともに、編集処理部12および補正処理部13で編集および補正された変換係数を可変長符号化することで、編集された符号化動画像を出力する。

以上では、H264に従うフォーマットで符号化された動画像にネガポジ反転の映像効果を付与する場合を例にあげて説明したが、本発明は、これに限定されず、他のフォーマットで符号化された動画像を処理対象とすることができ、また、画像における特定領域、例えば、人物の顔領域をスライスとして重み予測係数の格納や変換係数の操作を行えば、該特定領域だけにネガポジ反転を施すこともできる。また、映像効果を付与する際に変換係数に負値が出てくるような場合、例えば色調を大きく変化させるような映像効果を付与する場合で変換係数に負値が出てくるような場合にも上記と同様に誤差が生じることになるので、本発明における補正処理は有効である。

本発明に係る動画編集装置の基本構成を示すブロック図である。編集処理部における処理を示すフローチャートである。編集処理での重み予測係数格納、変換係数反転の状態の具体例を示す説明図である。正負反転処理の適用前の変換係数とその逆変換処理後の値の具体例を示す図である。正負反転処理の適用後の変換係数とその逆変換処理後の値の具体例を示す図である。補正行列およびそれを変換した値の具体例を示す図である。補正行列およびそれを変換した値の他の具体例を示す図である。補正行列およびそれを変換した値のさらに他の具体例を示す図である。補正行列およびそれを変換した値のさらに他の具体例を示す図である。

符号の説明

11・・・可変長復号部、12・・・編集処理部、13・・・補正処理部、14・・・可変長符号化部

Claims

変換符号化された動画像を編集して映像効果を付与する動画編集装置において、
入力される符号化動画像を可変長復号し、符号領域での編集に必要な符号情報を抽出する可変長復号手段と、
前記可変長復号手段により抽出された符号情報を編集することにより画素値を変化させる編集処理手段と、
前記編集処理手段により編集された符号情報を補正することにより前記編集処理手段での編集に伴って生じる画質劣化を軽減させる補正処理手段と、
前記補正処理手段により補正された符号情報を可変長符号化し、映像効果が付与された動画像を出力する可変長符号化手段を備え、
前記可変長復号手段は、符号領域での編集に必要な符号情報として変換係数、符号化タイプ情報および参照フレーム情報を抽出し、
前記編集処理手段は、映像効果を付与する区間、前記可変長復号手段により抽出された変換係数、符号化タイプ情報および参照フレーム情報を入力とし、フレーム間符号化での参照関係が編集区間境界を跨ぐかどうかに応じて画素値変化を制御する重み予測係数を格納する格納手段と、前記可変長復号手段により抽出された符号化タイプ情報および参照フレーム情報に基づいて変換係数を操作し映像効果に応じた符号情報を出力する符号情報編集手段を備え、
前記補正処理手段は、重みが１以外を含む平均値予測での予測画素の生成に用いられる複数の画素値の重み付け平均の正規化に用いられる分母に依存する値を要素とする補正行列から得られる値を補正量として前記編集処理手段で編集された符号情報の各変換係数に加算することにより、各変換係数に生じている誤差を相殺する補正手段を備えたことを特徴とする動画編集装置。
前記符号情報編集手段は、フレーム内符号化画像およびフレーム間符号化画像の変換係数の正負を反転させる変換係数正負反転手段を備えたことを特徴とする請求項１に記載の動画編集装置。
前記符号情報編集手段は、フレーム内符号化画像の変換係数の一部の直流成分にオフセット係数の定数倍を加算するオフセット係数加算手段を備えたことを特徴とする請求項１に記載の動画編集装置。
さらに、フレームの符号化タイプおよびブロックの符号化モードに応じて異なる補正量をもつ補正行列を切り替えて使用することを特徴とする請求項１に記載の動画編集装置。
前記可変長符号化手段は、前記格納手段に格納された重み予測係数を可変長符号化するとともに、前記補正処理手段により補正された符号情報を可変長符号化することにより映像効果が付与された動画像を出力することを特徴とする請求項１に記載の動画編集装置。