JP4786607B2

JP4786607B2 - 動画編集装置

Info

Publication number: JP4786607B2
Application number: JP2007197543A
Authority: JP
Inventors: 晴久加藤; 康弘滝嶋
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2007-07-30
Filing date: 2007-07-30
Publication date: 2011-10-05
Anticipated expiration: 2027-07-30
Also published as: JP2009033635A

Description

本発明は、変換符号化とエントロピー符号化を組み合わせてエンコードされた動画像へ映像効果を付与する動画編集装置に関し、特に、該動画像にコントラスト調整の映像効果を付与するのに適する動画編集装置に関する。

動画像コンテンツに対する基本的な編集として、撮影時の明暗の強弱を調整するコントラスト調整がある。また、動画像コンテンツが保持する階調よりディスプレイが表示可能な階調が少ない場合、両者の階調を考慮して動画像コンテンツの階調を制御する必要がある。

動画像コンテンツのコントラストを調整する場合、まず、符号化された動画像コンテンツを一旦画素領域まで復号し、画素領域でコントラストを調整した後、再符号化を行うという手法が考えられる。また、符号領域でコントラスト調整を行うという手法も考えられる。

特許文献１には、圧縮画像データを復号すると共にその画質を調整する画像処理装置が記載されており、この画像処理装置では、直交変換係数データから信号特性を検出し、コントラスト調整値及び/又は輝度調整値を決定し、これにより決定されたコントラスト調整値及び/又は輝度調整値に従い直交変換係数データに対して調整処理を施すことによりコントラスト及び/又は輝度を調整する。
特開２００１−１７７８３４号公報

符号化された動画像コンテンツを一旦画素領域まで復号し、画素領域でコントラストを調整した後、再符号化を行うというコントラスト調整手法では、映像コンテンツの画素領域までの復号と再符号化に膨大な時間が掛かるだけでなく、再符号化による画質劣化が生じるという課題がある。

特許文献１に記載された画像処理装置では、コントラスト及び/又は輝度を調整するために全てのDCT係数に対して乗算処理及び/又は加算処理を適用するので、計算量が多いという課題がある。また、画質(コントラスト及び/又は輝度)を調整するための調整値をDCT係数に基づいて決定するので、空間的予測を用いる符号化方式には適用できないという課題がある。例えば、MPEG-4 AVC/H.264ではイントラ(Intra)予測を導入しており、これでは変換係数は予測誤差となっているので、これからコントラスト及び/又は輝度の調整値を決定することができない。

本発明の目的は、上記課題を解決し、動画像への映像効果の付与に際し、符号化効率や画質の面で優れた編集を行うことができる動画編集装置を提供することにある。

上記目的を達成するため、本発明は、変換符号化された動画像を編集して映像効果を付与する動画編集装置において、入力される符号化動画像を可変長復号し、符号領域での編集に必要な符号情報として符号化タイプ情報、符号化モード情報、変換係数および参照フレーム情報を抽出する可変長復号手段と、前記可変長復号手段で抽出された符号情報を用いて縮小画像を生成し、該縮小画像を基に映像効果付与前後での画素値を対応付ける重み係数およびオフセット係数を映像効果付与に必要な係数として算出する係数決定手段と、前記可変長復号手段で抽出された変換係数を前記係数決定手段で算出された係数を用いて編集することにより画素値変化の映像効果が付与された変換係数を生成する編集処理手段と、前記編集処理手段で生成された変換係数、前記係数決定手段で算出された係数を可変長符号化し、映像効果が付与された動画像を出力する可変長符号化手段とを備えた点に第１の特徴がある。

また、本発明は、前記係数決定手段が、映像効果を付与する区間の変換係数および符号化モード情報を入力とし、前記符号化モード情報に基づいて変換係数を操作して縮小画像を生成する画像生成手段と、前記画像生成手段で生成された縮小画像からヒストグラムを求め、画素値が存在しない区間で一つ以上の領域に分割する領域分割手段と、前記分割手段で分割された領域ごとに重み係数およびオフセット係数を決定する決定手段とを備え、前記画像生成手段は、変換係数の全部あるいは一部を逆変換して残差成分を画素領域に戻し、画素領域の残差成分から縮小画像を生成する手段を備え、該手段は、符号化モード情報に応じて縮小画像から予測値を生成し、逆変換処理された残差成分に加算する予測値生成・加算手段とを備えた点に第２の特徴がある。

また、本発明は、前記予測値生成・加算手段が、符号化モード情報に応じた、再構成画像の近傍画素の重み付け平均で予測値を生成する手段を備えた点に第３の特徴がある。

また、本発明は、前記編集処理手段が、映像効果を付与する画像領域および区間、変換係数、符号化タイプ情報および参照フレーム情報を入力とし、入力フレームがフレーム間符号化であり、かつ入力フレームが編集区間内にあってその参照フレームが編集区間境界を跨ぐか、入力フレームが編集区間外にあってその参照フレームが編集区間境界を跨ぐかに応じて、前記係数決定手段で決定された重み係数およびオフセット係数から、映像効果を付与するための重み係数およびオフセット係数、あるいは映像効果を打ち消すための重み係数およびオフセット係数を求めて格納する格納手段と、前記符号化タイプ情報がフレーム内符号化を示す場合およびフレーム間符号化を示す場合、前記可変長復号手段で抽出された変換係数の全てに前記格納手段に格納された重み係数を乗算し、前記符号化タイプ情報がフレーム内符号化を示す場合には、さらに画面左上ブロックの直流成分に前記格納手段に格納されたオフセット係数を加算して映像効果に応じた変換係数を生成する編集手段を備えた点に第４の特徴がある。

また、本発明は、前記編集処理手段が、前記係数決定部で決定された、画像領域ごとの重み係数およびオフセット係数を格納する手段を備えた点に第５の特徴がある。

また、本発明は、前記可変長符号化手段が、前記格納手段に格納された重み係数およびオフセット係数および前記編集手段により生成された変換係数を可変長符号化することで映像効果が付与された動画像を出力する点に第６特徴がある。

本発明では、変換符号化されて圧縮された動画像コンテンツを画素領域まで復号せずに、符号領域における編集処理で映像効果を付与する。ここでは画素領域への復号や再符号化を必要としないので、処理速度の低下をなくすことができる。また、画素領域への復号や再符号化を必要としないので、画質劣化を抑制することもできる。したがって、画質を劣化させずに短時間で動画像に映像効果を付与することができる。

以下、図面を参照して本発明を説明する。ここで処理対象とする入力動画像は、変換符号化とエントロピー符号化を組み合わせてエンコードされた符号化動画像である。以下では、入力動画像がH.264に従うフォーマットで符号化されており、この所定区間にコントラスト調整の映像効果を付与する場合を例にあげて説明する。

図１は、本発明に係る動画編集装置の基本構成を示すブロック図であり、可変長復号部11、係数決定部12、編集処理部13および可変長符号化部14を備える。なお、これらの各部は、ハードウエアでもソフトウエアでも実現できる。

可変長復号部11は、入力動画像を可変長復号し、編集に必要な符号情報を抽出する。可変長復号部11での復号は、可変長復号すなわち符号情報までの部分的な復号である。また、編集に必要な符号情報は，符号化タイプ(フレーム内符号化かフレーム間符号化か)、符号化モード(ブロックの予測方向)、変換係数、参照フレーム情報(片方向予測か双方向予測か)である。可変長復号部11で抽出された符号情報は、係数決定部12に送られる。

係数決定部12は、可変長復号部11で抽出された符号情報から編集に供される情報を生成する。編集に供される情報は、縮小画像、領域情報、重み情報およびオフセット情報であり、重み情報およびオフセット情報は、編集に必要な係数として編集処理部13に送られる。領域情報は、画像領域ごとにコントラスト調整を施す場合に編集処理部13に送られる。

編集処理部13は、動画像の各フレームについて、可変長復号部11で抽出された符号情報を編集することにより、画素値を変化を実現し、コントラスト調整された符号情報を生成する。より具体的には、コントラストを調整する区間(編集区間)に応じ、係数決定部12で決定された係数を重み予測係数として付与(格納)するとともに、係数で変換係数を操作してコントラストが調整された符号情報を生成する。

可変長符号化部14は、編集処理部13で編集された符号情報を可変長符号化し、コントラスト調整された動画像を出力する。

可変長復号部11と可変長符号化部14での処理は、従来と同様であるので、以下では、係数決定部12と編集処理部13における処理について説明する。

まず、係数決定部12における処理ついて説明する。係数決定部12では、原画像の縮小画像を生成し、この縮小画像をその画素分布に応じて一つ以上に領域分割した上で領域ごとにコントラスト調整に必要な係数情報(コントラスト調整係数)を求める。

図２は、係数決定部12における処理を示すフローチャートである。同図に示すように、係数決定部12は、画像生成処理S21、領域分割処理S22および係数決定処理S23を順次実行する。係数決定部12は、このフローチャートに従って符号化モードや画素分布に応じた処理を実行する。

以下、図２を参照して係数決定部12での処理を説明する。まず、画像生成処理S21では、フレーム内符号化画像の変換係数の全部あるいは一部と符号化モードを用いて縮小画像を生成する。そして、縮小画像をその画素分布に応じて一つ以上に領域分割した上で領域ごとにコントラスト調整に必要な係数(コントラスト調整係数)を求める。縮小画像は、動画像コンテンツを画素領域まで復号した画像から生成してもよいが、映像コンテンツを画素領域まで復号せずに、符号領域での処理で高速に生成することもできる。なお、縮小画像は、専ら編集に必要な係数を求めるために使用されるものであり、したがって、最終的に出力される動画像の画質に影響を及ぼさない。

フレーム内符号化画像の変換係数の一部を用いて縮小画像を生成する場合、H.264でのフレーム内符号化画像は、空間的相関を利用して符号化されており、その変換係数は、近傍画素から生成された予測値との残差を示しているので、まず、変換係数の一部を用いた逆変換処理によって残差成分を画素領域に戻す。1/4の縮小画像を生成する場合、逆変換処理は、変換係数のDC成分だけを選択することで実現できる。また、1/2の縮小画像を生成する場合は、逆変換処理は、変換係数のDC成分を含む2x2要素に逆Hadamard変換を適用することで実現できる。

次に、画素領域の残差成分から縮小画像を生成する。このために、符号化モードを応じて縮小画像の近傍画素から予測値を生成し、逆変換処理された残差成分に加算する。なお、予測方向が異なる9種類の予測モードでは、近傍画素の重み付け平均で予測値が生成されるため、縮小画像に対しても縮小率に合わせて同様に予測値を生成する。図３は、各予測モード(mode0〜mode8)での近傍画素の重みの具体例を示す。

領域分割処理S22では、画像生成処理S21で生成された縮小画像を輝度に応じて一つ以上の領域に分割する。領域分割するのは、領域ごとに最適なコントラスト調整を行うためである。１枚の画像の全体的なコントラスト調整であるならば領域は１つとなる。領域分割処理S22での領域分割は、縮小画像からヒストグラムを求め、画素値が分布しない区間で分割することによって実現できる。

また、領域分割に際しては、グラデーションなどで画素値が連続的に変化している領域は分割せず、同一領域とするのが好ましい。このようにすれば、その領域は、コントラスト調整後においてもコントラストが滑らかに変化するからである。画素値が連続的に変化している領域を同一領域に纏めることは、どの領域にも属していない対象画素と近傍画素との距離を計算し、距離が閾値以下の場合は同じ領域として結合し、結合された画素とその近傍画素との距離を再び計算し、近傍画素との距離が閾値以上になるまで領域を成長させるという手法を採用することで実現できる。ここで、距離としては、画素間の差分値など任意の距離関数を利用できる。

次に、係数決定処理23では、領域分割処理S22で分割された領域ごとにコントラスト調整係数を決定する。領域における画素の最大値pmaxおよび最小値pminを求め、それぞれコントラスト調整後の最大値dmaxおよび最小値dminに写像する係数をコントラスト調整係数として求める。

コントラスト調整係数は、例えば、式(1),(2)で求められる重み係数wおよびオフセット係数oである。重み係数wおよびオフセット係数oは、編集処理部13でのコントラスト調整に用いられる。

次に、編集処理部13における処理について説明する。H.264では、重み付け予測を利用して輝度を変化させることができる。参照画素をpi(i = 1,2)とすると、順方向あるいは逆方向の片方向予測による予測値p′は、式(3)で与えられ、双方向予測による予測値はp′は、式(4)で与えられる。ここで、wi(i = 1,2)は、重み係数、oi(i = 1,2)は、オフセット係数と称される。コントラスト調整は、フレーム間符号化のフレームについては重み予測係数(重み係数wi,オフセット係数oi)を格納し、さらに動き補償の残差を操作することで実現され、フレーム内符号化のフレームについては画素の変換係数を操作することで実現される。

図４は、編集処理部13における処理を示すフローチャートである。同図に示すように、編集処理部12は、係数格納処理S41、係数乗算処理S42および係数加算処理S43を順次実行する。編集処理部12は、このフローチャートに従って符号化タイプや参照関係に応じた処理を実行する。

以下、図４を参照して編集処理部13における処理を説明する。入力フレームがフレーム間符号化であり、かつ参照フレームとの参照関係が編集区間境界を跨ぐ場合、該入力フレームは、係数格納処理S41に送られる。入力フレームが編集区間内にあってその参照フレームが編集区間境界を跨ぐとすると、該入力フレームは、コントラスト調整を施すフレームに相当する。また、入力フレームが編集区間外にあってその参照フレームが編集区間境界を跨ぐとすると、該入力フレームは、コントラストを元に戻すフレームに相当する。これに応えるため、これらの入力フレームについては重み予測係数を操作する必要がある。具体的には、前者の入力フレームにはコントラスト調整するためのコントラスト調整係数を格納し、後者の入力フレームにはコントラスト調整を打ち消すためのコントラスト調整係数係数を格納する必要がある。参照フレームとの参照関係が編集区間境界を跨がない入力フレームについては、参照フレームをそのまま参照すればよいので、重み予測係数を格納する操作は不要である。

係数格納処理S41では、入力フレームの各領域をスライスで構成し、各スライスに対して係数を符号化動画像のシンタックス要素へ格納する。具体的には、入力フレームが編集区間内である場合、係数決定部12で決定された重み係数wiおよびオフセット係数oiをH.264のスライスヘッダに格納する。また、入力フレームが編集区間外である場合は、重み係数wiの逆数1/wiおよびこれとオフセット係数oiとの積の負値-oi/wiをH.264のスライスヘッダに格納する。コントラスト調整が連続して時間的に変化する場合には、過去の重みを打ち消すため編集区間外の係数と新たな区間内の重み係数を乗じた係数wnew/woldをH.264のスライスヘッダに格納し、加算したオフセット係数onew-(oold*wnew/wold) をH.264のスライスヘッダに格納するようにしてもよい。

係数乗算処理S42および係数加算処理S43では、PおよびB スライスについての動き補償の残差に対する変換係数を操作し、また、Iスライスについての画素そのものの変換係数を操作する。

重み予測はPおよびB スライスでのみ用いられる。このため、Iスライスをコントラスト調整するには重み係数wiおよびオフセット係数oiによる重み予測と同等の効果を符号領域で変換係数に付与してコントラスト調整する必要がある。また、PおよびBスライスについては、動き補償の残差に対する変換係数に重み係数wiに応じた変化を与える必要がある。

4*4整数変換行列および逆変換行列、変換係数をそれぞれC,D,Xで表すとき、ベースバンドで重み予測された係数X′は、式(5)で表される。

ここで、○およびTは、それぞれHadamard積、転置操作を示す。また、Iは、全要素が1の4*4行列であり、Eは、直交変換のためのスケーリング行列を表す。

((CIC^Ｔ)○E^−１)は、DC成分にだけ64が残る。よって、符号領域での重み予測は、変換係数Xに重み係数wiを乗じた後、オフセット係数64oiを直流成分にだけ加算することになる。

Iスライスについて、重み係数wiによる重み予測と同等の効果を符号領域で変換係数に付与するには、全てのフレーム内符号化情報(画素の変換係数)に重み係数wiを乗ずればよい。また、PおよびBスライスについて、動き補償の残差に対する変換係数に重み係数wiによる重み予測と同等の効果を符号領域で付与するには、フレーム間符号化情報(動き補償の残差に対する変換係数)に重み係数wiを乗ずればよい。そこで、係数乗算処理S42では、フレーム内符号化情報またはフレーム間符号化情報を入力とし、全ての変換係数に重み係数wiを乗ずる。

また、Iスライスについて、オフセット係数oiによる重み予測と同等の効果を符号領域で変換係数に付与するには、オフセット係数oiの定数倍をブロックの直流成分に加算すればよい。ただし、フレーム内符号化画像において画面左上のブロック以外の変換係数Xは、周囲のブロックからIntra予測で予測値が生成され、オフセット係数をすでに含んでいる。したがって、オフセット係数oiによる重み予測と同等の効果を符号領域で変換係数に適用するには、フレーム内符号化画像の画面左上ブロックの変換係数の直流成分だけにオフセット係数oiの定数倍を加算すればよい。なお、フレーム内符号化画像の画面左上ブロックでは、固定値(=128)のDC予測に対する残差を符号化するので、固定値(=128)との差を吸収する定数倍は、64(oi-128(1-wi))となる。PおよびBスライスについては、参照フレームがすでにオフセット係数を含むので、オフセット係数を変換係数に加算する必要はない。つまり、オフセット係数の定数倍を加算する対象は、フレーム内符号化画像の画面左上ブロックだけとなる。そこで、係数加算処理S43では、フレーム内符号化画像に対して、画面左上ブロックの直流成分にオフセット係数oiの定数倍を加算する。

可変長符号化部14(図１)は、格納された重み予測係数(重み係数wi,オフセット係数oi)を可変長符号化するとともに、編集処理部13で編集された変換係数を可変長符号化することで、編集された符号化動画像を出力する。

以上実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、種々に変形可能である。例えば、以上では H.264に従うフォーマットで符号化された動画像にコントラスト調整の映像効果を付与する場合を例にあげて説明したが、本発明は、これに限定されず、他のフォーマットで符号化された動画像を処理対象とすることができ、また、重み予測係数のうち重み係数wiを０とし、オフセット係数oiだけで画素値を制御するようにすれば、輝度だけの調整もできる。また、縮小画像で人物の顔領域などを判定し、該顔領域をスライスとすることにより顔領域だけのコントラスト調整もでき、画像を単に領域分割(右半分、左半分など)し、分割領域ごとのコントラスト調整もできる。

本発明に係る動画編集装置の基本構成を示すブロック図である。係数決定部における処理を示すフローチャートである。各予測モード(mode0〜mode8)での近傍画素の重みの具体例を示す図である。編集処理部における処理を示すフローチャートである。

符号の説明

11・・・可変長復号部、12・・・係数決定部、13・・・編集処理部、14・・・可変長符号化部、S21・・・画像生成処理、S22・・・領域分割処理、S23・・・係数決定処理、S41・・・係数格納処理、S42・・・係数乗算処理、S43・・・係数加算処理

Claims

変換符号化された動画像を編集して映像効果を付与する動画編集装置において、
入力される符号化動画像を可変長復号し、符号領域での編集に必要な符号情報として符号化タイプ情報、符号化モード情報、変換係数および参照フレーム情報を抽出する可変長復号手段と、
前記可変長復号手段で抽出された符号情報を用いて縮小画像を生成し、該縮小画像を基に映像効果付与前後での画素値を対応付ける重み係数およびオフセット係数を映像効果付与に必要な係数として算出する係数決定手段と、
前記可変長復号手段で抽出された変換係数を前記係数決定手段で算出された係数を用いて編集することにより画素値変化の映像効果が付与された変換係数を生成する編集処理手段と、
前記編集処理手段で生成された変換係数、前記係数決定手段で算出された係数を可変長符号化し、映像効果が付与された動画像を出力する可変長符号化手段とを備えたことを特徴とする動画編集装置。
前記係数決定手段は、
映像効果を付与する区間の変換係数および符号化モード情報を入力とし、前記符号化モード情報に基づいて変換係数を操作して縮小画像を生成する画像生成手段と、
前記画像生成手段で生成された縮小画像からヒストグラムを求め、画素値が存在しない区間で一つ以上の領域に分割する領域分割手段と、
前記分割手段で分割された領域ごとに重み係数およびオフセット係数を決定する決定手段とを備え、
前記画像生成手段は、変換係数の全部あるいは一部を逆変換して残差成分を画素領域に戻し、画素領域の残差成分から縮小画像を生成する手段を備え、該手段は、符号化モード情報に応じて縮小画像から予測値を生成し、逆変換処理された残差成分に加算する予測値生成・加算手段とを備えたことを特徴とする請求項１に記載の動画編集装置。
前記予測値生成・加算手段は、符号化モード情報に応じた、再構成画像の近傍画素の重み付け平均で予測値を生成する手段を備えたことを特徴とする請求項２に記載の動画編集装置。
前記編集処理手段は、映像効果を付与する画像領域および区間、変換係数、符号化タイプ情報および参照フレーム情報を入力とし、
入力フレームがフレーム間符号化であり、かつ入力フレームが編集区間内にあってその参照フレームが編集区間境界を跨ぐか、入力フレームが編集区間外にあってその参照フレームが編集区間境界を跨ぐかに応じて、前記係数決定手段で決定された重み係数およびオフセット係数から、映像効果を付与するための重み係数およびオフセット係数、あるいは映像効果を打ち消すための重み係数およびオフセット係数を求めて格納する格納手段と、
前記符号化タイプ情報がフレーム内符号化を示す場合およびフレーム間符号化を示す場合、前記可変長復号手段で抽出された変換係数の全てに前記格納手段に格納された重み係数を乗算し、前記符号化タイプ情報がフレーム内符号化を示す場合には、さらに画面左上ブロックの直流成分に前記格納手段に格納されたオフセット係数を加算して映像効果に応じた変換係数を生成する編集手段を備えたことを特徴とする請求項１に記載の動画編集装置。
前記編集処理手段は、前記係数決定部で決定された、画像領域ごとの重み係数およびオフセット係数を格納する手段を備えたことを特徴とする請求項４に記載の動画編集装置。
前記可変長符号化手段は、前記格納手段に格納された重み係数およびオフセット係数および前記編集手段により生成された変換係数を可変長符号化することで映像効果が付与された動画像を出力することを特徴とする請求項５に記載の動画編集装置。