JP4674767B2 - 動画像編集方法および装置 - Google Patents

Description

本発明は、動画像編集方法および装置に係り、特に、変換符号化やエントロピー符号化を組み合わせてエンコードされる動画像へのフェード効果の付与に好適な動画像編集方法および装置に関する。

映像コンテンツの編集に用いられる様々な特殊効果の中で、場面転換を効果的に表すトランジションとしてフェードが多用されている。フェードを実現する方法には、映像コンテンツを画素領域で編集する方式と符号領域で編集する方式とがある。

特許文献１、２では、複数の動画間における場面転換を明示的に示すため、連結区間にフェードを付与する技術が開示されており、その編集処理は画素領域で重み付け平均を計算することで実現される。これに対して、非特許文献３、４では符号領域でフェードが実現される。

非特許文献３では、DCT係数のDC成分を操作することによって輝度を変化させ、DC値が下限に近づいた場合にAC 成分を強制的に０にすることでフェードが実現される。非特許文献４では、DCT領域で動き補償を行った後、イントラマクロブロック(MB)に対してフェードを実現する方法が提案されている。

一方、動画像符号化方式の国際標準規格としてH.264/AVCが注目されている。このH.264/AVCでは、輝度変化を補償するために、参照フレームの予測誤差に重み付け係数を掛けてデコードする重み付け予測(Weighted Prediction)が導入され、フェード区間の符号化効率を大幅に向上することができる。

図５は、重み付き予測の一例を模式的に表現した図であり、ここでは、デコード対象のマクロブロックが２つの画像を参照画像０，１として使用するBスライスである場合を例にして説明する。重み付き予測信号Sは、動き補償予測信号をy0，y1、重み係数をw0，w1、オフセット係数をdとすれば次式(1)で表される。前記重み係数W0，W1およびオフセット係数dはH.264ストリームの中に含まれている。

特許公開２００５−２８６８８１ 特許公開２００５−３５３００６ Shen, B.: Fast fade-out operation on MPEG video, in International Conference on Image Processing (ICIP), Vol. 1, pp. 852.856 (1998). Fernando, W., Canagarajah, C. and Bull, D.: Fade, dissolve and wipeproduction in MPEG-2 compressed video, IEEE Transactions on Consumer Electronics,Vol. 46, No. 3, pp. 717.727 (2000).

特許文献１、２に開示された従来技術では画素領域でフェードが行われるので、符号化された映像コンテンツを画素レベルまで復号し、編集後に再符号化する必要がある。しかしながら、画素レベルまでの復号および画素レベルからの再符号化には膨大な時間が必要となるのみならず、再符号化による画質劣化が問題となる。

非特許文献３に開示された技術では、輝度の濃淡の差が維持されたまま平均値だけが減少するので、フェード区間にあってもコントラストが高く、一様に収束しないという問題がある。

非特許文献４に開示されたDCT領域での動き補償は計算量が膨大であるために処理速度が問題となる。また、イントラMBの増加は符号化効率を低下させる恐れがある。さらに、フェードのような輝度変化を伴う映像は、MPEG-1/2/4など従来の映像圧縮方式では効率的に符号化できなかった。

本発明の目的は、上記した従来技術の課題を解決し、画像を劣化させることなく、短時間で高品位のフェードを効果的に付与できる動画像編集方法および装置を提供することにある。

上記した目的を達成するために、本発明は、以下のような手段を講じた点に特徴がある。

(1)PおよびBの各スライスで輝度に重み付け予測が採用され、変換符号化後にエントロピー符号化されてエンコードされた動画像を編集する動画像編集装置において、編集区間および編集種別を含む編集情報を設定する編集情報設定手段と、動画像の編集区間をエントロピー復号する復号手段と、前記編集情報に基づいて、編集区間のI，P，Bの各スライスに映像効果を付与するための重み係数およびオフセット係数を算出する係数算出手段と、Iスライス用の重み係数およびオフセット係数で編集区間のIスライスの変換係数を編集する編集手段と、P，Bスライスの重み係数およびオフセット係数、ならびに編集後のIスライスの変換係数をエントロピー符号化する符号化手段とを含むことを特徴とする。

(2)I，P，Bの各スライスを含み、変換符号化後にエントロピー符号化されてエンコードされた動画像を編集する動画像編集装置において、編集区間および編集種別を含む編集情報を設定する編集情報設定手段と、動画像の編集区間をエントロピー復号する復号手段と、編集情報に基づいて編集区間のI，P，Bの各スライスに映像効果を付与するための重み係数およびオフセット係数を算出する係数算出手段と、各スライス用の重み係数およびオフセット係数で、対応する各スライスの変換係数を編集する編集手段とを含むことを特徴とする。

本発明によれば、以下のような効果が達成される。
(1)符号化圧縮された動画像コンテンツを画素領域まで復号せず、その手前の符号領域で映像効果を付与できるので、画質を劣化させずに短時間での編集が可能になる。
(2)編集対象の動画像コンテンツがH.264/AVCに準拠した復号プロセスでの復号を前提としていれば、重み付け予測を利用して映像効果を付与できるので、符号化効率の高い編集が可能になる。

以下、図面を参照して本発明の最良の実施の形態について詳細に説明する。図１は、本発明に係る動画像編集装置１の主要部の構成を示したブロック図であり、ここでは、H.264/AVCに準拠した復号プロセスでエンコードされる動画像コンテンツにフェード効果を付与する編集を例にして説明する。

編集条件設定部１０１は、ユーザによって指定された編集区間や編集種別に基づいて編集条件を設定する。本実施形態では、映像効果としてフェード効果が付与されるので、編集種別としてフェードイン／フェードアウトの別、フェード強度、フェードアウト時の収束画素の輝度や色等が指定される。

エントロピー復号部１０２は、編集対象の映像コンテンツを取り込んで編集区間のみを部分的にエントロピー復号し、符号領域での編集に必要な符号情報を取得する。H.264/AVCでは、映像コンテンツが整数変換（直交変換）、量子化およびエントロピー符号化（可変長符号化）を経て符号化圧縮されており、ここでは整数変換後であってエントロピー符号化前の符号領域まで復号される。この符号情報はフェード係数算出部１０３および変換係数編集部１０４へ送られる。

フェード係数算出部１０３は、編集区間のI，P，Bの各スライスに関して、後に詳述するように、編集区間やフェード種別に応じた重み係数wiおよびオフセット係数di（以下、これらをフェード係数と表現する場合もある）を算出する。変換係数編集部１０４は、編集区間のIスライスの各変換係数に、前記フェード係数算出部１０３で算出された重み係数wiを乗じ、さらにはDC成分にオフセット係数diを加算することで、このIスライスにフェード効果を直接付与する。

エントロピー符号化部１０５は、前記フェード係数算出部１０３で算出されたP，Bの各スライスの重み係数wiおよびオフセット係数diをエントロピー符号化すると共に、Iスライスに関しては、その変換係数に重み係数wiが乗じられ、さらには変換係数のDC成分にオフセット係数diが加算された、編集後のIスライスの変換係数をエントロピー符号化する。

次いで、フローチャートを参照して本発明の動作を詳細に説明する。図２は、本発明の一実施形態の動作を示したフローチャートであり、ステップＳ１では、H.264/AVCの復号プロセスでエンコードされる編集対象の映像コンテンツに対して、前記編集条件設定部１０１から編集区間およびフェード種別が設定される。ステップＳ２では、前記エントロピー復号部１０２において、映像コンテンツの編集区間のみが選択的に復号される。ステップＳ３では、前記編集条件に基づいて、編集区間のI，P，Bの各スライスにフェード効果を付与するための重み係数wiおよびオフセット係数diが算出される。

このとき、入力される映像コンテンツがH.264/AVCに準拠した復号プロセスでのエンコードを前提としていれば、P，Bの各スライスに関しては、輝度そのものの変化を補償するため重み付け予測を利用できる。片予測による予測値p' は、参照画素をp 、重み係数をw 、オフセット係数をdとすれば次式(2)で与えられ、双予測による予測値p'は次式(3)で与えられる。

フェード効果における処理対象の画素値pは、フェード前の画素値qとフェード後に収束する画素値cとの重み付き平均として次式(4)に定式化できる。

ここで、フェードアウトを例にすれば、ユーザにより編集区間およびフェード種別が指定されると、図３に一例を示したフェード曲線Aが仮想的に定義され、スライスごとに輝度乗数miが求まる。この輝度乗数miは画素を一定の画素値cに収束させるために単調減少を続け、収束する画素値cに依存しない。したがって、図３のPスライスに着目すれば、その画素値p'と参照フレーム(I)の画素p との間には次式(5)の関係が成立する。同様に、B(1)スライスに関しては、参照フレーム(I),(P)の画素をそれぞれp1，p2とすれば次式(6)が成立し、B(2)スライスに関しては次式(7)が成立する。

したがって、P，Bスライスの重み付け予測における重み係数wiは、画素領域での参照フレームに対する乗数mjと被参照フレームに対する乗数mkとを用いて次式(8)のように設定できる。本実施形態では、この重み係数wiが前記フェード係数算出部１０３によりスライスごとに算出される。

一方、オフセット係数di は収束する値に依存し、重み係数wi が「０」に収束するとき、コントラストが失われるとともに画素値そのものが「０」に近づくため、オフセット係数diが収束値を決定する。したがって、Pスライスを例にすれば、オフセット係数di は上式(4)の右辺第２項で与えられる。以上のようにして算出されたP，Bの各スライスの重み係数wiおよびオフセット係数diは、前記エントロピー符号化部１０５へ送られる。

一方、H.264/AVCの重み付け予測はP，Bスライスのみで用いられ、Iスライスでは用いられない。したがって、P，Bの各スライスでは重み付け予測用のパラメータ（重み係数wiおよびオフセット係数di）を算出して別途にエントロピー符号化し、復号プロセスで利用できるように所定の領域に格納しておく一方、Iスライスに関しては、重み付け予測用のパラメータを定義できないので、Iスライスの変換係数そのものを前記重み係数wiおよびオフセット係数diで編集し、これをエントロピー符号化する必要がある。

そこで、本実施形態では前記算出されたフェード係数のうち、Iスライスの重み係数wi[＝m0]およびオフセット係数di[c（１−m0）]は変換係数編集部１０５へ送られ、Iスライスの変換係数が重み係数wiおよびオフセット係数diで直接的に編集される。

図２へ戻り、ステップＳ４では、前記Iスライスの重み係数wiおよびオフセット係数diに基づいてIスライスが編集される。ここでは、重み付け予測と同等の処理を、整数変換により得られる変換係数に直接反映させる場合を考える。４×４整数変換行列および逆変換行列ならびに変換係数をそれぞれC，D，X で表すと、ベースバンドで重み付け予測された係数X'は次式(9)で表される。

ここで、記号○、T は、それぞれHadamard積および転置操作を示している。また、記号I は全要素が「１」の４×４行列であり、E は直交変換のためのスケーリング行列を表している。

このとき、[(CIC^T )○E^-1] はDC成分にだけ「６４」が残るので、符号領域での重み付け予測は変換係数Xに重み係数wi を乗じた後、オフセット係数６４diをDC 成分にだけ加算することになる。ただし、I スライスでは周囲のブロックからイントラ予測により予測値が生成されるため、画面左上のマクロブロック(MB) 以外の変換係数X はP スライスおよびBスライスにおける残差成分に相当する。予測値にはオフセット係数６４di がすでに含まれているので、変換係数に重み係数wi を掛けるだけでフェードを実現できる。

一方、I スライスの左上のMB だけは固定値に対する残差を符号化する。したがって、左上のブロックは重み係数wiを掛けるだけではなく、固定値（＝１２８）との差を吸収するため、DC 成分に６４(c-１２８)(１−wi) を加算する必要がある。

以上のようにして、P，Bスライスに関しては重み係数wiおよびオフセットdi、Iスライスに関しては、その重み係数wiおよびオフセット係数diで編集された変換係数が求まると、ステップＳ５では、P，Bスライスの重み係数wiおよびオフセット係数diがエントロピー符号化され、デコードの際に動き補償予測信号に対して乗算および加算されるように動画像コンテンツに格納される。Iスライスに関しては、その重み係数wiおよびオフセット係数diで編集された変換係数が、フェード効果を付与された新たなIスライスの変換係数としてエントロピー符号化される。

なお、滑らかなフェードを実現するためには、P，Bの各スライスの残差成分（AC成分）にも重み係数wi に応じた変化を与えるのが望ましいので、重み係数wi を残差成分に乗じて変換係数を編集し、これを改めてエントロピー符号化するようにしても良い。

また、本実施形態では収束値cを適宜に設定することにより、白または黒だけでなく中間色へのフェードアウトも可能となる。さらに、重み付け予測では色差(Cb, Cr)の重みパラメータを輝度(Y)とは独立に設定できるので、フェードアウト色が指定されたときに、輝度および色差の動き補償予測信号に加算されるオフセット係数を、指定されたフェードアウト色に応じて適宜に設定し、これがデコードの際に輝度および色差の動き補償予測信号に加算されるように動画像コンテンツに格納しておけば、任意色へのフェードアウトも簡単に実現できる。

上記した第１実施形態では、本発明をH.264/AVCに準拠した復号プロセスでエンコードされる映像コンテンツの編集を例にして説明した。したがって、重み付け予測が用いられるP，Bの各スライスに関しては重み係数wiおよびオフセットdiを変換係数とは別にエントロピー符号化し、重み付け予測が用いられないIスライスに関しては、その変換係数自身を重み係数wiおよびオフセットdiで直接編集される。しかしながら、本発明はこれにみに限定されるものではなく、例えばMPEG2のように、重み付け予測が採用されない復号プロセスでエンコードされる動画像コンテンツにも同様に映像効果を付与できる。

図４は、本発明の第２実施形態に係る動画像編集装置２の主要部の構成を示したブロック図であり、ここでは、MPEG2に準拠した復号プロセスでエンコードされる動画像コンテンツにフェード効果を付与する編集を例にして説明する。

編集条件設定部２０１は、ユーザによって指定された編集区間や編集種別に基づいて編集条件を設定する。ハフマン復号部２０２は、編集対象の映像コンテンツを取り込んで編集区間のみを部分的にハフマン復号し、符号領域での編集に必要な符号情報を取得する。MPEG2では、映像コンテンツがDCT変換、量子化およびハフマン符号化を経て符号化圧縮されているので、ここではDCT変換後であってハフマン符号化前の符号領域まで復号される。この符号情報はフェード係数算出部２０３およびDCT係数編集部２０４へ送られる。

フェード係数算出部２０３は、編集区間のI，P，Bの各スライスに関して、上記した第１実施形態と同様に、編集区間やフェード種別に応じた重み係数wiおよびオフセット係数diを算出する。DCT係数編集部２０４は、IスライスのDCT係数を編集する第１編集部２０４１と、P，BスライスのDCT係数を編集する第２編集部２０４２とを備えている。

前記第１編集部２０４１は、前記第１実施形態の変換係数編集部１０４と同様に、全てのDCT係数（AC成分およびDC成分）に重み係数wiを乗じ、さらにはDC成分のみにオフセット係数diを加算する。これに対して、前記第２編集部２０４２は、全てのDCT係数（AC成分およびDC成分）に重み係数wiを乗じ、さらにはオフセット係数diを加算する。ハフマン符号化部２０５は、各スライスの編集後のDCT係数をハフマン符号化する。

なお、上記した各実施形態では映像効果としてフェードを例にして説明したが、本発明はこれのみに限定されるものではなく、ディゾルブ（画面が次第に消えて行くに連れ次の画面がとけ込む感じで入れ替わる効果）においても、２つの画像クリップに対して重みを徐々に変化させるようにすれば同様に適用できる。

本発明に係る動画像編集装置の主要部の構成を示したブロック図である。 本発明の第１実施形態の動作を示したフローチャートである。 フェード効果におけるスライスと重み係数との関係を示した図である。 本発明に係る動画像編集装置の第２実施形態の構成を示したブロック図である。 重み付き予測の一例を模式的に表現した図である。

符号の説明

１０１…編集条件設定部，１０２…エントロピー復号部，１０３…フェード係数算出部，１０４…変換係数編集部，１０５…エントロピー符号化部，２０１…編集条件設定部，２０２…ハフマン復号部，２０３…フェード係数算出部，２０４…DCT係数編集部，２０５…ハフマン符号化部

Claims (12)

1. PおよびBの各スライスで輝度に重み付け予測が採用され、変換符号化後にエントロピー符号化されてエンコードされた動画像を編集する動画像編集装置において、
   編集区間および編集種別を含む編集情報を設定する編集情報設定手段と、
   動画像の編集区間をエントロピー復号する復号手段と、
   前記編集情報に基づいて、編集区間のI，P，Bの各スライスに映像効果を付与するための重み係数およびオフセット係数を算出する係数算出手段と、
   前記Iスライス用の重み係数およびオフセット係数で編集区間のIスライスの変換係数を編集する編集手段と、
   前記P，Bスライスの重み係数およびオフセット係数、ならびに編集後のIスライスの変換係数をエントロピー符号化する符号化手段とを含むことを特徴とする動画像編集装置。
2. 前記編集手段は、Iスライスの全ての変換係数に重み係数を乗じ、さらにDC成分のみにオフセット係数を加算することを特徴とする請求項１に記載の動画像編集装置。
3. 前記P，Bスライスの変換係数を、それぞれの重み係数に応じて編集する手段をさらに含むことを特徴とする請求項１または２に記載の動画像編集装置。
4. I，P，Bの各スライスを含み、変換符号化後にエントロピー符号化されてエンコードされた動画像を編集する動画像編集装置において、
   編集区間および編集種別を含む編集情報を設定する編集情報設定手段と、
   動画像の編集区間をエントロピー復号する復号手段と、
   前記編集情報に基づいて、編集区間のI，P，Bの各スライスに映像効果を付与するための重み係数およびオフセット係数を算出する係数算出手段と、
   前記各スライス用の重み係数およびオフセット係数で、対応する各スライスの変換係数を編集する編集手段と、
   前記編集後の各スライスの変換係数をエントロピー符号化する符号化手段とを含むことを特徴とする動画像編集装置。
5. 前記編集手段は、各スライスの全ての変換係数に重み係数を乗じ、さらにDC成分のみにオフセット係数を加算することを特徴とする請求項４に記載の動画像編集装置。
6. PおよびBの各スライスで輝度および色差に重み付け予測が採用され、
   編集種別がフェードアウトであるときに、そのフェードアウト色を指定する手段と、
   前記指定されたフェードアウト色に基づいて輝度および色差のオフセット係数を設定する手段とを含むことを特徴とする請求項１ないし３のいずれかに記載の動画像編集装置。
7. PおよびBの各スライスで輝度に重み付け予測が採用され、変換符号化後にエントロピー符号化されてエンコードされた動画像を編集する動画像編集方法において、
   編集区間および編集種別を含む編集情報を設定する手順と、
   動画像の編集区間をエントロピー復号する手順と、
   前記編集情報に基づいて、編集区間のI，P，Bの各スライスに映像効果を付与するための重み係数およびオフセット係数を算出する手順と、
   前記Iスライス用の重み係数およびオフセット係数で編集区間のIスライスの変換係数を編集する手順と、
   前記P，Bスライスの重み係数およびオフセット係数、ならびに編集後のIスライスの変換係数をエントロピー符号化する手順とを含むことを特徴とする動画像編集方法。
8. 前記編集手順では、Iスライスの全ての変換係数に重み係数が乗じられ、さらにDC成分のみにオフセット係数が加算されることを特徴とする請求項７に記載の動画像編集方法。
9. 前記P，Bスライスの変換係数を、それぞれの重み係数に応じて編集する手順をさらに含むことを特徴とする請求項７または８に記載の動画像編集方法。
10. I，P，Bの各スライスを含み、変換符号化後にエントロピー符号化されてエンコードされた動画像を編集する動画像編集方法において、
    編集区間および編集種別を含む編集情報を設定する手順と、
    動画像の編集区間をエントロピー復号する手順と、
    前記編集情報に基づいて、編集区間のI，P，Bの各スライスに映像効果を付与するための重み係数およびオフセット係数を算出する手順と、
    前記各スライス用の重み係数およびオフセット係数で、対応する各スライスの変換係数を編集する手順と、
    前記編集後の各スライスの変換係数をエントロピー符号化する手順とを含むことを特徴とする動画像編集方法。
11. 前記編集手順では、各スライスの全ての変換係数に重み係数が乗じられ、さらにDC成分のみにオフセット係数が加算されることを特徴とする請求項１０に記載の動画像編集方法。
12. PおよびBの各スライスで輝度および色差に重み付け予測が採用され、
    編集種別がフェードアウトであるときに、指定されたフェードアウト色に基づいて輝度および色差のオフセット係数を設定する手順を含むことを特徴とする請求項７ないし９のいずれかに記載の動画像編集方法。

Images