JP4913349B2

JP4913349B2 - 符号化動画像変換装置

Info

Publication number: JP4913349B2
Application number: JP2005047011A
Authority: JP
Inventors: 晴久加藤; 康弘滝嶋
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2005-02-23
Filing date: 2005-02-23
Publication date: 2012-04-11
Anticipated expiration: 2025-02-23
Also published as: JP2006237814A

Description

本発明は、符号化動画像変換装置に関し、特に、変換符号化を利用した情報そのものまたはその一部だけを復号した情報に対して解像度変換を施す際に情報発生量を抑えることができる符号化動画像変換装置に関する。

符号化動画像変換方式として、DVフォーマットからMPEG-4フォーマットへ変換する方式が提案されている。中でもアフィン変換の一形態としての解像度変換を伴う符号化動画像変換方式は、画素領域（第１の手法）での変換方式と符号領域での変換方式（第２の手法）に分類できる。

第１の手法では、DVフォーマットで符号化された圧縮符号化情報を一旦、完全に画素領域まで復号し解像度変換を行った後、改めてMPEGフォーマットに再符号化する。また、第２の手法では、DVフォーマットで符号化された圧縮符号化情報を可変長復号と逆量子化によってDCT係数まで復号し、復号されたDCT係数を基にDVフォーマットからMPEGフォーマットへ変換する。特許文献１には、8×8単位で変換されているDCT係数から低域4×4成分を抽出し、DCT係数を直接利用して1/2に解像度変換する方式が提案されている。

第２の手法により変換符号化動画像の解像度を変換する場合、変換符号化の処理単位が確保できないことがある。具体的には、変換符号化方式としてDCTを用いるMPEG、JPEGあるいはDVの場合、変換処理単位は8×8画素で構成されている。CCIR601で規定されている720画素×480ラインを縦横1/2に縮小変換するとき、輝度成分に関しては360画素×240ラインとなるため8×8DCTを施すことが可能である。しかし、色差成分に注目するとMPEGやJPEGは4:2:0形式、DVは4:1:1形式を採用しているので、色差成分の解像度はそれぞれ、180画素×120ライン、90画素×240ラインとなる。いずれも8の倍数でないサイズで構成されているため、8×8DCTを施すことが不可能となる。

特許文献２には第１の手法を用いて変換処理単位に満たない情報を変換する方法が提案されている。これでは異なるブロックサイズに対して鏡像でパディングした画素を複数のDCT回路で変換する。
特開２００１−１３６５２７号公報特開平６−４６３９７号公報

しかしながら、すでに変換符号化されている動画像に対して、符号化係数を完全に画素領域まで復号し解像度変換を行った後、改めて再符号化する第１の手法を用いた場合、演算量が膨大になり、処理速度が遅いという課題がある。また、復号した膨大な非圧縮データを一時的に保持するための広大なデータ領域が必要なるという課題もある。

また、第２の手法では、DCT係数などの変換符号化係数そのものを使って解像度変換を実現するので高速に処理できる。しかし、画面の端部において符号化係数が変換符号化の処理単位に満たない場合についての解像度変換の手立ては考えられていない。

本発明の目的は、上記課題を課題を解決し、変換符号化によって圧縮された符号化情報そのものまたはその一部だけを復号した情報に対して、それが変換符号化の処理単位に満たない場合でも高効率に解像度変換を施すことができる符号化動画像変換装置を提供することにある。

上記課題を解決するために、本発明は、変換符号化された情報に解像度変換を施す符号化動画像変換装置において、変換符号化によって圧縮されたフレーム内符号化動画像の符号化情報を取得する符号化情報取得手段と、前記符号化情報取得手段で取得された符号化情報を逆量子化して符号化係数を求める逆量子化手段と、前記逆量子化手段で求められた符号化係数と解像度変換行列を含む変換行列との行列演算を実行して解像度変換された符号化係数を求める演算手段と、前記演算手段で求められた符号化係数を量子化して符号化情報を求める量子化手段と、前記量子化手段で求められた符号化情報を出力する出力手段を具備し、前記演算手段は、変換符号化の処理単位に満たない符号化係数に対しては補填係数行列を補填し、該補填係数行列と前記逆量子化手段で逆量子化された符号化係数と解像度変換行列を含む変換行列との行列演算を実行して解像度変換された符号化係数を求めることを基本的特徴としている。

本発明によれば、変換符号化によって符号化された情報を直接的に利用して符号化係数の解像度変換が実現されるので、完全に画素領域まで復号してから変換を行う方式に比較して高速に解像度変換を行うことが可能になる。また、符号化係数が解像度変換の変換符号化の処理単位に満たない場合、符号領域上で補填係数行列を補填することにより圧縮効率を高めることが可能となる。特に、入力の符号化係数を操作して鏡像を生成することにより、急激な画素変化を排除することができるだけでなく、無駄な符号化係数の発生を抑えることができるため、圧縮効率の高い解像度変換を実現できる。

まず、ベースバンドによる解像度変換処理について説明する。図１は、ベースバンドによる解像度変換処理を示すブロック図であり、情報発生量を抑えるようにベースバンドで画素情報を補填しながらDCT係数を解像度変換する演算過程を示す。

第１の変換符号化動画像のDCT係数を可変長復号部(VLD)１１、逆量子化部(IQ)１２および逆DCT変換部(IDCT)１３に通して画素領域まで復号する。続いてDCTの処理単位に足りない画面末端部分では補填部１４(Padding)により末端画素を繰り返すように補填する。

その後、解像度変換部(Resize)１５で解像度変換し、解像度変換した画素情報をDCT変換部(DCT)１６で再びDCT係数に変換し、量子化部(Q)１７および可変長符号化部(VLC)１８を介して出力する。この解像度変換処理では、1組以上のDCT係数を入力とし、1組以上のDCT係数を出力する。

ここで、画面幅が360画素などの8の倍数であるが16の倍数でない場合に横1/2に縮小変換する場合を例にとって説明する。この場合、画面右端部分では縦に並ぶ2組だけのDCT係数が入力され、これを元に解像度変換された1組のDCT係数を出力することになる。

画面右端部分に対して入力される縦に並ぶ2組の8×8行列をX_０，X_１で表し、それに対して出力される1組の8×8行列をYで表すと、ベースバンドによる変換処理で出力される行列Yは、式(1)で表される。なお、行列X_０，X_１は、逆量子化されたDCT係数が配置された行列である。

ここで、T_ｎはn×nDCT変換行列を表し、演算子tは転置操作を表す。つまりT_ｎ ^ｔはT_ｎの転置行列を表す。また、E_ｎはn×n単位行列を示す。R_h，R_vはそれぞれ水平方向、垂直方向の解像度変換行列であり、この解像度変換行列により任意に縮小、拡大するアフィン変換を設定することができる。P_０，P_１はそれぞれ画面右端部分に対して、DCTの処理単位での不足分を満たすために補填される8×8の画素行列であり、その画素は任意の方法で生成される。

本発明は、変換符号化によって圧縮された符号化情報そのものまたはその一部だけを復号した情報に対して、それが符号化変換の処理単位に不足する場合でも高効率に解像度変換を施すことができるようにしたものであり、以下、図面を参照して本発明を説明する。

図２は、本発明に係る符号化動画像変換装置の実施形態を示すブロック図である。本実施形態の符号化動画像変換装置は、符号化情報抽出部２１、逆量子化部２２、行列演算部２３、情報生成部２４、変換行列生成部２５、量子化部２６、符号化情報出力部２７を備える。逆DCT変換部(IDCT)およびDCT変換部(DCT)は備えない。

符号化情報抽出部２１は、第１の変換符号化動画像の符号化情報を取得する。逆量子化部２２は、符号化情報抽出部２１で取得された符号化情報を逆量子化して行列演算部２３に入力する。行列演算部２３は符号化情報に対して符号領域で解像度変換を施す。量子化部２６は、解像度変換された符号化情報を量子化し、符号化情報出力部２７は、第２の変換符号化動画像を出力する。

行列演算部２３は、逆量子化部２２からの符号化係数と変換行列生成部２５からの解像度変換行列を含む変換行列を用いて符号領域で解像度変換を行い、逆量子化部２２からの符号化係数が符号化変換の処理単位に不足する場合にはさらに情報生成部２４からの補填係数行列を補填して解像度変換を行う。

まず、行列演算部２３における解像度変換を、符号領域で鏡像を生成して高効率かつ簡単な計算で可能とする手法について説明する。式(1)の行列P_０，P_１を全ての要素が０であるゼロ行列とすると、式(1)の右辺括弧内の16×16行列の左半分と右半分に不連続が生じる。この不連続によりDCT係数に無用な情報が発生し、圧縮効率の面で不利である。行列P_０，P_１が補填される部分は符号化変換の処理単位に満たない領域であって元々画面の表示領域外であるので任意の画素を設定しても問題はない。

そこで、行列P_０，P_１として、画面右端部分での不連続をなくすように設定することとする。不連続をなくすには一般的には終端の画素を繰り返したり、鏡像を利用することが有効である。例えば、鏡像を利用する場合には式(2)のように行列P_ｉを設定すればよい。

ここで、F_８は式(3)で示される8×8行列である。この8×8行列F_８を右から掛けることで画素配置が水平方向に反転され、鏡像が生成される。

式(1)は、式(2)を使用すると、式(4)で表すことができる。

E_８＝T_ｎ ^ｔT_ｎの関係を利用すると、式(4)は式(5)で表される。

ここで、T_８F_８T_８ ^ｔを行列H_８とすると、行列H_８は、式(6)で表され、X_ｉT_８F_８T_８ ^ｔの計算はX_ｉの奇数列を符号反転するだけで求めることができ、乗算を行う必要はない。したがって、式(5)によれば、符号化変換の処理単位に不足する符号化係数に対して、符号化係数の奇数列を符号反転した符号化係数を付加するだけで符号化変換に必要な符号化係数を補填することができる。つまり、符号領域で符号化係数を補填することができる。さらに、補填された符号化係数は元の符号化係数と鏡像関係にあるため、連結部は滑らかに接続されることになる。これにより、変換後の符号化係数に無用な高周波成分が発生されるのを抑止することができる。

次に、行列演算部２３における解像度変換の行列演算の際に変換行列を分離することにより高速化を図る手法について説明する。式(5)の右辺両端にある大括弧内は定数行列で構成されているので予め計算しておくことができる。例えば、隣接4点の平均による解像度変換では、式(9)を使ってそれぞれ式(7)、(8)で定義される行列R_h，R_vを設定する。

式(7)，(8)の解像度変換行列R_h，R_vを設定した場合、式(5)の右辺左端にある大括弧を計算した結果を変換行列Aと置くと、この変換行列Aは、式(10)で表される。また、式(5)の右辺右端にある大括弧を計算した結果は変換行列Aを転置した行列A^ｔに等しく、式(11)で表される。

式(5)は、式(6)、(10)、(11)を使うと、式(12)で表すことができる。

変換行列Aを式(13)に示すように8×8部分行列に分けて部分行列毎の性質に注目すると、部分行列A_０，A_１は斜め格子状に正負符号が異なるが、絶対値は一致する。ここでは8×8部分行列を表す。行列H_８を使うと、部分行列A_０，A_１は式(14)の関係で表される。

部分行列A_０，A_１で一致する要素と正負が反転している要素に分離した行列A^＋，A⁻をそれぞれ、式(15)，(16)のように定義する。ここで、ａ_ｉｊは変換行列Aを構成するスカラーを表す。式(15)，(16)を使うと、部分行列A_０，A_１は、式(17)，(18)のように表すことができる。

式(14)を使うと、式(12)は式(19)に変形でき、さらに式(17)，(18)を使うと、式(20)に変形できる。式(20)では、補填係数行列と解像度変換行列とが統合されている。ただし、式変形にはE_８＝H_８ ^２の関係を利用している。

変換行列Aを分離した行列A^＋，A⁻には0要素数が大幅に増えているため、実質的な乗算数を減じることができる。さらに、式(20)の右辺において右から掛かるE_８＋H_８は、式(21)で示すように、奇数番目の列ベクトルが0であるため、任意の行列との積は偶数番目の列だけを計算すればよいので計算量が少ない。

したがって、式(20)によれば、符号化変換の処理単位に不足する符号化係数において、鏡像補填による連続性保持により無用な高周波成分の発生を抑止できるだけでなく、出力する符号化係数の奇数番目の列ベクトルは常に0になることから情報発生量を大幅に抑えることができ、さらに行列演算部２３での行列演算の負担を軽減することができる。

以上では、変換符号化をDCTとし、解像度変換が4画素平均である場合を例に挙げて説明したが、本発明は、そのような例に限られるものではなく、変換符号化を行う種々の方式間での解像度変換に適用可能である。

本発明は、ある符号化方式で変換符号化された情報を符号領域で解像度変換する際に符号化変換の処理単位に満たない場合においても高速、高精度かつ高圧縮率に変換することを可能にするので、ブロードバンドモバイル上での動画像変換サービスやコンテンツ配信システムなどへ広く適用することができる。

ベースバンドによる解像度変換処理を示すブロック図である。本発明に係る符号化動画像変換装置における変換処理を示すブロック図である。

符号の説明

１１・・・可変長復号部(VLD)、１２，２２・・・逆量子化部(IQ)、１３・・・逆DCT変換部(IDCT)、１４・・・補填部１４(Padding)、１５・・・解像度変換部(Resize)、１６、２６・・・DCT変換部(DCT)、１７・・・量子化部(Q)、１８・・・可変長符号化部(VLC)、２１・・・符号化情報抽出部、２３・・・行列演算部、２４・・・情報生成部、２５・・・変換行列生成部、２７・・・符号化情報出力部

Claims

変換符号化された情報に解像度変換を施す符号化動画像変換装置において、
変換符号化によって圧縮されたフレーム内符号化動画像の符号化情報を取得する符号化情報取得手段と、
前記符号化情報取得手段で取得された符号化情報を逆量子化して符号化係数を求める逆量子化手段と、
前記逆量子化手段で求められた符号化係数と解像度変換行列を含む変換行列との行列演算を実行して解像度変換された符号化係数を求める演算手段と、
前記演算手段で求められた符号化係数を量子化して符号化情報を求める量子化手段と、
前記量子化手段で求められた符号化情報を出力する出力手段を具備し、
前記演算手段は、変換符号化の処理単位に満たない符号化係数に対しては補填係数行列を補填し、該補填係数行列と前記逆量子化手段で逆量子化された符号化係数と解像度変換行列を含む変換行列との行列演算を実行して解像度変換された符号化係数を求めることを特徴とする符号化動画像変換装置。
前記演算手段は、補填係数行列を符号領域上で補填することを特徴とする請求項１に記載の符号化動画像変換装置。
前記補填係数行列は、画素の連続性を保つように設定されることを特徴とする請求項２に記載の符号化動画像変換装置。
前記補填係数行列は、末端の画素の繰り返しあるいは鏡像を利用することを特徴とする請求項３に記載の符号化動画像変換装置。
前記補填係数行列は、前記逆量子化手段で求められた符号化係数の奇数列ベクトルの正負符号を反転することによって構成されたものであることを特徴とする請求項２に記載の符号化動画像変換装置。
前記解像度変換行列による解像度変換は任意に設定されることを特徴とする請求項１に記載の符号化動画像変換装置。
前記演算手段は、前記変換行列を分離して得られる行列を利用して行列演算を行うことを特徴とする請求項２に記載の符号化動画像変換装置。
前記演算手段は、補填係数行列と解像度変換行列を含む変換行列とを統合して行列演算することを特徴とする請求項２に記載の符号化動画像変換装置。
前記演算手段は、偶数列ベクトルだけを計算し奇数列ベクトルには０を設定することで行列演算を行うことを特徴とする請求項２に記載の符号化動画像変換装置。