JP4392798B2 - 符号化動画像変換装置 - Google Patents

Description

本発明は、符号化動画像変換装置に関し、特に、変換符号化を利用した情報そのものまたはその一部だけを復号した情報に対して、任意のアフィン変換と逆量子化および量子化、符号化方式変換を高速かつ高精度に施すことができる符号化動画像変換装置に関する。

DV機器の普及とノンリニア編集環境の拡充により、DV(Digital Video)フォーマットで圧縮符号化された映像を取り扱う機会が増してきている。特に、DVデータはIEEE1394を経由することで直接PCに取り込むことができるので、高画質のまま編集できるという利点がある。

しかし、DVの高画質は、25Mbpsもの高い符号化ビットレートに支えられており、DVデータの蓄積や転送には大容量・高帯域の環境が求められる。例えば、4.7GBの容量を記録できるDVDのメディアですら25MbpsのDVデータは僅か25分しか記録できない。

一方、インターネットや携帯端末で広く利用されているMPEG-4は、数十kbps〜数Mbps程度の可変ビットレートで符号化されるので、DVのように固定ビットレートにするためのパディングビットを挿入する必要もなく、また、MPEGはDVと異なり、フレーム間の時間的相関を利用して符号化するため、高い圧縮率で高画質を実現できる。

従来、符号化方式変換技術として、DVフォーマットからMPEG-4フォーマットへ変換する方式が提案されている。中でもアフィン変換の一形態としての解像度変換を伴う符号化方式変換技術は、画素領域（第１の手法）での変換方式と符号領域での変換方式（第２の手法）に分類できる。

第１の手法では、DVフォーマットで符号化された圧縮符号化情報を一旦、完全に画素領域まで復号し解像度変換を行った後、改めてMPEGフォーマットに再符号化する。また、第２の手法では、DVフォーマットで符号化された圧縮符号化情報を可変長復号と逆量子化によってDCT係数まで復号し、復号されたDCT係数を基にDVフォーマットからMPEGフォーマットへ変換する。特許文献１には、8×8単位で変換されているDCT係数から低域4×4成分を抽出し、DCT係数を直接利用して1/2に解像度変換する方式が提案されている。
特開２００１−１３６５２７号公報

しかしながら、圧縮符号化情報を完全に画素領域まで復号し解像度変換を行った後、改めて再符号化する第１の手法では、演算量が膨大になり、処理速度が遅いという課題がある。また、復号した膨大な非圧縮データを一時的に保持するための広大なデータ領域が必要なるという課題もある。

第２の手法では、DCT係数などの圧縮符号化情報そのものを使って解像度変換を実現するため、第１の手法より高速に処理できる。しかし、特許文献１に記載された方式のように、変換符号化に用いた直交基底と異なる直交基底で復号して変換した場合、画素領域まで復号して変換した場合と異なる画像が生じ、画質の劣化が著しいという課題がある。また、復号と解像度変換だけを統合しているため、出力するフォーマットへの変換符号化が必要になる上、解像度変換に自由度がないという課題もある。

本発明者らは、これまでにDVフォーマットからMPEG-4フォーマットへの変換などの変換を符号化領域で高速に実現する方式を提案した。この高速化の基本的な考えは、変換行列の局所的な対称性を利用し、重複する演算を排除するというものである。これでは、変換行列の共通部分を抽出する行列を定義し、必要な成分だけを演算することで高速化を実現しており、演算自体は画素領域まで復号して変換した場合と数学的に等価であるため、画質劣化のない変換が可能となっている。しかし、高速化の効果が限られ、さらに、DV特有の2×4×8DCT係数については、予めMPEGで用いられる8×8DCT係数へ変換する必要があるため、2×4×8DCT係数が増えると高速演算の効果が相殺される恐れがある。

DVフォーマットからMPEG-4フォーマットへの変換に限らず、その他の種々の動画像符号化方式間においても、ある方式で変換符号化された情報を他の符号化方式の情報に変換することにより、情報の共有化を図ることができる。

本発明の目的は、上記課題を解決し、変換符号化を利用した情報そのものまたはその一部だけを復号した情報に対して、任意のアフィン変換と逆量子化および量子化、符号化方式変換を高速かつ高精度に施すことができる符号化動画像変換装置を提供することにある。

上記課題を解決するために、本発明は、変換符号化された情報にアフィン変換を施すとともに符号化方式を変換する符号化動画像変換装置において、変換符号化によって圧縮されたフレーム内符号化動画像の符号化情報を取得する符号化情報取得手段と、前記符号化情報取得手段で取得された符号化情報と、アフィン変換行列および変換符号化行列が統合された変換行列と逆量子化行列と量子化行列とから生成された統合変換行列との行列演算を実行し、変換された符号化情報を求める演算手段と、前記演算手段で求められた符号化情報を出力する出力手段を具備したことを基本的特徴としている。

本発明では、変換符号化によって符号化された情報を直接的に利用して変換符号化係数の解像度変換および符号化方式変換を実現しているので、完全に画素領域まで復号してから変換を行う方式に比較して高速に変換することが可能である。特に、DVフォーマットからMPEGフォーマットへの変換においては、解像度変換とMPEGの量子化処理を統合して乗算をなくすことができるだけでなく、DVの逆量子化処理をも組み込むことで逆量子化に掛かる負荷をなくすことができるので、解像度変換および符号化方式変換を極めて高速にできる。また、本発明は、変換符号化に用いたのと同じ基底で復号することに相当するので、符号化情報を異なる基底で復号してから変換を行う方式と比較して出力される変換符号化係数のSNRを向上させることが可能である。

以下、図面を参照して本発明を説明する。図１は、ベースバンドによる変換処理を示すブロック図であり、DVデータから抽出したDCT係数をベースバンドでアフィン変換する演算過程を示す。DVデータのDCT係数を可変長復号部(VLD)１１、逆量子化部(IQ)１２および逆DCT変換部(IDCT)１３に通して画素領域まで復号する。続いて解像度変換部(Resize)１４で解像度変換を行い、DCT変換部(DCT)１５、量子化部(Q)１６および可変長符号化部(VLC)１７に通してMPEGデータを出力する。

この変換処理では、1組以上のDCT係数を入力とし、1組以上のDCT係数を出力する。ここで、4組のDCT係数を入力とし、1組のDCT係数を出力するものとし、4組のDCT係数を16×16行列Xで表し、出力を8×8行列Yで表すと、ベースバンドによる変換処理は、式(1)のように表される。なお、行列Xは、逆量子化されたDCT係数が配置された行列である。

ここで、T_ｎはn×nDCT変換行列を表し、演算子ｔは転置操作を表す。つまりT_ｎ ^ｔはT_ｎの転置行列を表す。また、R_h，R_vはそれぞれ水平方向、垂直方向の解像度変換行列であり、この解像度変換行列により任意に縮小、拡大するアフィン変換を設定することができる。例えば、隣接4点の平均による解像度変換(1/2縮小)の場合、式(4)を使って行列R_h ^ａｖｅ，R_v ^ａｖｅをそれぞれ式(2)、(3)のように設定し、これらを式(1)のR_h，R_vとして用いればよい。

DVデータのようにインタレースで入力されるものでは、垂直方向の解像度変換行列R_vに式(3)の行列R_v ^ａｖｅを設定すると、フィールドが平均されるので出力画像がぼやけてしまうことがある。これを防ぐには、解像度変換行列R_vに、式(6)を使って式(5)に示す間引き行列R_v ^ｓｕｂを設定してフィールドドロップで縮小するようにすればよい。もちろん、プログレッシブなデータの場合には間引き行列R_v ^ｓｕｂを設定する必要はない。また、その他、スケーリングやせん断、回転など任意のアフィン変換の設定が可能であり、入出力のサイズも限定されず、任意である。

解像度変換行列R_h，R_vを設定したとき、入出力のDCT係数行列X，Y以外は全て定数行列であるので、予め計算して格納しておくことで演算回数を削減できる。式(1)のX左側の定数行列の積である変換行列、右側の定数行列の積である変換行列をそれぞれA,Bと置き、解像度変換行列R_h，R_vとしてR_h ^ａｖｅ，R_v ^ｓｕｂを用いると、変換行列をA,Bは式(7),(8)で表され、式(1)は式(9)で表される。

本発明では、変換処理を量子化処理および逆量子化処理と統合することによって変換処理の高速化を可能にする。まず、変換処理および変換処理で計算量を削減する手法について説明する。DVフォーマットからMPEGフォーマットへの変換などではDCT係数の正確さは必ずしも重要でない。DCT係数は量子化処理を経て符号化されるため、DCT係数は量子化誤差を内包する。特にMPEG-4が想定する低ビットレートでは量子化が粗いため、量子化誤差が比較的大きい。したがって、量子化誤差を考慮するとDCT係数に厳密な精度は必ずしも必要ではなく、解像度変換を適用する際にDCT係数に多少の誤差を許容することができる。

そこで、まず、変換行列A,Bを近似して近似変換行列を生成する。この近似は、計算量が小さくなるように、例えば各変換行列についてある要素を基準として各要素を2のべき乗で表現することで行う。一般に量子化パラメータは高周波成分ほど粗く設定されるので、低周波成分にかかる要素を基準として2のべき乗で近似し、乗算をシフト演算で可能とすることにより計算量を削減できる。また、乗算を僅かな加算で表現できる場合にはシフト演算よりも加算の計算負荷が軽くなるので、このような場合には変換行列の要素を整数倍で近似することにより実質的に計算量を削減できる。一般的には、負荷の軽い演算で処理できるような表現で変換行列を近似する。

例えば、アフィン変換行列R_h，R_vにそれぞれ平均行列R_h ^ａｖｅ，間引き行列R_v ^ｓｕｂを設定したとき、式(11),(13)を使って変換行列AおよびBをそれぞれ式(10),(12)で近似する。この場合、変換行列A,Bにおける部分行列A_００,A″_００,A_１０,A″_１０,B_００,B_０１,B′_００,B′_０１の具体的数値を図２に示す。ここでは、DCや低周波成分についての誤差が小さくなるように考慮されている。また、近似による誤差を最小限に抑えるため、低周波成分の絶対値が小さい場合は絶対値が大きな成分を基準にし、乗算回数を削減するために、変換行列Aについては行毎に１つの要素を基準として2のべき乗あるいは整数倍で表現し、変換行列Bについては列毎に１つの要素を基準として2のべき乗あるいは整数倍で表現している。

ここで、A^＊,B^＊は式(14),(15)に示す近似の基準となる要素からなる対角行列である。なお、diag( )は、( )内の要素が斜め方向に並び、他の要素の全て0である対角行列を意味する。変換行列Aは行毎に基準となる要素を１つ持ち、変換行列Bは列毎に基準となる要素を１つ持つ。式(14)のａ_００,・・・,ａ_７０は、変換行列Aにおける行毎の基準要素であり、式(15)のb_００,・・・,b_０７は、変換行列Bにおける列毎の基準要素である。ここでは、DCや低周波成分についての誤差が小さくなるように考慮されている。以上のようにして、対角行列A^＊,B^＊を使って変換行列A,Bを近似し、分離する。この近似により、乗算演算より高速なシフトあるいは加算演算で処理可能なように変換行列の各要素を表現できる。式(10)〜(15)に示されているように、変換行列AとBの近似方法は異なっている。もちろんこれは一例にすぎない。

出力するDCT係数の行列Y(式(9))は、一般的な形で表現すると、上記の近似で求められたアフィン変換行列〈A〉および〈B〉、式(17),(18)を使って式(16)の〈Y〉ように書き直すことができる。

式(17)の行列〈X〉および式(18)の行列Zの計算は、乗算が必要でなくシフト演算と加算だけで実現できる。したがって、乗算は式(16)の右辺の両端にある行列A^＊,B^＊との行列積だけである。しかも、行列A^＊およびB^＊はいずれも8次の正方行列で対角成分以外はすべて0の対角行列であるので乗算数は少なくて済む。

次に、量子化処理との統合について説明する。量子化と同じ操作である演算子を(×)で表し、対角行列の性質に注目すると、この演算子(×)を使って式(19)が成り立ち、対角行列A^＊とB^＊を統合できる。

ここで、演算子(×)は同位置の要素毎の乗算を表し、Iはすべての要素が1である8×8行列である。演算子(×)は結合則、可換則が成り立つので、量子化行列をQとすると、式(20)に示すように変換処理と量子化処理とを統合することができる。ここで、行列〈X〉はシフト演算あるいは加算で計算することができ、行列A^＊,B^＊の唯一の乗算をMPEGの量子化処理と統合することができる。これによれば、量子化テーブルを置き換えることで解像度変換からすべての乗算をなくすことができるので変換処理の大幅な高速化を実現できる。

次に、DVの逆量子化処理との統合について説明する。DVの量子化パラメータは、マクロブロック単位の量子化情報(area number)とブロック単位の量子化情報(class number)の組合せから決定される。量子化パラメータはすべて2のべき乗で構成されているため、量子化をシフト演算で処理できる。一方、式(18)に注目すると、式(18)は2のべき乗あるいは整数倍で表される近似変換行列〈A〉と入力DCT係数行列Xとの演算であるので、この演算と逆量子化の統合が可能である。行列積Z＝〈A〉Xは演算子(×)を使って書き直し、式(21)〜(24)のように積和演算に分離することができる。
まず、左の行列〈A〉を列ベクトルの集合、右の行列Xを行ベクトルの集合で表現する。次に、列ベクトル〈a_ｉ〉を水平方向に繰り返した式(22)で定義される行列［A］と行ベクトルx_ｊを垂直方向に繰り返した式(23)で定義される行列［X］との要素積演算(×)を行う。最後に、n個のn×n単位行列E_ｎで構成される行列F_ｎ(式(24))を掛けることで行列Zを求めることができる。なお、単位行列との行列積は実質的な乗算は必要なく、加算だけで実現できる。

このとき、［X］は、すでに逆量子化されたDVのDCT係数を行単位に配置した行列である。逆量子化前のDVに格納されていた係数をX^†とし、DVの逆量子化係数をX^†の要素に対応するように配置した行列をQ_ＤＶとすると、行列Zは式(25)のように書き直すことができる。

DVの量子化係数の逆数を配置した行列Q_ＤＶおよび近似変換行列［A］は、何れも定数行列であるので予め計算することでDVの逆量子化処理を変換処理に組み込むことができる。

以上のように、アフィン変換を含む変換処理にDVの逆量子化処理を組み込むことができるとともに、変換処理に必要な乗算をMPEGの量子化処理に統合することができる。これにより、乗算を一切必要としなくすることができるので、変換処理全体の高速化を図ることができる。

図３は、本発明に係る符号化動画像変換装置の一実施形態を示すブロック図である。同図に示すように、本実施形態の符号化動画像変換装置は、符号化情報抽出部３１、変換行列生成部３２、行列演算部３３、符号化情報出力部３４を備える。

符号化情報抽出部３１は、入力された符号化情報から量子化されている符号化情報を抽出し、行列演算部３３に出力する。変換行列生成部３２は、アフィン変換行列と変換符号化行列と逆量子化行列と量子化行列から統合変換行列を生成する。なお、アフィン変換行列と変換符号化行列と逆量子化行列と量子化行列は、解像度変換および符号化方式変換が決まれば全て定数行列となるので、統合変換行列の生成は変換処理に先だって予め行うことができ、本符号化動画像変換装置とは別に行うこともできる。また、アフィン変換では任意の縮小、拡大を設定することもできる。

行列演算部３３は、変換行列生成部３２で生成された統合変換行列と符号化情報抽出部３１で抽出された符号化情報の行列演算を行い、符号化情報を出力する。符号化情報出力部３４は、行列演算部３３で得られた符号化情報を、出力する符号化動画像のフォーマットで可変長符号化し出力する。

次に、2×4×8DCT係数が入力された場合にも高速な解像度変換および符号化方式変換を可能にする手法について説明する。入力される4組のDCT係数から構成される行列XにDV特有の2×4×8DCT係数が混在する場合、予め8×8DCT係数への変換処理が必要になる。しかし、2×4×8DCT係数から8×8DCT係数への変換にも一定の計算量が必要となるため、4組とも2×4×8DCT係数の場合にはベースバンド変換よりも計算量が多くなる。

この場合、2×4×8DCT係数は予め2組の4×8DCT係数に分離しておく。入力は2組以上の4×8DCT係数とし、1組以上の8×8DCT係数を出力する。例えば、入力を16×16行列Xで表し、出力を8×8行列Yで表すと、ベースバンドによる1/2縮小変換処理は式(26)のように表される。

ここで、T_ｎはn×nDCT変換行列を表し、T_ｎ ^ｔはT_ｎの転置行列を表す。また、R_h，R_vはそれぞれ水平方向、垂直方向の解像度変換行列であり、この解像度変換行列により任意に縮小、拡大するアフィン変換を設定することができる。例えば、水平方向2点の平均による1/2解像度変換の場合、行列R_hとして式(27)のような行列R_h ^ａｖｅを設定する。一方、フィールドドロップによる垂直方向の解像度変換行列R_vには、2×4×8DCT係数がすでにフィールド単位に分離されているため、式(28)のような行列R_v ^ｓｕｂを設定する。ここで、E_ｎは、n×n単位行列を表す。

これらのアフィン変換行列R_h，R_vを設定したとき、入出力のDCT係数行列XおよびY以外はすべて定数行列であるので予め計算して格納することで演算回数を削減できる。上記の例で定数行列の計算結果を変換行列Cと置くと、変換行列Cは式(29)のように表される。変換行列Cにおける部分行列C_００,C′_００,C_１０,C′_１０の具体的数値を図２に示す。

ここで、C_ｉｊはそれぞれ異なる4×4部分行列を表し、部分行列C′_ｉｊは部分行列C_ｉｊと斜め格子状に正負符号が異なるが、絶対値は一致する。変換行列Cの部分行列C_０１,C_０３,C_１１,C_１３はすべて0行列であるので、入力行列Xの水平方向の高周波成分は自動的に取り除かれる。したがって、リンギングを抑えるための高周波成分排除処理が不要であり、少ない演算量で高画質の変換ができる。すなわち、DCT係数の低域4×4要素だけを入力する場合、2×4×8DCT係数を入力とした変換方式は、8×8DCT係数を入力とする変換方式より高速かつ高画質で変換できる。

DVのエンコーダに依存するが、2×4×8DCTは一般に数が多くない。入力された4組のDCTをすべて2×4×8DCTに変換するための負荷が大きくなる場合には、変換速度を優先させるか画質を優先させるかに従って8×;8DCTと2×4×8DCTを使い分けるのがよい。また、入力あるいは出力情報によって、より具体的には入力情報の量子化情報、変換符号化情報の配置、あるいは出力情報の量子化情報などを判断基準としてこの使い分けを行うことができる。

図４は、8×8DCTと2×4×8DCTの使い分けの手法を示すフローチャートである。まず、VLDを通して入力されるDVデータの4組のDCT係数について2×4×8DCTの個数を調べ(S41)、2×4×8DCTの個数が0の場合、変換行列Aを元にした第１の変換を行い(S43)、1の場合にはその2×4×8DCTを8×8DCTに変換(S42)した後、第１の変換を行う(S43)。2×4×8DCTの個数が4の場合、変換行列Cを元にした第２の変換を行い(S44)、3の場合には残りの8×8DCTを2×4×8DCTに変換(S45)した後、第２の変換を行う(S44)。また、2×4×8DCTの個数が2の場合、それらが横方向に並んでいるか否かを調べ(S46)、横方向に並んでいる場合には変換行列AとCのそれぞれ上半分と下半分を元に組み合わせた行列を利用した第３の変換を行い(S47)、そうでない場合には8×8DCTを2×4×8DCTに変換(S45)した後、第２の変換を行う(S44)。

このように、8×8DCTと2×4×8DCTが混在した場合は数が多い方に統一させる。2×4×8DCTが1組だけのときは8×8DCTに統一し、2×4×8DCTが3組のときは2×4×8DCTに統一する。2×4×8DCTが2組のときは高画質に変換できる2×4×8DCTで統一する。ただし、2組の2×4×8DCTが水平方向に並ぶときは統一させる必要はなく、変換行列AとCのそれぞれ上半分と下半分を元に組み合わせた行列を利用できる。第１〜第３の変換により変換されたDCT係数は、VLCを通してMPEGデータとして出力される。

以上では、入力動画像のフォーマットがDVフォーマット、出力動画像のフォーマットがMPEGフォーマットであり、アフィン変換が1/2解像度変換である場合を例にあげて説明したが、本発明は、そのような場合に限られず、変換符号化処理を行う種々の方式間での解像度変換および符号化方式変換に適用可能である。

本発明は、ある符号化方式で変換符号化された情報を符号領域で解像度変換するとともに異なる符号化方式の情報へ高速かつ高精度に変換することを可能にするので、ブロードバンドモバイル上での動画像変換サービスやコンテンツ配信システムなどへ広く適用することができる。

ベースバンドによる変換処理を示すブロック図である。 変換行列の具体的数値を示す図である。 本発明に係る符号化動画像変換装置における変換処理を示すブロック図である。 8×8DCTと2×4×8DCTの使い分けの手法を示すフローチャートである。

符号の説明

１１・・・可変長復号部(VLD)、１２・・・逆量子化部(IQ)、１３・・・逆DCT変換部(IDCT)、１４・・・解像度変換部(Resize)、１５・・・DCT変換部(DCT)、１６・・・量子化部(Q)、１７・・・可変長符号化部(VLC)、３１・・・符号化情報抽出部、３２・・・変換行列生成部、３３・・・行列演算部、３４・・・符号化情報出力部

Claims (19)

1. 変換符号化された情報にアフィン変換を施すとともに符号化方式を変換する符号化動画像変換装置において、
   変換符号化によって圧縮されたフレーム内符号化動画像の符号化情報を取得する符号化情報取得手段と、
   前記符号化情報取得手段で取得された符号化情報と、アフィン変換行列および変換符号化行列が統合された変換行列と逆量子化行列と量子化行列とから生成された統合変換行列との行列演算を実行し、変換された符号化情報を求める演算手段と、
   前記演算手段で求められた符号化情報を出力する出力手段を具備したことを特徴とする符号化動画像変換装置。
2. 前記符号化情報取得手段は、符号化情報として変換符号化係数の一部だけを取得することを特徴とする請求項１に記載の符号化動画像変換装置。
3. 前記アフィン変換行列によるアフィン変換は任意に設定されることを特徴とする請求項１に記載の符号化動画像変換装置。
4. 前記変換行列は、近似により生成された近似変換行列であることを特徴とする請求項１に記載の符号化動画像変換装置。
5. 前記変換行列は、行毎あるいは列毎に基準となる要素を１つ持つことを特徴とする請求項４に記載の符号化動画像変換装置。
6. 前記基準となる要素は、量子化誤差が小さい低周波成分であることを特徴とする請求項５に記載の符号化動画像変換装置。
7. 前記変換行列に応じて近似方法が変えられていることを特徴とする請求項４に記載の符号化動画像変換装置。
8. 前記変換行列は、負荷の軽い演算で処理できるような表現で近似されていることを特徴とする請求項４に記載の符号化動画像変換装置。
9. 前記変換行列は、該変換行列におけるある要素の２のべき乗あるいは整数倍で近似されていることを特徴とする請求項４に記載の符号化動画像変換装置。
10. 前記変換行列は、前記基準となる要素で構成される対角行列を使って分離されることを特徴とする請求項５に記載の符号化動画像変換装置。
11. 前記変換行列の対角行列の複数が統合されていることを特徴とする請求項１０に記載の符号化動画像変換装置。
12. 前記統合された対角行列による演算が量子化処理と統合されていることを特徴とする請求項１０に記載の符号化動画像変換装置。
13. 前記符号化情報取得手段で取得された符号化情報と前記変換行列の行列演算が積和演算に分離されることを特徴とする請求項４に記載の符号化動画像変換装置。
14. 前記変換行列による演算の一部が逆量子化処理と統合されていることを特徴とする請求項１３に記載の符号化動画像変換装置。
15. 前記変換行列は、変換符号化の基底や近似精度に応じて複数用意されることを特徴とする請求項４に記載の符号化動画像変換装置。
16. 前記変換行列は、変換速度と画質のどちらを優先させるかの選択に従って切り替えられることを特徴とする請求項１５に記載の符号化動画像変換装置。
17. 入力あるいは出力情報に従って前記複数の変換行列が切り替えられることを特徴とする請求項１５に記載の符号化動画像変換装置。
18. 入力情報の量子化情報、変換符号化情報の配置あるいは出力情報の量子化情報が切り替の判断基準とされることを特徴とする請求項１７に記載の符号化動画像変換装置。
19. 変換符号化において異なる基底が混在する場合、それぞれの基底に対する変換行列が合成されることを特徴とする請求項１５に記載の符号化動画像変換装置。

Images