JP4363615B2 - 符号化動画像変換装置 - Google Patents
符号化動画像変換装置 Download PDFInfo
- Publication number
- JP4363615B2 JP4363615B2 JP2002284079A JP2002284079A JP4363615B2 JP 4363615 B2 JP4363615 B2 JP 4363615B2 JP 2002284079 A JP2002284079 A JP 2002284079A JP 2002284079 A JP2002284079 A JP 2002284079A JP 4363615 B2 JP4363615 B2 JP 4363615B2
- Authority
- JP
- Japan
- Prior art keywords
- coding
- information
- conversion
- encoding
- transform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の属する技術分野】
本発明は、符号化動画像変換装置に関し、特に、ある方式で変換符号化された圧縮符号化情報そのものまたはその一部のみを復号した情報を用いて、高速かつ高精度に、異なる方式の符号化情報に変換することができる符号化動画像変換装置に関するものである。
【0002】
【従来の技術】
符号化方式変換として、例えば、DV(Digital Video)フォーマットからMPEGフォーマットへの変換がある。符号化情報を方式変換する場合、ある方式で符号化された符号化情報を画素領域まで完全に復号してから異なる方式へ再符号化する方式があり、DVフォーマットからMPEGフォーマットへの変換の場合、DVフォーマットで変換符号化された圧縮符号化情報を一旦、完全に画素領域まで復号した後、改めて再符号化してMPEGフォーマットに変換する。
【0003】
また、ある方式で変換符号化された圧縮符号化情報そのものまたはその一部のみを復号した情報を用いて異なる方式で符号化された情報に変換する方式も知られており、DVフォーマットからMPEGフォーマットへの変換の場合、DVフォーマットで変換符号化された圧縮符号化情報を可変長復号と逆量子化によってDCT係数まで部分的に復号し、復号されたDCT係数を基にDVフォーマットからMPEGフォーマットへの変換を行えばよい。
【0004】
なお、DVにおける圧縮符号化情報は、フレーム内符号化のみで圧縮されており、MPEGにおける符号化情報は、その全てまたは一部がフレーム内符号化されている。
【0005】
【発明が解決しようとする課題】
しかしながら、圧縮符号化情報を完全に画素領域まで復号した後、改めて再符号化する方式では、演算量が膨大になり、処理速度が遅いという問題がある。
【0006】
一方、圧縮符号化情報を再利用して変換を行う方式では、前記の問題は生じない。しかし、DVフォーマットへのDCT変換では、MPEGフォーマットとは異なる基底のDCT変換を使用する場合があるので、圧縮符号化情報そのものまたはその一部のみを復号した情報をそのまま再利用することができない。
【0007】
さらに、DVフォーマットとMPEGフォーマットとはサンプリングが異なる場合があり、両者間での相互変換の問題は解決されていない。DVフォーマットとMPEGフォーマット間の変換に限らず、他の方式の符号化フォーマット間においても同様の問題が生じる。
【0008】
本発明の目的は、前述した従来技術の問題点を解決し、ある方式で符号化された圧縮符号化情報そのものまたはその一部のみを復号した情報を用いて、高速かつ高精度に、異なる方式の符号化情報に変換することができる符号化動画像変換装置を提供することにある。
【0009】
【課題を解決するための手段】
前記した課題を解決するために、本発明は、
動画像が第1の符号化方式で変換符号化された圧縮符号化情報を入力とし、該圧縮符号化情報の変換符号化情報を直接利用することで前記第1の符号化方式とは異なる第2の符号化方式の符号化情報に変換して出力する符号化動画像変換装置において、入力される圧縮符号化情報そのものまたはその一部のみを復号し必要な情報を抽出する符号情報抽出部と、前記符号情報抽出部により抽出された情報から変換符号化情報を取得する逆量子化部と、前記逆量子化部により取得された変換符号化情報を第2の符号化方式の変換符号化情報に変換する変換部と、前記変換部により変換された変換符号化情報を前記第2の符号化方式で量子化する量子化部と、前記量子化部により量子化された変換符号化情報を前記第2の符号化方式で再符号化する再符号化部とを具備し、前記第1の符号化方式と前記第2の符号化方式とは、符号化情報の全てまたは一部において基底が異なっており、前記第1の符号化方式の符号化情報の全てまたは一部における基底は前記第2の符号化方式の符号化情報の基底の半分の基底であり、前記変換部は、前記第1の符号化方式で入力された変換符号化情報のマクロブロックについての変換符号化での前記半分の基底の符号化モードの個数に応じて前記第1の符号化方式の変換符号化情報を前記第2符号化方式で再利用できるフレーム構造あるいはフィールド構造の変換符号化情報に選択的に基底変換する基底変換手段を有し、該基底変換手段は、前記半分の基底の符号化モードの個数が半数以下の場合、前記第1の符号化方式の変換符号化情報をフレーム構造の変換符号化情報に基底変換し、前記半分の基底の符号化モードの個数が半数を超える場合、前記第1の符号化方式の変換符号化情報をフィールド構造の変換符号化情報に基底変換する点に特徴がある。
【0010】
また、本発明は、第1の符号化方式と第2の符号化方式とは、符号化情報のサンプリングレートが異なっている点に特徴がある。
【0011】
また、本発明は、前記符号情報抽出部が、入力される圧縮符号化情報から変換符号化の種類と量子化された変換符号化係数および量子化情報を抽出し、前記逆量子化部および再符号化部に出力する点に特徴がある。
【0012】
また、本発明は、前記逆量子化部が、前記符号情報抽出部からの量子化された変換符号化係数および量子化情報を入力とし、逆量子化処理によって変換符号化係数を前記変換部へ出力する点に特徴がある。
また、本発明は、前記逆量子化部が、前記半分の基底の変換符号化係数については完全に再構成せずに出力する点に特徴がある。
【0013】
また、本発明は、前記変換部が、サンプリングの構成を変換するサンプリング変換手段とを備える点に特徴がある。
【0014】
また、本発明は、前記基底変換手段が、変換符号化係数を復号せずに、前記第1の符号化方式の変換符号化の基底から前記第2の符号化方式の変換符号化の基底に基底変換する点に特徴がある。
【0015】
また、本発明は、前記基底変換手段が、前記第2の符号化方式の複数の変換符号化単位ごとに、前記第1の符号化方式の変換符号化の種類を統一する変換を行い、再利用できる変換符号化係数については何ら処理を施さない手段を含む点に特徴がある。
また、本発明は、前記基底変換手段が、前記第2の符号化方式で再利用できない構造に統一された場合の複数の変換符号化単位を、前記第2の符号化方式で利用できる構造に一括して変換する手段を含む点に特徴がある。
【0016】
また、本発明は、前記基底変換手段が、基底変換テーブルと乗算器および加算器からなる演算手段とを備え、前記乗算器は、前記第1の符号化方式の変換符号化係数の1列ごとに前記基底変換テーブルの非0の要素を参照して第1の符号化方式の変換符号化係数との積を導出し、前記加算器は、前記積を加算して前記第2の符号化方式の変換符号化係数を導出する点に特徴がある。
【0017】
また、本発明は、前記基底変換テーブルが、復号とフィルタリング処理と再符号化のプロセスを予め計算して求められた数値が格納されたものである点に特徴がある。
【0018】
また、本発明は、前記サンプリング変換手段が、水平方向にサンプリング変換する手段と垂直方向にサンプリング変換する手段とを備える点に特徴がある。
また、本発明は、前記サンプリング変換手段が、変換符号化係数を復号せずに、サンプリング構成を変換するためのサンプリング変換テーブルと加算器と乗算器からなる演算手段とからなり、前記第2の符号化方式のサンプリング構成を導出する点に特徴がある。
【0019】
また、本発明は、前記サンプリング変換テーブルが、復号とサンプリングの圧伸と再符号化のプロセスを予め計算して求められた数値を保持する点に特徴がある。
また、本発明は、前記サンプリングの圧伸が、水平方向および垂直方向の変換時に伸長または収縮を任意に設定できる点に特徴がある。
【0020】
また、本発明は、前記サンプリング変換手段が、複数の変換符号化単位を一括して変換する手段を含む点に特徴がある。
【0021】
また、本発明は、前記サンプリング変換手段が、復号とサンプリング変換と再符号化のプロセスを予め計算して求められた数値が格納されたサンプリング変換テーブルと、乗算器および加算器からなる演算手段とを備え、前記乗算器は、前記第1の符号化方式の変換符号化係数の1列ごとに前記サンプリング変換テーブルの非0の要素を参照して第1の符号化方式の変換符号化係数との積を導出し、前記加算器は、前記積を加算して前記第2の符号化方式の変換符号化係数を導出する点に特徴がある。
【0022】
また、本発明は、前記サンプリング変換手段が、前記サンプリング変換テーブルの部分集合の対称性を勘案して前記第1の符号化方式の変換符号化係数との乗算回数が軽減された演算順序で演算を行う点に特徴がある。
【0023】
また、本発明は、前記量子化部が、第2の符号化方式で利用できる変換符号化係数を入力とし、前記第2の符号化方式により予め設定された符号化レートで量子化を行い、前記再符号化部に出力する点に特徴がある。
【0024】
さらに、本発明は、前記再符号化部が、量子化された変換符号化係数を入力とし、第2の符号化方式の形式で符号化して出力する点にも特徴がある。
【0025】
本発明の特徴によれば、変換符号化によって圧縮符号化された動画像情報を直接的に利用することで変換符号化係数の基底変換およびサンプリング変換を高速に実現でき、符号化単位およびサンプリングが異なる符号化方式間での変換を高速に行うことができる。
【0026】
また、マクロブロックにおける変換符号化の種類(符号化モード)の個数からフレーム構造とフィールド構造を選択して変換を行うことから、従来の変換方式と比較しても、適切な符号化方式を適応的に高速かつ効率的選択することができ、また、出力する符号化情報での画質を向上させることができる。
【0027】
【発明の実施の形態】
以下、図面を参照して本発明を詳細に説明する。図1は、本発明に係る符号化動画像変換装置の一実施形態のブロック構成図である。以下、DVフォーマットの圧縮符号化情報をMPEGフォーマットの圧縮符号化情報に変換する例について説明する。もちろん、本発明は、DVフォーマットとMPEGフォーマット間の変換に限定されるものではない。
【0028】
同図において、符号情報抽出部11は、入力されたDVフォーマットの圧縮符号化情報を部分的に復号し、量子化されているDCT係数、量子化情報およびDCT基底情報を出力する。逆量子化部12は、量子化情報に基づき量子化されているDCT係数をもとのDCT係数に逆量子化する。このとき、2-4-8DCT係数は、2つの4−8DCT係数には分離しない。すなわち、完全には再構成しない。なお、「2−4−8DCT係数」は、8×8画素ブロックのDCT係数が2つの4×8画素ブロックのDCT係数で構成されていることを表している。
【0029】
DCT係数変換部13は、逆量子化されたDCT係数とDCT基底情報をもとに、全てのDCT係数を、MPEGフォーマットと同じ符号化単位かつ同じサンプリングのDCT係数に変換する。量子化部14は、DCT係数変換部13からのDCT係数を量子化し、再符号化部15へ送出する。再符号化部15は、量子化されたDCT係数をMPEGフォーマットの符号化情報へと変換する。
【0030】
図2は、図1の符号化動画像変換装置における処理を示すフローチャートである。まず、ステップS21で、入力されたDVフォーマットの圧縮符号化情報を部分的に復号し、量子化されているDCT係数、量子化情報およびDCT基底情報を出力する。次に、ステップS22で、量子化情報に基づき量子化されているDCT係数をもとのDCT係数に逆量子化する。このとき、2-4-8DCT係数は、2つの4-8DCT係数に分離しない。
【0031】
ステップS23では、フレーム内で一定の規則に従ってシャッフリングされているDCT係数を、量子化情報とともにもとのフレーム内位置に再配置し、全てのDCT係数を、MPEGフォーマットと同じ符号化単位かつ同じサンプリングのDCT係数に変換する。ステップS24では、ステップS23で得られたDCT係数を量子化する。最後に、ステップS25では、量子化されたDCT係数をMPEGフォーマットの符号化情報へと変換する。
【0032】
図3は、図2のステップS23における輝度信号についてのDCT係数変換の処理を示すフローチャートである。本フローチャートは、マクロブロック内の2-4-8DCT符号化モードの個数を調べるステップS31、2-4-8DCT係数→8-8DCT係数変換を行うステップS32、8-8DCT係数→2-4-8DCT係数変換を行うステップS33、2-4-8DCT係数→フィールド(field)DCT係数変換を行うステップS34、および以上のステップS31〜S34を全てのマクロブロックについて繰り返し行うためのステップS35、S36、からなる。
【0033】
まず、ステップS31で、個々のマクロブロックに対し該マクロブロック内に含まれる4つのブロックについて2-4-8DCT符号化モードであるか否かを調べ、その個数に従って処理を振り分ける。
【0034】
2-4-8DCT符号化モードの個数が0個の場合、マクロブロックの全てのDCT係数は8-8DCT係数であり、これはMPEGフォーマットと同じ符号化単位であるので、そのままMPEGフォーマットのフレームDCT係数として再利用する。
【0035】
2-4-8DCT符号化モードの個数が1個または2個の場合、ステップS32で、DVフォーマットで格納されている2-4-8DCT係数(2つの4-8DCT係数の和と差)を8-8DCT係数に変換する。なお、もともとが8-8DCT係数である係数には何も処理を施さない。このようにマクロブロックの全ての2-4-8DCT係数を8-8DCT係数に変換した後、MPEGフォーマットのフレームDCT係数として再利用する。
【0036】
2-4-8DCT符号化モードの個数が3個の場合、ステップS33で、DVフォーマットで格納されている8-8DCT係数を2-4-8DCT係数に変換する。なお、もともとが2-4-8DCT係数である係数には何も処理を施さない。このようにマクロブロックの8-8DCT係数を2-4-8DCT係数に変換した後、さらに、ステップS34で、マクロブロック内の4つのブロックの2-4-8DCT係数について2-4-8DCT係数→フィールド(field)DCT係数変換を行う。
【0037】
2-4-8DCT符号化モードの個数が4個の場合には、直接ステップS34に進み、マクロブロック内の4つのブロックの2-4-8DCT係数について2-4-8DCT係数→フィールドDCT係数変換を行う。
【0038】
ステップS31、S36により、全てのマクロブロックについて上記の処理を施した後、輝度信号についてのDCT係数変換の処理を終了し、後述する色差信号についてサンプリングを同じにするDCT係数変換処理に移る。
【0039】
上記ステップS32の2-4-8DCT係数→8-8DCT係数変換は、例えば、2-4-8DCT係数Xを入力する入力手段と、図6に示す式(1)の行列Aを予め計算して求められた数値が格納された変換テーブルと、乗算器および加算器からなる演算手段と、該演算手段による演算結果である8-8DCT係数Yを出力する出力手段とで実現できる。
【0040】
変換テーブルは、復号とフィルタリング処理と再符号化のプロセスを予め計算して求められた数値が格納されている基底変換テーブルといえる。後述の8-8DCT係数→2-4-8DCT係数変換や2-4-8DCT係数→フィールドDCT係数変換で用いられる変換テーブルも同じように基底変換テーブルといえる。
【0041】
すなわち、入力の2-4-8DCT係数Xの1列ごとに上記変換テーブル(式(1)の行列A)の非0の要素a[j][i]を参照して2-4-8DCT係数の要素x[i][k]との積a[j][i]*x[i][k]を乗算器で導出し、さらに加算器により下記式(2)を計算すればよい。
【0042】
式(1)の行列Aは、4-8DCT係数分離行列αと4-4逆DCT係数行列β4 t を2つ組み合わせた行列γt とデインタレース行列δと8-8DCT係数行列β8 を乗算することにより得られる8×8行列である。なお、tは転置を表し、In はn×nの単位行列を表す。以下の式でも同じである。
【0043】
上記ステップS33の8-8DCT係数→2-4-8DCT係数変換は、例えば、8-8DCT係数Wを入力する入力手段と、図7に示す式(3)の行列Bを予め計算して求められた数値が格納された変換テーブルと、乗算器および加算器からなる演算手段と、該演算手段による演算結果である2-4-8DCT係数Zを出力する出力手段とで実現できる。
【0044】
すなわち、入力の8-8DCT係数Wの1列ごとに上記変換テーブル(式(3)の行列B)の非0の要素b[j][i]を参照して8-8DCT係数の要素w[i][k]との積b[j][i]*w[i][k]を乗算器で導出し、さらに加算器により下記式(4)を計算すればよい。
【0045】
式(3)の行列Bは、8-8逆DCT係数行列β8 t とインタレース行列ζとを2つ組み合わせた行列γ と4-8DCT係数分離行列α を乗算することにより得られる8×8行列である。
【0046】
上記ステップS34の2-4-8DCT係数→フィールドDCT係数変換は、例えば、4つの2-4-8DCT係数Un(ただし、0≦n<4)を入力する入力手段と、図8に示す式(5)の行列Cを予め計算して求められた数値が格納された変換テーブルと、乗算器および加算器からなる演算手段と、該演算手段による4つの演算結果であるフィールドDCT係数Vn(ただし、0≦n<4)を出力する出力手段とで実現できる。
【0047】
すなわち、入力の2-4-8DCT係数Unの1列ごとに上記変換テーブル(式(5)の行列C)の非0の要素c[j][i]を参照して2-4-8DCT係数の要素u[i][k]との積c[j][i]*u[i][k]を乗算器で導出し、さらに加算器により下記式(6)を計算すればよい。なお、D(D′)の式において、Dの場合は正負符号の上側を採り、D′の場合は下側を採ることを示している。
【0048】
式(5)の行列Cは、2つの4-8DCT係数分離行列αと4-4逆DCT係数行列β4 t を4つ組み合わせた行列ηt とデインタレース行列θと8-8DCT係数行列β8 を2つ組み合わせた行列ιを乗算することにより得られる16×16行列である。
【0049】
2-4-8DCT係数→フィールドDCT係数変換は、式(5)の行列Cの部分集合である行列Dを予め計算して求められた数値が格納された変換テーブルを用いても実現できる。この例を図4に示し、入力の2-4-8DCT係数Uiの1列ごとに演算手段の加減算器で、
u[n][k]+u[n+8][k] および u[n][k]-u[n+8][k](ただし、0≦n<8)
を導出し、さらに、加減算器で、
(u[n][k]+u[n+8][k])+(u[n+4][k]+u[n+12][k]) および (u[n][k]+u[n+8][k])-(u[n+4][k]+u[n+12][k]) および (u[n][k]-u[n+8][k])+(u[n+4][k]-u[n+12][k])
および (u[n][k]-u[n+8][k])-(u[n+4][k]-u[n+12][k]) (ただし、0≦n<4)を導出して乗算器に供給する。乗算器は、上記変換テーブルの要素dとの乗算によってフィールドDCT係数の偶数番目の要素vを以下のように導出する。
v[4n][k]=((u[2n][k]+u[2n+8][k])+(u[2n+4][k]+u[2n+12][k]))*d[4n][2n]
v[4n+8][k]=((u[2n][k]+u[2n+8][k])-(u[2n+4][k]+u[2n+12][k]))*d[4n][2n]
v[4n+2][k]=((u[2n+1][k]-u[2n+9][k])+(u[2n+5][k]-u[2n+13][k]))*d[4n+2][2n+1]
v[4n+10][k]=((u[2n+1][k]-u[2n+9][k])-(u[2n+5][k]-u[2+13][k]))*d[4n+2][2n+1]
(ただし、0≦n<2)
また、フィールドDCT係数の奇数番目の要素vは以下のようにして導出する。まず、上記変換テーブルの要素d参照して、演算手段の乗算器で、
((u[2n][k]-u[2n+8][k])+(u[2n+4][k]-u[2n+12][k]))*d[2m+1][2n] および ((u[2n+1][k]+u[2n+9][k])+(u[2n+5][k]+u[2n+13][k]))*d[2m+1][2n+1] および ((u[2n][k]-u[2n+8][k])-(u[2n+4][k]-u[2n+12][k]))*d[2m+2][2n] および ((u[2n+1][k]+u[2n+9][k])-(u[2n+5][k]+u[2n+13][k]))*d[2m+1][2n+1] (ただし、0≦m<4、0≦n<2)を導出する。次に、これを加算器に供給して、
v[2m+1][k]=
((u[0][k]-u[8][k])+(u[4][k]-u[12][k]))*d[2m+1][0]+((u[1][k]+u[9][k])+(u[5][k]+u[13][k]))*d[2m+1][1]+((u[2][k]-u[10][k])+(u[6][k]-u[14][k]))*d[2m+2][2]+((u[3][k]+u[11][k])+(u[7][k]+u[15][k]))*d[2m+1][3]
v[2m+9][k]=
((u[0][k]-u[8][k])-(u[4][k]-u[12][k]))*d[2m+1][0]+((u[1][k]+u[9][k])-(u[5][k]+u[13][k]))*d[2m+1][1]+((u[2][k]-u[10][k])-(u[6][k]-u[14][k]))*d[2m+2][2]+((u[3][k]+u[11][k])-(u[7][k]+u[15][k]))*d[2m+1][3]
を導出する(ただし、0≦m<4)。なお、図4では、加算される要素を実線で示し、減算される要素を点線で示している。また、要素dの乗算部分については図示を省略している。
【0050】
次に、色差信号についてサンプリングを同じにするDCT係数変換処理について説明する。色差信号のDCT係数に関しては、PAL方式とNTSC方式とで異なる処理を施す。PAL方式では、DVとMPEGとで同一のサンプリングを使用しているため、輝度信号と同様の処理を施す。
【0051】
一方、NTSC方式では、DVとMPEGとで異なるサンプリングを使用しているため、DVが使用している4:1:1フォーマット(以下、このフォーマットの色差を411色差と称す。)をMPEGが使用している4:2:2フォーマット(以下、このフォーマットの色差を422色差と称す。)または4:2:0フォーマット(以下、このフォーマットの色差を420色差と称す。)に変換する。ただし、いずれの場合も、初めに4:2:2フォーマットに変換する。
【0052】
サンプリングが異なる色差信号についてのDVフォーマットからMPEGフォーマットへのDCT係数の変換は、411色差DCT係数Pを入力とする入力手段と、2-4-8DCT係数→8-8DCT係数変換部と、図9に示す式(7)の行列Eを予め計算して求められた数値が格納された変換テーブルと、図10に示す式(8)の行列Fを予め計算して求められた数値が格納された変換テーブルと、図11に示す式(9)の行列Gを予め計算して求められた数値が格納された変換テーブルと、乗算器および加算器からなる演算手段と、該演算手段による演算結果である4-2-2色差DCT係数Qまたは4-2-0色差DCT係数Rを出力する出力手段とで実現できる。
【0053】
ここで用いられる変換テーブルは、復号とサンプリングの圧伸と再符号化のプロセスを予め計算して求められた数値が格納されているサンプリング変換テーブルといえ、その数値により水平方向および垂直方向への伸長または圧縮を任意に設定できる。
【0054】
式(7)の行列Eは、8-8逆DCT係数行列β8 t を2つ組み合わせた行列ιt と水平方向にアップサンプリングする行列κと8-8DCT係数行列β8 を乗算することにより得られる8×16行列である。
【0055】
また、式(8)の行列Fは、8-8逆DCT係数行列β8 t を2つ組み合わせた行列ιt とインタレース行列λと8-8DCT係数行列β8 を2つ組み合わせた行列ιを乗算することにより得られる16×16行列である。
【0056】
また、式(9)の行列Gは、8-8逆DCT係数行列β8 t を2つ組み合わせた行列ιt と垂直方向にダウンサンプリングする行列μと8-8DCT係数行列β8を2つ組み合わせた行列ιを乗算することにより得られる8×16行列である。
【0057】
図5は、サンプリングが異なる色差信号についてのDVフォーマットからMPEGフォーマットへのDCT係数の変換の処理を示すフローチャートであり、この処理は、図3の輝度信号についてのDCT係数変換処理に続いて行われる。
【0058】
411色差DCT係数Pは、4:2:2フォーマットのマクロブロックを構成する2ブロック単位で入力される。出力する422色差DCT係数がフィールドDCT係数である場合は、入力された411色差DCT係数を2−4−8DCT係数→8-8DCT係数変換することによって8−8DCT係数に統一する。この処理は、ステップS51のDCTモード判別、ステップS52の2-4-8DCT係数→8-8DCT係数変換で行われる。
【0059】
次に、DCTの基底が統一された411色差DCT係数を、ステップS53で、422色差DCT係数に変換する。この変換は、411色差DCT係数を入力する入力手段と、図9に示す(7)式の行列Eを予め計算して求められた数値が格納された変換テーブルと、乗算器および加算器からなる演算手段と、該演算手段による演算結果である422DCT係数を出力する出力手段とで実現できる。
【0060】
すなわち、基底が統一された411色差DCT係数Pの1列ごとに上記変換テーブル(式(7)の行列E)の非0の要素e[i][k]を参照して411色差DCT係数の要素p[j][i]との積p[j][i]*e[i][k]を乗算器で導出し、さらに加算器により下記(10)式を計算すればよい。
【0061】
次に、ステップS54で、出力が422色差DCT係数であるか420DCT係数であるかにより処理を振り分ける。出力が422色差DCT係数であり、ステップS56で、輝度信号がフィールドDCT係数で出力されていない判断された場合には、422色差DCT係数をそのまま出力するが、輝度信号がすでにフィールドDCT係数で出力されていると判断された場合には、ステップS57で、422色差DCT係数をフレーム構造からフィールド構造へ変換する。
【0062】
フレーム構造からフィールド構造への変換は、フレーム構造の422色差DCT係数Qを入力する入力手段と、図10に示す(8)式の行列Fを予め計算して求められた数値が格納された変換テーブルと、乗算器および加算器からなる演算手段と、該演算手段による演算結果であるフィールド構造の422DCT係数Rを出力する出力手段とで実現できる。
【0063】
すなわち、422色差DCT係数Qの1列ごとに上記変換テーブル(式(8)の行列F)の非0の要素f[j][i]を参照してフレーム構造の422色差DCT係数の要素q[i][k]との積f[j][i]*q[i][k]を乗算器で導出し、さらに加算器により下記(11)式を計算すればよい。
【0064】
また、ステップS54で、出力が420色差DCT係数である判断された場合、ステップS55で、422色差DCT係数Qを420色差DCT係数Sへ変換する。この変換は、422色差DCT係数Qを入力する入力手段と、図11に示す式(9)の行列Gを予め計算して求められた数値が格納された変換テーブルと、乗算器および加算器からなる演算手段と、該演算手段による演算結果である422DCT係数Sを出力する出力手段とで実現できる。
【0065】
すなわち、422色差DCT係数を4:2:2フォーマットのマクロブロックを構成する2ブロック単位で入力し、422色差DCT係数Qの1列ごとに上記変換テーブル(式(9)の行列G)の非0の要素g[j][i]を参照して422色差DCT係数の要素q[i][k]との積g[j][i]*q[i][k]を乗算器で導出し、さらに加算器により下記(12)式を計算すればよい。なお、ステップS58、S59は、全てのマクロブロックに対し以上の処理を繰り返し行うためのものである。
【0066】
以上、実施形態について説明したが、本発明は、例えば、変換符号化方式の1つであるDVフォーマットからMPEG−1、MPEG−2、MPEG−4などへの高速変換を可能にするので、ブロードバンドモバイル上での動画像変換サービスやコンテンツ配信システムなどへの広い適用が可能である。
【0067】
【発明の効果】
以上に詳細に説明したように、本発明によれば、変換符号化によって圧縮符号化された動画像情報を直接的に利用することで変換符号化係数の基底変換およびサンプリング変換を高速に実現することにより、従来の画素領域まで完全に復号する変換方式を比較して高速に変換することができる。
【0068】
また、マクロブロックにおける変換符号化の種類(符号化モード)の個数からフレーム構造とフィールド構造を選択して変換を行うことから、符号化情報の一部を利用する従来の変換方式と比較しても、適切な符号化方式を高速かつ効率的選択することができ、また、出力する符号化情報での画質を向上させることができる。
【図面の簡単な説明】
【図1】 本発明に係る符号化動画像変換装置の一実施形態のブロック構成図である。
【図2】 図1における処理を示すフローチャートである。
【図3】 輝度信号についてのDCT係数の変換処理のフローチャートである。
【図4】 248/フィールド変換の説明図である。
【図5】 サンプリングが異なる色差信号についてのDCT係数の変換処理のフローチャートである。
【図6】 248/88変換に用いられるテーブルの説明図である。
【図7】 88/248変換に用いられるテーブルの説明図である。
【図8】 248/フィールド変換に用いられるテーブルの説明図である。
【図9】 411/422変換に用いられるテーブルの説明図である。
【図10】 422フレーム/フィールド変換に用いられるテーブルの説明図である。
【図11】 422/420変換に用いられるテーブルの説明図である。
【符号の説明】
11・・・符号情報抽出部、12・・・逆量子化部、13・・・DCT係数変換部、14・・・量子化部、15・・・再符号化部
Claims (20)
- 動画像が第1の符号化方式で変換符号化された圧縮符号化情報を入力とし、該圧縮符号化情報の変換符号化情報を直接利用することで前記第1の符号化方式とは異なる第2の符号化方式の符号化情報に変換して出力する符号化動画像変換装置において、
入力される圧縮符号化情報そのものまたはその一部のみを復号し必要な情報を抽出する符号情報抽出部と、
前記符号情報抽出部により抽出された情報から変換符号化情報を取得する逆量子化部と、
前記逆量子化部により取得された変換符号化情報を第2の符号化方式の変換符号化情報に変換する変換部と、
前記変換部により変換された変換符号化情報を前記第2の符号化方式で量子化する量子化部と、
前記量子化部により量子化された変換符号化情報を前記第2の符号化方式で再符号化する再符号化部とを具備し、
前記第1の符号化方式と前記第2の符号化方式とは、符号化情報の全てまたは一部において基底が異なっており、前記第1の符号化方式の符号化情報の全てまたは一部における基底は前記第2の符号化方式の符号化情報の基底の半分の基底であり、
前記変換部は、前記第1の符号化方式で入力された変換符号化情報のマクロブロックについての変換符号化での前記半分の基底の符号化モードの個数に応じて前記第1の符号化方式の変換符号化情報を前記第2符号化方式で再利用できるフレーム構造あるいはフィールド構造の変換符号化情報に選択的に基底変換する基底変換手段を有し、該基底変換手段は、前記半分の基底の符号化モードの個数が半数以下の場合、前記第1の符号化方式の変換符号化情報をフレーム構造の変換符号化情報に基底変換し、前記半分の基底の符号化モードの個数が半数を超える場合、前記第1の符号化方式の変換符号化情報をフィールド構造の変換符号化情報に基底変換することを特徴とする符号化動画像変換装置。 - 第1の符号化方式と第2の符号化方式とは、符号化情報のサンプリングレートが異なっていることを特徴とする請求項1に記載の符号化動画像変換装置。
- 前記符号情報抽出部は、入力される圧縮符号化情報から変換符号化の種類と量子化された変換符号化係数および量子化情報を抽出し、前記逆量子化部および再符号化部に出力することを特徴とする請求項1に記載の符号化動画像変換装置。
- 前記逆量子化部は、前記符号情報抽出部からの量子化された変換符号化係数および量子化情報を入力とし、逆量子化処理によって変換符号化係数を前記変換部へ出力することを特徴とする請求項1に記載の符号化動画像変換装置。
- 前記逆量子化部は、前記半分の基底の変換符号化係数については完全に再構成せずに出力することを特徴とする請求項4に記載の符号化動画像変換装置。
- 前記変換部は、サンプリングの構成を変換するサンプリング変換手段を備えることを特徴とする請求項1に記載の符号化動画像変換装置。
- 前記基底変換手段は、変換符号化係数を復号せずに、前記第1の符号化方式の変換符号化の基底から前記第2の符号化方式の変換符号化の基底に基底変換することを特徴とする請求項1に記載の符号化動画像変換装置。
- 前記基底変換手段は、前記第2の符号化方式の複数の変換符号化単位ごとに、前記第1の符号化方式の変換符号化の種類を統一する変換を行い、再利用できる変換符号化係数については何ら処理を施さない手段を含むことを特徴とする請求項1に記載の符号化動画像変換装置。
- 前記基底変換手段は、前記第2の符号化方式で再利用できない構造に統一された場合の複数の変換符号化単位を、前記第2の符号化方式で利用できる構造に一括して変換する手段を含むことを特徴とする請求項8に記載の符号化動画像変換装置。
- 前記基底変換手段は、基底変換テーブルと乗算器および加算器からなる演算手段とを備え、前記乗算器は、前記第1の符号化方式の変換符号化係数の1列ごとに前記基底変換テーブルの非0の要素を参照して第1の符号化方式の変換符号化係数との積を導出し、前記加算器は、前記積を加算して前記第2の符号化方式の変換符号化係数を導出することを特徴とする請求項8または9に記載の符号化動画像変換装置。
- 前記基底変換テーブルは、復号とフィルタリング処理と再符号化のプロセスを予め計算して求められた数値が格納されたものであることを特徴とする請求項10に記載の符号化動画像変換装置。
- 前記サンプリング変換手段は、水平方向にサンプリング変換する手段と垂直方向にサンプリング変換する手段とを備えることを特徴とする請求項6に記載の符号化動画像変換装置。
- 前記サンプリング変換手段は、変換符号化係数を復号せずに、サンプリング構成を変換するためのサンプリング変換テーブルと加算器と乗算器からなる演算手段とからなり、前記第2の符号化方式のサンプリング構成を導出することを特徴とする請求項12に記載の符号化動画像変換装置。
- 前記サンプリング変換テーブルは、復号とサンプリングの圧伸と再符号化のプロセスを予め計算して求められた数値を保持することを特徴とする請求項13に記載の符号化動画像変換装置。
- 前記サンプリングの圧伸は、水平方向および垂直方向の変換時に伸長または収縮を任意に設定できることを特徴とする請求項14に記載の符号化動画像変換装置。
- 前記サンプリング変換手段は、複数の変換符号化単位を一括して変換する手段を含むことを特徴とする請求項12に記載の符号化動画像変換装置。
- 前記サンプリング変換手段は、復号とサンプリング変換と再符号化のプロセスを予め計算して求められた数値が格納されたサンプリング変換テーブルと、乗算器および加算器からなる演算手段とを備え、前記乗算器は、前記第1の符号化方式の変換符号化係数の1列ごとに前記サンプリング変換テーブルの非0の要素を参照して第1の符号化方式の変換符号化係数との積を導出し、前記加算器は、前記積を加算して前記第2の符号化方式の変換符号化係数を導出することを特徴とする請求項12に記載の符号化動画像変換装置。
- 前記サンプリング変換手段は、前記サンプリング変換テーブルの部分集合の対称性を勘案して前記第1の符号化方式の変換符号化係数との乗算回数が軽減された演算順序で演算を行うことを特徴とする請求項17に記載の符号化動画像変換装置。
- 前記量子化部は、第2の符号化方式で利用できる変換符号化係数を入力とし、前記第2の符号化方式により予め設定された符号化レートで量子化を行い、前記再符号化部に出力することを特徴とする請求項1に記載の符号化動画像変換装置。
- 前記再符号化部は、量子化された変換符号化係数を入力とし、第2の符号化方式の形式で符号化して出力することを特徴とする請求項1に記載の符号化動画像変換装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002284079A JP4363615B2 (ja) | 2002-09-27 | 2002-09-27 | 符号化動画像変換装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002284079A JP4363615B2 (ja) | 2002-09-27 | 2002-09-27 | 符号化動画像変換装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004120620A JP2004120620A (ja) | 2004-04-15 |
JP4363615B2 true JP4363615B2 (ja) | 2009-11-11 |
Family
ID=32277759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002284079A Expired - Fee Related JP4363615B2 (ja) | 2002-09-27 | 2002-09-27 | 符号化動画像変換装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4363615B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008153771A (ja) * | 2006-12-14 | 2008-07-03 | Mitsubishi Electric Corp | 画像符号化方式変換装置 |
JP5226089B2 (ja) * | 2011-01-06 | 2013-07-03 | 三菱電機株式会社 | 画像符号化方式変換装置 |
-
2002
- 2002-09-27 JP JP2002284079A patent/JP4363615B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004120620A (ja) | 2004-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100727972B1 (ko) | 영상의 인트라 예측 부호화, 복호화 방법 및 장치 | |
US6963606B1 (en) | Digital signal conversion method and digital signal conversion device | |
KR101311402B1 (ko) | 영상의 부호화 방법 및 장치, 복호화 방법 및 장치 | |
EP1628484B1 (en) | Method for transcoding compressed video signals, related apparatus and computer program product therefor | |
AU2007231799B8 (en) | High-performance video transcoding method | |
JP4226172B2 (ja) | 適応的変換方法を用いる映像圧縮符号化装置および復号化装置ならびにその方法 | |
JPH11275592A (ja) | 動画像符号列変換装置及びその方法 | |
EP1662799A2 (en) | Video down-sampling transcoding method and device | |
JP2002199402A (ja) | 離散コサイン変換コード化された信号を符号変換するシステムおよびそれに関連する方法 | |
JP2003250157A (ja) | 静止映像及び動映像を符号化/復号化するための変換係数の最適走査方法 | |
JP2005507587A (ja) | 空間的にスケーラブルな圧縮 | |
KR20070090700A (ko) | 영상의 인트라 예측 부호화, 복호화 방법 및 장치 | |
KR20060095821A (ko) | 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와, 그를 이용한 영상 및 비디오 부호화/복호화방법 및 장치 | |
KR101090586B1 (ko) | 부호화 장치/복호화 장치, 부호화 방법/복호화 방법 및 기록 매체 | |
KR20080012026A (ko) | 영상의 부호화 방법 및 장치, 복호화 방법 및 장치 | |
JPH1155666A (ja) | エネルギー補償/逆補償機能を改善するスケラブル符号化器およびその方法 | |
EP0840516B1 (en) | Apparatus and method for predictive coding and decoding | |
JP4360093B2 (ja) | 画像処理装置および符号化装置とそれらの方法 | |
US20060109900A1 (en) | Image data transcoding | |
JP4363615B2 (ja) | 符号化動画像変換装置 | |
KR20100009718A (ko) | 예측 방향을 이용한 영상 부호화/복호화 장치 및 방법 | |
JP2004511978A (ja) | 動きベクトルの圧縮 | |
JP2008109700A (ja) | ディジタル信号変換方法およびディジタル信号変換装置 | |
JP6641149B2 (ja) | 映像符号化装置、映像復号装置及びプログラム | |
JP2005184525A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040922 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070606 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081001 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090812 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090817 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |