JP3874179B2 - 符号化動画像変換装置 - Google Patents
符号化動画像変換装置 Download PDFInfo
- Publication number
- JP3874179B2 JP3874179B2 JP2002070878A JP2002070878A JP3874179B2 JP 3874179 B2 JP3874179 B2 JP 3874179B2 JP 2002070878 A JP2002070878 A JP 2002070878A JP 2002070878 A JP2002070878 A JP 2002070878A JP 3874179 B2 JP3874179 B2 JP 3874179B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- moving image
- conversion apparatus
- image conversion
- encoded moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
Description
【０００１】
【発明の属する技術分野】
この発明は符号化動画像変換装置に関し、特に、変換符号化を利用した圧縮符号化データそのものまたはその一部だけを復号した情報から、符号化方式を高速かつ高精度に変換できる符号化動画像変換装置に関する。
【０００２】
【従来の技術】
従来の符号化方式変換技術として、Digital Video（DV）フォーマットからMPEGへ変換する方式が報告されている。動きベクトル情報が無いDVデータをMPEGへ変換する場合、動きベクトル情報が無いままMPEGに変換する方法と、動きベクトル情報を設定してMPEGに変換する方法の２通りの方法が考えられる。
【０００３】
動きベクトル情報が無いまま変換する方式（以下、第１の変換方式）では、動画像を全てフレーム内符号化フレーム（I-picture）としてMPEGに変換する。動きベクトル情報を設定してMPEGに変換する方式（以下、第２の変換方式）では、1次元逆DCT変換を垂直方向と水平方向それぞれに適用し、階層的な動きベクトル探索を行う。
【０００４】
初めに低解像度の１次元逆DCT変換によって水平方向の最適位置を求め、その場所に対して垂直方向での最適位置を動きベクトルとして抽出する。垂直方向の探索では1画素単位の精度で動きベクトルを抽出できるように、双一次線形補間により補間された近似画像を使用する。次に、高解像度の１次元逆DCT変換によって、同処理を繰り返す。最終的には、DVデータを完全に復号した画像をもとに動きベクトルを検出する。この動きベクトルをもとに、DVからMPEGへの変換を実現する。
【０００５】
【発明が解決しようとする課題】
動きベクトルの画質改善効果はビットレートが低いほど顕著であるため、動きベクトル情報を利用しない第１の方式では低ビットレートのMPEGには変換できないという問題がある。一方、第2の方式は動きベクトルを利用するため第１の方式の問題点は解決される。しかし、動きベクトルを検出する処理に時間がかかるという問題がある。DCT係数を部分的に逆DCT変換して利用するので、逆DCT変換を用いることで処理負荷の低減に限界があり、さらに近似画像生成のための補間処理も必要であるため、計算量を抑えることが困難である。
【０００６】
本発明の目的は、前述した従来技術の問題点を解消し、変換符号化によって圧縮された符号化データそのもの、またはその一部だけを復号した情報をもとに符号化方式を変換する符号化動画像変換装置を提供することにある。他の目的は、短い時間に、高精度で、符号化方式を変換して出力できる符号化動画像変換装置を提供することにある。
【０００７】
【課題を解決するための手段】
前述の目的を達成するために、本発明は、符号化方式を変換して出力する符号化動画像変換装置において、圧縮動画像データを部分的に復号して、変換符号化係数および量子化情報を抽出する符号データ抽出部と、前記抽出された変換符号化係数から近似画像を生成する近似画像生成部と、前記抽出された量子化情報と前記近似画像から動きベクトル候補の検出を行う第１の動きベクトル検出部と、前記抽出された変換符号化係数を復号し輝度信号および色差信号を生成する復号部と、前記復号部で生成された輝度信号と、前記第１の動きベクトル検出部で検出された動きベクトルとを基に、動きベクトルの検出を行う第２の動きベクトル検出部と、前記第２の動きベクトル検出部で検出された動きベクトル情報と、前記復号部で復号した輝度信号および変換された色差信号をもとに再符号化を行う再符号化部とを具備した点に特徴がある。また、前記復号部からの色差信号を入力とし、色差信号の構成を変換し、再符号化部へ出力するサンプリング変換部をさらに備えた点に他の特徴がある。
【０００８】
これらの特徴によれば、動きベクトルを検出する処理時間を低減し、かつ処理負荷を低減できるので、高速かつ高精度に符号化方式を変換することができるようになる。
【０００９】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。なお、以下に説明する実施形態は、入力動画像のフォーマットとしてDVフォーマットを使用しているが、本発明はこれに限定されるものではない。
【００１０】
図１は、本発明の一実施形態の全体構成を示すブロック図である。システム全体の入力として、DV形式によって圧縮符号化された動画像の符号化データａが与えられる。符号データ抽出部１は、入力されたDV符号化データaを部分的に復号し、DCT係数ｂを近似画像生成部２と復号部６に送り、量子化情報ｃを第１の動きベクトル検出部３に出力する。
【００１１】
近似画像生成部２は、符号データ抽出部１で抽出されたDCT係数ｂの一部をもとに近似画像を生成する。近似画像の生成には、後述の説明から明らかになるように、一例としてDCT係数の直流成分と低周波寄りの３つの交流成分を利用する。生成された近似画像ｄは、第１の動きベクトル検出部３へ送られる。
【００１２】
第１の動きベクトル検出部３は、近似画像生成部２で作成された近似画像ｄと符号データ抽出部１で抽出された量子化情報ｃをもとに、動きベクトル（ＭＶ）候補を粗く検出する。検出された動きベクトル候補ｅは、第２の動きベクトル検出部４に送られる。
【００１３】
復号部６は、符号データ抽出部１で得られたDCT係数ｂを逆変換し、輝度信号ｈと色差信号ｉに復元する。輝度信号ｈは第２の動きベクトル検出部４と再符号化部５へ出力され、一方色差信号ｉはサンプリング変換部７へ出力する。
【００１４】
サンプリング変換部７は、復号部６で復号された色差信号ｉを入力とし、符号化方式の色差信号構成に相違があればサンプリングを変換する。変換された色差信号ｊは、再符号化部５へ出力される。
【００１５】
第２の動きベクトル検出部４は、第１の動きベクトル検出部３で検出された動きベクトル候補ｅと復号部６で復号された輝度信号ｈを入力とする。そして、動きベクトル候補ｅを初期位置として、階層的に動きベクトルｆを検出する。検出された動きベクトルｆは、再符号化部５へ出力される。
【００１６】
再符号化部５は、復号部６で復号された輝度信号ｈとサンプリング変換部７で変換された色差信号ｊと第２の動きベクトル検出部４で検出された動きベクトルｆから、新たな符号化方式へと符号化する。なお、前記サンプリング変換部７は省略することができる。
【００１７】
次に、前記した各構成要素１〜７の動作または機能を詳細に説明する。
【００１８】
図２は、前記符号データ抽出部１の動作を示すフローチャートである。符号データ抽出部１は、４つの処理（ステップＳ１〜Ｓ４）、すなわち可変長復号（ＶＬＤ）処理、逆量子化（ＩＱ）処理、逆重み付け（ＩＷ）処理、および再配置（de-shuffle）処理を行う。符号データ抽出部１は、これらのステップＳ１〜Ｓ４の処理により、入力されたＤＶの圧縮符号化データａをＭＰＥＧのDCT係数の再配置まで復号し、この復号により得られたDCT係数ｂを近似画像生成部２と復号部６へ、量子化情報ｃを第１の動きベクトル検出部３へと出力する。
【００１９】
なお、該符号データ抽出部１に入力するＤＶ符号化データａの色差信号は、輝度信号と比べて、水平方向に１／４にサブサンプリングされた４：１：１信号、または輝度信号と比べて、水平方向および垂直方向に１／２にサブサンプリングされた４：２：０信号である。
【００２０】
図３は、前記近似画像生成部２の動作を示すフローチャートである。近似画像生成部２は、４成分のＤＣＴ係数を選択する処理（ステップＳ１１）と、２×２逆DCT変換処理（ステップＳ１２）を行う。
【００２１】
すなわち、ステップＳ１１では、８−８ＤＣＴモードの場合、８×８画素を単位ブロック（フレーム単位）として得られた６４個のDCT係数から、（０、０）、（０、１）、（１、０）、（１、１）に位置する低周波の４成分のみを、２×２画素を単位ブロックとしたときのDCT係数として選択する。一方、２−４−８ＤＣＴモードの場合には、図６に示されているように、４×８画素を単位ブロック（フィールド単位）として得られた２組の３２個のＤＣＴ係数１０，１１のそれぞれの和と差が８×８DCT係数１２に格納されることから、和のＤＣＴ係数について、（０、０）、（０、１）、（１、０）、（１、１）に位置する低周波の４成分のみを、２×２画素を単位ブロックとしたときのDCT係数として選択する。
【００２２】
ステップＳ１２では、ステップＳ１１で選択された４個のＤＣＴ係数に２×２の逆DCT変換を施す。８−８ＤＣＴモードと２−４−８ＤＣＴモードのいずれの場合も、逆ＤＣＴ変換に同じ基底を用いる。このとき、２×２行列の逆DCT変換は加減算とシフト演算のみで実現される。
【００２３】
ステップＳ１３では、全てのブロックが処理されたか否かの判断がなされ、この判断が否定の時にはステップＳ１４に進んで次のブロックのＤＣＴ係数が入力され、ステップＳ１１でこのＤＣＴ係数から４個のＤＣＴ係数が選択される。全てのブロックが処理されると、ステップＳ１３の判断は肯定となる。この処理により、原画像の縦横それぞれ１／４サイズの近似画像ｄが生成される。該近似画像ｄは、第１の動きベクトル検出部３へ出力される。以上で、近似画像生成部２の処理は終了する。
【００２４】
図４は、第１の動きベクトル検出部３の動作を示すフローチャートである。第１の動きベクトル検出部３は３つの処理を行う。これらは、マクロブロック（ＭＢ）のクラス分類処理（ステップＳ２１）、動きベクトル候補の個数決定処理（ステップＳ２２）、およびブロックマッチング処理（ステップＳ２３）である。第１の動きベクトル検出部３は、近似画像から動きベクトルを粗い解像度で検出し、動きベクトル候補ｅを第２の動きベクトル検出部４へ出力する。
【００２５】
DVでは量子化情報としてブロック毎に４種類のいずれかの量子化テーブルが与えられているので、ステップＳ２１のクラス分類処理では、ブロック毎に該量子化テーブルの番号を取得する。そして、２×２のブロック毎に最も粗く量子化する量子化テーブルが含まれる個数をクラス番号とする。例えば、前記量子化テーブルの番号は、量子化の粗さに応じて小さい方から順に０〜３となっており、クラス番号として、０〜３のいずれかを取得する。
【００２６】
または、２×２ブロック毎に、前記量子化テーブルの番号の和をクラス番号とする。この場合には、クラス番号は０〜１２のいずれかを取得する。
【００２７】
ステップＳ２２の動きベクトル候補の個数決定処理は、ステップＳ２１のクラス分類処理で得られたクラス番号の数に応じてＭＶ候補の最大個数を設定する。例えば、前記の後者のように、クラス番号０〜１２のいずれかを取得した時には、クラス番号の数を４で割った商を利用する。取得したクラス番号が例えば「１２」であれば、検出する動きベクトル候補の最大個数は「３」とする。各マクロブロックの量子化器の精細度が細かい場合、次のステップＳ２３のブロックマッチング処理部は省略される。クラス番号が大きいということは、画像のテクスチャが細かいことを意味するので、テクスチャが失われる縮小画像の探索は信頼性に乏しい。この場合には動きベクトル候補の個数を多くする。
【００２８】
ステップＳ２３のブロックマッチング処理では、１／４の大きさの近似画像から動きベクトルを検出するため、原画像のマクロブロック（１６×１６画素）に相当する４×４画素を単位ブロックとしてブロックマッチングを行う。差分絶対値の和を計算し、最小となる位置を動きベクトル候補として検出する。動きベクトル候補の最大個数以内であれば、最小の差分絶対値和を２倍した値を下回る位置も動きベクトル候補とする。検出された動きベクトル候補ｅは第２の動きベクトル検出部４へ出力される。以上で、第１の動きベクトル検出の処理は終了する。
【００２９】
図５は、前記復号部６の動作を示すフローチャートである。復号部６は符号データ抽出部１で抽出されたDCT係数から復号画像を生成する。
【００３０】
復号部６は、２−４−８係数分離処理（ステップＳ３１）と、逆DCT処理（ステップＳ３２）とを行う。ステップＳ３１の２−４−８係数分離処理は、２×４×８DCTモードのブロックに対して、係数の和と差で格納されている６４個の係数を３２個の係数２ブロック分に再構成する。すなわち、図６に示されているように、２個の４×８ブロックの係数の和により構成されている４×８ブロック１２ａと、差により構成されている４×８ブロック１２ｂからなる８×８ブロック１２を、２個の４×８ブロック１０，１１に再構成する。
【００３１】
ステップＳ３２の逆DCT処理は、該ブロック１０，１１の全てのDCT係数を逆DCT処理し、輝度信号と色差信号を生成する。復号された画像の輝度信号は第２の動きベクトル検出部４と再符号化部５に送られ、復号された色差信号ｉはサンプリング変換部７へ送られる。以上で、復号部６の処理は終了する。
【００３２】
図７は、サンプリング変換部７の動作を示すフローチャートである。DVとMPEGでは、サンプリングが異なる。輝度信号は両者で同じであるが、色差信号には違いがある。そこで、色差信号ｉについては、サンプリング変換を行う。サンプリング変換部７は、縮小処理と拡大処理から構成される。
【００３３】
図８は、４：１：１と４：２：０と４：２：２の輝度信号と色差信号の構成を表す。該４：１：１は、色差信号が、輝度信号と比べて、水平方向に１／４にサブサンプリングされた信号を示し、４：２：０は、輝度信号と比べて、水平方向および垂直方向に１／２にサブサンプリングされた信号を示し、また、４：２：２は、輝度信号に比べて、水平方向に１／２にサブサンプリングされた信号を示す。
【００３４】
図８を参照して、図７の処理を説明する。まず要求されている出力が、４：２：０の場合について説明する。ステップＳ４１の入力がPAL信号の場合には、DVの色差信号は４：２：０であるため、色差変換部の処理は行わない。一方、該入力がNTSC信号の場合には、DVの色差信号は４：１：１であるため、ステップＳ４２，Ｓ４３，Ｓ４４に進んで、４：１：１色差信号をＳ４：２：０色差信号に変換する。縮小処理は、縮小方向に並ぶ２つの４：１：１の色差信号ごとに平均を計算し、新たな値とすることで１／２に縮小させる。拡大処理は拡大方向に並ぶ２つの値ごとに平均値を計算し、２値の間に補間値として挿入することで２倍に拡大する。変換によって得られた４：２：０色差信号は再符号化部ｓ７へ出力される。
【００３５】
一方、要求されている出力が４：２：２の場合には、NTSCとPALに関わらず４：２：２信号へ変換する。すなわち、ステップＳ４１の入力がPAL方式の場合には、ステップＳ４５，Ｓ４６に進み、該Ｓ４６の拡大処理により垂直方向へ２倍に拡大する。該入力がNTSC方式の場合には、ステップＳ４２、Ｓ４４に進み、Ｓ４４の水平２倍拡大処理により、４：１：１信号を水平方向に２倍拡大する。
【００３６】
図９は、第２の動きベクトル検出部４の動作を説明するフローチャートである。第２の動きベクトル検出部４は、復号部６で復号された輝度信号ｈを用いて第１の動きベクトル検出部３で検出された動きベクトルｅの空間解像度を高め、正確な動きベクトルを決定する。第２の動きベクトル検出部４は、検出の対象位置の設定処理（ステップＳ５１）と、対象位置のブロックマッチング処理（ステップＳ５２）から主に構成され、階層的に検出対象を絞り込む。
【００３７】
ステップＳ５１の対象位置の設定処理は、初期設定として第１の動きベクトル検出部３の検出結果に前回検出された動きベクトルを候補に加え、これらを検出の中心位置とし、周囲のブロックまでの距離を表す近傍距離を２画素と設定する。但し、第１の動きベクトル検出部３が検出した動きベクトル候補ｅが複数存在する場合は、全ての候補に対して差分絶対値和を求め最小となる点を中心位置とする。設定処理は中心位置と指定した距離だけ離れた周囲８点を合わせた９点を検出対象とする。
【００３８】
ステップＳ５２のブロックマッチング処理は、指定された９点のブロック毎の差分絶対値和を計算し、最小となる点を探す。ステップＳ５３では、最小となった点が中心位置か否かの判断がなされ、一致しない場合はステップＳ５１に戻って最小となった点を新たな中心として、検出範囲内で該処理を反復する。ステップＳ５３の判断が肯定になると、ステップＳ５４に進んで、周囲のブロックまでの距離を表す近傍距離を１画素と設定する。そして、指定された９点のブロック毎の差分絶対値和を計算し、最小となる点を探す。
【００３９】
次に、ステップＳ５５に進み、近傍距離を０．５画素として、９点の中から差分絶対値和の最小値を求め、その点を動きベクトルとする。また、ブロックマッチングにおいて差分絶対値和を計算する過程で、それまでの差分絶対値和の最小値と常に比較を行う。最小値を越えた瞬間に差分絶対値和計算を中断し、動きベクトルではないと判断する。動きベクトル検出部４の検出結果である動きベクトルｆは、再符号化部５へ送られる。以上で第２の動きベクトル検出部４の処理を終了する。
【００４０】
再符号化部５は、復号部６で復号された輝度信号ｈとサンプリング変換部７で変換された色差信号ｊと第２の動きベクトル検出部４で検出された動きベクトルｆをもとに、符号化を行う。
【００４１】
【発明の効果】
以上の説明から明らかなように、本発明によれば、変換符号化によって圧縮符号化された動画像データを直接的に利用するようにしたので、動きベクトルを高速に、かつ高精度に検出することができるようになる。また、この結果、従来の動きベクトルを持たない変換方式（前記第1の変換方式）と比較して、画質を向上させることができる。
【００４２】
また、符号データの一部から近似画像を平易な演算で生成できるので、動きベクトルを高速に検出することができるようになる。この結果、動きベクトルを検出する変換方式（前記第2の変換方式）と比較しても、動きベクトル検出にかかる処理コストを抑えることができるようになる。
【図面の簡単な説明】
【図１】 本発明の一実施形態の構成を示すブロック図である。
【図２】 符号データ抽出部の機能を示すフローチャートである。
【図３】 近似画像生成部の機能を示すフローチャートである。
【図４】 第１の動きベクトル検出部の機能を示すフローチャートである。
【図５】 復号部の機能を示すフローチャートである。
【図６】 ２−４−８係数分離の動作説明図である。
【図７】 サンプリング変換部の機能を示すフローチャートである。
【図８】 輝度信号と色差信号の構成である４：１：１、４：２：０、４：２：２の説明図である。
【図９】 第２の動きベクトル検出部の機能を示すフローチャートである。
【符号の説明】
１・・・符号データ抽出部、２・・・近似画像生成部、３・・・第１の動きベクトル検出部、４・・・第２の動きベクトル検出部、５・・・再符号化部、６・・・復号部、７・・・サンプリング変換部、
【発明の属する技術分野】
この発明は符号化動画像変換装置に関し、特に、変換符号化を利用した圧縮符号化データそのものまたはその一部だけを復号した情報から、符号化方式を高速かつ高精度に変換できる符号化動画像変換装置に関する。
【０００２】
【従来の技術】
従来の符号化方式変換技術として、Digital Video（DV）フォーマットからMPEGへ変換する方式が報告されている。動きベクトル情報が無いDVデータをMPEGへ変換する場合、動きベクトル情報が無いままMPEGに変換する方法と、動きベクトル情報を設定してMPEGに変換する方法の２通りの方法が考えられる。
【０００３】
動きベクトル情報が無いまま変換する方式（以下、第１の変換方式）では、動画像を全てフレーム内符号化フレーム（I-picture）としてMPEGに変換する。動きベクトル情報を設定してMPEGに変換する方式（以下、第２の変換方式）では、1次元逆DCT変換を垂直方向と水平方向それぞれに適用し、階層的な動きベクトル探索を行う。
【０００４】
初めに低解像度の１次元逆DCT変換によって水平方向の最適位置を求め、その場所に対して垂直方向での最適位置を動きベクトルとして抽出する。垂直方向の探索では1画素単位の精度で動きベクトルを抽出できるように、双一次線形補間により補間された近似画像を使用する。次に、高解像度の１次元逆DCT変換によって、同処理を繰り返す。最終的には、DVデータを完全に復号した画像をもとに動きベクトルを検出する。この動きベクトルをもとに、DVからMPEGへの変換を実現する。
【０００５】
【発明が解決しようとする課題】
動きベクトルの画質改善効果はビットレートが低いほど顕著であるため、動きベクトル情報を利用しない第１の方式では低ビットレートのMPEGには変換できないという問題がある。一方、第2の方式は動きベクトルを利用するため第１の方式の問題点は解決される。しかし、動きベクトルを検出する処理に時間がかかるという問題がある。DCT係数を部分的に逆DCT変換して利用するので、逆DCT変換を用いることで処理負荷の低減に限界があり、さらに近似画像生成のための補間処理も必要であるため、計算量を抑えることが困難である。
【０００６】
本発明の目的は、前述した従来技術の問題点を解消し、変換符号化によって圧縮された符号化データそのもの、またはその一部だけを復号した情報をもとに符号化方式を変換する符号化動画像変換装置を提供することにある。他の目的は、短い時間に、高精度で、符号化方式を変換して出力できる符号化動画像変換装置を提供することにある。
【０００７】
【課題を解決するための手段】
前述の目的を達成するために、本発明は、符号化方式を変換して出力する符号化動画像変換装置において、圧縮動画像データを部分的に復号して、変換符号化係数および量子化情報を抽出する符号データ抽出部と、前記抽出された変換符号化係数から近似画像を生成する近似画像生成部と、前記抽出された量子化情報と前記近似画像から動きベクトル候補の検出を行う第１の動きベクトル検出部と、前記抽出された変換符号化係数を復号し輝度信号および色差信号を生成する復号部と、前記復号部で生成された輝度信号と、前記第１の動きベクトル検出部で検出された動きベクトルとを基に、動きベクトルの検出を行う第２の動きベクトル検出部と、前記第２の動きベクトル検出部で検出された動きベクトル情報と、前記復号部で復号した輝度信号および変換された色差信号をもとに再符号化を行う再符号化部とを具備した点に特徴がある。また、前記復号部からの色差信号を入力とし、色差信号の構成を変換し、再符号化部へ出力するサンプリング変換部をさらに備えた点に他の特徴がある。
【０００８】
これらの特徴によれば、動きベクトルを検出する処理時間を低減し、かつ処理負荷を低減できるので、高速かつ高精度に符号化方式を変換することができるようになる。
【０００９】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。なお、以下に説明する実施形態は、入力動画像のフォーマットとしてDVフォーマットを使用しているが、本発明はこれに限定されるものではない。
【００１０】
図１は、本発明の一実施形態の全体構成を示すブロック図である。システム全体の入力として、DV形式によって圧縮符号化された動画像の符号化データａが与えられる。符号データ抽出部１は、入力されたDV符号化データaを部分的に復号し、DCT係数ｂを近似画像生成部２と復号部６に送り、量子化情報ｃを第１の動きベクトル検出部３に出力する。
【００１１】
近似画像生成部２は、符号データ抽出部１で抽出されたDCT係数ｂの一部をもとに近似画像を生成する。近似画像の生成には、後述の説明から明らかになるように、一例としてDCT係数の直流成分と低周波寄りの３つの交流成分を利用する。生成された近似画像ｄは、第１の動きベクトル検出部３へ送られる。
【００１２】
第１の動きベクトル検出部３は、近似画像生成部２で作成された近似画像ｄと符号データ抽出部１で抽出された量子化情報ｃをもとに、動きベクトル（ＭＶ）候補を粗く検出する。検出された動きベクトル候補ｅは、第２の動きベクトル検出部４に送られる。
【００１３】
復号部６は、符号データ抽出部１で得られたDCT係数ｂを逆変換し、輝度信号ｈと色差信号ｉに復元する。輝度信号ｈは第２の動きベクトル検出部４と再符号化部５へ出力され、一方色差信号ｉはサンプリング変換部７へ出力する。
【００１４】
サンプリング変換部７は、復号部６で復号された色差信号ｉを入力とし、符号化方式の色差信号構成に相違があればサンプリングを変換する。変換された色差信号ｊは、再符号化部５へ出力される。
【００１５】
第２の動きベクトル検出部４は、第１の動きベクトル検出部３で検出された動きベクトル候補ｅと復号部６で復号された輝度信号ｈを入力とする。そして、動きベクトル候補ｅを初期位置として、階層的に動きベクトルｆを検出する。検出された動きベクトルｆは、再符号化部５へ出力される。
【００１６】
再符号化部５は、復号部６で復号された輝度信号ｈとサンプリング変換部７で変換された色差信号ｊと第２の動きベクトル検出部４で検出された動きベクトルｆから、新たな符号化方式へと符号化する。なお、前記サンプリング変換部７は省略することができる。
【００１７】
次に、前記した各構成要素１〜７の動作または機能を詳細に説明する。
【００１８】
図２は、前記符号データ抽出部１の動作を示すフローチャートである。符号データ抽出部１は、４つの処理（ステップＳ１〜Ｓ４）、すなわち可変長復号（ＶＬＤ）処理、逆量子化（ＩＱ）処理、逆重み付け（ＩＷ）処理、および再配置（de-shuffle）処理を行う。符号データ抽出部１は、これらのステップＳ１〜Ｓ４の処理により、入力されたＤＶの圧縮符号化データａをＭＰＥＧのDCT係数の再配置まで復号し、この復号により得られたDCT係数ｂを近似画像生成部２と復号部６へ、量子化情報ｃを第１の動きベクトル検出部３へと出力する。
【００１９】
なお、該符号データ抽出部１に入力するＤＶ符号化データａの色差信号は、輝度信号と比べて、水平方向に１／４にサブサンプリングされた４：１：１信号、または輝度信号と比べて、水平方向および垂直方向に１／２にサブサンプリングされた４：２：０信号である。
【００２０】
図３は、前記近似画像生成部２の動作を示すフローチャートである。近似画像生成部２は、４成分のＤＣＴ係数を選択する処理（ステップＳ１１）と、２×２逆DCT変換処理（ステップＳ１２）を行う。
【００２１】
すなわち、ステップＳ１１では、８−８ＤＣＴモードの場合、８×８画素を単位ブロック（フレーム単位）として得られた６４個のDCT係数から、（０、０）、（０、１）、（１、０）、（１、１）に位置する低周波の４成分のみを、２×２画素を単位ブロックとしたときのDCT係数として選択する。一方、２−４−８ＤＣＴモードの場合には、図６に示されているように、４×８画素を単位ブロック（フィールド単位）として得られた２組の３２個のＤＣＴ係数１０，１１のそれぞれの和と差が８×８DCT係数１２に格納されることから、和のＤＣＴ係数について、（０、０）、（０、１）、（１、０）、（１、１）に位置する低周波の４成分のみを、２×２画素を単位ブロックとしたときのDCT係数として選択する。
【００２２】
ステップＳ１２では、ステップＳ１１で選択された４個のＤＣＴ係数に２×２の逆DCT変換を施す。８−８ＤＣＴモードと２−４−８ＤＣＴモードのいずれの場合も、逆ＤＣＴ変換に同じ基底を用いる。このとき、２×２行列の逆DCT変換は加減算とシフト演算のみで実現される。
【００２３】
ステップＳ１３では、全てのブロックが処理されたか否かの判断がなされ、この判断が否定の時にはステップＳ１４に進んで次のブロックのＤＣＴ係数が入力され、ステップＳ１１でこのＤＣＴ係数から４個のＤＣＴ係数が選択される。全てのブロックが処理されると、ステップＳ１３の判断は肯定となる。この処理により、原画像の縦横それぞれ１／４サイズの近似画像ｄが生成される。該近似画像ｄは、第１の動きベクトル検出部３へ出力される。以上で、近似画像生成部２の処理は終了する。
【００２４】
図４は、第１の動きベクトル検出部３の動作を示すフローチャートである。第１の動きベクトル検出部３は３つの処理を行う。これらは、マクロブロック（ＭＢ）のクラス分類処理（ステップＳ２１）、動きベクトル候補の個数決定処理（ステップＳ２２）、およびブロックマッチング処理（ステップＳ２３）である。第１の動きベクトル検出部３は、近似画像から動きベクトルを粗い解像度で検出し、動きベクトル候補ｅを第２の動きベクトル検出部４へ出力する。
【００２５】
DVでは量子化情報としてブロック毎に４種類のいずれかの量子化テーブルが与えられているので、ステップＳ２１のクラス分類処理では、ブロック毎に該量子化テーブルの番号を取得する。そして、２×２のブロック毎に最も粗く量子化する量子化テーブルが含まれる個数をクラス番号とする。例えば、前記量子化テーブルの番号は、量子化の粗さに応じて小さい方から順に０〜３となっており、クラス番号として、０〜３のいずれかを取得する。
【００２６】
または、２×２ブロック毎に、前記量子化テーブルの番号の和をクラス番号とする。この場合には、クラス番号は０〜１２のいずれかを取得する。
【００２７】
ステップＳ２２の動きベクトル候補の個数決定処理は、ステップＳ２１のクラス分類処理で得られたクラス番号の数に応じてＭＶ候補の最大個数を設定する。例えば、前記の後者のように、クラス番号０〜１２のいずれかを取得した時には、クラス番号の数を４で割った商を利用する。取得したクラス番号が例えば「１２」であれば、検出する動きベクトル候補の最大個数は「３」とする。各マクロブロックの量子化器の精細度が細かい場合、次のステップＳ２３のブロックマッチング処理部は省略される。クラス番号が大きいということは、画像のテクスチャが細かいことを意味するので、テクスチャが失われる縮小画像の探索は信頼性に乏しい。この場合には動きベクトル候補の個数を多くする。
【００２８】
ステップＳ２３のブロックマッチング処理では、１／４の大きさの近似画像から動きベクトルを検出するため、原画像のマクロブロック（１６×１６画素）に相当する４×４画素を単位ブロックとしてブロックマッチングを行う。差分絶対値の和を計算し、最小となる位置を動きベクトル候補として検出する。動きベクトル候補の最大個数以内であれば、最小の差分絶対値和を２倍した値を下回る位置も動きベクトル候補とする。検出された動きベクトル候補ｅは第２の動きベクトル検出部４へ出力される。以上で、第１の動きベクトル検出の処理は終了する。
【００２９】
図５は、前記復号部６の動作を示すフローチャートである。復号部６は符号データ抽出部１で抽出されたDCT係数から復号画像を生成する。
【００３０】
復号部６は、２−４−８係数分離処理（ステップＳ３１）と、逆DCT処理（ステップＳ３２）とを行う。ステップＳ３１の２−４−８係数分離処理は、２×４×８DCTモードのブロックに対して、係数の和と差で格納されている６４個の係数を３２個の係数２ブロック分に再構成する。すなわち、図６に示されているように、２個の４×８ブロックの係数の和により構成されている４×８ブロック１２ａと、差により構成されている４×８ブロック１２ｂからなる８×８ブロック１２を、２個の４×８ブロック１０，１１に再構成する。
【００３１】
ステップＳ３２の逆DCT処理は、該ブロック１０，１１の全てのDCT係数を逆DCT処理し、輝度信号と色差信号を生成する。復号された画像の輝度信号は第２の動きベクトル検出部４と再符号化部５に送られ、復号された色差信号ｉはサンプリング変換部７へ送られる。以上で、復号部６の処理は終了する。
【００３２】
図７は、サンプリング変換部７の動作を示すフローチャートである。DVとMPEGでは、サンプリングが異なる。輝度信号は両者で同じであるが、色差信号には違いがある。そこで、色差信号ｉについては、サンプリング変換を行う。サンプリング変換部７は、縮小処理と拡大処理から構成される。
【００３３】
図８は、４：１：１と４：２：０と４：２：２の輝度信号と色差信号の構成を表す。該４：１：１は、色差信号が、輝度信号と比べて、水平方向に１／４にサブサンプリングされた信号を示し、４：２：０は、輝度信号と比べて、水平方向および垂直方向に１／２にサブサンプリングされた信号を示し、また、４：２：２は、輝度信号に比べて、水平方向に１／２にサブサンプリングされた信号を示す。
【００３４】
図８を参照して、図７の処理を説明する。まず要求されている出力が、４：２：０の場合について説明する。ステップＳ４１の入力がPAL信号の場合には、DVの色差信号は４：２：０であるため、色差変換部の処理は行わない。一方、該入力がNTSC信号の場合には、DVの色差信号は４：１：１であるため、ステップＳ４２，Ｓ４３，Ｓ４４に進んで、４：１：１色差信号をＳ４：２：０色差信号に変換する。縮小処理は、縮小方向に並ぶ２つの４：１：１の色差信号ごとに平均を計算し、新たな値とすることで１／２に縮小させる。拡大処理は拡大方向に並ぶ２つの値ごとに平均値を計算し、２値の間に補間値として挿入することで２倍に拡大する。変換によって得られた４：２：０色差信号は再符号化部ｓ７へ出力される。
【００３５】
一方、要求されている出力が４：２：２の場合には、NTSCとPALに関わらず４：２：２信号へ変換する。すなわち、ステップＳ４１の入力がPAL方式の場合には、ステップＳ４５，Ｓ４６に進み、該Ｓ４６の拡大処理により垂直方向へ２倍に拡大する。該入力がNTSC方式の場合には、ステップＳ４２、Ｓ４４に進み、Ｓ４４の水平２倍拡大処理により、４：１：１信号を水平方向に２倍拡大する。
【００３６】
図９は、第２の動きベクトル検出部４の動作を説明するフローチャートである。第２の動きベクトル検出部４は、復号部６で復号された輝度信号ｈを用いて第１の動きベクトル検出部３で検出された動きベクトルｅの空間解像度を高め、正確な動きベクトルを決定する。第２の動きベクトル検出部４は、検出の対象位置の設定処理（ステップＳ５１）と、対象位置のブロックマッチング処理（ステップＳ５２）から主に構成され、階層的に検出対象を絞り込む。
【００３７】
ステップＳ５１の対象位置の設定処理は、初期設定として第１の動きベクトル検出部３の検出結果に前回検出された動きベクトルを候補に加え、これらを検出の中心位置とし、周囲のブロックまでの距離を表す近傍距離を２画素と設定する。但し、第１の動きベクトル検出部３が検出した動きベクトル候補ｅが複数存在する場合は、全ての候補に対して差分絶対値和を求め最小となる点を中心位置とする。設定処理は中心位置と指定した距離だけ離れた周囲８点を合わせた９点を検出対象とする。
【００３８】
ステップＳ５２のブロックマッチング処理は、指定された９点のブロック毎の差分絶対値和を計算し、最小となる点を探す。ステップＳ５３では、最小となった点が中心位置か否かの判断がなされ、一致しない場合はステップＳ５１に戻って最小となった点を新たな中心として、検出範囲内で該処理を反復する。ステップＳ５３の判断が肯定になると、ステップＳ５４に進んで、周囲のブロックまでの距離を表す近傍距離を１画素と設定する。そして、指定された９点のブロック毎の差分絶対値和を計算し、最小となる点を探す。
【００３９】
次に、ステップＳ５５に進み、近傍距離を０．５画素として、９点の中から差分絶対値和の最小値を求め、その点を動きベクトルとする。また、ブロックマッチングにおいて差分絶対値和を計算する過程で、それまでの差分絶対値和の最小値と常に比較を行う。最小値を越えた瞬間に差分絶対値和計算を中断し、動きベクトルではないと判断する。動きベクトル検出部４の検出結果である動きベクトルｆは、再符号化部５へ送られる。以上で第２の動きベクトル検出部４の処理を終了する。
【００４０】
再符号化部５は、復号部６で復号された輝度信号ｈとサンプリング変換部７で変換された色差信号ｊと第２の動きベクトル検出部４で検出された動きベクトルｆをもとに、符号化を行う。
【００４１】
【発明の効果】
以上の説明から明らかなように、本発明によれば、変換符号化によって圧縮符号化された動画像データを直接的に利用するようにしたので、動きベクトルを高速に、かつ高精度に検出することができるようになる。また、この結果、従来の動きベクトルを持たない変換方式（前記第1の変換方式）と比較して、画質を向上させることができる。
【００４２】
また、符号データの一部から近似画像を平易な演算で生成できるので、動きベクトルを高速に検出することができるようになる。この結果、動きベクトルを検出する変換方式（前記第2の変換方式）と比較しても、動きベクトル検出にかかる処理コストを抑えることができるようになる。
【図面の簡単な説明】
【図１】 本発明の一実施形態の構成を示すブロック図である。
【図２】 符号データ抽出部の機能を示すフローチャートである。
【図３】 近似画像生成部の機能を示すフローチャートである。
【図４】 第１の動きベクトル検出部の機能を示すフローチャートである。
【図５】 復号部の機能を示すフローチャートである。
【図６】 ２−４−８係数分離の動作説明図である。
【図７】 サンプリング変換部の機能を示すフローチャートである。
【図８】 輝度信号と色差信号の構成である４：１：１、４：２：０、４：２：２の説明図である。
【図９】 第２の動きベクトル検出部の機能を示すフローチャートである。
【符号の説明】
１・・・符号データ抽出部、２・・・近似画像生成部、３・・・第１の動きベクトル検出部、４・・・第２の動きベクトル検出部、５・・・再符号化部、６・・・復号部、７・・・サンプリング変換部、
Claims (25)
- 符号化方式を変換して出力する符号化動画像変換装置において、
圧縮動画像データを部分的に復号して、変換符号化係数および量子化情報を抽出する符号データ抽出部と、
前記抽出された変換符号化係数から近似画像を生成する近似画像生成部と、
前記抽出された量子化情報と前記近似画像から動きベクトル候補の検出を行う第１の動きベクトル検出部と、
前記抽出された変換符号化係数を復号し輝度信号および色差信号を生成する復号部と、
前記復号部で生成された輝度信号と、前記第１の動きベクトル検出部で検出された動きベクトルとを基に、動きベクトルの検出を行う第２の動きベクトル検出部と、
前記第２の動きベクトル検出部で検出された動きベクトル情報と、前記復号部で復号した輝度信号および変換された色差信号をもとに再符号化を行う再符号化部とを具備したことを特徴とする符号化動画像変換装置。 - 符号化方式を変換して出力する符号化動画像変換装置において、
圧縮動画像データを部分的に復号して、変換符号化係数および量子化情報を抽出する符号データ抽出部と、
前記抽出された変換符号化係数から近似画像を生成する近似画像生成部と、
前記抽出された量子化情報と前記近似画像から動きベクトル候補の検出を行う第１の動きベクトル検出部と、
前記抽出された変換符号化係数を復号し輝度信号および色差信号を生成する復号部と、
前記復号部からの色差信号を入力とし、色差信号の構成を変換し、再符号化部へ出力するサンプリング変換部と、
前記復号部で生成された輝度信号と、前記第１の動きベクトル検出部で検出された動きベクトルとを基に、動きベクトルの検出を行う第２の動きベクトル検出部と、
前記第２の動きベクトル検出部で検出された動きベクトル情報、前記復号部で復号した輝度信号および前記サンプリング変換部で変換された色差信号をもとに再符号化を行う再符号化部とを具備したことを特徴とする符号化動画像変換装置。 - 請求項１または２に記載の符号化動画像変換装置において、
前記符号データ抽出部への入力情報は、フレーム内符号化のみで圧縮された動画像データであり、
前記再符号化部からの出力情報は、フレーム内符号化とフレーム間符号化を利用したハイブリッド方式で圧縮符号化された動画像データであることを特徴とする符号化動画像変換装置。 - 請求項３に記載の符号化動画像変換装置において、
前記入力情報の色差信号は、輝度信号と比べて、水平方向に１／４にサブサンプリングされた４：１：１信号、または輝度信号と比べて、水平方向および垂直方向に１／２にサブサンプリングされた４：２：０信号であることを特徴とする符号化動画像変換装置。 - 請求項３に記載の符号化動画像変換装置において、
前記出力情報の色差信号は、輝度信号と比べて、水平方向および垂直方向に１／２にサブサンプリングされた４：２：０信号、または水平方向に１／２にサブサンプリングされた４：２：２信号であることを特徴とする符号化動画像変換装置。 - 請求項１または２に記載の符号化動画像変換装置において、
前記符号データ抽出部は、変換符号化がフィールド単位で構成される場合は、格納されている第１フィールドの変換符号化係数と第２フィールドの変換符号化係数の和と差の符号化符号化係数を出力することを特徴とする符号化動画像変換装置。 - 請求項１または２に記載の符号化動画像変換装置において、
前記近似画像生成部は、変換符号化係数の低周波成分のみを復号することによって近似画像を生成することを特徴とする符号化動画像変換装置。 - 請求項７に記載の符号化動画像変換装置において、
前記近似画像生成部は、変換符号化がフィールド単位で構成される場合は、格納されている第１フィールドと第２フィールドの係数の和から直流成分と低周波寄りの３つの交流成分を選択することを特徴とする符号化動画像変換装置。 - 請求項１または２に記載の符号化動画像変換装置において、
前記近似画像生成部は、選択された４係数に対して２×２単位の逆変換符号化により近似画像を生成することを特徴とする符号化動画像変換装置。 - 請求項９に記載の符号化動画像変換装置において、
前記近似画像生成部は、変換符号化がフレーム単位またはフィールド単位のいずれにおいても、逆変換符号化は同一の変換基底を用いた逆変換により近似画像を生成することを特徴とする符号化動画像変換装置。 - 請求項１または２に記載の符号化動画像変換装置において、
前記第１の動きベクトル検出部は、低解像度の近似画像から得られた動きベクトル検出結果をもとに動きベクトル検出を行い、前記第２の動きベクトル検出部は、高解像度で動きベクトル探索を行うことにより、該第１、第２の動きベクトル検出は複数の異なる解像度の画像を階層的に利用して行うことを特徴とする符号化動画像変換装置。 - 請求項１１に記載の符号化動画像変換装置において、
各マクロブロックの量子化器の精細度が細かい場合、前記第１の動き検出部は省略されることを特徴とする符号化動画像変換装置。 - 請求項１ないし１２のいずれかに記載の符号化動画像変換装置において、
前記第1の動きベクトル検出部は、前記符号データ抽出部からの量子化情報をもとに動きベクトル候補の数を変更することを特徴とする符号化動画像変換装置。 - 請求項１３に記載の符号化動画像変換装置において、
前記第１の動き検出部は、前記動きベクトル候補の数を各マクロブロックの量子化器の精細度が粗くなるに従い増加させることを特徴とする符号化動画像変換装置。 - 請求項２に記載の符号化動画像変換装置において、
前記サンプリング変換部は、水平、垂直それぞれの拡大または縮小処理の組み合わせで構成されることを特徴とする符号化動画像変換装置。 - 請求項１５に記載の符号化動画像変換装置において、
前記サンプリング変換部は、４：１：１信号を４：２：０信号に変換する場合、４：１：１信号を垂直方向に縮小した後、水平方向に拡大し、
４：１：１信号を４：２：２信号に変換する場合、４：１：１信号を水平方向に拡大し、
４：２：０信号を４：２：２信号に変換する場合、垂直方向に拡大することを特徴とする符号化動画像変換装置。 - 請求項１５に記載の符号化動画像変換装置において、
前記サンプリング変換部は、入出力が共に４：２：０信号である場合、何の処理もしないことを特徴とする符号化動画像変換装置。 - 請求項１または２に記載の符号化動画像変換装置において、
前記第２の動きベクトル検出部は、前記第１の動きベクトル検出部からの動きベクトル候補と前記復号部からの輝度信号を入力とし、動きベクトルを検出し、再符号化部へ出力することを特徴とする符号化動画像変換装置。 - 請求項１８に記載の符号化動画像変換装置において、
前記動きベクトル候補に、前回検出された動きベクトルを加えることを特徴とする符号化動画像変換装置。 - 請求項１８に記載の符号化動画像変換装置において、
前記動きベクトル候補が複数存在する時は、前記第２の動きベクトル検出部は、差分絶対値和が最小となる点を初期値とすることを特徴とする符号化動画像変換装置。 - 請求項１８に記載の符号化動画像変換装置において、
前記第２の動きベクトル検出部は、前記第１の動きベクトル検出部によって検出された動きベクトル候補を探索の初期値とし、初期値を中心に動きベクトルを検出することを特徴とする符号化動画像変換装置。 - 請求項２１に記載の符号化動画像変換装置において、
前記第２の動きベクトル検出部のブロックマッチングは、ブロック毎の差分絶対値和の計算過程で、それまでの差分絶対値和の最小値を超えた瞬間に該ブロックの計算を中断し、動きベクトルとして不適合と判断することを特徴とする符号化動画像変換装置。 - 請求項２２に記載の符号化動画像変換装置において、
前記ブロックマッチングは、探索位置を２画素単位で走査し、走査単位を少数画素まで段階的に小さくすることを特徴とする符号化動画像変換装置。 - 請求項２２に記載の符号化動画像変換装置において、
前記ブロックマッチングは、初期位置と周囲８点から差分絶対値和が最小値を持つ位置を検出する特徴とする符号化動画像変換装置。 - 請求項２２に記載の符号化動画像変換装置において、
前記ブロックマッチングは、最小値を持つ点を新たな初期位置として周囲８点とのマッチングを反復し、探索範囲内で且つ近傍に最小値が存在しないとき動きベクトルとすることを特徴とする符号化動画像変換装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002070878A JP3874179B2 (ja) | 2002-03-14 | 2002-03-14 | 符号化動画像変換装置 |
| US10/384,708 US7151799B2 (en) | 2002-03-14 | 2003-03-11 | Transcoder for coded video |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002070878A JP3874179B2 (ja) | 2002-03-14 | 2002-03-14 | 符号化動画像変換装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003274428A JP2003274428A (ja) | 2003-09-26 |
| JP3874179B2 true JP3874179B2 (ja) | 2007-01-31 |
Family
ID=28035081
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002070878A Expired - Fee Related JP3874179B2 (ja) | 2002-03-14 | 2002-03-14 | 符号化動画像変換装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7151799B2 (ja) |
| JP (1) | JP3874179B2 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8311095B2 (en) * | 2002-07-17 | 2012-11-13 | Onmobile Global Limited | Method and apparatus for transcoding between hybrid video codec bitstreams |
| US20040057521A1 (en) * | 2002-07-17 | 2004-03-25 | Macchina Pty Ltd. | Method and apparatus for transcoding between hybrid video CODEC bitstreams |
| US7715482B2 (en) * | 2003-08-14 | 2010-05-11 | Broadcom Corporation | System and method for generating pseudo MPEG information from digital video information |
| US7489362B2 (en) | 2003-03-04 | 2009-02-10 | Broadcom Corporation | Television functionality on a chip |
| US7142601B2 (en) * | 2003-04-14 | 2006-11-28 | Mitsubishi Electric Research Laboratories, Inc. | Transcoding compressed videos to reducing resolution videos |
| EP1618744B1 (en) * | 2003-04-17 | 2007-09-05 | Koninklijke Philips Electronics N.V. | Video transcoding |
| JP4470431B2 (ja) * | 2003-10-01 | 2010-06-02 | ソニー株式会社 | データ処理装置およびその方法 |
| KR101196429B1 (ko) * | 2004-03-12 | 2012-11-01 | 삼성전자주식회사 | 동영상 트랜스코딩 방법 및 그 장치, 이에 사용되는움직임 벡터 보간방법 |
| DE102004038110B3 (de) * | 2004-08-05 | 2005-12-29 | Siemens Ag | Verfahren zum Codieren und Decodieren, sowie Codier- und Decodiervorrichtung zur Videocodierung |
| EP1829027A1 (en) * | 2004-12-15 | 2007-09-05 | Telefonaktiebolaget LM Ericsson (publ) | Method and device for encoding mode changing of encoded data streams |
| US8514929B2 (en) * | 2005-01-05 | 2013-08-20 | Creative Technology Ltd | Combined audio/video/USB device |
| US7970049B2 (en) * | 2005-01-05 | 2011-06-28 | Creative Technology Ltd | Method and apparatus for encoding video in conjunction with a host processor |
| US7606552B2 (en) * | 2005-11-10 | 2009-10-20 | Research In Motion Limited | System and method for activating an electronic device |
| US7672377B2 (en) * | 2006-04-21 | 2010-03-02 | Dilithium Holdings, Inc. | Method and system for video encoding and transcoding |
| US20080219326A1 (en) * | 2007-03-09 | 2008-09-11 | John Santhoff | Wireless multimedia link |
| AU2007231799B8 (en) * | 2007-10-31 | 2011-04-21 | Canon Kabushiki Kaisha | High-performance video transcoding method |
| JP5256803B2 (ja) * | 2008-03-19 | 2013-08-07 | 株式会社メガチップス | トランスコーダ |
| US9357213B2 (en) * | 2012-12-12 | 2016-05-31 | Imagine Communications Corp. | High-density quality-adaptive multi-rate transcoder systems and methods |
| CN104394423B (zh) * | 2014-12-12 | 2018-03-13 | 山东电子职业技术学院 | 一种空间分辨率视频转码中宏块运动矢量的计算方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| NL8801155A (nl) * | 1988-05-03 | 1989-12-01 | Philips Nv | Televisie-overdrachtsysteem met hybride kodeerschakeling. |
| JPH0686272A (ja) | 1992-08-31 | 1994-03-25 | Sony Corp | 動きベクトル検出装置 |
| JP3460759B2 (ja) | 1995-08-04 | 2003-10-27 | 日本電信電話株式会社 | 動きベクトル検出方法と装置 |
| SE515535C2 (sv) * | 1996-10-25 | 2001-08-27 | Ericsson Telefon Ab L M | En transkoder |
| JP3901287B2 (ja) | 1997-02-27 | 2007-04-04 | 松下電器産業株式会社 | 映像信号変換装置、映像信号変換方法及び映像提供システム |
| JPH11122618A (ja) | 1997-10-15 | 1999-04-30 | Mega Chips Corp | 画像符号化装置 |
| CA2265089C (en) * | 1998-03-10 | 2007-07-10 | Sony Corporation | Transcoding system using encoding history information |
| FR2786353B1 (fr) * | 1998-11-25 | 2001-02-09 | Thomson Multimedia Sa | Procede et dispositif de codage d'images selon la norme mpeg pour l'incrustation d'imagettes |
| US6671322B2 (en) * | 2001-05-11 | 2003-12-30 | Mitsubishi Electric Research Laboratories, Inc. | Video transcoder with spatial resolution reduction |
-
2002
- 2002-03-14 JP JP2002070878A patent/JP3874179B2/ja not_active Expired - Fee Related
-
2003
- 2003-03-11 US US10/384,708 patent/US7151799B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7151799B2 (en) | 2006-12-19 |
| JP2003274428A (ja) | 2003-09-26 |
| US20030174770A1 (en) | 2003-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3874179B2 (ja) | 符号化動画像変換装置 | |
| JP3263960B2 (ja) | 動きベクトル符号器および復号器 | |
| JP3887178B2 (ja) | 信号符号化方法及び装置並びに復号方法及び装置 | |
| US7444026B2 (en) | Image processing apparatus and method of motion vector detection in a moving picture, and recording medium used therewith | |
| US7336829B2 (en) | Data processing apparatus and method and recording medium | |
| US7251279B2 (en) | Apparatus of motion estimation and mode decision and method thereof | |
| US20130089265A1 (en) | Method for encoding/decoding high-resolution image and device for performing same | |
| JP3655651B2 (ja) | データ処理装置 | |
| WO1999023834A1 (en) | Method for converting digital signal and apparatus for converting digital signal | |
| JP4847076B2 (ja) | トランスコーディングのために出力マクロブロック及び動きベクトルを推定する方法及びトランスコーダ | |
| WO2003056838A1 (en) | Moving picture compression/coding apparatus and motion vector detection method | |
| JP2007151062A (ja) | 画像符号化装置、画像復号装置及び画像処理システム | |
| JPH1023420A (ja) | 動き検出方法および動き検出装置 | |
| JP2001078199A (ja) | 映像信号符号化装置 | |
| JPH06153185A (ja) | 動き補償装置及びこれを用いた符号化装置 | |
| JP4206730B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JPH10150665A (ja) | 予測画像の作成方法及び画像符号化方法及び画像符号化装置 | |
| JP2002064826A (ja) | 圧縮画像の解像度変換装置及び方法 | |
| JP2685010B2 (ja) | 動画像信号の動き検出方法および動画像信号の動き検出器 | |
| JP2002142222A (ja) | 圧縮画像の画面サイズ変更装置 | |
| WO2000062554A1 (en) | Image processing method and image processing device | |
| JPH07203425A (ja) | 動画像の符号化・復号化装置 | |
| JP4513856B2 (ja) | ディジタル信号変換方法およびディジタル信号変換装置 | |
| JP3323876B2 (ja) | 画像符号化装置及び画像復号装置並びに画像符号化方法及び画像復号方法 | |
| JP2008118694A (ja) | ディジタル信号変換方法およびディジタル信号変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040922 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060703 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060712 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060908 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061018 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061018 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |