JP4164903B2 - Video code stream conversion apparatus and method - Google Patents

Video code stream conversion apparatus and method Download PDF

Info

Publication number
JP4164903B2
JP4164903B2 JP22016798A JP22016798A JP4164903B2 JP 4164903 B2 JP4164903 B2 JP 4164903B2 JP 22016798 A JP22016798 A JP 22016798A JP 22016798 A JP22016798 A JP 22016798A JP 4164903 B2 JP4164903 B2 JP 4164903B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
motion compensation
pixels
motion vector
number
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP22016798A
Other languages
Japanese (ja)
Other versions
JP2000059789A (en )
Inventor
賢二 杉山
Original Assignee
日本ビクター株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
画像を効率的に伝送、蓄積、表示するために、画像情報をより少ない符号量でディジタル信号にする高能率符号化において、符号列の変換に関する。 Transmitting an image efficiently, accumulate, in order to display, in the high efficiency encoding to a digital signal with less code amount of image information, regarding the conversion of the code sequence. 特に符号化方式がブロック単位で動き補償を行う画像間予測符号化であり、異なった画素数の画像に変換する場合に関する。 In particular coding scheme is inter-picture predictive coding that performs motion compensation on a block basis, concerning the case of converting the number of different pixels in the image.
【0002】 [0002]
【従来の技術】 BACKGROUND OF THE INVENTION
<動画像符号列の変換> <Conversion of video code stream>
MPEG等に代表される動画像高能率符号化で符号化された符号列を、異なったデータレートに変換、または可変転送レートを固定転送レートに変換する必要がある。 A code string encoded by the moving picture high-efficiency encoding typified by MPEG or the like, it is necessary to convert different converted to data rate or a variable transfer rate to the fixed transfer rate. この場合、画像を完全に復号化して異なったレートで再符号化するのが原則となるが、基本的な符号化処理が同じならば情報の一部はそのまま使うことが出来る。 In this case, to re-encoded at different rates completely decoded image is in principle, the basic encoding process can be used as part of, if the same information.
具体的には、動きベクトル(MV)情報はそのまま再符号化で用いられ、多くの演算を必要とする動きベクトル検出を省略出来る。 Specifically, the motion vector (MV) information is used as it is re-encoded, it can be omitted motion vector detection that requires a lot of computation. また、動き補償画像間予測処理が変わらないので、再符号化による劣化は量子化の違いのみとなり、最小限で済む。 Further, since the motion compensation inter-picture prediction processing does not change, degradation due to re-encoding is only the difference in quantization, minimal. この様な処理は1993年画像符号化シンポジウム予稿集1−6「画像の再符号化における符号化制御の検討」やH.Sun,W.Kwok and J.Zdepski,“Architectures for MPEG Compressed Bitstream Scaling"(IEEE Transaction on Circuit and System for Video Technology, Vol.6, No.2, April 1996)に記載されている。 Such processing is "Study of the coding control in the re-encoding of the image" 1993 image coding Symposium Proceedings 1-6 and H.Sun, W.Kwok and J.Zdepski, "Architectures for MPEG Compressed Bitstream Scaling" (IEEE Transaction on Circuit and System for Video Technology, Vol.6, No.2, April 1996) which is incorporated herein by reference.
【0003】 [0003]
<従来例動画像符号列の変換装置> <Converter of conventional video code stream>
図5は従来の動画像符号列の変換装置の一構成例を示したものである。 Figure 5 shows an example of a configuration of a converter of a conventional moving picture code string.
符号列入力端子1より入来する動き補償画像間予測符号化された符号列は、予測残差の符号列とMVの符号列が可変長復号化器2で固定長の符号に戻される。 Code sequence input terminal 1 code string predictive coding motion compensation inter-picture coming from the code string of the code string and MV prediction residual is returned to the code of fixed length variable length decoder 2. 固定長符号として得られたDCT(離散コサイン変換)係数は逆量子化器3で係数値となり、逆DCT4に与えられる。 The resulting DCT as a fixed length code (discrete cosine transform) coefficient becomes coefficient value inverse quantizer 3, fed to the anti DCT4. 逆DCT4は8×8個の係数を再生予測残差信号に変換し、加算器5に与える。 Conversely DCT4 is the 8 × 8 coefficients into a reproduction predictive residual signal, supplied to the adder 5. 加算器5では再生予測残差信号に後述の予測信号が加算され、再生画像となる。 Adder prediction signal described later to 5 in reproduction predictive residual signal is added, the reproduced image. 一方、可変長復号化器2から出力されるMV情報は、動き補償予測器7と14に与えられる。 On the other hand, MV information output from the variable length decoder 2 is supplied to a motion compensation predictor 7 and 14.
【0004】 [0004]
この様にして得られた再生画像信号は、画像メモリ8と予測減算器9に与えられる。 Reproduced image signal obtained in this way is given the image memory 8 and the prediction subtractor 9. 動き補償予測器7は、画像メモリ8に蓄積されている画像をMVに基づいて動き補償し、予測信号を形成する。 Motion compensated predictor 7, the image stored in the image memory 8 to the motion compensation based on MV, to form the prediction signal. 得られた予測信号は加算器5に与えられる。 The resulting prediction signal is applied to the adder 5. つぎに再符号化系について説明する。 It will be described next re-encoding system. 加算器5から得られる再生画像信号は、減算器9において動き補償予測器14から与えられる予測信号が減算され、予測残差となってDCT10に与えられる。 Reproduced image signal obtained from the adder 5, the predicted signal provided from the motion compensation predictor 14 is subtracted in the subtracter 9 is provided to DCT10 becomes prediction residual.
【0005】 [0005]
DCT10はDCTの変換処理を行い、得られた係数を量子化器11に与える。 DCT10 performs conversion processing of DCT, gives the resulting coefficients to the quantizer 11. 量子化器11は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器12と逆量子化器18に与える。 Quantizer 11 quantizes the coefficients by a predetermined step width, giving the sign and becomes coefficient fixed length to a variable length coder 12 and inverse quantizer 18. 量子化ステップ幅は、転送レート変更に対応して逆量子化器3の量子化ステップ幅と異なったものとなる。 Quantization step width will be different with the quantization step width of the inverse quantizer 3 in response to the transfer rate change. 可変長符号化器12は、固定長の予測残差を可変長符号で圧縮し、さらにMVを可変長符号化し、出来た符号列を符号列出力端子13より出力する。 Variable length encoder 12, a prediction residual of the fixed length compression in variable-length code, further MV variable-length coding, the possible code string output from the code sequence output terminal 13.
【0006】 [0006]
一方、逆量子化器18及び逆DCT17ではDCT10及び量子化器11の逆処理が行われ、画像間予測残差を再生する。 On the other hand, inverse processes of the inverse quantizer 18 and inverse DCT17 in DCT10 and quantizer 11 is performed, to reproduce the inter-picture prediction residuals. 得られた再生画像間予測残差は加算器16で画像間予測信号が加算され再生画像となり、画像メモリ15に与えられる。 The resulting reproduced image predictive residual picture prediction signals are added by the adder 16 becomes reproduction image is supplied to the image memory 15. 画像メモリ15に蓄えられている再生画像は、動き補償予測器14に与えられる。 Reproduced image is stored in the image memory 15 is supplied to a motion compensation predictor 14. 動き補償予測器14は、可変長復号化器2から与えられるMVに従って画像間予測信号を作り、減算器9と加算器16に与える。 Motion compensation predictor 14, making the inter-picture predictive signal in accordance with MV supplied from the variable length decoder 2, it gives the subtractor 9 and the adder 16.
ここで、動き補償画像間予測処理は復号化部と符号化部で同一であるため、加算器5と減算器9を相殺して、画像内処理のみ行えば良いようにも見える。 Since the motion-compensated image prediction processing is the same at the decoder and the encoding unit, offset the adder 5 and the subtractor 9, it is also visible to be performed within the image processing only. さらにDCT4は逆DCT11に対する可逆変換処理なので相殺して、再量子化のみ行えばよいようにも見える。 Further DCT4 is offset because reversible conversion processing for reverse DCT11, also looks like may be performed only requantization.
【0007】 [0007]
しかし、復号系の画像メモリ8に蓄えられている再生画像と、再符号化系の画像メモリ15に蓄えられている再生画像は、量子化処理が異なるので量子化誤差が異なった画像であり、予測信号が多少異なることになる。 However, a reproduced image is stored in the image memory 8 of the decoding system, stored its dependent reproduced image in the image memory 15 of the re-encoding system, an image of quantization error since different quantization processing are different, prediction signal is slightly different. 従って、画像間予測処理を省略すると1回の予測処理では大きな誤差とならないが、巡回型予測処理で誤差が累積し、大きなずれを生じる。 Therefore, omitting the inter-image prediction processing in one prediction process is not a large error, the error is accumulated in the cyclic prediction process, resulting in a large deviation. すなわち、予測処理等を省略すると大きな画質劣化を生じることになる。 That is, the resulting large image quality degradation is omitted prediction processing.
【0008】 [0008]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
従来の動画像符号列変換装置は、変換の前後で同じ画素数の画像の場合にしか対応していない。 Conventional video code stream conversion apparatus, only for the same number of pixels of an image before and after the transformation do not correspond. 同じ画素数の場合、動きベクトルはそのまま用いることが出来るが、変換前と変換後で画素数が異なると、動き補償ブロックの境界が変わるので、動きベクトルをそのまま使用することは出来ない。 For the same number of pixels, but the motion vector can be used as it is, when the number of pixels is different before and after conversion, the boundaries of the motion compensation block is changed, can not be used as a motion vector. 画素数の変換を伴う変換では、動きベクトル検出を再度行う必要があり、処理量や画質劣化が問題となっていた。 The conversion accompanying conversion of the number of pixels, it is necessary to perform motion vector detection again, the processing amount and the image quality deterioration becomes a problem.
本発明は以上の点に着目してなされたもので、入来した符号列を復号すると共に、符号列から取り出した動きベクトルを用いて異なった画素数の画像に対応した動きベクトルを再構成し、新たな動きベクトルを用いて画素数が変換された復号画像を再符号化することで、処理量も画質劣化も少ない動画像符号列変換装置を提供することを目的とする。 But the present invention has been made in view of the above points, as well as decoding the code string obtained by incoming reconstructs a motion vector corresponding to the number of different pixels of the image by using the motion vector extracted from the bit stream aims number of pixels to provide a transformed decoded image by re-encoding the processing amount is small video code stream conversion apparatus image degradation using the new motion vector.
【0009】 [0009]
【課題を解決するための手段】 In order to solve the problems]
本発明は、動き補償画像間予測された動画像の符号列の変換において、第1の動画像符号列を受け、符号列から第1の動きベクトルを分離し、前記第1の動画像符号列を第1の動き補償ブロックに対応した前記第1の動きベクトルを用いて画像間予測復号化を行い、第1の復号画像信号を得て、その画素数を変換し、異なった画素数の第2の復号画像信号を得る。 The present invention, in the conversion of the code sequence of the predicted video image motion compensation inter-picture, receive a first video code stream, to separate a first motion vector from the bit stream, the first moving image code string the performing a first motion compensation block to the image predictive decoding using the first motion vector corresponding to obtain a first decoded image signal, and converts the number of pixels, the number of different pixels of the obtaining a second decoded picture signals. 一方、前記第2の復号画像を第2の動き補償ブロックで再符号化するための第2の動きベクトルを、 実画像上で第2の動き補償ブロックの中央位置に存在する第1の動き補償ブロックを特定し、前記第1の動き補償ブロック用の第1の動きベクトルを前記画素数変換手段での画素数の変換比率に応じてスケーリングすることにより得て、それを用いて、前記第2の復号画像信号を前記第2の動き補償ブロックで画像間予測符号化して符号列を得、前記第2の動きベクトルの情報と多重化し第2の動画像符号列を得る動画像符号列変換装置及びその方法である。 Meanwhile, the first motion compensation present the second motion vector for re-encoding the second decoded image in the second motion compensation block, in a central position of the second motion compensation block in the actual image obtained by specifying the block, scales in accordance with the first motion vector for the first motion compensation block to the conversion ratio of the number of pixels in the pixel number conversion means, therewith, the second decoding image signal to the image predictive coding by the second motion compensation block to obtain a code sequence, said second motion vector information and multiplexed video code stream conversion apparatus for obtaining a second video code stream of and it is that way.
【0011】 [0011]
( 作 用 ) (For work)
本発明では、入来した符号列のすべてまたは一部を復号すると共に、符号列から取り出した動きベクトル(MV)を用いて異なった画素数の画像の動き補償ブロックに対応したMVを再構成し、そのMVを用いて画素数が変換された復号画像を再符号化する。 In the present invention, the decode all or part of the incoming and code string, to reconstruct the MV corresponding to the motion compensation block different pixel number of the image using the motion taken out from the bit stream vector (MV) , the number of pixels is re-encoded decoded image converted by using the MV.
再符号化する画像は画素数の変換により、再符号化の転送レートに対して解像度と量子化誤差のバランスを最適にすることが出来る。 The image conversion of the number of pixels to be re-encoded, re-encoding of the transfer rate for it to be able to take a balance between resolution and quantization error. 再構成で得たMVは、画素数が変換された画像での動き補償ブロックに対応したものとなっているので、再符号化での動き補償誤差は最小となる。 MV obtained by reconstruction, the number of pixels has become those corresponding to the motion compensation blocks in the transformed image, the motion compensation error in the re-encoding is minimized. MVの再構成は動きベクトル検出を行う場合と比較して僅かな処理である。 Reconstruction of the MV is slight processing as compared with the case of performing motion vector detection. 動きベクトルも入来したものと類似するので、画像間予測残差の変化も最小限であり、画質劣化も少なくなる。 Since similar to that motion vector was also incoming change in image prediction residuals are also minimal, even less degradation in image quality.
【0012】 [0012]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
<実施動画像符号列変換装置> <Working video code stream conversion apparatus>
本発明の動画像符号列変換装置の一実施例について、以下に説明する。 An example of a video code stream conversion apparatus of the present invention will be described below.
図1は、その構成を示したもので、図5の従来例と同一構成要素には同一番号を付してある。 Figure 1 shows its configuration, the conventional same components of FIG. 5 are denoted by the same numbers. 図1には、図5と比較してMV再構成器6、画素数変換器19が追加されている。 FIG 1, MV reconstructor 6, pixel number converter 19 as compared to FIG. 5 are added. このMV再構成器6の内部構成は図2及び図3に示されている。 Internal structure of the MV reconstructor 6 is shown in FIGS. 実施例において従来例と異なるのは、再符号化画像の画素数と、それに伴う動きベクトル(MV)である。 In different from the prior art example, the number of pixels of the re-encoded image, a motion vector associated with it (MV). DCTや量子化等の各処理部分の処理動作は、従来例と基本的に同じである。 Processing operations of each processing portion such as DCT and quantization are conventional and basically the same.
【0013】 [0013]
復号系から説明する。 Describing the decoding system. 符号列入力端子1より入来する符号は、予測残差の符号列と前記符号列の動き補償ブロックに対応した第1MVの符号列が可変長復号化器2で固定長の符号に戻される。 Code coming from the code string input terminal 1, the code string of the 1MV corresponding to the motion compensation block of the code sequence and the code sequence of the prediction residual is returned to the code of fixed length variable length decoder 2. 固定長符号として得られたDCT係数は逆量子化器3で係数値となり、逆DCT4に与えられる。 DCT coefficients obtained as a fixed length code becomes coefficient value inverse quantizer 3, fed to the anti DCT4. 逆DCT4は8×8個の係数を再生予測残差信号に変換し、加算器5に与える。 Conversely DCT4 is the 8 × 8 coefficients into a reproduction predictive residual signal, supplied to the adder 5. 加算器5では再生予測残差信号に下記の動き補償予測器7から得られた予測信号が加算され、再生画像となる。 Prediction signal obtained from the adder below 5 the reproduction predictive residual signal motion compensated predictor 7 is added, the reproduced image. 一方、可変長復号化器2から取り出した第1MVは動き補償予測器7とMV再構成器6に与えられる。 On the other hand, the 1MV taken out from the variable length decoder 2 is supplied to a motion compensation predictor 7 and MV reconstructor 6.
【0014】 [0014]
この様にして得られた再生画像信号は、画像メモリ8と画素数変換器19に与えられる。 Reproduced image signal obtained in this manner is supplied to the image memory 8 and the pixel number converter 19. 画素数変換器19は再生画像を水平方向にリサンプルし、画素数の変換された画像を得る。 Number converter 19 pixels resamples the reproduced image in the horizontal direction, obtaining a transformed image of the number of pixels. リサンプル処理の詳細に付いては後述する。 With the details of the re-sample processing will be described later.
リサンプルされた再生画像信号は、予測減算器9、MV再構成器6に与えられる。 Resampled reproduced image signal is supplied to the prediction subtractor 9, MV reconstructor 6. MV再構成器6は、可変長復号化器2で得られた第1MVを用いて、再符号化で必要となる異なった画素数の画像に対応した第2MVを再構成する。 MV reconstructor 6, using the first 1MV obtained by the variable length decoder 2, to reconstruct the first 2MV corresponding to the image of the number of pixels different required in re-encoding. MVの再構成方法に付いては後述する。 Attached to the reconstruction method of the MV will be described later.
【0015】 [0015]
つぎに再符号化系について説明する。 It will be described next re-encoding system. 画素数変換器19で画素数変換された再生画像信号は、減算器9において動き補償予測器14から与えられる予測信号が減算され、予測残差となってDCT10に与えられる。 Reproduced image signal converted number of pixels in the pixel number converter 19, the prediction signal given from the motion compensation predictor 14 is subtracted in the subtracter 9 is provided to DCT10 becomes prediction residual.
DCT10はDCT変換処理を行い、得られた係数を量子化器11に与える。 DCT10 performs DCT transform process, give the resulting coefficient to the quantizer 11. 量子化器11は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器12と逆量子化器18に与える。 Quantizer 11 quantizes the coefficients by a predetermined step width, giving the sign and becomes coefficient fixed length to a variable length coder 12 and inverse quantizer 18.
可変長符号化器12は、予測残差を可変長符号で圧縮された符号とし、第2MVも可変長符号化し、両者を多重化して出来た符号列を符号出力端子13より出力する。 Variable length encoder 12, the compressed prediction residual variable length code encoder, a 2MV be variable length coding, a code string made by multiplexing two outputs from the code output terminal 13.
【0016】 [0016]
一方、逆量子化器18及び逆DCT17ではDCT10及び量子化器11の逆処理が行われ、画像間予測残差を再生する。 On the other hand, inverse processes of the inverse quantizer 18 and inverse DCT17 in DCT10 and quantizer 11 is performed, to reproduce the inter-picture prediction residuals. 得られた再生画像間予測残差は加算器16で画像間予測信号が加算され再生画像となり、画像メモリ15に与えられる。 The resulting reproduced image predictive residual picture prediction signals are added by the adder 16 becomes reproduction image is supplied to the image memory 15. 画像メモリ15に蓄えられている再生画像は、動き補償予測器14に与えられる。 Reproduced image is stored in the image memory 15 is supplied to a motion compensation predictor 14. 動き補償画像間予測器14は、MV再構成器6から与えられる第2MVに従って画像間予測信号を作り、減算器9と加算器16に与えることで、画像間予測符号化が行われる。 Motion compensation inter-picture predictor 14 is to create an inter-picture predictive signal in accordance with the 2MV given from MV reconstructor 6, by giving to the subtractor 9 and the adder 16, the inter-picture prediction coding is performed.
なお、再符号化の各部分の処理内容は、図5の従来例と基本的に同じであるが、画素数の違いに合わせて具体的パラメータ等は異なる。 The processing contents of each section of the re-encoding is a conventional basically the same as that of FIG. 5, specifically parameters such as in accordance with the difference in the number of pixels are different.
【0017】 [0017]
<画素数変換器> <Pixel count converter>
画素数変換器19は、再生画像に対して通常水平方向にリサンプルを行う。 Number converter 19 pixels, performs resampling the normal horizontal direction with respect to the reproduced image. 具体的には、通常720画素である再生画像を、3/4倍して540画素、2/3倍して480画素、1/2倍して360画素等に変換する。 Specifically, it converts the reproduced image is usually 720 pixels, 3/4 times to 540 pixels, 480 pixels 2/3-fold to, 1/2-fold to 360 pixels and the like. その際の画素の様子(1ラインのみ)を図6に示す。 State of the pixel at that time (the 1-line only) shown in FIG. リサンプル処理は、ディジタルフィルタでタップ係数を切替えながら異なったサンプル位置の画素を作り出し、必要な画素のみ取り出すことで行われる。 Resample process creates pixels of different sample position while switching the tap coefficients in the digital filter is carried out by extracting only the pixel required.
なお、符号化画素数は動き補償ブロックが16×16画素なので、その倍数である必要があり、540画素では4画素ダミー画素を追加して544画素、360画素では8画素削除して352画素とする。 Since the number of encoded pixels motion compensation block is 16 × 16 pixels, it must be a multiple thereof, 544 pixels by adding the four pixels dummy pixels 540 pixels, and 352 pixels by deleting 8 pixels 360 pixels to.
【0018】 [0018]
この様な画素数の変換は、通常転送レートの大幅な変更に伴って行われる。 Such pixel number conversion is carried out with the substantial changes in the normal transfer rate. すなわち、720画素で8Mbps程度の符号列を、720画素のまま5Mbps以下に変換しようとすると、MV等の動き補償予測情報はそのままで、予測残差の情報のみを削減することになり、極端に画質が劣化する。 That is, the code string of about 8Mbps 720 pixels, when you try to convert the following 5Mbps leave 720 pixels, the motion compensation prediction information MV and the like as it is, it will be reduced only information of the prediction residuals, extremely image quality is degraded.
符号化対象画素数を削減すると、解像度は低下するが、動き補償予測情報も減るので、情報のバランスは適切に出来る。 Reducing the number of coded pixel resolution is reduced, so is also reduced motion compensated prediction information, balance information is properly possible. 画素数を減らす程度は、再符号化の転送レートに依存し、よりレートを下げたい場合は、画素数もより少なくする。 The degree of reducing the number of pixels depends on the transfer rate of re-encoding, if you want to decrease more rates, reduced more even number of pixels.
なお、垂直方向の画素数変換はインターレース信号では問題があるが、プログレッシブ画像の場合は可能である。 Although the number of pixel conversion in the vertical direction there is a problem in interlace signal, it is possible in the case of a progressive image. また、元の転送レートより再符号化の転送レートを上げても画質は改善されないので、画素数を増やすことは考え難い。 Also, since by increasing the transfer rate of the re-encoding than the original transfer rate quality is not improved, it is unlikely to increase the number of pixels.
【0019】 [0019]
もう一つの例は、720画素の右端と左端の合計16画素を削除し704画素とする場合である。 Another example is a case where the deleted 704 pixels right and left of the total 16 pixels of 720 pixels. ディジタル標準画像として使われるRec.601フォーマットは、水平有効画素数が720となっているが、実際に画像はアナログ画像信号規格との関係で711画素程度しか存在せず、左右にブランクサンプルが存在する。 Rec.601 format used as a digital standard image is the number of horizontal effective pixels is in the 720, actually the image only exists 711 pixels about the relationship between the analog image signal standard, blank samples are present in the right and left to. そこでブランクサンプルは排除して704画素のみを符号化する。 Therefore blank sample encodes only 704 pixels to eliminate. この場合、リサンプルは行われず、画素が削除されるのみである。 In this case, the resampling is not performed, only pixels are deleted. また、解像度低下はないが画素数の削減効果も僅かである。 Further, there is no reduction in resolution is a slightly reduction of the number of pixels.
【0020】 [0020]
<MV再構成器> <MV reconstructor>
MVは、それを用いる動き補償ブロックに適合したものである必要がある。 MV is required to be the one that conforms to the motion compensation block using it. 本実施例では、入来する符号列の画像と再符号化され出力される画像で画素数が異なり、実画像上の動き補償ブロックの大きさ及びブロック境界位置が変化する。 In this embodiment, different number of pixels in the image that is the image and re-encoded code sequence incoming output, size and block border position of the motion compensation block in the real image changes.
その様子を図4に示すが、点線で示されたのは変換前の720画素でのブロック(第1ブロック)である。 It shows the state in FIG. 4, that shown by the dotted line is a block (first block) in 720 pixels before conversion. 画素数変換で画素数が削減されると、同じ16×16画素でもブロック(第2ブロック)は実画像上で大きくなる。 When the number of pixels is reduced by the number of pixels conversion, for the same 16 × 16 pixel block (the second block) increases in the actual image. それに伴いブロックの境界位置も変化する。 Boundary position of the block along with it also changes. 720が704に変換された場合は、ブロックの大きさは変化しないが、境界位置は変化する。 If 720 is converted to 704, the size of the block is not changed, the boundary position is changed.
また、MVの値は水平と垂直の画素移動量で示されるので、第1MVと第2MVが実画像上で同一な動きでも、画素数の変換に伴って画素移動量は変化するので、MV値を変換する必要がある。 Further, since the value of MV is indicated by the pixel shift amount in the horizontal and vertical, even at the 1MV and the 2MV the same movement in the actual image, because the pixel shift amount varies with the conversion of the number of pixels, MV value there is a need to convert.
【0021】 [0021]
MV再構成器6の構成は、図2または図3のようになる。 Construction of MV reconstructor 6 is as shown in Figure 2 or Figure 3.
図2では入来する第1MVはMVバッファ21で蓄えられ、第1ブロックと第2ブロックの位置関係から、対象第2ブロックに一部でも含まれる第1ブロックを特定し、その第1MVをMV探索器22に与えられる。 The 1MV coming in FIG. 2 is stored in the MV buffer 21, the positional relationship between the first block and the second block, and identifying a first block included any part in the target second block, the first 1MV MV It is given to the searcher 22.
MV探索器22は、そのMVを垂直成分値に垂直方向の画素数の変換比を乗じ、水平成分値に水平方向の画素数の変換比を乗じる。 MV searcher 22, the MV obtained by multiplying the conversion ratio of the number of vertical pixels in the vertical component value is multiplied by the conversion ratio of the number of pixels in the horizontal direction to the horizontal component value. 具体的には水平720が480に変換されるなら、垂直成分値はそのままで、水平成分値は2/3倍される。 If is specifically converted to a horizontal 720 480, the vertical component value as it is, the horizontal component value is 2/3. このように変換された第1MVは第2MVの候補として、画素数変換された再生画像を用いて再探索し、最も誤差の少なくなるMVを出力する。 As the converted first 1MV as the candidate of the 2 MV, and re-probed with reproduced image converted number of pixels, and outputs the least error reduced becomes the MV. その際、MV候補に変換比を乗じた第1MVの周辺値を追加しても良い。 At that time, it may be added periphery value of a 1MV multiplied by the conversion ratio MV candidate.
【0022】 [0022]
MV再構成器は、図3に示したように簡易的な処理が可能なものでもよい。 MV reconstructor may be capable simple processing as shown in FIG.
図3では入来する第1MVはMVバッファ21で蓄えられ、その第1MVがMV選択器23に与えられる。 The 1MV coming in FIG. 3 stored in the MV buffer 21, the first 1MV is applied to the MV selector 23.
MV選択器23は、第1ブロックと第2ブロックの位置関係から、対象第2ブロックの中央にある第1ブロックの第1MVを選択する。 MV selector 23, the positional relationship between the first block and the second block, selects the first 1MV of the first block in the middle of the target second block. これを前記と同様に画素数の変換比を乗じて第2MVとする。 This is the first 2MV multiplied by the conversion ratio of the number of pixels in the same manner as described above. この場合は、探索は行われないので再生画像は必要ない。 In this case, there is no need reproduced image because the search is not performed.
【0023】 [0023]
【発明の効果】 【Effect of the invention】
本発明では、入来した符号列のすべてまたは一部を復号すると共に、符号列から取り出した動きベクトルを用いて異なった画素数の画像の動き補償ブロックに対応した動きベクトルを再構成し、その動きベクトルを用いて画素数が変換された復号画像を再符号化する。 In the present invention, the decode all or part of the incoming and the code sequence, and reconstructing motion vector corresponding to the motion compensation block different pixel number of the image by using the motion vector extracted from the bit stream, the the number of pixels is re-encoded decoded image converted with the motion vector.
画素数が変換された画像を再符号化することにより、再符号化の転送レートに対して解像度と量子化誤差のバランスを最適に出来、変換された符号列の再生画像の品質が改善される。 By re-encoding an image in which the number of pixels has been converted, to the transfer rate of the re-encoding can optimally balance the resolution and quantization error, the quality of the converted code sequence of the reproduced image is improved .
【0024】 [0024]
MV再構成はMV検出と比較して僅かな処理であり、完全に復号して再符号化する場合に対して、装置規模を大幅に軽減出来る。 MV reconstruction is slight treatment compared with MV detection for the case of re-encoding by completely decoded, it can greatly reduce the apparatus size. また、再符号化でMV検出を全く新たに行うと、MV検出で用いる画像は再生画像で劣化しているので、本来の動きと異なった動きを検出しやすくなるが、本手法では入来したMVを基準にした再探索であるので誤検出が起こりにくい。 Furthermore, when quite new and MV detected by re-encoding, since the image used in the MV detection is deteriorated in the reproduced image, but tends to detect different movements the original motion, in this method the incoming MV erroneous than a re-search has been based detection is unlikely to occur. MVも入来したものと類似するので、再符号化による画像間予測残差の変化も最小限であり、画質劣化も少ない。 Since MV is also similar to that incoming, the change in the inter-picture prediction residual by re-encoding is also minimal, even small image quality degradation.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】本発明の動画像符号列変換装置の一実施例の構成を示す図である。 1 is a diagram showing the structure of an embodiment of a video code stream conversion apparatus of the present invention.
【図2】本発明の動画像符号列変換装置のMV再構成器の第1実施例を示す図である。 2 is a diagram showing a first embodiment of the MV reconstructor of video code stream conversion apparatus of the present invention.
【図3】本発明の動画像符号列変換装置のMV再構成器の第2実施例を示す図である。 3 is a diagram showing a second embodiment of the MV reconstructor of video code stream conversion apparatus of the present invention.
【図4】本発明の動き補償ブロックの様子を示す図である。 4 is a diagram showing a state of a motion compensation block of the present invention.
【図5】従来の動画像符号列変換装置の一構成例を示す図である。 5 is a diagram showing a configuration example of a conventional video code stream conversion apparatus.
【図6】本発明の画素数変換の様子を示す図である。 6 is a diagram showing a pixel number conversion of the present invention.
【符号の説明】 DESCRIPTION OF SYMBOLS
1 符号列入力端子2 可変長復号化器(分離手段) 1 code sequence input terminal 2 variable length decoder (separation means)
3、18 量子化器4、17 DCT 3,18 quantizer 4, 17 DCT
5、16 加算器6 MV再編成器7、14動補償予測器8、15 画像メモリ9 減算器10 DCT 5,16 adder 6 MV reorganization unit 7,14 motion compensation predictor 8,15 image memory 9 subtractor 10 DCT
11 量子化器12 可変長符号化器(多重化手段) 11 quantizer 12 variable length encoder (multiplexing means)
13 符号列出力端子21 MVバッファ22 MV探索器23 MV変換器 13 code sequence output terminal 21 MV buffer 22 MV searcher 23 MV converter

Claims (2)

  1. 動き補償画像間予測された動画像の符号列の変換を行う動画像符号列変換装置において、 In video code stream conversion apparatus for converting a code string of the predicted video image motion compensation inter-picture,
    第1の動画像符号列を受け、符号列から第1の動きベクトルを得る分離手段と、 Receiving a first video code stream, and separating means for obtaining a first motion vector from the bit stream,
    前記第1の動画像符号列を、第1の動き補償ブロックに対応した前記第1の動きベクトルを用いて画像間予測を行い復号化し、第1の復号画像信号を得る復号手段と、 Said first video code stream, using said first motion vector corresponding to the first motion compensation block decodes performs inter-picture prediction, decoding means for obtaining a first decoded image signal,
    前記第1の復号画像信号の画素数を変換し、異なった画素数の第2の復号画像信号を得る画素数変換手段と、 Said first converting the number of pixels decoded image signal, different number of pixels of the second pixel number conversion means for obtaining a decoded image signal,
    前記第2の復号画像信号を第2の動き補償ブロックで再符号化するための第2の動きベクトルを、実画像上で第2の動き補償ブロックの中央位置に存在する第1の動き補償ブロックを特定し、前記第1の動き補償ブロック用の第1の動きベクトルを前記画素数変換手段での画素数の変換比率に応じてスケーリングすることにより得る動きベクトル再構成手段と、 First motion compensation blocks present a second motion vector for re-encoding said second decoded image signal in the second motion compensation block, in a central position of the second motion compensation block in the actual image a motion vector reconstructing means for obtaining by scaling in accordance with the specified, the first conversion ratio of the number of pixels in the first motion vector the pixel conversion means for motion compensation block,
    前記第2の動きベクトルを用いて、前記第2の復号画像信号を前記第2の動き補償ブロックで画像間予測符号化して符号列を得る再符号化手段と、 Using the second motion vector, and re-encoding means for obtaining a code sequence by inter-picture predictive coding the second decoded image signal in the second motion compensation block,
    前記第2の動きベクトルの情報と前記再符号化手段でられた符号列を多重化し第2の動画像符号列を得る多重化手段を有することを特徴とする動画像符号列変換装置。 Video code stream conversion apparatus characterized by having a multiplexing means for obtaining the second motion vector video code stream of information and the multiplexes the code string obtained by the re-encoding means in the second.
  2. 動き補償画像間予測された動画像の符号列の変換を行う動画像符号列変換方法において、 In video code stream conversion method for converting a code string of the predicted video image motion compensation inter-picture,
    第1の動画像符号列を受け、符号列から第1の動きベクトルを分離し、 Receiving a first video code stream, to separate a first motion vector from the bit stream,
    前記第1の動画像符号列を、第1の動き補償ブロックに対応した前記第1の動きベクトルを用いて画像間予測復号化を行い、第1の復号画像信号を得て、 Wherein the first moving image code string performs inter-picture predictive decoding using the first motion vector corresponding to the first motion compensation block to obtain a first decoded image signal,
    前記第1の復号画像信号の画素数を変換し、異なった画素数の第2の復号画像信号を得て、 It said first converting the number of pixels decoded image signal to obtain a second decoded image signal of the number of different pixels,
    前記第2の復号画像信号を第2の動き補償ブロックで再符号化するための第2の動きベクトルを、実画像上で第2の動き補償ブロックの中央位置に存在する第1の動き補償ブロックを特定し、前記第1の動き補償ブロック用の第1の動きベクトルを、前記第1の復号画像信号の画素数と前記第2の復号画像信号の画素数との画素数の変換比率に応じてスケーリングすることにより得て、 First motion compensation blocks present a second motion vector for re-encoding said second decoded image signal in the second motion compensation block, in a central position of the second motion compensation block in the actual image identify the first motion vector for the first motion compensation block, depending on the conversion ratio of the number of pixels with the number of pixels of the first decoded image signal the number of pixels and the second decoded image signal It is obtained by scaling Te,
    前記第2の動きベクトルを用いて、前記第2の復号画像信号を前記第2の動き補償ブロックで画像間予測符号化して符号列を得て、 Using the second motion vector, to obtain a code string of the second decoded image signal to the image predictive coding by the second motion compensation block,
    前記第2の動きベクトルの情報と前記符号列を多重化し第2の動画像符号列を得ることを特徴とする動画像符号列変換方法。 Video code stream conversion method characterized by obtaining the second video code stream by multiplexing the information and the code sequence of said second motion vectors.
JP22016798A 1998-08-04 1998-08-04 Video code stream conversion apparatus and method Active JP4164903B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22016798A JP4164903B2 (en) 1998-08-04 1998-08-04 Video code stream conversion apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22016798A JP4164903B2 (en) 1998-08-04 1998-08-04 Video code stream conversion apparatus and method

Publications (2)

Publication Number Publication Date
JP2000059789A true JP2000059789A (en) 2000-02-25
JP4164903B2 true JP4164903B2 (en) 2008-10-15

Family

ID=16746943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22016798A Active JP4164903B2 (en) 1998-08-04 1998-08-04 Video code stream conversion apparatus and method

Country Status (1)

Country Link
JP (1) JP4164903B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4779207B2 (en) * 2001-01-17 2011-09-28 ソニー株式会社 Motion vector conversion apparatus and a motion vector conversion method
US7403564B2 (en) * 2001-11-21 2008-07-22 Vixs Systems, Inc. System and method for multiple channel video transcoding
KR100694137B1 (en) 2005-07-08 2007-03-12 삼성전자주식회사 Apparatus for encoding or decoding motion image, method therefor, and recording medium storing a program to implement thereof

Also Published As

Publication number Publication date Type
JP2000059789A (en) 2000-02-25 application

Similar Documents

Publication Publication Date Title
US5386234A (en) Interframe motion predicting method and picture signal coding/decoding apparatus
US20050062746A1 (en) Signal-processing apparatus and electronic apparatus using same
US6393059B1 (en) Conversion of video data bit stream
US20050002458A1 (en) Spatial scalable compression
JP2004007337A (en) Image processing apparatus and its method
WO1994022269A1 (en) Method and apparatus for coding/decoding motion vector, and method and apparatus for coding/decoding image signal
US20070071096A1 (en) Transcoder and transcoding method operating in a transform domain for video coding schemes possessing different transform kernels
JP2005514872A (en) Coding of the dynamic filter
JPH0818976A (en) Dynamic image encoder/decoder
JPH06209468A (en) Picture signal coding method, picture signal coder, picture signal decoding method and picture signal decoder
JPH05236456A (en) Method and device for encoding moving image
JPH11262018A (en) Motion compensation coder, motion compensation coding method and motion compensation recording medium therefor
JPH1155678A (en) Inter-block interpolation prediction coder, decoder, coding method and decoding method
US20100086048A1 (en) System and Method for Video Image Processing
JPH1146364A (en) Motion compensation coding and decoding device, and coding and decoding device
JP2000036963A (en) Image coder, image coding method and image decoder
JP2003289544A (en) Equipment and method for coding image information, equipment and method for decoding image information, and program
US20060222083A1 (en) Digital filter with spatial scalability
US6795498B1 (en) Decoding apparatus, decoding method, encoding apparatus, encoding method, image processing system, and image processing method
JPH10136376A (en) Inter-block prediction coding/decoding device and its method
JP2000041252A (en) Image decoder and image decoding method
JPH0795566A (en) Method and device for encoding image
WO2004073312A1 (en) Video coding
JP2006135376A (en) Moving picture coder, moving picture coding method, moving picture decoder, and moving picture decoding method
JP2003125417A (en) Image coder and its method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040930

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070420

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080708

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080721

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110808

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120808

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120808

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120808

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120808

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130808

Year of fee payment: 5