JP4857243B2 - Image encoding apparatus, control method therefor, and computer program - Google Patents
Image encoding apparatus, control method therefor, and computer program Download PDFInfo
- Publication number
- JP4857243B2 JP4857243B2 JP2007287853A JP2007287853A JP4857243B2 JP 4857243 B2 JP4857243 B2 JP 4857243B2 JP 2007287853 A JP2007287853 A JP 2007287853A JP 2007287853 A JP2007287853 A JP 2007287853A JP 4857243 B2 JP4857243 B2 JP 4857243B2
- Authority
- JP
- Japan
- Prior art keywords
- ratio
- image
- encoding
- target
- global vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、画像符号化装置及びその制御方法、コンピュータプログラムに関する。 The present invention relates to an image encoding device, a control method thereof, and a computer program.
近年のマルティメディアの発展に伴い様々な動画像圧縮符号化方式が提案されている。その代表的なものに、MPEG−1,2,4やH.264といったものがある。これらの圧縮符号化の処理は、動画像に含まれる原画像(画像)をブロックと呼ばれる所定の領域に分割し、この分割したブロックを単位にして動き補償予測やDCT変換処理を施すものである。また、動き補償予測を行う場合、既に符号化済みの画像データを局所復号化して得られた画像を参照画像としていることで、符号化を行う際にも復号化処理が必要となる。 With the recent development of multimedia, various video compression encoding methods have been proposed. Typical examples are MPEG-1, 2, 4 and H.264. There is something like H.264. In these compression encoding processes, an original image (image) included in a moving image is divided into predetermined regions called blocks, and motion compensation prediction and DCT conversion processing are performed in units of the divided blocks. . In addition, when performing motion compensation prediction, an image obtained by local decoding of already encoded image data is used as a reference image, so that a decoding process is required even when encoding is performed.
また、MPEG方式に準拠して画像の圧縮、符号化を行う場合、その符号量は、画像自体の特性である空間周波数特性やシーン及び量子化スケール値に応じて大きく異なる場合が多い。このような符号化特性を有する画像符号化装置を実現する上で良好な画質の復号画像を得ることができるようにするための重要な技術が符号量制御である。 In addition, when compressing and encoding an image in accordance with the MPEG system, the amount of code often varies greatly depending on the spatial frequency characteristics, which are characteristics of the image itself, the scene, and the quantization scale value. An important technique for realizing a decoded image with good image quality in realizing an image coding apparatus having such coding characteristics is code amount control.
この符号量制御アルゴリズムの1つとして、TM5(Test Model 5)が一般的に使用されている。このTM5による符号量制御アルゴリズムは、以下に説明する3つのステップから構成され、GOP(Group Of Picture)毎にビットレートが一定になるように以下に挙げる3ステップで符号量が制御される。 TM5 (Test Model 5) is generally used as one of the code amount control algorithms. The code amount control algorithm according to TM5 is composed of the following three steps, and the code amount is controlled in the following three steps so that the bit rate is constant for each GOP (Group Of Picture).
(STEP1)
今から符号化を行うピクチャの目標符号量を決定する。現在のGOPにおいて利用可能な符号量であるRgopが以下の(1)式により演算される。
Rgop = (ni+np+nb)*(bits_rate/picture_rate) ・・・(1)
ここで、ni,np,nbはそれぞれI、P、Bピクチャの現GOPにおける残りのピクチャ数であり、bits_rateは目標ビットレート、picture_rateはピクチャレートを表す。
(STEP1)
The target code amount of the picture to be encoded from now is determined. Rgop, which is a code amount that can be used in the current GOP, is calculated by the following equation (1).
Rgop = (ni + np + nb) * (bits_rate / picture_rate) (1)
Here, ni, np, and nb are the number of remaining pictures in the current GOP of I, P, and B pictures, bits_rate represents the target bit rate, and picture_rate represents the picture rate.
更に、I、P、Bピクチャ毎に符号化結果からピクチャの複雑度を以下の(2)式で求めている。
Xi = Ri*Qi
Xp = Rp*Qp ・・・(2)
Xb = Rb*Qb
ここで、Xi、Xp、Xbはコンプレキシティ(Complexity)とも呼ばれる。また、Ri、Rp及びRbはそれぞれI、P、Bピクチャを符号化した結果得られる符号量である。さらに、Qi、Qp及びQbはそれぞれI、P、Bピクチャ内のすべてのマクロブロックにおけるQスケールの平均値である。式(1)及び式(2)から、I、P、Bピクチャそれぞれについての目標符号量Ti、Tp及びTbは、以下の(3)式で求めることができる。
Ti= max{(Rgop/(1+ ((Np*Xp)/(Xi*Kp)) + ((Nb*Xb)/(Xi*Kb)))) , (bit_rat
e/(8*picture_rate))}
Tp=max{(Rgop/(Np+ (Nb*Kp*Xb)/(Kb*Xp))) , (bit_rate/(8*picture_rate))}
Tb=max{(Rgop/(Nb+ (Np*Kb*Xp)/(Kp*Xb))) , (bit_rate/(8*picture_rate))}
・・・(3)
ただし、Np及びNbは現GOP内のそれぞれP及びBピクチャの残りの枚数、また定数Kp=1.0及びKb=1.4である。
Further, the complexity of the picture is obtained from the encoding result for each of the I, P, and B pictures by the following equation (2).
Xi = Ri * Qi
Xp = Rp * Qp (2)
Xb = Rb * Qb
Here, Xi, Xp, and Xb are also called complexity. Ri, Rp, and Rb are code amounts obtained as a result of encoding I, P, and B pictures, respectively. Further, Qi, Qp and Qb are average values of Q scales in all macroblocks in the I, P and B pictures, respectively. From the equations (1) and (2), the target code amounts Ti, Tp, and Tb for each of the I, P, and B pictures can be obtained by the following equation (3).
Ti = max {(Rgop / (1+ ((Np * Xp) / (Xi * Kp)) + ((Nb * Xb) / (Xi * Kb))))), (bit_rat
e / (8 * picture_rate))}
Tp = max {(Rgop / (Np + (Nb * Kp * Xb) / (Kb * Xp))), (bit_rate / (8 * picture_rate))}
Tb = max {(Rgop / (Nb + (Np * Kb * Xp) / (Kp * Xb))), (bit_rate / (8 * picture_rate))}
... (3)
Np and Nb are the remaining number of P and B pictures in the current GOP, respectively, and constants Kp = 1.0 and Kb = 1.4.
(STEP2)
I、P及びBピクチャ毎に3つの仮想バッファを使用し、式(3)で求めた目標符号量と発生符号量との差分を管理する。仮想バッファのデータ蓄積量をフィードバックし、そのデータ蓄積量に基づいて実際の発生符号量が目標符号量に近づくように、次にエンコードするマクロブロックについて、Qスケールの参照値が設定される。例えば、現在のピクチャタイプがPピクチャの場合には、目標符号量と発生符号量との差分は、次の(4)式に従う演算処理により求めることができる。
dp,j = dp,0 + Bp,j-1 −((Tp*(j-1))/MB_cnt) ・・・(4)
ここで、添字jはピクチャ内のマクロブロックの番号である。dp,0は仮想バッファの初期フルネスを示し、Bp,jはj番目のマクロブロックまでの総符号量、MB_cntはピクチャ内のマクロブロック数を示す。Bp,jはj番目のマクロブロックまでの総符号量、MB_cntはピクチャ内のマクロブロック数を示す。
(STEP2)
Three virtual buffers are used for each of the I, P, and B pictures, and the difference between the target code amount obtained by Expression (3) and the generated code amount is managed. The data accumulation amount of the virtual buffer is fed back, and the reference value of the Q scale is set for the macroblock to be encoded next so that the actual generated code amount approaches the target code amount based on the data accumulation amount. For example, when the current picture type is a P picture, the difference between the target code amount and the generated code amount can be obtained by arithmetic processing according to the following equation (4).
dp, j = dp, 0 + Bp, j−1 − ((Tp * (j−1)) / MB_cnt) (4)
Here, the subscript j is the number of the macroblock in the picture. dp, 0 represents the initial fullness of the virtual buffer, Bp, j represents the total code amount up to the j-th macroblock, and MB_cnt represents the number of macroblocks in the picture. Bp, j represents the total code amount up to the j-th macroblock, and MB_cnt represents the number of macroblocks in the picture.
次にdp,j(以後、「dj」と記載する。) を用いて、j番目のマクロブロックにおけるQスケールの参照値を求めると、(5)式のようになる。
Qj = (dj*31) / r ・・・(5)
ここで、r = 2*bits_rate/picture_rate ・・・(6)
である。
Next, when the reference value of the Q scale in the j-th macroblock is obtained using dp, j (hereinafter referred to as “dj”), equation (5) is obtained.
Qj = (dj * 31) / r (5)
Where r = 2 * bits_rate / picture_rate (6)
It is.
(STEP3)
視覚特性、即ち、復号画像の画質が良好になるように、エンコード対象のマクロブロックの空間アクティビティに基づいて、量子化スケールを最終的に決定する処理を実行する。
ACTj = 1+ min(vblk1, vblk2,……,vblk8) ・・・(7)
(7)式中において、vblk1〜vblk4はフレーム構造のマクロブロックにおける8x8のサブブロックにおける空間アクティビティを示す。また、vblk5〜vblk8はフィールド構造のマクロブロックにおける8x8サブブロックの空間アクティビティを示す。ここで、空間アクティビチィの演算は次の(8)、(9)式により求めることが可能である。
vblk = Σ(Pi−Pbar)2 ・・・(8)
Pbar = (1/64 )* ΣPi ・・・(9)
ここで、Piはi番目のマクロブロックにおける画素値であり、式(8)、(9)中のΣはi=1〜64の演算である。次に(7)式で求めたACTjを以下の(10)式によって正規化を行う。
(STEP3)
A process of finally determining the quantization scale is executed based on the spatial activity of the macroblock to be encoded so that the visual characteristics, that is, the image quality of the decoded image is improved.
ACTj = 1+ min (vblk1, vblk2, ..., vblk8) (7)
In the equation (7), vblk1 to vblk4 indicate spatial activities in 8 × 8 sub-blocks in the macroblock of the frame structure. Further, vblk5 to vblk8 indicate the 8 × 8 sub-block spatial activity in the field-structured macroblock. Here, the calculation of the space activity can be obtained by the following equations (8) and (9).
vblk = Σ (Pi−Pbar) 2 (8)
Pbar = (1/64) * ΣPi (9)
Here, Pi is a pixel value in the i-th macroblock, and Σ in equations (8) and (9) is an operation of i = 1 to 64. Next, ACTj obtained by the equation (7) is normalized by the following equation (10).
N_ACTj = (2*ACTj +AVG_ACT)/ (ACTj + AVG_ACT) ・・・(10)
ここで、AVG_ACTは以前に符号化したピクチャにおけるACTjの参照値であり、最終的に量子化スケール(Qスケール値)MQUANTjは以下の(11)式により求められる。
N_ACTj = (2 * ACTj + AVG_ACT) / (ACTj + AVG_ACT) (10)
Here, AVG_ACT is a reference value of ACTj in a previously encoded picture, and finally a quantization scale (Q scale value) MQUANTj is obtained by the following equation (11).
MQUANTj = Qj * N_ACTj ・・・(11)
以上のTM5のアルゴリズムによれば、STEP1の処理によりIピクチャに対して多くの符号量を割り当ており、更にピクチャ内においては視覚的に劣化の目立ちやすい平坦部(空間アクティビティが低い)に符号量が多く配分されるようになる。
MQUANTj = Qj * N_ACTj (11)
According to the above TM5 algorithm, a large amount of code is allocated to the I picture by the processing of STEP1, and the code amount is in a flat portion (low spatial activity) that is visually noticeable in the picture. A lot will be allocated.
このようなTM5方式を応用した符号化方式として、画像信号と局所復号画像のSN比がある一定の値となるように目標符号量を決定する方式が提案されている(特許文献1を参照)。この提案手法では、SN比を一定に保つような目標符号量を設定することですべてのピクチャに対する画質を安定させる効果がある。 As an encoding method applying such a TM5 method, a method for determining a target code amount so that an SN ratio between an image signal and a locally decoded image is a certain value has been proposed (see Patent Document 1). . This proposed method has the effect of stabilizing the image quality for all pictures by setting a target code amount that keeps the SN ratio constant.
また、上記提案方式の改良方式として、Iピクチャ,Pピクチャ,Bピクチャ各ピクチャの符号量を最適な値に設定する方式が提案されている(特許文献2を参照)。この改良方式では、IピクチャのSN比がBピクチャのSN比より大きくなるように、各フレーム(Iピクチャ・Pピクチャ・Bピクチャ)の符号量が配分制御される。つまり、Iピクチャの符号化誤差がBピクチャの符号化誤差より小さくなるように各フレーム(Iピクチャ・Pピクチャ・Bピクチャ)の符号量を制御することで、GOPの原点となるIピクチャの画質を向上させる効果がある。 As an improved method of the proposed method, a method of setting the code amount of each picture of I picture, P picture, and B picture to an optimum value has been proposed (see Patent Document 2). In this improved method, the code amount of each frame (I picture, P picture, B picture) is distributed and controlled so that the SN ratio of the I picture is larger than the SN ratio of the B picture. That is, by controlling the code amount of each frame (I picture, P picture, B picture) so that the coding error of the I picture is smaller than the coding error of the B picture, the image quality of the I picture that is the origin of the GOP There is an effect of improving.
さらには、画面間差分を用いた符号化方式も提案されている(特許文献3を参照)。提案方式では、現画像全体と参照画像全体との動きベクトルであるグローバルベクトル(GV)を求め、GVの信頼性に応じて決定した探索領域内で現画像のマクロブロックを探索し、動きベクトルを検出している。この手法では、画面間の相関度を信頼度GRVとして求め、この信頼度GRVの数値により動き探索時のサーチウィンドウの位置を決定している。
しかしながら、特許文献1、特許文献2に係る提案方式では、以下のような課題が存在する。
However, the proposed methods according to
まず、特許文献1に係る提案方式では各ピクチャでのSN比を一定に保つことで、一定の画質を保つことは可能であり、特許文献2に係る提案方式でも、SN比と各ピクチャの符号配分を考慮することで同様に一定の画質を保つことは可能である。
First, in the proposed method according to
しかし、これらの手法では、SN比を目標符号量決定の判断情報としているため、符号化前の画像ではなく、符号化後の画像で符号量を決定していることになる。よって、例えば、カメラのパン等により高周波成分の少ない画像であったのがカメラが静止して高周波成分が大幅に増加した画像や、画面に何かが入り込んでくるような画像では、急激な変化が起こっている。この場合、符号化によってSN比が大幅に低下しブロックノイズ等のノイズが発生しやすい。従って、SN比を一定とし目標符号量を決定しようとしても、ノイズを発生させない最適な符号量を決定することは困難である。 However, in these methods, since the SN ratio is used as determination information for determining the target code amount, the code amount is determined not by the image before encoding but by the image after encoding. Therefore, for example, an image with few high-frequency components due to camera panning or the like, but an image in which the camera is stationary and the high-frequency components are greatly increased, or an image in which something enters the screen suddenly changes. Is happening. In this case, the signal-to-noise ratio is significantly reduced by encoding, and noise such as block noise is likely to occur. Therefore, even if an attempt is made to determine the target code amount with a constant SN ratio, it is difficult to determine an optimal code amount that does not generate noise.
このように、提案方式では、画像が変化した場合に、ノイズを発生させない最適な符号量を設定し、良好な画質の復号画像を得ることが困難である。そこで、本発明は、画像が変化した場合に、ノイズを発生させない最適な符号量を設定し、良好な画質の復号画像を得ることを可能とすることを目的とする。 Thus, in the proposed method, it is difficult to set an optimal code amount that does not generate noise and obtain a decoded image with good image quality when the image changes. Therefore, an object of the present invention is to set an optimal code amount that does not generate noise when an image changes, and to obtain a decoded image with good image quality.
上記課題を解決するための本発明は、符号化対象画像を符号化する画像符号化装置であって、
符号化対象画像を直交変換し、量子化処理して符号化する符号化手段と、
前記符号化された画像を逆量子化し、逆直交変換して復号する復号手段と、
前記符号化対象画像と、該符号化対象画像の直前の画像との動きベクトルであるグローバルベクトルを演算し、該画像間の相関度を表すグローバルベクトル信頼度を求めるグローバルベクトル演算手段と、
前記符号化対象画像と、該符号化対象画像の前記符号化手段による符号化結果を前記復号手段が復号した復号結果とを用いてSN比を算出するSN比算出手段と、
目標とするSN比の値を示す目標SN比を設定する設定手段と、
設定された前記目標SN比と前記算出されたSN比との差分、及び、前記符号化対象画像のグローバルベクトル信頼度と前記直前の画像のグローバルベクトル信頼度との比に基づいて前記符号化手段から出力される符号化データのビットレートを調整するレート制御手段と、
を備えることを特徴とする。
The present invention for solving the above problems is an image encoding device for encoding an encoding target image,
An encoding unit that orthogonally transforms an encoding target image, performs quantization processing, and encodes;
Decoding means for inversely quantizing the encoded image, performing inverse orthogonal transformation, and decoding ;
A global vector computing unit that computes a global vector that is a motion vector between the encoding target image and an image immediately before the encoding target image, and calculates a global vector reliability that indicates a degree of correlation between the images;
An SN ratio calculating means for calculating an SN ratio using the encoding target image and a decoding result obtained by decoding the encoding result of the encoding target image by the encoding means ;
Setting means for setting a target S / N ratio indicating a target S / N ratio value;
The encoding means based on the difference between the set target SN ratio and the calculated SN ratio, and the ratio between the global vector reliability of the encoding target image and the global vector reliability of the immediately preceding image Rate control means for adjusting the bit rate of the encoded data output from
It is characterized by providing .
本発明によれば、画像の変化に応じてビットレート上昇させるようにして、画像が変化してもノイズを発生させない最適な符号量の設定が行うことができ、良好な画質の復号画像を得ることができる。 According to the present invention, an optimum code amount that does not generate noise even when an image changes can be set by increasing the bit rate in accordance with the image change, and a decoded image with good image quality can be obtained. be able to.
以下、添付の図面の図1乃至図4を参照して、発明の実施形態を説明する。図1は、発明の実施形態に対応する符号化方法を実現する画像符号化装置の構成例を示す図である。符号化方式として、具体的にはMPEG(Moving Pictures of Experts Group)やH.264/AVC(Advanced Video Coding)に対応する。よって、該画像符号化装置は、例えばディジタルビデオカメラのような映像音声信号記録装置として実現できる。図2は、画像並び替えの一例を示す図である。図3は、図1の画像符号化装置の点線120で囲まれた各処理部により実行される処理の一例を示すフローチャートである。また、図4は、発明の実施形態に対応するレート制御処理の一例を示すフローチャートである。
Hereinafter, embodiments of the invention will be described with reference to FIGS. 1 to 4 of the accompanying drawings. FIG. 1 is a diagram illustrating a configuration example of an image encoding device that realizes an encoding method corresponding to an embodiment of the invention. Specifically, the encoding system corresponds to MPEG (Moving Pictures of Experts Group) and H.264 / AVC (Advanced Video Coding). Therefore, the image encoding apparatus can be realized as a video / audio signal recording apparatus such as a digital video camera. FIG. 2 is a diagram illustrating an example of image rearrangement. FIG. 3 is a flowchart illustrating an example of processing executed by each processing unit surrounded by a dotted
まず、図1において、入力信号101は本画像符号化装置への入力信号であり、画像符号化装置が備える撮像素子(CCDやCMOS等)、或いは、ライン入力端子からの映像信号がこれに該当する。また、入力信号101は、所定のブロックに分割された状態で入力される。該ブロックは、例えばMPEGでは16×16、8×8を始めとしたブロックであり、符号化方式に応じてサイズが決まる。なお、本明細書では当該ブロックのことを「マクロブロック」と呼んでいる。
First, in FIG. 1, an
画像並べ替え部102は、入力される画像の順序を入れ替えて後段の処理部に出力する処理部である。画像並べ替え部102は、内部にメモリを備え、図2に示すような#1,#2,#3,・・・の順で入力される画像を、#3,#1,#2,・・・の順で出力されるように、該メモリを管理する。
The
スイッチ103は、符号化対象画像のピクチャタイプに応じて、画像並べ替え部102からの出力と減算器114からの出力とを切り替えるスイッチである。DCT部104は、直交変換(DCT)を行う処理部である。量子化部105は、DCT部104から出力された直交変換出力係数を量子化処理する処理部である。可変長符号化部106は、量子化部105から出力された量子化結果に可変長符号化処理を施す処理部である。
The
バッファ107は、可変長符号化部106から出力された符号化データを一時保存するバッファであって、出力端子118とレート制御部116に該符号化データを出力する。逆量子化部108は、量子化部105における量子化結果に逆量子化処理を施す処理部である。IDCT部109は、逆量子化処理結果に対して逆直交変換(IDCT)を施す処理部である。加算器110は、逆直交変換により復号結果として得られた復号データと、動き補償予測部112から出力される予測画像データとを加算して、ローカルデコード画像を出力する演算部である。
The
スイッチ111は、符号化対象画像のピクチャタイプに応じて、動き補償予測部112からの予測画像データを加算器110に供給するためのスイッチである。動き補償予測部112は、画像並べ替え部102からの出力と、加算器110からの出力とに基づき、動き補償予測を行って予測画像データを生成する処理部である。SN比算出部113は、加算器110から出力と、画像並べ替え部102からの出力とを利用して、SN比を算出する処理部である。
The
減算器114は、画像並べ替え部102からの出力と、動き補償予測部112からの予測画像データとの間で減算処理を行う演算部である。グローバルベクトル演算部115は、入力信号101に基づきグローバルベクトルを演算する処理部である。レート制御部116は、符号化するGOPの目標ビットレートならびに、ピクチャの目標符号量を決定する処理部である。量子化制御部117は、レート制御部116で決定されたピクチャの目標符号量を元に、マクロブロックの量子化係数を決定する処理部である。出力端子118は、バッファ107に一時保存されている符号化データを出力する出力端子である。
The
なお、点線領域120は、スイッチ103、DCT部104、量子化部105、逆量子化部108、IDCT部109、加算器110、スイッチ111、動き補償予測部112、SN比算出部113、減算器114を含む。
次に、図3を参照して、図1の点線領域120内の各ブロックによる動作を説明する。
The dotted
Next, the operation of each block in the dotted
まず、ステップS301において、ピクチャタイプの判定を行い、ピクチャタイプがIピクチャの場合(ステップS301において「YES」)、ステップS302に進み、スイッチ103をA側とし、スイッチ111をOFFとする。その後、ステップS305に移行する。
First, in step S301, the picture type is determined. If the picture type is an I picture (“YES” in step S301), the process proceeds to step S302 where the
一方、ピクチャタイプがIピクチャ以外のBピクチャ又はPピクチャの場合(ステップS301において「NO」)、ステップS303に進み、スイッチ103をB側とし、スイッチ111をONとする。続くステップS304では、動き補償予測部112で動き探索を行って予測画像データを生成し、該予測画像データと入力画像との減算処理を減算器114にて行って差分値信号を生成する。
On the other hand, if the picture type is a B picture or P picture other than the I picture (“NO” in step S301), the process proceeds to step S303, the
次に、ステップS305では、入力信号のマクロブロック単位にDCT部104で直交変換を行い、量子化制御部117で決定された量子化スケールを用いて量子化部105にて直交変換出力係数の量子化を行って、符号化データを生成する。ここで、量子化パラメータである量子化スケールは、TM5のSTEP2に相当する処理を行うことで算出できるので、ここでの説明は省略する。
Next, in step S305, orthogonal transformation is performed by the
続くステップS306では、ステップS305において生成された量子化データに逆量子化部108、IDCT部109により逆変換を施して復号結果としての復号データを生成する。Iピクチャの場合、この逆変換によりローカルデコード画像を得ることができる。
In the subsequent step S306, the quantized data generated in step S305 is subjected to inverse transform by the inverse quantization unit 108 and the
続くステップS307では、ステップS301同様にピクチャタイプの判定を行う。ピクチャタイプがIピクチャの場合は(ステップS307において「YES」)、ステップS310へ移行する。一方、ピクチャタイプがIピクチャ以外のBピクチャ又はPピクチャの場合は(ステップS307において「NO」)、ステップS308に移行する。ステップS308では、減算器114にて減算した予測画像データと、逆変換により得られた復号データとの加算処理を加算器110にて行って、Pピクチャ又はBピクチャのローカルデコード画像を生成する。
In subsequent step S307, the picture type is determined in the same manner as in step S301. If the picture type is an I picture (“YES” in step S307), the process proceeds to step S310. On the other hand, if the picture type is a B picture or P picture other than the I picture (“NO” in step S307), the process proceeds to step S308. In step S308, the
次に、ステップS309では、ピクチャタイプがPピクチャか否かを判定する。もし、Pピクチャの場合は(ステップS309において「YES」)、ステップS310へ移行する。一方、Bピクチャの場合は(ステップS309において「NO」)、ステップS311へ移行する。 Next, in step S309, it is determined whether or not the picture type is a P picture. If it is a P picture (“YES” in step S309), the process proceeds to step S310. On the other hand, in the case of a B picture (“NO” in step S309), the process proceeds to step S311.
続くステップS310では、生成したローカルデコード画像を参照画像とするために、動き補償予測部112に記憶する。更にステップS311では、SN比算出部113にて、入力画像とローカルデコード画像とのSN比を算出する。次に、ステップS312に進み、全てのピクチャについて符号化処理が完了したか否かを判定する。完了した場合は(ステップS312において「YES」)、本処理を終了する。一方、まだ符号化すべきピクチャがある場合は(ステップS312において「YES」)、ステップS301に戻って処理を続ける。
In subsequent step S310, the generated local decoded image is stored in the motion
図1に戻り、点線領域120以外の処理ブロックの動作を説明する。量子化部105より出力されたデータは、可変長符号化部106に入力され、可変長符号化が行われる。可変長符号化されたデータは、バッファ107に入力され、出力端子118より出力される。また、バッファ107から、符号化されたピクチャの発生符号量や量子化係数等の情報およびSN比算出部113で算出したSN比がレート制御部116に入力される。
Returning to FIG. 1, the operation of processing blocks other than the dotted
また、グローバルベクトル演算部115は、グローバルベクトル信頼度GRVを算出し、レート制御部116に出力する。グローバルベクトル演算部115におけるグローバルベクトル信頼度GRVの算出方法について、以下に概略を説明する。
Further, global
まず、グローバルベクトルとは、動画再生時の表示順で入力されるピクチャ間(符号化対象画像とその直前画像との間)の空間的な位置の差(即ち、ピクチャ間のずれ量)(i,j)を示すベクトルである。すなわち、グローバルベクトルは、ピクチャ間、或いはピクチャよりも小さい広域エリア(スライス等)間の全体的な動きを表わすパラメータである。最大相関度を有するグローバルベクトルを推定するためには、次のようなMSE(Mean Square Error)(数1)、MAE(Mean Absolute Error)(数2)などの評価関数が用いられる。あるいはMAD(Mean Absolute Difference)を用いてもよい。
ここで、Scur(m,n)は現在のピクチャでの(m,n)番目の画素値、Sref(m,n)は参照ピクチャでの(m,n)番目の画素値を示す。(i,j)は参照ピクチャに対する現在のピクチャの空間的な位置をそれぞれ示している。本実施形態では、参照ピクチャを現ピクチャの1つ前のピクチャとする。
First, the global vector is a spatial position difference (that is, a shift amount between pictures) between pictures (between an encoding target image and an immediately preceding image) input in the display order at the time of moving image reproduction (i. , j). That is, the global vector is a parameter that represents the overall motion between pictures or between wide areas (such as slices) smaller than a picture. In order to estimate the global vector having the maximum correlation, the following evaluation functions such as MSE (Mean Square Error) (Equation 1) and MAE (Mean Absolute Error) (Equation 2) are used. Alternatively, MAD (Mean Absolute Difference) may be used.
Here, Scur (m, n) represents the (m, n) th pixel value in the current picture, and Sref (m, n) represents the (m, n) th pixel value in the reference picture. (I, j) indicate the spatial position of the current picture with respect to the reference picture. In this embodiment, the reference picture is the picture immediately before the current picture.
ただし、M,Nを1ピクチャでの水平及び垂直画素数とすると、m=k×q,n=l×rであり、k,lは0≦m≦M、1≦k≦M,0≦n≦N,1≦l≦Nを満たす自然数である。また、Q,RはM−k≦Q≦M,N−l≦R≦Nを満たす。 However, if M and N are the number of horizontal and vertical pixels in one picture, m = k × q and n = 1 × r, where k and l are 0 ≦ m ≦ M, 1 ≦ k ≦ M, 0 ≦ It is a natural number satisfying n ≦ N and 1 ≦ l ≦ N. Q and R satisfy M−k ≦ Q ≦ M and N−l ≦ R ≦ N.
この評価関数は画素値の差に基づいたものであり、最も小さいMAE値やMSE値となるベクトルをグローバルベクトルとして決定する。MAE値を例にした場合、参照ピクチャを所定の方向に1画素ずつずらしていき、画素の移動距離ごとにMAE値の総和の平均をとる。そして平均MAE値が最小となるときの移動量がグローバルベクトルの選定基準となる。この処理を、例えば所定の方向と直交する他の方向についても行い、この方向で平均MAE値が最小となる移動量が求まれば、2つの移動量とその移動方向からグローバルベクトルを決定することができる。 This evaluation function is based on the difference in pixel values, and determines the vector having the smallest MAE value or MSE value as a global vector. When the MAE value is taken as an example, the reference picture is shifted by one pixel in a predetermined direction, and an average of the sum of the MAE values is taken for each pixel moving distance. The amount of movement when the average MAE value is the minimum is the global vector selection criterion. This process is also performed for other directions orthogonal to a predetermined direction, for example, and if a movement amount that minimizes the average MAE value is obtained in this direction, a global vector is determined from the two movement amounts and the movement direction. Can do.
また、この時に求まる最小のMAE値やMSE値をグローバルベクトル信頼度GRV(Global vector Reliable Value)とする。 Further, the minimum MAE value or MSE value obtained at this time is defined as a global vector reliability GRV (Global vector Reliable Value).
このようにして、グローバルベクトル演算部115は、画像間の相関度を表す
グローバルベクトル信頼度GRVを算出し、レート制御部116に出力する。
In this way, global
レート制御部116では、入力された上記各々の情報を元にノイズを発生させないようにビットレートを決定する処理を行う。レート制御部116における処理の詳細を、図4のフローチャートを参照して以下に説明する。図4は、レート制御部116における、ビットレートを決定するための処理の一例を示すフローチャートである。
The
まず、ステップS401において目標SN比(Tsnr)を設定し、さらにグローバルベクトル演算部115より入力されたグローバルベクトル信頼度(GRV(n))を設定する。ここで、「n」はピクチャナンバーを表す任意の数であって、ここでは処理対象の現画像のピクチャナンバーに対応する値が設定される。
First, in step S401, the target SN ratio (Tsnr) is set, and further, the global vector reliability (GRV (n)) input from the global
次に、ステップS402では、1GOPの平均SN比(Asnr)を算出する。この平均SN比(Asnr)は、例えば、SN比算出部113で求められた1GOP分のSN比の平均として計算することができる。また、各ピクチャタイプについてSN比算出部113で求められたSN比に基づいて、該SN比の平均により1GOPの平均SN比(Asnr)を予測することもできる。なお、平均SN比の算出方法自体は、発明の本質的特徴ではなく、従って上述した2通りの方法に算出方法が限定されるものではない。よって、1GOPの平均SN比を求める方法として利用可能な他の方法があれば、それを利用することもできる。
Next, in step S402, an average SNR (Asnr) of 1 GOP is calculated. This average SN ratio (Asnr) can be calculated, for example, as an average of the SN ratios for 1 GOP obtained by the SN
続くステップS403では、目標SN比(Tsnr)と、平均SN比(Asnr)との大きさを比較する。もし、目標SN比(Tsnr)よりも平均SN比(Asnr)の方が大きい場合(ステップS403において「YES」)は、ステップS404へ移行する。一方、目標SN比(Tsnr)が平均SN比(Asnr)以上の場合は(ステップS403において「NO」)、ステップS405へ移行する。 In subsequent step S403, the target SN ratio (Tsnr) is compared with the average SN ratio (Asnr). If the average SN ratio (Asnr) is larger than the target SN ratio (Tsnr) (“YES” in step S403), the process proceeds to step S404. On the other hand, when the target SN ratio (Tsnr) is equal to or greater than the average SN ratio (Asnr) (“NO” in step S403), the process proceeds to step S405.
ステップS404では、平均SN比(Asnr)が目標SN比(Tsnr)を第1の閾値Th1より上回っているか否かを更に判定する。もし、平均SN比(Asnr)が目標SN比(Tsnr)を第1の閾値Th1より上回っている場合は(ステップS404において「YES」)、ステップS406に移行する。一方、平均SN比(Asnr)が目標SN比(Tsnr)を第1の閾値Th1より上回っていない場合は(ステップS404において「NO」)、ステップS408に移行する。 In step S404, it is further determined whether or not the average SN ratio (Asnr) exceeds the target SN ratio (Tsnr) above the first threshold Th1. If the average SN ratio (Asnr) exceeds the target SN ratio (Tsnr) above the first threshold Th1 (“YES” in step S404), the process proceeds to step S406. On the other hand, if the average SN ratio (Asnr) does not exceed the target SN ratio (Tsnr) above the first threshold Th1 (“NO” in step S404), the process proceeds to step S408.
ステップS406では、現在のレート(Rate)から(Asnr−Tsnr)×αを減算し、新レート(Rate-)を算出し、ステップS408へ移行する。ここで、αは、VBR(可変ビットレート)において平均ビットレートより算出される任意の係数である。平均SN比(Asnr)が目標SN比(Tsnr)を大きく上回っている場合は、符号量の与え過ぎであってレートを下げても目標SN比を上回る。そこで、ステップS406では、レートを下げる処理を行っている。 In step S406, (Asnr−Tsnr) × α is subtracted from the current rate (Rate) to calculate a new rate (Rate − ), and the process proceeds to step S408. Here, α is an arbitrary coefficient calculated from the average bit rate in VBR (variable bit rate). When the average S / N ratio (Asnr) greatly exceeds the target S / N ratio (Tsnr), the code amount is excessively given, and the target S / N ratio is exceeded even if the rate is lowered. Therefore, in step S406, processing for reducing the rate is performed.
例えば、数値としてAsnr = 45.0dB, Tsnr = 40.0dB, Th1 = 2, Rate = 7000000bps, α=200000とした場合を考える。この場合、平均SN比(Asnr)は目標SN比(Tsnr)を、5dB上回っており、この量は第1の閾値Th1よりも大きい。そこで、上記の演算によりレートを下げる処理を行って、新レート(Rate-)を6000000bpsとする。 For example, consider the case where Asnr = 45.0 dB, Tsnr = 40.0 dB, Th1 = 2, Rate = 7000000 bps, α = 200000 as numerical values. In this case, the average SN ratio (Asnr) exceeds the target SN ratio (Tsnr) by 5 dB, and this amount is larger than the first threshold Th1. Therefore, by performing the process of lowering the rate by the above calculation, the new rate (Rate -) to the 6000000Bps.
次に、ステップS405以降の処理を説明する。ステップS405では、目標SN比(Tsnr)が平均SN比(Asnr)を第2の閾値Th2より上回っているか否かを更に判定する。もし、目標SN比(Tsnr)が平均SN比(Asnr)を第2の閾値Th2より上回っている場合は(ステップS405において「YES」)、ステップS407に移行する。一方、目標SN比(Tsnr)が平均SN比(Asnr)を第2の閾値Th2より上回っていない場合は(ステップS405において「NO」)、ステップS408に移行する。 Next, the process after step S405 is demonstrated. In step S405, it is further determined whether or not the target SN ratio (Tsnr) exceeds the average SN ratio (Asnr) above the second threshold Th2. If the target SN ratio (Tsnr) exceeds the average SN ratio (Asnr) above the second threshold Th2 (“YES” in step S405), the process proceeds to step S407. On the other hand, when the target SN ratio (Tsnr) does not exceed the average SN ratio (Asnr) above the second threshold Th2 (“NO” in step S405), the process proceeds to step S408.
ステップS407では、現在のレート(Rate)に(Tsnr−Asnr)×βを加算し、新レート(Rate+)を算出し、ステップS408へ移行する。ここで、βは、VBR(可変ビットレート)において平均ビットレートより算出される任意の係数である。目標SN比(Tsnr)が平均SN比(Asnr)を大きく上回っている場合は、符号量の不足であってレートを上げないと目標SN比を上回ることができない。そこで、ステップS407では、レートを上げる処理を行っている。 In step S407, (Tsnr−Asnr) × β is added to the current rate (Rate) to calculate a new rate (Rate + ), and the process proceeds to step S408. Here, β is an arbitrary coefficient calculated from the average bit rate in VBR (variable bit rate). When the target S / N ratio (Tsnr) greatly exceeds the average S / N ratio (Asnr), the code amount is insufficient and the target S / N ratio cannot be exceeded unless the rate is increased. Therefore, in step S407, processing for increasing the rate is performed.
例えば、数値としてAsnr = 35.0dB, Tsnr = 40.0dB, Th1 = 2, Rate = 7000000bps, β=200000とした場合を考える。この場合、目標SN比(Tsnr)は平均SN比(Asnr)を、5dB上回っており、この量は第2の閾値Th2よりも大きい。そこで、上記の演算によりレートを上げる処理を行って、新レート(Rate+)を8000000bpsとする。 For example, consider the case where Asnr = 35.0 dB, Tsnr = 40.0 dB, Th1 = 2, Rate = 7000000 bps, β = 200000. In this case, the target SN ratio (Tsnr) exceeds the average SN ratio (Asnr) by 5 dB, and this amount is larger than the second threshold value Th2. Therefore, the rate is increased by the above calculation, and the new rate (Rate + ) is set to 8000000 bps.
次に、ステップS408では、処理対象の現ピクチャのグローバルベクトル信頼度GRV(n)と1つ前のピクチャのグローバルベクトル信頼度GRV(n−1)とから、変化率RGRVを算出する。ここで変化率RGRVは、RGRV=GRV(n)/GRV(n−1)で求めることができる。 In step S408, the rate of change RGRV is calculated from the global vector reliability GRV (n) of the current picture to be processed and the global vector reliability GRV (n-1) of the previous picture. Here, the rate of change RGRV can be calculated by RGRV = GRV (n) / GRV (n−1).
次にステップS409では、変化率RGRV(Ratio GRV)が第3の閾値ThRより大きいか否かを判定する。もし、変化率RGRVが第3の閾値ThRより大きい場合(ステップS409におて「YES」)、ステップS410へ移行する。一方、変化率RGRVが第3の閾値ThRより大きくない場合(ステップS409において「NO」)、そのまま本処理を終了する。 Next, in step S409, it is determined whether the rate of change RGRV (Ratio GRV) is greater than a third threshold value ThR. If the change rate RGRV is larger than the third threshold ThR (“YES” in step S409), the process proceeds to step S410. On the other hand, when the rate of change RGRV is not greater than the third threshold ThR (“NO” in step S409), the present process ends.
ステップS410では、現在のレート(Rate)に(RGRV−1)*γ*Rate を加算する演算を行って、レートを上昇させた新レート(Rate+)を算出し、処理を終了する。なお、第3の閾値ThRは、1以上の数であり、γはVBRにおいて平均ビットレートより算出される任意の係数である。 In step S410, an operation of adding (RGRV-1) * γ * Rate to the current rate (Rate) is performed to calculate a new rate (Rate +) with an increased rate, and the process ends. Note that the third threshold ThR is a number equal to or greater than 1, and γ is an arbitrary coefficient calculated from the average bit rate in the VBR.
上記のように、変化率RGRVが第3の閾値ThRより大きいとき、画面間の相関が下がっている。グローバルベクトル信頼度は画面間の相関を示すものであり、この信頼度が前ピクチャより大きくなること、すなわち変化率RGRVが1以上であることは、画面間の相関が減少し、画面間差分が大きくなることを意味する。したがって、符号量を増加させなければ、画質が下がってしまう。このため、変化量に応じた符号量の増加が必要となる。 As described above, when the rate of change RGRV is larger than the third threshold ThR, the correlation between the screens is lowered. The global vector reliability indicates the correlation between the screens. When the reliability is higher than that of the previous picture, that is, when the change rate RGRV is 1 or more, the correlation between the screens decreases, and the difference between the screens is reduced. Means to grow. Therefore, if the code amount is not increased, the image quality is lowered. For this reason, it is necessary to increase the amount of code according to the amount of change.
例えば、数値としてThR=1.1, γ=1, Rate = 6000000bps であり、RGVR=1.2であった場合、新レートは、7200000bpsとなる。 For example, when the numerical values are ThR = 1.1, γ = 1, Rate = 6000000 bps, and RGVR = 1.2, the new rate is 720000 bps.
上記によりビットレートが算出され、それを前述のTM5のSTEP1より目標符号量を算出できる。その目標符号量は量子化制御部117に入力され、TM5のSTEP2およびSTEP3を行うことで、量子化部105の制御を行う。
The bit rate is calculated as described above, and the target code amount can be calculated from the above-described TM5 STEP1. The target code amount is input to the
なお、上述したレート算出式は、あくまで一例であって、レートの増減方法は上記の式に限定されるものではない。上記では、SN比とグローバルベクトル信頼度の両方を用いる場合を説明したが、いずれか一方のみを用いても良い。また、平均SN比(Asnr)や目標SN比(Tsnr)、或いはグローバルベクトル信頼度GRVや変化率RGRVを用いて、他の演算式によりレートを制御することができる。 The rate calculation formula described above is merely an example, and the rate increase / decrease method is not limited to the above formula. In the above description, the case where both the SN ratio and the global vector reliability are used has been described, but only one of them may be used. Further, the rate can be controlled by another arithmetic expression using the average SN ratio (Asnr), the target SN ratio (Tsnr), the global vector reliability GRV, or the change rate RGRV.
以上の処理を行うことで、フレーム間で大きな変化が発生した場合やSN比の低い画像が存在する場合でも、符号化前にその状態を検出し目標符号量を調整して、符号化結果における画質の向上を図ることができる。従って、パン等で高周波成分の少なかった画像が、カメラの静止により高周波成分が大幅に増加した画像や、画面に突然物体が入り込んでくるような画像であっても、目標符号量を調整して、高品位な符号化処理を行うことができる。 By performing the above processing, even when a large change occurs between frames or when an image with a low SN ratio exists, the state is detected before encoding and the target code amount is adjusted. The image quality can be improved. Therefore, even if an image with a small amount of high-frequency components due to panning, etc. is an image in which the high-frequency components are greatly increased due to camera stills or an image in which an object suddenly enters the screen, the target code amount is adjusted. High-quality encoding processing can be performed.
[その他の実施形態]
なお、本発明は、複数の機器(例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。
[Other Embodiments]
Note that the present invention can be applied to a system including a plurality of devices (for example, a host computer, an interface device, a reader, and a printer), and a device (for example, a copying machine and a facsimile device) including a single device. You may apply to.
また、本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。 The object of the present invention can also be achieved by supplying, to a system, a storage medium that records the code of a computer program that realizes the functions described above, and the system reads and executes the code of the computer program. In this case, the computer program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the computer program code constitutes the present invention. In addition, the operating system (OS) running on the computer performs part or all of the actual processing based on the code instruction of the program, and the above-described functions are realized by the processing. .
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。 Furthermore, you may implement | achieve with the following forms. That is, the computer program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer. Then, based on the instruction of the code of the computer program, the above-described functions are realized by the CPU or the like provided in the function expansion card or function expansion unit performing part or all of the actual processing.
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。 When the present invention is applied to the above storage medium, the computer program code corresponding to the flowchart described above is stored in the storage medium.
101・・・入力端子
102・・・画像並び替え部
103・・・スイッチ
104・・・DCT部
105・・・量子化部
106・・・可変長符号化部
107・・・バッファ
108・・・逆量子化部
109・・・IDCT部
110・・・加算器
111・・・スイッチ
112・・・動き補償予測部
113・・・SN比算出部
114・・・減算器
115・・・グローバルベクトル演算部
116・・・レート制御部
117・・・量子化制御部
118・・・出力端子
DESCRIPTION OF
Claims (5)
符号化対象画像を直交変換し、量子化処理して符号化する符号化手段と、
前記符号化された画像を逆量子化し、逆直交変換して復号する復号手段と、
前記符号化対象画像と、該符号化対象画像の直前の画像との動きベクトルであるグローバルベクトルを演算し、該画像間の相関度を表すグローバルベクトル信頼度を求めるグローバルベクトル演算手段と、
前記符号化対象画像と、該符号化対象画像の前記符号化手段による符号化結果を前記復号手段が復号した復号結果とを用いてSN比を算出するSN比算出手段と、
目標とするSN比の値を示す目標SN比を設定する設定手段と、
設定された前記目標SN比と前記算出されたSN比との差分、及び、前記符号化対象画像のグローバルベクトル信頼度と前記直前の画像のグローバルベクトル信頼度との比に基づいて前記符号化手段から出力される符号化データのビットレートを調整するレート制御手段と、
を備えることを特徴とする画像符号化装置。 An image encoding device for encoding image data,
An encoding unit that orthogonally transforms an encoding target image, performs quantization processing, and encodes;
Decoding means for inversely quantizing the encoded image, performing inverse orthogonal transformation, and decoding ;
A global vector computing unit that computes a global vector that is a motion vector between the encoding target image and an image immediately before the encoding target image, and calculates a global vector reliability that indicates a degree of correlation between the images;
An SN ratio calculating means for calculating an SN ratio using the encoding target image and a decoding result obtained by decoding the encoding result of the encoding target image by the encoding means ;
Setting means for setting a target S / N ratio indicating a target S / N ratio value;
The encoding means based on the difference between the set target SN ratio and the calculated SN ratio, and the ratio between the global vector reliability of the encoding target image and the global vector reliability of the immediately preceding image Rate control means for adjusting the bit rate of the encoded data output from
Image encoding apparatus comprising: a.
前記算出されたSN比が前記目標SN比よりも大きい場合に、前記算出されたSN比と前記目標SN比との差分を第1の閾値と比較し、該差分が該第1の閾値より大きい場合は、前記ビットレートを下げ、
前記算出されたSN比が前記目標SN比より大きくない場合に、前記目標SN比と前記算出されたSN比との差分を第2の閾値と比較し、該差分が該第2の閾値より大きい場合は、前記ビットレートを上げる
ことを特徴とする請求項1に記載の画像符号化装置。 The rate control means includes
When the calculated SN ratio is larger than the target SN ratio, the difference between the calculated SN ratio and the target SN ratio is compared with a first threshold value, and the difference is larger than the first threshold value. If so, lower the bit rate,
When the calculated SN ratio is not larger than the target SN ratio, the difference between the target SN ratio and the calculated SN ratio is compared with a second threshold value, and the difference is larger than the second threshold value. The image encoding apparatus according to claim 1, wherein in the case, the bit rate is increased.
前記符号化対象画像のグローバルベクトル信頼度と前記直前の画像のグローバルベクトル信頼度との比を第3の閾値と比較し、該比が前記第3の閾値より大きい場合に、前記ビットレートを上げる
ことを特徴とする請求項1又は2に記載の画像符号化装置。 The rate control means includes
A ratio between the global vector reliability of the encoding target image and the global vector reliability of the immediately preceding image is compared with a third threshold, and the bit rate is increased when the ratio is larger than the third threshold. The image coding apparatus according to claim 1 or 2, wherein
符号化手段が、符号化対象画像を直交変換し、量子化処理して符号化する符号化工程と、
復号手段が、前記符号化された画像を逆量子化し、逆直交変換して復号する復号工程と、
グローバルベクトル演算手段が、前記符号化対象画像と、該符号化対象画像の直前の画像との動きベクトルであるグローバルベクトルを演算し、該画像間の相関度を表すグローバルベクトル信頼度を求めるグローバルベクトル演算工程と、
SN比算出手段が、前記符号化対象画像と、該符号化対象画像の前記符号化工程における符号化結果を前記復号工程において復号した復号結果とを用いてSN比を算出するSN比算出工程と、
設定手段が、目標とするSN比の値を示す目標SN比を設定する設定工程と、
設定された前記目標SN比と前記算出されたSN比との差分、及び、前記符号化対象画像のグローバルベクトル信頼度と前記直前の画像のグローバルベクトル信頼度との比に基づいて、レート制御手段が、前記符号化工程において出力される符号化データのビットレートを調整するレート制御工程と、
を備えることを特徴とする画像符号化装置の制御方法。 A control method for an image encoding device for encoding image data, comprising:
An encoding step in which an encoding unit orthogonally transforms an encoding target image, performs quantization processing, and encodes;
A decoding step in which the decoding means dequantizes the encoded image, performs inverse orthogonal transform, and decodes ;
A global vector for calculating a global vector reliability representing a degree of correlation between the images by calculating a global vector which is a motion vector between the encoding target image and an image immediately before the encoding target image. A calculation process;
An SN ratio calculating step in which an SN ratio calculating unit calculates an SN ratio using the encoding target image and a decoding result obtained by decoding the encoding result of the encoding target image in the encoding step in the decoding step; ,
A setting step in which the setting means sets a target SN ratio indicating a target SN ratio;
Rate control means based on the difference between the set target SN ratio and the calculated SN ratio and the ratio between the global vector reliability of the encoding target image and the global vector reliability of the immediately preceding image A rate control step of adjusting the bit rate of the encoded data output in the encoding step;
A method for controlling an image encoding device comprising:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007287853A JP4857243B2 (en) | 2007-11-05 | 2007-11-05 | Image encoding apparatus, control method therefor, and computer program |
US12/262,850 US8938005B2 (en) | 2007-11-05 | 2008-10-31 | Image encoding apparatus, method of controlling the same, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007287853A JP4857243B2 (en) | 2007-11-05 | 2007-11-05 | Image encoding apparatus, control method therefor, and computer program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009118097A JP2009118097A (en) | 2009-05-28 |
JP2009118097A5 JP2009118097A5 (en) | 2010-12-16 |
JP4857243B2 true JP4857243B2 (en) | 2012-01-18 |
Family
ID=40784743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007287853A Expired - Fee Related JP4857243B2 (en) | 2007-11-05 | 2007-11-05 | Image encoding apparatus, control method therefor, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4857243B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010118912A (en) * | 2008-11-13 | 2010-05-27 | Canon Inc | Image encoding apparatus, control method, and program |
JP2012244542A (en) | 2011-05-23 | 2012-12-10 | Sony Corp | Coding device, coding method, and program |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2536187B2 (en) * | 1989-10-09 | 1996-09-18 | 沖電気工業株式会社 | Video packet encoding / decoding method |
JPH04336894A (en) * | 1991-05-14 | 1992-11-25 | Oki Electric Ind Co Ltd | Moving picture coder |
JP2898528B2 (en) * | 1993-11-26 | 1999-06-02 | 三菱電機株式会社 | Image coding device |
JP3954656B2 (en) * | 1994-09-29 | 2007-08-08 | ソニー株式会社 | Image coding apparatus and method |
JPH09191458A (en) * | 1996-01-10 | 1997-07-22 | Nippon Columbia Co Ltd | Moving image compression coding method and its device |
JP4514203B2 (en) * | 2004-06-11 | 2010-07-28 | キヤノン株式会社 | Motion vector detection apparatus and method |
JP4736619B2 (en) * | 2005-08-18 | 2011-07-27 | 沖電気工業株式会社 | Image processing apparatus and image processing method |
-
2007
- 2007-11-05 JP JP2007287853A patent/JP4857243B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009118097A (en) | 2009-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4752631B2 (en) | Image coding apparatus and image coding method | |
US8000393B2 (en) | Video encoding apparatus and video encoding method | |
JP5267655B2 (en) | Image coding apparatus, image coding control method, and image coding program | |
JP4221655B2 (en) | Encoding apparatus, encoding method, program, and recording medium | |
JP4485996B2 (en) | Image encoding apparatus and image encoding program | |
JP5078837B2 (en) | Encoding apparatus, encoding apparatus control method, and computer program | |
JP2007228519A (en) | Image encoding device and image encoding method | |
JP4857243B2 (en) | Image encoding apparatus, control method therefor, and computer program | |
JP5111128B2 (en) | Encoding apparatus, encoding apparatus control method, and computer program | |
JP6946979B2 (en) | Video coding device, video coding method, and video coding program | |
JP4942208B2 (en) | Encoder | |
JP5006763B2 (en) | Image encoding apparatus, control method therefor, and computer program | |
JP4911625B2 (en) | Image processing apparatus and imaging apparatus equipped with the same | |
WO2020008858A1 (en) | Moving-image encoding device, moving-image encoding method, and program | |
JP2012105128A (en) | Image encoder | |
JP4936557B2 (en) | Encoder | |
JP4823150B2 (en) | Encoding apparatus and encoding method | |
JPH10108197A (en) | Image coder, image coding control method, and medium storing image coding control program | |
JP5409842B2 (en) | Image encoding apparatus, control method therefor, and computer program | |
JP5419560B2 (en) | Imaging device | |
JP2010118912A (en) | Image encoding apparatus, control method, and program | |
JP4849441B2 (en) | Video encoding device | |
JP2007300557A (en) | Image encoding device and image encoding method | |
JP2010166275A (en) | Image encoding device | |
JP2007020216A (en) | Encoding apparatus, encoding method, filtering apparatus and filtering method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101102 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101102 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110815 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111003 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111031 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141104 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141104 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |