JPH09130787A - Dynamic image coder - Google Patents

Dynamic image coder

Info

Publication number
JPH09130787A
JPH09130787A JP28091195A JP28091195A JPH09130787A JP H09130787 A JPH09130787 A JP H09130787A JP 28091195 A JP28091195 A JP 28091195A JP 28091195 A JP28091195 A JP 28091195A JP H09130787 A JPH09130787 A JP H09130787A
Authority
JP
Japan
Prior art keywords
encoding
frame
code amount
coding
rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP28091195A
Other languages
Japanese (ja)
Other versions
JP3651706B2 (en
Inventor
Takeshi Nakajo
健 中條
Kenji Datake
健志 駄竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP28091195A priority Critical patent/JP3651706B2/en
Priority to US08/736,240 priority patent/US6002802A/en
Priority to EP96307751A priority patent/EP0771120B1/en
Priority to EP06025600A priority patent/EP1761070A1/en
Priority to EP01121984A priority patent/EP1170957B1/en
Priority to DE69620094T priority patent/DE69620094T2/en
Priority to DE69637343T priority patent/DE69637343T2/en
Publication of JPH09130787A publication Critical patent/JPH09130787A/en
Priority to US09/382,770 priority patent/US6188792B1/en
Application granted granted Critical
Publication of JP3651706B2 publication Critical patent/JP3651706B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide the dynamic image coder that encodes an image at a coding frame rate in response to image quality with a small delay. SOLUTION: The coder is provided with a coding section 117 coding a received moving image signal, an output buffer 115 receiving coded data from the coding section 117 and transmits the data at a prescribed transmission rate, and a coding control circuit 116 selecting frames to be coded. Then the coding control circuit 116 calculates an object code amount for each frame based on a coding bit rate, a coding frame rate and a permissible delay time set externally, compares the calculated amount with a code amount generated actually to conduct coding control in which a quantization circuit 106 and a switch 101 are controlled and quantization parameters and number of skipped frames are adjusted.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、動画像を少ない情
報量に圧縮符号化する動画像符号化装置に係り、特に画
質に応じた符号化フレームレートでかつ符号化データの
出力時の遅延量を抑えることが可能な動画像符号化装置
に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving picture coding apparatus for compressing and coding a moving picture into a small amount of information, and in particular, at a coding frame rate according to the picture quality and at the time of outputting the coded data The present invention relates to a moving picture coding device capable of suppressing the above.

【0002】[0002]

【従来の技術】TV電話、TV会議システム、携帯情報
端末、ディジタルビデオディスクシステムおよびディジ
タルTV放送システムのような画像を伝送したり蓄積す
るシステムにおいて、伝送または蓄積のために画像を少
ない情報量に圧縮符号化する技術として、動き補償、離
散コサイン変換、サブバンド符号化およびピラミッド符
号化等の方式や、これらを組み合わせた方式など様々な
方式が開発されている。
2. Description of the Related Art In a system for transmitting and storing images, such as a TV telephone, a TV conference system, a portable information terminal, a digital video disc system and a digital TV broadcasting system, the image has a small amount of information for transmission or storage. Various techniques such as motion compensation, discrete cosine transform, subband encoding, and pyramid encoding, and a combination of these have been developed as compression encoding techniques.

【0003】また、動画像の圧縮符号化の国際標準方式
としてISO・MPEG1、MPEG2、ITU−T・
H.261、H.262が規定されている。これらはい
ずれも動き補償適応予測と離散コサイン変換を組み合わ
せた圧縮符号化方式であり、文献1(安田浩編著、“マ
ルチメディア符号化の国際標準”、丸善、平成3年6
月)等に詳細が述べられている。
In addition, ISO / MPEG1, MPEG2, ITU-T /
H. 261, H .; 262 is specified. All of these are compression coding methods that combine motion-compensated adaptive prediction and discrete cosine transform, and are described in Reference 1 (edited by Hiroshi Yasuda, "International Standard for Multimedia Coding", Maruzen, June 1991).
Month) etc. for details.

【0004】このような画像圧縮符号技術を用いた動画
像符号化装置では、64kbps以下といった低ビットレー
トで動画像を符号化する場合、入力動画像信号のフレー
ムレートで符号化することは難しい。そこで、入力動画
像信号を数フレーム毎に符号化するようにして、符号化
フレームレートを落として、符号化することが一般的で
ある。そして、1フレームの符号化が終了した時点で1
フレームの符号化データが全て出力バッファに一時保持
され、あらかじめ設定された符号化データの送信速度
(符号化ビットレート)に従って通信路あるいは他のシ
ステムに出力されるようになっている。
In a moving picture coding apparatus using such a picture compression coding technique, when a moving picture is coded at a low bit rate of 64 kbps or less, it is difficult to code at the frame rate of an input moving picture signal. Therefore, it is general that the input moving image signal is encoded every few frames, and the encoding frame rate is lowered to perform encoding. Then, when the encoding of one frame is completed, 1
All the encoded data of the frame is temporarily held in the output buffer, and is output to the communication path or another system according to the preset transmission rate (encoding bit rate) of the encoded data.

【0005】符号化フレームレートをどの程度に設定す
るかは、符号化品質に大きく影響があるため、非常に重
要である。しかし、符号化のフレームレートを固定にし
た場合、入力動画像信号のフレームレートが30Hzだ
とすると、符号化のフレームレートは、何フレーム毎に
符号化するかで、30、15、10、7.5、6、5、
4.29、3 Hzといった離散的な値に決まってしま
う。そのため、例えば、10Hzで符号化すると動きが
よいが画質が悪く、7.5Hzで符号化すると画質はよ
いが動きが悪いといった場合が生じたりする。また、動
きの激しいシーンが現れて、急激に画質が落ちてしまう
などといった問題もおきる。
How much the coding frame rate is set is very important because it greatly affects the coding quality. However, if the frame rate of the input moving image signal is 30 Hz when the frame rate of encoding is fixed, the frame rate of encoding is 30, 15, 10, 7.5 depending on how many frames are encoded. , 6, 5,
It is decided to be a discrete value such as 4.29 or 3 Hz. Therefore, for example, there are cases where encoding at 10 Hz results in good motion but poor image quality, and encoding at 7.5 Hz results in good image quality but poor motion. In addition, there is a problem that a moving scene appears and the image quality suddenly deteriorates.

【0006】そこで、画質の変動に応じて、符号化フレ
ームレートを変更する符号化制御が考えられている。例
えば、PSTN(Public Switched T
elephon Netwaork 公衆電話網)用の
動画像符号化の標準方式であるH.263の標準化作業
で用いられたシミュレーションモデルTMN5(ITU
−T TSS LBC−95 SG15 WP15/1
VIDEO CODEC TEST MODEL、T
MN5、jan.1995)では、符号化途中に符号化
フレームレートが変わる可変フレームレート符号量制御
のアルゴリズムが採用されている(TMNのアルゴリズ
ム)。TMNのアルゴリズムは、1つ前のフレームの量
子化パラメータQPの平均が小さくなるにつれ、次のフ
レームの目標の符号化フレームレートを上げ、フレーム
の目標の符号化データ量(目標符号量)を小さくするよ
うに、逆に1つ前のフレームの量子化パラメータQPの
平均が大きくなると、次のフレームの目標の符号化フレ
ームレートが下がり、フレームの目標符号量が大きくな
るように制御をおこなっている。
Therefore, coding control is being considered in which the coding frame rate is changed according to the change in image quality. For example, PSTN (Public Switched T
H.264, which is a standard method of moving image coding for elephon Network public telephone network). 263 simulation model TMN5 (ITU
-T TSS LBC-95 SG15 WP15 / 1
VIDEO CODE TEST MODEL, T
MN5, Jan. 1995) employs a variable frame rate code amount control algorithm in which the coding frame rate changes during coding (TMN algorithm). The TMN algorithm increases the target coding frame rate of the next frame and decreases the target coded data amount (target code amount) of the frame as the average of the quantization parameter QP of the preceding frame decreases. As described above, conversely, when the average of the quantization parameter QP of the previous frame increases, the target encoding frame rate of the next frame decreases, and control is performed so that the target encoding amount of the frame increases. .

【0007】[0007]

【発明が解決しようとする課題】このような圧縮符号化
方式を通信や放送用の動画符号化に適用する場合、リア
ルタイムの通信を可能とするために低遅延であることが
望まれる。しかし、TMNアルゴリズムのように、画質
の変動に応じて符号化フレームを変更させて、発生する
符号化データ量を制御する従来の動画符号化装置は、出
力バッファでの遅延を考慮していないために、符号化デ
ータの出力時に大きな遅延が発生する場合があるという
問題があった。
When such a compression coding method is applied to moving picture coding for communication or broadcasting, it is desired that the delay is low in order to enable real-time communication. However, unlike the TMN algorithm, the conventional moving picture coding apparatus that changes the coded frame according to the fluctuation of the image quality and controls the generated coded data amount does not consider the delay in the output buffer. In addition, there is a problem that a large delay may occur when the encoded data is output.

【0008】そこで、本発明は、画質に応じた符号化フ
レームレートでかつ符号化データの出力時の遅延量を抑
えることが可能な動画像符号化装置を提供することを目
的とする。
Therefore, an object of the present invention is to provide a moving picture coding apparatus capable of suppressing a delay amount at the time of outputting coded data at a coding frame rate according to image quality.

【0009】[0009]

【発明を解決するための手段】本発明の動画像符号化装
置は、入力画像信号を符号化する符号化手段と、この符
号化手段から出力される符号化データを一時保持し、あ
らかじめ定められた送信レートで出力する出力手段と、
この出力手段に保持されている符号化データを前記送信
レートで出力する際の遅延時間が予め定められた許容遅
延時間内になるように前記送信レートとあらかじめ定め
られた符号化フレームレートにて決定される符号量を調
節することによりフレーム毎の目標符号量を設定し、こ
の目標符号量を基に、前記符号化手段で発生される符号
量を制御する制御手段とを具備することにより、画質に
応じた符号化フレームレートでかつ符号化データの出力
時の遅延量を抑えることが可能となる。
The moving picture coding apparatus of the present invention temporarily holds the coding means for coding the input image signal and the coded data output from the coding means, and is predetermined. Output means for outputting at the specified transmission rate,
The transmission rate and the predetermined encoding frame rate are determined so that the delay time when outputting the encoded data held in the output means at the transmission rate is within the predetermined allowable delay time. By setting the target code amount for each frame by adjusting the code amount to be generated, and by including a control unit that controls the code amount generated by the encoding unit based on the target code amount, the image quality is improved. It is possible to suppress the delay amount at the time of outputting the encoded data at the encoding frame rate according to the above.

【0010】また、本発明の動画像符号化装置は、 入
力画像信号またはこの入力画像信号に対する予測残差信
号を直交変換して得られた直交変換係数を量子化して符
号化する符号化手段と、この符号化手段から出力される
符号化データを一時保持し、あらかじめ定められた送信
レートで出力する出力手段と、この出力手段に保持され
ている符号化データを前記送信レートで出力する際の遅
延時間が、あらかじめ定められた許容遅延時間内になる
ように、前記送信レートとあらかじめ定められた符号化
フレームレートにて決定される符号量を調節することに
より、フレーム毎の目標符号量を設定し、この目標符号
量を基に、前記符号化手段で量子化する際の量子化パラ
メータを制御する第1の制御手段と、前記出力手段に保
持されている符号化データの符号量が、前記送信レート
と前記許容遅延時間と前記符号化フレームレートによっ
て決定される値になるまで前記符号化手段に入力される
入力画像信号をフレーム単位にスキップするよう制御す
る第2の制御手段とを具備することにより、画質に応じ
た符号化フレームレートでかつ符号化データの出力時の
遅延量を抑えることが可能となる。
Further, the moving picture coding apparatus of the present invention comprises coding means for quantizing and coding an orthogonal transform coefficient obtained by orthogonally transforming an input image signal or a prediction residual signal for the input image signal. An output unit that temporarily holds the encoded data output from the encoding unit and outputs the encoded data at a predetermined transmission rate; and an output unit that outputs the encoded data held by the output unit at the transmission rate. The target code amount for each frame is set by adjusting the code amount determined by the transmission rate and the predetermined encoding frame rate so that the delay time is within the predetermined allowable delay time. Then, based on this target code amount, the first control means for controlling the quantization parameter at the time of quantization by the encoding means, and the encoding held in the output means. Second control for skipping the input image signal input to the encoding unit in frame units until the code amount of data reaches a value determined by the transmission rate, the allowable delay time, and the encoding frame rate By including the control means described above, it becomes possible to suppress the delay amount at the time of outputting the encoded data at the encoded frame rate according to the image quality.

【0011】また、前記第1の制御手段は、前記目標符
号量と前記入力画像信号の画像複雑度を基に、前記符号
化手段の量子化パラメータを制御することにより、より
画質に応じた符号化フレームレートでかつ符号化データ
の出力時の遅延量を抑えることが可能となる。
Further, the first control means controls the quantization parameter of the encoding means on the basis of the target code amount and the image complexity of the input image signal, so that the code according to the image quality can be obtained. It is possible to suppress the delay amount at the time of outputting the encoded data at the encoded frame rate.

【0012】[0012]

【発明の実施の形態】以下、本発明の実施形態について
図面を参照して説明する。図1は、本実施形態に係る動
画像符号化装置の構成を概略的に示したものである。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 schematically shows the configuration of a moving picture coding apparatus according to this embodiment.

【0013】図1において、符号化部117に入力され
た入力動画像信号は、まず、入力動画像信号スイッチ1
01に入力され、ここで、符号化制御回路116からの
制御に基づいて、符号化するフレームの入力動画像信号
が選択されて、ブロック化回路102でマクロブロック
に分割される。マクロブロックに分割された入力動画像
信号は、減算器103に入力され、ここで、後述するよ
うに生成される予測画像信号との差分がとられて、予測
残差信号が生成される。この予測残差信号と、ブロック
化回路102からの入力動画像信号のいずれか一方を、
モード選択スイッチ104によって選択し、DCT(離
散コサイン変換)回路105により離散コサイン変換さ
れる。DCT回路105で得られDCT係数データは、
量子化回路106で量子化される。量子化回路106で
量子化された信号は2分岐され、一方は可変長符号化回
路113で可変長符号化される。一方、量子化回路10
6で量子化され2分岐された信号の他方は、逆量子化回
路107及びIDCT(逆離散コサイン変換)回路10
8により量子化回路106およびDCT回路105の処
理と逆の処理を順次受けた後、加算器109でスイッチ
112を介して入力される予測画像信号と加算されるこ
とにより、局部復号信号が生成される。この局部復号信
号は、フレームメモリ110に蓄えられ、動き補償回路
111に入力され、予測画像信号が生成される。
In FIG. 1, the input moving image signal input to the encoding unit 117 is as follows.
01, where the input moving image signal of the frame to be encoded is selected under the control of the encoding control circuit 116 and divided into macroblocks by the blocking circuit 102. The input moving image signal divided into macroblocks is input to the subtractor 103, and the difference between the input moving image signal and a predicted image signal generated as described later is calculated to generate a prediction residual signal. One of the prediction residual signal and the input moving image signal from the blocking circuit 102 is
A mode is selected by the mode selection switch 104, and a discrete cosine transform is performed by a DCT (discrete cosine transform) circuit 105. The DCT coefficient data obtained by the DCT circuit 105 is
It is quantized by the quantization circuit 106. The signal quantized by the quantization circuit 106 is branched into two, and one of them is variable length coded by the variable length coding circuit 113. On the other hand, the quantization circuit 10
The other of the signals quantized by 6 and divided into two is the inverse quantization circuit 107 and the IDCT (inverse discrete cosine transform) circuit 10.
8, the processing reverse to the processing of the quantization circuit 106 and the DCT circuit 105 is sequentially performed, and then the adder 109 adds the predicted image signal input via the switch 112 to generate a locally decoded signal. It The locally decoded signal is stored in the frame memory 110 and is input to the motion compensation circuit 111 to generate a predicted image signal.

【0014】符号化制御回路116では、符号化部11
7の符号化情報と可変長符号化回路113からの符号化
データ量(符号量)と出力バッファ115のバッファ量
をもとに符号化部117を制御し、必要な情報を可変長
符号化回路113におくる。可変長符号化回路113で
符号化されたデータは、多重化回路114で多重化さ
れ、出力バッファ115で一定の出力レート(符号化ビ
ットレート)で平滑化され、符号化データとして送られ
る。
In the encoding control circuit 116, the encoding unit 11
The encoding unit 117 is controlled based on the encoding information of No. 7, the encoded data amount (code amount) from the variable length encoding circuit 113, and the buffer amount of the output buffer 115, and necessary information is supplied to the variable length encoding circuit. Come to 113. The data encoded by the variable length encoding circuit 113 is multiplexed by the multiplexing circuit 114, smoothed by the output buffer 115 at a constant output rate (encoding bit rate), and sent as encoded data.

【0015】符号化制御回路116には、出力バッファ
115から出力される符号化データの符号化ビットレー
ト(rate(bits/sec))を通知する信号と
符号化フレームレート(f_rate((Hz))を通
知する信号と、出力バッファ115から出力される符号
化データの許容される遅延時間すなわち、許容遅延時間
(limit_delay(msec))を通知する信
号が入力され、これらの信号によりあらかじめ設定され
る情報を基に、出力バッファ115から出力される符号
化データの遅延時間を許容遅延時間(limit_de
lay(msec))以内になるよう符号化部117で
発生される符号量を制御するようになっている。
The encoding control circuit 116 notifies the encoding bit rate (rate (bits / sec)) of the encoded data output from the output buffer 115 and the encoding frame rate (f_rate ((Hz)). And a signal notifying the allowable delay time of the encoded data output from the output buffer 115, that is, the allowable delay time (limit_delay (msec)) is input, and information preset by these signals is input. Based on the delay time of the encoded data output from the output buffer 115 by the allowable delay time (limit_de
The code amount generated by the encoding unit 117 is controlled so as to be within lay (msec)).

【0016】次に、図2を参照して本発明の原理につい
て説明する。なお、ここでは、1フレームの符号化が終
了した時点で、1フレームの符号化データが全て出力バ
ッファ115に入力され、符号化ビットレートrate
(bits/sec)にしたがって、出力バッファから
出力されるものとする。
Next, the principle of the present invention will be described with reference to FIG. Note that, here, when the encoding of one frame is completed, all the encoded data of one frame is input to the output buffer 115, and the encoding bit rate rate is set.
Output from the output buffer according to (bits / sec).

【0017】平均遅延時間ave_delay(mse
c)は、出力バッファ115のバッファ量Bに依存す
る。フレーム番号(f_no)nのフレームでの遅延時
間delay_time(msec)は、フレーム番号
nのフレームの符号化終了時のピークのバッファ量の値
B[n]を符号化ビットレートrateで割って100
0を乗じた値となる。平均遅延時間ave_delay
は、このようにして求めた遅延時間のそれまでの平均で
ある。
Average delay time ave_delay (mse
c) depends on the buffer amount B of the output buffer 115. The delay time delay_time (msec) in the frame of frame number (f_no) n is 100, which is obtained by dividing the peak buffer amount value B [n] at the end of encoding of the frame of frame number n by the encoding bit rate rate.
It is a value multiplied by zero. Average delay time ave_delay
Is the average of the delay times thus obtained.

【0018】本実施形態では、基本的には符号化するフ
レーム毎に目標符号量targetを算出して、それを
基に、量子化パラメータ、符号化フレームレート、すな
わち、スキップするフレーム数を変化させることで、遅
延時間を一定に保つように制御するものである。
In this embodiment, basically, the target code amount target is calculated for each frame to be encoded, and the quantization parameter, the encoding frame rate, that is, the number of frames to be skipped is changed on the basis of the target amount. Thus, the delay time is controlled to be kept constant.

【0019】フレーム毎の目標符号量targetの初
期値は、符号化ビットレートrateを設定された符号
化フレームレートf_rateで割った値とする。ここ
で、設定するフレームレートf_rateは、入力動画
像信号のフレームレートFRを自然数で割った値である
必要はない。従って、設定する符号化フレームレートf
_rateは、固定符号化フレームレートの時のように
離散的な値でなく、自由度が上がる。例えば、f_ra
teは、7.25(Hz)といったような値が設定でき
る。ただし、遅延時間の設定を守るために、その時点ま
での平均遅延時間ave_delayが設定値limi
t_delayをこえてしまった場合には、こえた分だ
けフレーム毎の目標符号量targetを減らすように
する。
The initial value of the target code amount target for each frame is a value obtained by dividing the coding bit rate rate by the set coding frame rate f_rate. Here, the frame rate f_rate to be set does not have to be a value obtained by dividing the frame rate FR of the input moving image signal by a natural number. Therefore, the encoding frame rate f to be set
_Rate is not a discrete value as in the case of the fixed coding frame rate, but the degree of freedom is increased. For example, f_ra
A value such as 7.25 (Hz) can be set for te. However, in order to keep the delay time setting, the average delay time ave_delay up to that point is set to the set value limi.
When t_delay is exceeded, the target code amount target for each frame is reduced by the amount exceeding t_delay.

【0020】次にどのフレームを符号化するかの判断方
法は、次のように行う。すなわち、バッファ量Bが、あ
らかじめ設定された符号化ビットレート、許容遅延時間
に相当するバッファ量rate*limit_dela
y/1000(bits)からデフォルトの目標符号量
rate/frame(bits)を引いた量以下にな
るまで、符号化データを送出する。この時、次に何フレ
ーム先のフレームを符号化するかを示す値をf_cnt
で表すとする。このように制御をおこなえば、次のフレ
ームでの発生符号量が目標符号量以内に抑えられれば、
遅延時間delay_timeは設定値limit_d
elayよりも大きくなることはない。
The method of determining which frame is to be encoded next is as follows. That is, the buffer amount B corresponds to the preset encoding bit rate and the allowable delay time rate * limit_dela.
The encoded data is transmitted until it becomes less than or equal to the amount obtained by subtracting the default target code amount rate / frame (bits) from y / 1000 (bits). At this time, f_cnt is a value indicating how many frames are to be coded next.
Let be represented by. By performing control in this way, if the generated code amount in the next frame is suppressed within the target code amount,
Delay time delay_time is set value limit_d
It cannot be larger than elay.

【0021】実際の発生符号量が目標符号量targe
tを大幅にこえた場合は、f_cntが大きくなり、よ
り多く入力フレームがスキップされて符号化フレームレ
ートが下がり、逆に発生符号量が目標符号量を大幅に下
回った場合は、f_cntが小さくなり、通常よりスキ
ップせずに符号化フレームレートが上がるようになる。
The actual generated code amount is the target code amount target.
When t is greatly exceeded, f_cnt becomes large, more input frames are skipped, the coding frame rate is lowered, and conversely, when the generated code amount is much lower than the target code amount, f_cnt becomes small. , The coding frame rate increases without skipping than usual.

【0022】以上のように、フレーム毎の目標符号量t
argetを設定して発生符号量を制限するとともに、
その結果、発生された符号量を基に、次に符号化するフ
レームを決定することにより、画質に応じた符号化フレ
ームレートを実現し、出力バッファ115から出力され
る符号化データの平均遅延時間が、設定した許容遅延時
間以内に抑えることができる。
As described above, the target code amount t for each frame
In addition to setting the target to limit the amount of generated code,
As a result, by determining the frame to be encoded next based on the generated code amount, the encoding frame rate according to the image quality is realized, and the average delay time of the encoded data output from the output buffer 115 is realized. However, it can be suppressed within the set allowable delay time.

【0023】図3は、図1の動画像符号化装置における
1フレーム毎の符号化処理を行う際の符号化制御回路1
16の1フレーム毎の制御処理動作を説明するためのフ
ローチャートである。
FIG. 3 is a coding control circuit 1 for performing coding processing for each frame in the moving picture coding apparatus of FIG.
16 is a flowchart for explaining the control processing operation for each 16 frames.

【0024】まず、1フレーム毎の符号化の前に、フレ
ーム毎の目標符号量targetを設定をし(ステップ
S101)、そのtargetを基に、量子化回路10
6における量子化を行う際のフレーム毎の基準量子化パ
ラメータb_QPを設定する(ステップS102)。
First, before encoding for each frame, a target code amount target for each frame is set (step S101), and the quantization circuit 10 is set based on the target.
The reference quantization parameter b_QP for each frame when the quantization in 6 is performed is set (step S102).

【0025】次に、各マクロブロック毎の符号化処理の
前に、量子化パラメータQPの計算をおこない(ステッ
プS103)、その値に基づいて、量子化回路106を
制御して符号化処理をおこなう(ステップS104)。
この量子化パラメータQPは、フレーム内符号化におけ
る量子化パラメータである。
Next, before the encoding process for each macroblock, the quantization parameter QP is calculated (step S103), and the quantization circuit 106 is controlled based on the value to perform the encoding process. (Step S104).
This quantization parameter QP is a quantization parameter in intraframe coding.

【0026】1フレームの符号化処理が終了後、後述す
る処理により、符号化をスキップするフレーム数f_c
ntを求め、次に符号化するフレームを決定する(ステ
ップS105)。そして、このフレーム数f_cnt分
のフレームをスキップする(間引く)ように、入力動画
像信号スイッチ101を制御する。
After the completion of the encoding process for one frame, the number of frames f_c for which the encoding is skipped by the process described later.
nt is obtained, and the frame to be encoded next is determined (step S105). Then, the input moving image signal switch 101 is controlled so as to skip (thinning) the frames of the number of frames f_cnt.

【0027】次に、図4に示すフローチャートを参照し
て、図3のステップS101におけるフレーム毎の目標
符号量targetの設定処理動作について詳細に説明
する。
Next, the setting processing operation of the target code amount target for each frame in step S101 of FIG. 3 will be described in detail with reference to the flowchart shown in FIG.

【0028】フレーム毎の目標符号量targetは、
1フレーム目(フレーム番号f_no=1)は、初期値
として、あらかじめ設定されたした符号化ビットレート
rateに設定される(ステップS201〜ステップS
202)。 2フレーム目以降(フレーム番号f_no
=2以上)は、まず、設定された符号化ビットレートr
ateを、設定された符号化フレームレートf_rat
eで割った値でセットする(ステップS203)。 た
だし、前回まで符号化してきたフレームの符号化データ
についての平均遅延時間ave_delayが設定した
遅延時間limit_delayをこえている場合は
(ステップS204)、こえた分に相当する符号量をt
argetから減じておく(ステップS205)。
The target code amount target for each frame is
The first frame (frame number f_no = 1) is set to a preset encoding bit rate rate as an initial value (steps S201 to S).
202). 2nd frame onward (frame number f_no
= 2 or more), first, the set encoding bit rate r
ate is set to the set encoding frame rate f_rat
It is set by a value divided by e (step S203). However, if the average delay time ave_delay of the coded data of the frames encoded up to the previous time exceeds the set delay time limit_delay (step S204), the code amount corresponding to the exceeded time is t.
It is subtracted from the target (step S205).

【0029】また、このセットされたtargetの値
が、設定値rateを入力動画像信号のフレームレート
FRで割った値よりも小さくなるような場合には(ステ
ップS206)、制御が破綻する恐れがあるため、遅延
量より符号量を優先してtargetにrate/FR
をセットする(ステップS207)。
When the value of the set target is smaller than the value obtained by dividing the set value rate by the frame rate FR of the input moving image signal (step S206), the control may be broken. Therefore, the code amount is prioritized over the delay amount, and the target is rate / FR.
Is set (step S207).

【0030】次に、図3のステップS102におけるフ
レーム毎の基準量子化パラメータb_QPについて説明
する。基準量子化パラメータb_QPは(1)式によっ
て求めることができる。
Next, the reference quantization parameter b_QP for each frame in step S102 of FIG. 3 will be described. The reference quantization parameter b_QP can be obtained by the equation (1).

【0031】[0031]

【数1】 (Equation 1)

【0032】但し、b_QPは、1〜31に制限され
る。なお、pre_QPは、1フレーム前の平均量子化
パラメータ、 pre_frame_bitsは、1フ
レーム前の符号量、αは、第1の量子化パラメータの反
応パラメータを表している。
However, b_QP is limited to 1 to 31. Note that pre_QP represents an average quantization parameter one frame before, pre_frame_bits represents a code amount one frame before, and α represents a reaction parameter of the first quantization parameter.

【0033】基準量子化パラメータb_QP求めるに
は、上記の他に次のようなものがある。すなわち、1画
面分の動き保証予測誤差信号(図1の信号118)の標
準偏差sgmをあらかじめ計算し、この標準偏差sgm
と目標符号量targetから決定する。この標準偏差
は、小領域(例えば、8×8のブロック単位)毎に平均
値を引いてから計算する。b_QPは、(2)式より求
めることができる。
In addition to the above, there are the following methods for obtaining the reference quantization parameter b_QP. That is, the standard deviation sgm of the motion-guaranteed prediction error signal (signal 118 in FIG. 1) for one screen is calculated in advance, and the standard deviation sgm is calculated.
And the target code amount target. This standard deviation is calculated after subtracting the average value for each small area (for example, 8 × 8 block unit). b_QP can be obtained from the equation (2).

【0034】[0034]

【数2】 (Equation 2)

【0035】ここで、a、bは、定数であり、a=0.
25、b=1.5程度にすればよい。次に、図3のステ
ップS103における量子化パラメータQPについて説
明する。量子化パラメータQPは、(3)式によって求
めることができる。なお、量子化パラメータQPは、マ
クロブロック毎の計算可能であるが、本実施形態では、
QPは、マクロブロックライン毎に計算する。
Here, a and b are constants, and a = 0.
25, b = about 1.5. Next, the quantization parameter QP in step S103 of FIG. 3 will be described. The quantization parameter QP can be obtained by the equation (3). Note that the quantization parameter QP can be calculated for each macroblock, but in the present embodiment,
QP is calculated for each macroblock line.

【0036】[0036]

【数3】 (Equation 3)

【0037】但し、QPは、1〜31に制限される。な
お、(3)式において、mbは、現在のマクロブロック
の数(1〜MB)、MBは、1フレーム当たりのマクロ
ブロック数、βは、第2の量子化パラメータの反応パラ
メータ、配列encoded_bitsは、各マクロブ
ロックの発生符号量を表している。
However, QP is limited to 1 to 31. In Expression (3), mb is the current number of macroblocks (1 to MB), MB is the number of macroblocks per frame, β is the reaction parameter of the second quantization parameter, and the array encoded_bits is , The generated code amount of each macroblock.

【0038】次に、図5に示すフローチャートを参照し
て、図3のステップS105における符号化フレームの
決定処理動作について説明する。ここで、f_cnt
は、次に何フレーム先を符号化するか、すなわち、符号
化をスキップフレーム数を示している。
Next, with reference to the flow chart shown in FIG. 5, the coded frame determination processing operation in step S105 of FIG. 3 will be described. Where f_cnt
Indicates the number of frames to be encoded next, that is, the number of frames skipped for encoding.

【0039】まず、そのフレームで発生した符号量が可
変長符号化回路113から通知されると、そのときの出
力バッファ115のバッファ量Bに足し込む(ステップ
S301)。
First, when the variable length coding circuit 113 notifies the code amount generated in that frame, it is added to the buffer amount B of the output buffer 115 at that time (step S301).

【0040】次に何フレーム先を符号化するかを示す値
f_cntの決定方法は、次の通りである。まず、f_
cntの値を「0」にセットし初期化する(ステップS
302)。そして、設定した符号化ビットレートrat
eを入力動画像信号のフレームレートFRで割った値、
つまり、入力動画像信号のフレームレートFRでの送信
レートに相当する符号量を、バッファ量Bから引いてゆ
き(ステップS303)、バッファ量Bが設定した許容
遅延時間(limit_delay)に相当する符号量
(rate×limit_delay/1000)か
ら、デフォルトのフレーム毎の符号量(rate/f_
rate)を引いた値以下になるまで(ステップS30
5)、f_cntを増加させてゆく(ステップS30
4)。これにより、符号化をスキップフレーム数がf_
cntが求まる。
The method of determining the value f_cnt indicating the number of frames to be coded next is as follows. First, f_
Initialize by setting the value of cnt to "0" (step S
302). Then, the set encoding bit rate rat
A value obtained by dividing e by the frame rate FR of the input moving image signal,
That is, the code amount corresponding to the transmission rate of the input moving image signal at the frame rate FR is subtracted from the buffer amount B (step S303), and the code amount corresponding to the allowable delay time (limit_delay) set by the buffer amount B. From (rate × limit_delay / 1000), the default code amount per frame (rate / f_
until the value is less than or equal to the value obtained by subtracting the
5), f_cnt is increased (step S30)
4). As a result, the number of frames skipped for encoding is f_
cnt is obtained.

【0041】次に、図6に示すフローチャートを参照し
て、符号化処理を行う際の符号化制御回路116の1フ
レーム毎の他の制御処理動作について説明する。この符
号化制御の方法は、符号化する前に、スイッチ109で
選択された予測残差信号118のアクティビティを計算
して、各マクロブロック毎の目標符号量を設定して、よ
り画質に応じた符号化制御をおこなうことに特徴があ
る。なお、予測残差信号118のアクティビティとは、
マクロブロック毎の符号化する画像の複雑度を表す画像
の状態情報で、例えば、このアクティビティの値が大き
いほど符号量が多くなる必要があることを示している。
Next, another control processing operation for each frame of the encoding control circuit 116 when performing the encoding processing will be described with reference to the flow chart shown in FIG. This encoding control method calculates the activity of the prediction residual signal 118 selected by the switch 109 before encoding, sets a target code amount for each macroblock, and responds to more image quality. It is characterized by performing coding control. The activity of the prediction residual signal 118 is
The image state information indicating the complexity of the image to be encoded for each macroblock indicates that the larger the value of this activity, the larger the code amount needs to be.

【0042】まず、1フレーム毎の符号化の前に、フレ
ーム毎の目標符号量Targetを設定し(ステップS
401)、さらに、各マクロブロック毎の目標符号量t
arget_mbを設定する(ステップS402)。そ
して、フレーム毎の基準量子化パラメータb_QPを設
定する(ステップS403)。
First, before encoding for each frame, a target code amount Target for each frame is set (step S
401), and the target code amount t for each macroblock
The target_mb is set (step S402). Then, the reference quantization parameter b_QP for each frame is set (step S403).

【0043】次に、各マクロブロック毎の符号化処理の
前に、量子化パラメータQPの計算をおこない(ステッ
プS404)、その値に基づいて、符号化処理(ステッ
プS405)をおこなう。
Next, before the encoding process for each macroblock, the quantization parameter QP is calculated (step S404), and the encoding process (step S405) is performed based on the calculated value.

【0044】1フレームの符号化処理が終了後、符号化
をスキップするフレーム数f_cntを求め、次に符号
化するフレームを決定する(ステップS406)。図6
のステップS401におけるフレーム毎の目標符号量t
argetの設定処理動作は、図4と同様である。
After the encoding process for one frame is completed, the number f_cnt of frames for skipping encoding is calculated, and the frame to be encoded next is determined (step S406). FIG.
Target code amount t for each frame in step S401 of
The setting processing operation of the target is similar to that of FIG.

【0045】図6のステップS402のマクロブロック
毎の目標符号量target_mbの設定は、マクロブ
ロックのモード別に、(4)式〜(9)式から求められ
る。まず、フレーム内符号化マクロブロック(以下、イ
ントラマクロブロックと呼ぶ)のアクティビティを
(4)式、(5)式に従って計算する。
The setting of the target code amount target_mb for each macroblock in step S402 of FIG. 6 is obtained from the equations (4) to (9) for each macroblock mode. First, the activity of an intra-coded macroblock (hereinafter referred to as an intra macroblock) is calculated according to the equations (4) and (5).

【0046】ここで、各マクロブロックは、図7で示す
ようなH.261、MPEG1、H263等で一般的に
用いられているフォーマットで、8×8画素のブロック
が4つある輝度信号(Y)と8×8画素の2つのブロッ
クの色差信号(Cb、Cr)の6のブロックからなって
いる。
Here, each macroblock is H.264 as shown in FIG. 261, MPEG1, H263, and other formats commonly used for luminance signals (Y) having four 8 × 8 pixel blocks and color difference signals (Cb, Cr) for two 8 × 8 pixel blocks. It consists of 6 blocks.

【0047】また、original_picture
は、各マクロブロックの入力動画像信号を示しており、
dcは、(5)式で計算される入力動画像信号のマクロ
ブロックの平均値とする。
Also, the original_picture
Shows the input video signal of each macroblock,
dc is the average value of the macro blocks of the input moving image signal calculated by the equation (5).

【0048】[0048]

【数4】 (Equation 4)

【0049】[0049]

【数5】 その結果、イントラマクロブロック毎の目標符号量ta
rget_mbは、(6)式で求められる。
(Equation 5) As a result, the target code amount ta for each intra macroblock ta
rget_mb is calculated by the equation (6).

【0050】[0050]

【数6】 (Equation 6)

【0051】なお、intraは、フレーム中のイント
ラマクロブロック数、interは、フレーム中のイン
ターマクロブロック数、not_codedは、フレー
ム中の非符号化マクロブロック数を表している.フレー
ム間符号化マクロブロック(以下、インターマクロブロ
ックと呼ぶ)では、(7)式に従ってアクティビティを
計算し、(8)式で各マクロブロックの目標符号量ta
rget_mbを求める。なお、pred_pictu
reは、動き補償回路111で生成された各マクロブロ
ックの予測画像信号である。
Note that intra represents the number of intra macroblocks in the frame, inter represents the number of inter macroblocks in the frame, and not_coded represents the number of uncoded macroblocks in the frame. In the inter-frame coding macroblock (hereinafter referred to as an inter macroblock), the activity is calculated according to the equation (7), and the target code amount ta of each macroblock is expressed by the equation (8).
Calculate rget_mb. Note that pred_pictu
re is a predicted image signal of each macroblock generated by the motion compensation circuit 111.

【0052】[0052]

【数7】 (Equation 7)

【0053】[0053]

【数8】 なお、アクティビティ比compは、(9)式に従っ
て、1フレーム前に符号化されたデータから計算された
ものである。
(Equation 8) The activity ratio comp is calculated from the data encoded one frame before according to the equation (9).

【0054】[0054]

【数9】 (Equation 9)

【0055】ここで、encoded_bitsは、各
マクロブロックの発生符号量、QPは、各マクロブロッ
クでの量子化パラメータの値を表している。図6のステ
ップS403におけるフレーム毎の基準量子化パラメー
タb_QPは、フレームのアクティビティを考慮して、
(10)式、(11)式によって求められる。
Here, encoded_bits represents the generated code amount of each macroblock, and QP represents the value of the quantization parameter in each macroblock. The reference quantization parameter b_QP for each frame in step S403 of FIG.
It is obtained by the equations (10) and (11).

【0056】[0056]

【数10】 (Equation 10)

【0057】[0057]

【数11】 [Equation 11]

【0058】但し、b_QPは、1...31に制限さ
れる。なお、frame_actは、現在のフレームの
アクティビティ、pre_QPは、1フレーム前の平均
量子化パラメータ、 pre_frame_bits
は、1フレーム前の符号量、pre_frame_ac
tは、1フレーム前のフレームのアクティビティ、α
は、第1の量子化パラメータの反応パラメータを表して
いる。
However, b_QP is 1. . . Limited to 31. Note that frame_act is the activity of the current frame, pre_QP is the average quantization parameter one frame before, pre_frame_bits
Is the code amount of one frame before, pre_frame_ac
t is the activity of the frame one frame before, α
Represents the reaction parameter of the first quantization parameter.

【0059】図6のステップS409における量子化パ
ラメータQPは、(12)式によって求められる。な
お、量子化パラメータQPは、マクロブロック毎に計算
可能であるが、本実施形態では、QPは、マクロブロッ
クライン毎に計算する。
The quantization parameter QP in step S409 of FIG. 6 is obtained by the equation (12). The quantization parameter QP can be calculated for each macroblock, but in the present embodiment, the QP is calculated for each macroblock line.

【0060】[0060]

【数12】 (Equation 12)

【0061】但し、QPは、1...31に制限され
る。なお、mbは、現在のマクロブロックの数(1〜M
B)、MBは、1フレーム当たりのマクロブロック数、
βは、第2の量子化パラメータの反応パラメータ、配列
encoded_bitsは、各マクロブロックの発生
符号量を表している。
However, QP is 1. . . Limited to 31. Note that mb is the current number of macroblocks (1 to M
B), MB is the number of macroblocks per frame,
β represents the reaction parameter of the second quantization parameter, and the array encoded_bits represents the generated code amount of each macroblock.

【0062】図6のステップS406の符号化フレーム
の決定処理動作は、図5と同様で、f_cntを決定す
るものである。本実施形態では、フレームを単位とする
符号化で説明をおこなったが、フィールド単位での符号
化でも実施できることは言うまでもない。
The coded frame determination processing operation in step S406 of FIG. 6 is similar to that of FIG. 5, and determines f_cnt. In the present embodiment, the description has been made on the frame-by-frame basis, but it goes without saying that field-based encoding can also be carried out.

【0063】図8は、本発明の動画像符号化装置を無線
通信システムに応用した第2の実施形態を示すものであ
る。図8において、無線通信システムは、画像伝送系2
0と画像再生系21とを含み、ネットワーク40の設け
られた基地局41を介して画像の送受信が行われる。
FIG. 8 shows a second embodiment in which the moving picture coding apparatus of the present invention is applied to a wireless communication system. In FIG. 8, the wireless communication system is an image transmission system 2
0 and an image reproduction system 21, and images are transmitted and received via a base station 41 provided with a network 40.

【0064】画像伝送系20は、画像信号入力部21と
誤り耐性処理部23を備える情報現符号化部22と、電
送路符号化部24と、無線部25とを備えており、情報
源符号化部22において、離散コサイン変換(DCT)
や量子化等が行われ、また、伝送路符号化部24におい
ては、符号化データの誤り検出や訂正等が行われる。
The image transmission system 20 is provided with an information current coding unit 22 having an image signal input unit 21 and an error resilience processing unit 23, a transmission line coding unit 24, and a radio unit 25, and has an information source code. In the digitization unit 22, the discrete cosine transform (DCT)
And quantization are performed, and the transmission line encoding unit 24 performs error detection and correction of encoded data.

【0065】情報源符号化部22の主要部には、本発明
に係る動画像符号化装置が適用されている。また、画像
再生系30は、無線部31、伝送路複合化部32、誤り
耐性処理部34を含む情報源複合化部33と、画像信号
出力部35を備えている。
The moving picture coding apparatus according to the present invention is applied to the main part of the information source coding section 22. Further, the image reproduction system 30 includes a wireless unit 31, a transmission line combination unit 32, an information source combination unit 33 including an error resilience processing unit 34, and an image signal output unit 35.

【0066】図9は、第2の実施形態にかかる無線通信
システムの一例を示したもので、図9に示すように、通
信ネットワーク40の基地局41、42、43を介して
ラップトップタイプのパソコン51やデスクトップタイ
プのパソコン52等の端末50」により動画像の電送お
よび受信が行われる。
FIG. 9 shows an example of a wireless communication system according to the second embodiment, and as shown in FIG. 9, it is of a laptop type via the base stations 41, 42 and 43 of the communication network 40. A terminal 50 "such as a personal computer 51 or a desktop personal computer 52" transmits and receives a moving image.

【0067】例えば、パソコン51に備え付けられてい
る画像信号入力部としてのカメラ51aにより入力され
た画像信号は、パソコン51に組み込まれた情報源符号
化部22によって符号化される。情報源符号化部22か
ら出力される符号化データは、他の音声やデータの情報
と多重化された後、パソコン51に組み込まれた無線部
25、アンテナ51bを介して無線で送信される。この
送信された電波信号はネットワーク40に設けられた基
地局41〜43を介してパソコン52のアンテナ52
a、パソコン52に組み込まれた無線部31を介して受
信される。無線部31で受信された信号は、画像信号の
符号化データおよび音声データに分解される。これらの
うち、画像信号の符号化データは、パソコン52に組み
込まれた情報源復号化部33によって復号され、パソコ
ン52のディスプレイに表示される。
For example, the image signal input by the camera 51a as an image signal input unit provided in the personal computer 51 is encoded by the information source encoding unit 22 incorporated in the personal computer 51. The coded data output from the information source coding unit 22 is multiplexed with other voice and data information, and then wirelessly transmitted via the wireless unit 25 and the antenna 51b incorporated in the personal computer 51. This transmitted radio signal is transmitted to the antenna 52 of the personal computer 52 via the base stations 41 to 43 provided in the network 40.
a, it is received via the wireless unit 31 incorporated in the personal computer 52. The signal received by the wireless unit 31 is decomposed into coded data and audio data of the image signal. Of these, the coded data of the image signal is decoded by the information source decoding unit 33 incorporated in the personal computer 52 and displayed on the display of the personal computer 52.

【0068】一方、パソコン52に備え付けられた画像
信号入力部21としてのカメラ52bにより入力された
画像信号は、パソコン52に組み込まれた情報源符号化
部22を用いて上記と同様に符号化される。符号化デー
タは、他の音声やデータの情報と多重化され、パソコン
52に組み込まれた無線部25、アンテナ52aにより
無線で送信される。この送信された電波信号はネットワ
ーク40に設けられた基地局41〜43を介してパソコ
ン51のアンテナ51a、パソコン51に組み込まれた
無線部31を介して受信される。無線部31によって受
信された信号は、画像信号の符号化データおよび音声や
データの情報に分解される。これらのうち、画像信号の
符号化データはパソコン51に組み込まれた情報源復号
部33によって復号され、パソコン51のディスプレイ
に表示される。
On the other hand, the image signal input by the camera 52b as the image signal input unit 21 provided in the personal computer 52 is encoded in the same manner as above by using the information source encoding unit 22 incorporated in the personal computer 52. It The encoded data is multiplexed with other voice and data information, and is wirelessly transmitted by the wireless unit 25 and the antenna 52a incorporated in the personal computer 52. The transmitted radio signal is received via the base stations 41 to 43 provided in the network 40, the antenna 51a of the personal computer 51, and the wireless unit 31 incorporated in the personal computer 51. The signal received by the wireless unit 31 is decomposed into coded data of an image signal and voice or data information. Of these, the coded data of the image signal is decoded by the information source decoding unit 33 incorporated in the personal computer 51 and displayed on the display of the personal computer 51.

【0069】以上、説明したように、上記実施形態によ
れば、符号化制御回路116において、出力バッファ1
15に保持されている符号化データをあらかじめ定めら
れた符号化ビットレート(rate)で出力する際の遅
延時間が、あらかじめ定められた許容遅延時間(lim
it_delay)内になるように、符号化ビットレー
ト(rate)と符号化フレームレート(f_rat
e)にて決定される符号化量(rate/f_rat
e)を調節することにより、フレーム毎の目標符号量t
argetを設定して、それを基に、符号化部117の
量子化回路106およびスイッチ101を制御する(具
体的には、量子化ステップパラメータと、符号化せずに
スキップするフレーム数f_cntを算出する)ことに
より、画質に応じた符号化フレームレートでかつ符号化
データの出力時の遅延量を抑えることが可能となる。
As described above, according to the above embodiment, in the encoding control circuit 116, the output buffer 1
The delay time when outputting the coded data held in 15 at a predetermined coding bit rate (rate) is a predetermined allowable delay time (lim).
it_delay) so that the coding bit rate (rate) and the coding frame rate (f_rat)
e) encoding amount (rate / f_rat)
By adjusting e), the target code amount t for each frame t
The target is set, and the quantization circuit 106 and the switch 101 of the encoding unit 117 are controlled based on it (specifically, the quantization step parameter and the number of frames f_cnt to be skipped without encoding are calculated. By doing so, it becomes possible to suppress the delay amount at the time of outputting the encoded data at the encoding frame rate according to the image quality.

【0070】また、予測残差信号118を基に入力動画
像信号の画像複雑度を表すアクティビティをマクロブロ
ック毎に算出して、それをも考慮にいれ、量子化パラメ
ータを算出することにより、より画質に応じた符号化制
御を行うことができる。
Further, the activity representing the image complexity of the input moving image signal is calculated for each macroblock on the basis of the prediction residual signal 118, and the quantization parameter is calculated in consideration of the activity. It is possible to perform encoding control according to the image quality.

【0071】[0071]

【発明の効果】以上、説明したように本発明によれば、
画質に応じた符号化フレームレートでかつ符号化データ
の出力時の遅延量を抑えることが可能な動画像符号化装
置を提供できる。
As described above, according to the present invention,
It is possible to provide a moving image encoding device that can suppress the delay amount at the time of outputting encoded data at an encoding frame rate according to image quality.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施形態に係る動画像符号化装置の構
成を概略的に示すブロック図。
FIG. 1 is a block diagram schematically showing the configuration of a moving image encoding device according to an embodiment of the present invention.

【図2】符号化制御回路の処理動作の原理を説明するた
めの図。
FIG. 2 is a diagram for explaining the principle of processing operation of an encoding control circuit.

【図3】符号化制御回路の1フレームについての処理動
作説明するためのフローチャート。
FIG. 3 is a flowchart for explaining a processing operation for one frame of the encoding control circuit.

【図4】フレーム毎の目標符号量の設定処理動作を説明
するためのフローチャート。
FIG. 4 is a flowchart for explaining a target code amount setting processing operation for each frame.

【図5】符号化フレームレートを決定するための処理動
作を説明するためのフローチャート。
FIG. 5 is a flowchart illustrating a processing operation for determining a coding frame rate.

【図6】符号化制御回路の1フレームについての他の処
理動作を説明するためのフローチャート。
FIG. 6 is a flowchart for explaining another processing operation for one frame of the encoding control circuit.

【図7】マクロブロックのフォーマットを説明するため
の図
FIG. 7 is a diagram for explaining a macroblock format.

【図8】本発明を適用した無線通信システムの構成を概
略的に示した図。
FIG. 8 is a diagram schematically showing a configuration of a wireless communication system to which the present invention is applied.

【図9】本発明を適用した無線通信システムの一例を示
した図。
FIG. 9 is a diagram showing an example of a wireless communication system to which the present invention is applied.

【符号の説明】[Explanation of symbols]

101…入力動画像信号スイッチ、102…ブロック化
回路、103…減算器、104…モード選択スイッチ、
105…DCT回路、106…量子化回路、107…逆
量子化回路、108…IDCT回路、109…加算器、
110…フレームメモリ 、111…動き補償回路、1
12…スイッチ、113…可変長符号化回路、114…
多重化回路、115…出力バッファ、116…符号化制
御回路、117…符号化部。
101 ... Input moving image signal switch, 102 ... Blocking circuit, 103 ... Subtractor, 104 ... Mode selection switch,
105 ... DCT circuit, 106 ... Quantization circuit, 107 ... Inverse quantization circuit, 108 ... IDCT circuit, 109 ... Adder,
110 ... Frame memory, 111 ... Motion compensation circuit, 1
12 ... Switch, 113 ... Variable length coding circuit, 114 ...
Multiplexing circuit, 115 ... Output buffer, 116 ... Encoding control circuit, 117 ... Encoding section.

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】 入力画像信号を符号化する符号化手段
と、 この符号化手段から出力される符号化データを一時保持
し、あらかじめ定められた送信レートで出力する出力手
段と、 この出力手段に保持されている符号化データを前記送信
レートで出力する際の遅延時間が予め定められた許容遅
延時間内になるように前記送信レートとあらかじめ定め
られた符号化フレームレートにて決定される符号量を調
節することによりフレーム毎の目標符号量を設定し、こ
の目標符号量を基に、前記符号化手段で発生される符号
量を制御する制御手段と、 を具備したことを特徴とする動画像符号化装置。
1. An encoding means for encoding an input image signal, an output means for temporarily holding encoded data output from the encoding means and outputting at a predetermined transmission rate, and an output means for the output means. A code amount determined by the transmission rate and a predetermined encoding frame rate so that the delay time when the stored encoded data is output at the transmission rate is within a predetermined allowable delay time. By setting a target code amount for each frame by adjusting, and a control means for controlling the code amount generated by the encoding means based on the target code amount. Encoding device.
【請求項2】 入力画像信号またはこの入力画像信号に
対する予測残差信号を直交変換して得られた直交変換係
数を量子化して符号化する符号化手段と、 この符号化手段から出力される符号化データを一時保持
し、あらかじめ定められた送信レートで出力する出力手
段と、 この出力手段に保持されている符号化データを前記送信
レートで出力する際の遅延時間が、あらかじめ定められ
た許容遅延時間内になるように、前記送信レートとあら
かじめ定められた符号化フレームレートにて決定される
符号量を調節することにより、フレーム毎の目標符号量
を設定し、この目標符号量を基に、前記符号化手段で量
子化する際の量子化パラメータを制御する第1の制御手
段と、 前記出力手段に保持されている符号化データの符号量
が、前記送信レートと前記許容遅延時間と前記符号化フ
レームレートによって決定される値になるまで前記符号
化手段に入力される入力画像信号をフレーム単位にスキ
ップするよう制御する第2の制御手段と、 を具備したことを特徴とする動画像符号化装置。
2. An encoding means for quantizing and encoding an orthogonal transform coefficient obtained by orthogonally transforming an input image signal or a prediction residual signal for the input image signal, and a code output from this encoding means. Output means for temporarily holding the encoded data and outputting the encoded data at a predetermined transmission rate, and a delay time for outputting the encoded data held by the output means at the transmission rate is a predetermined allowable delay. The target code amount for each frame is set by adjusting the code amount determined by the transmission rate and the predetermined encoding frame rate so that it is within time, and based on this target code amount, A first control unit that controls a quantization parameter when quantizing by the encoding unit, and a code amount of the encoded data held in the output unit is the transmission rate. And second control means for controlling the input image signal input to the encoding means to be skipped frame by frame until a value determined by the allowable delay time and the encoding frame rate is reached. And a moving picture coding device.
【請求項3】 入力画像信号またはこの入力画像信号に
対する予測残差信号を直交変換して得られた直交変換係
数を量子化して符号化する符号化手段と、 この符号化手段から出力される符号化データを一時保持
し、あらかじめ定められた送信レートで出力する出力手
段と、 この出力手段に保持されている符号化データを前記送信
レートで出力する際の遅延時間が、あらかじめ定められ
た許容遅延時間内になるように、前記送信レートとあら
かじめ定められた符号化フレームレートにて決定される
符号量を調節することにより、フレーム毎の目標符号量
を設定し、この目標符号量と前記入力画像信号の画像複
雑度を基に、前記符号化手段で量子化する際の量子化パ
ラメータを制御する第1の制御手段と、 前記出力手段に保持されている符号化データの符号量
が、前記送信レートと前記許容遅延時間と前記符号化フ
レームレートによって決定される値になるまで前記符号
化手段に入力される入力画像信号をフレーム単位にスキ
ップするよう制御する第2の制御手段と、 を具備したことを特徴とする動画像符号化装置。
3. An encoding means for quantizing and encoding an orthogonal transform coefficient obtained by orthogonally transforming an input image signal or a prediction residual signal for this input image signal, and a code output from this encoding means. Output means for temporarily holding the encoded data and outputting the encoded data at a predetermined transmission rate, and a delay time for outputting the encoded data held by the output means at the transmission rate is a predetermined allowable delay. The target code amount for each frame is set by adjusting the code amount determined by the transmission rate and the predetermined coding frame rate so that it is within the time, and the target code amount and the input image are set. First control means for controlling a quantization parameter for quantization by the encoding means based on the image complexity of the signal; and the encoding data held in the output means. A control for skipping the input image signal input to the encoding unit in frame units until the code amount of the data reaches a value determined by the transmission rate, the allowable delay time, and the encoding frame rate. 2. A moving picture coding device, comprising:
JP28091195A 1995-10-27 1995-10-27 Video encoding device Expired - Fee Related JP3651706B2 (en)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP28091195A JP3651706B2 (en) 1995-10-27 1995-10-27 Video encoding device
US08/736,240 US6002802A (en) 1995-10-27 1996-10-24 Video encoding and decoding apparatus
EP06025600A EP1761070A1 (en) 1995-10-27 1996-10-25 Video encoding and decoding apparatus
EP01121984A EP1170957B1 (en) 1995-10-27 1996-10-25 Video encoding and decoding apparatus
EP96307751A EP0771120B1 (en) 1995-10-27 1996-10-25 Video encoding apparatus
DE69620094T DE69620094T2 (en) 1995-10-27 1996-10-25 The video coding apparatus
DE69637343T DE69637343T2 (en) 1995-10-27 1996-10-25 Video encoding and decoding device
US09/382,770 US6188792B1 (en) 1995-10-27 1999-08-25 Video encoding and decoding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28091195A JP3651706B2 (en) 1995-10-27 1995-10-27 Video encoding device

Publications (2)

Publication Number Publication Date
JPH09130787A true JPH09130787A (en) 1997-05-16
JP3651706B2 JP3651706B2 (en) 2005-05-25

Family

ID=17631663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28091195A Expired - Fee Related JP3651706B2 (en) 1995-10-27 1995-10-27 Video encoding device

Country Status (1)

Country Link
JP (1) JP3651706B2 (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6591014B1 (en) 1998-07-13 2003-07-08 Nec Corporation Apparatus for coding moving picture
JP2003521178A (en) * 2000-01-28 2003-07-08 クゥアルコム・インコーポレイテッド Quality-based image compression
US6647060B1 (en) 1998-05-28 2003-11-11 Nec Corporation Video compression device and video compression method
KR20040046055A (en) * 2002-11-26 2004-06-05 엘지전자 주식회사 Method for electrical transmission bit rate control of moving picture
KR20040047009A (en) * 2002-11-28 2004-06-05 엘지전자 주식회사 Bit rate control method of video telephony system
US6836513B2 (en) 2000-09-22 2004-12-28 Oki Electric Industry Co., Ltd. Moving picture encoding method and apparatus
KR100484148B1 (en) * 2002-07-27 2005-04-18 삼성전자주식회사 Advanced method for rate control and apparatus thereof
US7031386B2 (en) 2000-09-19 2006-04-18 Matsushita Electric Industrial Co., Ltd. Image transmitter
WO2007125574A1 (en) * 2006-04-27 2007-11-08 Media Global Links Co., Ltd. Video transferring apparatus
JP2009513071A (en) * 2005-10-21 2009-03-26 クゥアルコム・インコーポレイテッド Method and system for adaptive encoding of real-time information in packet-switched wireless communication systems
JP2009246540A (en) * 2008-03-28 2009-10-22 Ibex Technology Co Ltd Encoding device, encoding method, and encoding program
JP2009539333A (en) * 2006-05-31 2009-11-12 クゥアルコム・インコーポレイテッド Video rate adaptation for reverse link conditions
US8102878B2 (en) 2005-09-29 2012-01-24 Qualcomm Incorporated Video packet shaping for video telephony
US8797850B2 (en) 2008-01-10 2014-08-05 Qualcomm Incorporated System and method to adapt to network congestion
JP2019092105A (en) * 2017-11-16 2019-06-13 日本電気株式会社 Video encoding apparatus, video encoding method, and program

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6647060B1 (en) 1998-05-28 2003-11-11 Nec Corporation Video compression device and video compression method
US6591014B1 (en) 1998-07-13 2003-07-08 Nec Corporation Apparatus for coding moving picture
JP2003521178A (en) * 2000-01-28 2003-07-08 クゥアルコム・インコーポレイテッド Quality-based image compression
US7031386B2 (en) 2000-09-19 2006-04-18 Matsushita Electric Industrial Co., Ltd. Image transmitter
US6836513B2 (en) 2000-09-22 2004-12-28 Oki Electric Industry Co., Ltd. Moving picture encoding method and apparatus
KR100484148B1 (en) * 2002-07-27 2005-04-18 삼성전자주식회사 Advanced method for rate control and apparatus thereof
KR20040046055A (en) * 2002-11-26 2004-06-05 엘지전자 주식회사 Method for electrical transmission bit rate control of moving picture
KR20040047009A (en) * 2002-11-28 2004-06-05 엘지전자 주식회사 Bit rate control method of video telephony system
US8102878B2 (en) 2005-09-29 2012-01-24 Qualcomm Incorporated Video packet shaping for video telephony
JP2009513071A (en) * 2005-10-21 2009-03-26 クゥアルコム・インコーポレイテッド Method and system for adaptive encoding of real-time information in packet-switched wireless communication systems
JP4927857B2 (en) * 2005-10-21 2012-05-09 クゥアルコム・インコーポレイテッド Method and system for adaptive encoding of real-time information in packet-switched wireless communication systems
WO2007125574A1 (en) * 2006-04-27 2007-11-08 Media Global Links Co., Ltd. Video transferring apparatus
JP2009539333A (en) * 2006-05-31 2009-11-12 クゥアルコム・インコーポレイテッド Video rate adaptation for reverse link conditions
US8797850B2 (en) 2008-01-10 2014-08-05 Qualcomm Incorporated System and method to adapt to network congestion
JP2009246540A (en) * 2008-03-28 2009-10-22 Ibex Technology Co Ltd Encoding device, encoding method, and encoding program
JP2019092105A (en) * 2017-11-16 2019-06-13 日本電気株式会社 Video encoding apparatus, video encoding method, and program

Also Published As

Publication number Publication date
JP3651706B2 (en) 2005-05-25

Similar Documents

Publication Publication Date Title
EP1170957B1 (en) Video encoding and decoding apparatus
JP4571489B2 (en) Method and apparatus for displaying quantizer parameters in a video coding system
US7292632B2 (en) Method and apparatus for transforming moving picture coding system
JP3920356B2 (en) Video coding
JP3043599B2 (en) Quantization step size controller using neural network
JP3651706B2 (en) Video encoding device
EP1280356A2 (en) Apparatus and method for compressing multiplexed video signals
JP2902386B2 (en) Video compression encoding device
JP4407249B2 (en) Data processing apparatus, method and encoding apparatus, method and program
JPH0998421A (en) Image encoding/decoding device
KR100789535B1 (en) Adjustive bit rate control system depending on the variation rate of the image
JP3779066B2 (en) Video encoding device
KR100923961B1 (en) System and method for low-delay video telecommunication
JPH0646411A (en) Picture coder
JPH07222144A (en) Method for minimizing delay of time in transmission of moving image of low data ratio and method for reproducing moving image
JPH06165148A (en) Dynamic picture communicate equipment
JPH0638196A (en) Animation coder

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040914

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050217

LAPS Cancellation because of no payment of annual fees