JP3203612B2 - Image encoding / decoding method - Google Patents
Image encoding / decoding methodInfo
- Publication number
- JP3203612B2 JP3203612B2 JP9330594A JP9330594A JP3203612B2 JP 3203612 B2 JP3203612 B2 JP 3203612B2 JP 9330594 A JP9330594 A JP 9330594A JP 9330594 A JP9330594 A JP 9330594A JP 3203612 B2 JP3203612 B2 JP 3203612B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- small
- encoding
- divided
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【0001】[0001]
【産業上の利用分野】本発明は、ハイビジョン(HDT
V:high density television)画像等の高いサンプリン
グレートの信号を、複数の標準TVサイズの小画像に分
割して並列処理する高能率符号化方法において、分割さ
れた各小画像の性質が大きく異なる場合でも適切な情報
量割当を可能とし、結果として画質の良い復号画像を得
ることができる画像符号化方法に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention
V: high-density television) In a high-efficiency encoding method in which a high-sampling-rate signal such as an image is divided into a plurality of standard TV-size small images and processed in parallel, the characteristics of the divided small images are significantly different. However, the present invention relates to an image encoding method capable of allocating an appropriate amount of information and obtaining a decoded image with high image quality as a result.
【0002】[0002]
【従来の技術】ハイビジョン画像(HDTV画像)等の
ように高い周波数でサンプリングされた信号を高能率符
号化する場合、ハードウェアを実時間で動作させるため
に、並列処理方法が用いられる。2. Description of the Related Art When a signal sampled at a high frequency such as a high-definition image (HDTV image) is encoded with high efficiency, a parallel processing method is used to operate hardware in real time.
【0003】図4に示すように、HDTV信号を空間的
に4分割して標準TVサイズの小画像にし、並列に符号
化処理を行う場合を考える。図4において、101はH
DTV画像、102A,102B,102C,102D
は標準TVサイズ小画像である。As shown in FIG. 4, consider a case where an HDTV signal is spatially divided into four to make a small image of a standard TV size and encoding processing is performed in parallel. In FIG. 4, 101 is H
DTV images, 102A, 102B, 102C, 102D
Is a standard TV size small image.
【0004】図5は前記HDTV信号を空間的に4分割
して標準TVサイズの小画像にし、並列に符号化処理を
行う装置の機能構成を示すブロック構成図であり、20
1は入力端子、202はHDTV信号、203は画像分
割部、204〜207は標準TVサイズの小画像、20
8〜211は情報圧縮部、212〜215はバッファメ
モリ部、216〜219は符号化出力、220は多重化
部、221は符号化出力データ、出力端子222であ
る。FIG. 5 is a block diagram showing a functional configuration of an apparatus for spatially dividing the HDTV signal into four parts to make a small image of a standard TV size and performing an encoding process in parallel.
1 is an input terminal, 202 is an HDTV signal, 203 is an image dividing unit, 204 to 207 are small images of a standard TV size, 20
8 to 211 are an information compression unit, 212 to 215 are buffer memory units, 216 to 219 are coded outputs, 220 is a multiplexing unit, 221 is coded output data, and an output terminal 222.
【0005】図5において、前記HDTV信号を空間的
に4分割して標準TVサイズの小画像にし、並列に符号
化処理を行う場合は、まず、送信側では、入力端子20
1から入力されたHDTV信号202を画像分割部20
3において4つの標準TVサイズの小画像204〜20
7に分割する。分割されたそれぞれの標準TVサイズの
小画像204〜207は、各々情報圧縮部208〜21
1に入力されて符号化処理が施される。符号化出力は、
バッファメモリ部212〜215に入力されてその出力
が一定の情報量になるようにフィードバック制御され
る。各々一定の情報量になった符号化出力216〜21
9は、多重化部220に入力され、1つの符号化出力デ
ータ221にまとめられた後、出力端子222を経て伝
送路に送出される。[0005] In FIG. 5, when the HDTV signal is spatially divided into four to make a small image of a standard TV size and the encoding process is performed in parallel, first, on the transmission side, the input terminal 20 is used.
The HDTV signal 202 input from the
3 and 4 standard TV size small images 204 to 20
Divide into seven. The divided small images 204 to 207 of the standard TV size are respectively divided into information compression units 208 to 21.
1 and subjected to an encoding process. The encoded output is
Feedback control is performed so that the data is input to the buffer memory units 212 to 215 and the output becomes a constant information amount. Encoded outputs 216 to 21 each having a constant information amount
9 is input to the multiplexing unit 220, is combined into one encoded output data 221, and is transmitted to the transmission path via the output terminal 222.
【0006】ここで、入力であるHDTV信号の特徴を
考えてみると、1枚1枚のフレームにおいては画面の部
分部分で当然異なるが、4つに分割した各小画像のう
ち、どの小画像が符号化し易いか、あるいはし難いかを
特定することは困難である。従って、HDTV信号全体
でR(bit/s)の情報量が割り当てられている場合
には、各小画像に割り当てられる情報量としては、どの
小画像にも等しく1/4R(bit/s)とするのが通
常である。Considering the characteristics of the HDTV signal as an input, which one of the four small images is naturally different in the screen part in each frame, It is difficult to specify whether or not is easy to encode. Therefore, when the information amount of R (bit / s) is assigned to the entire HDTV signal, the information amount assigned to each small image is equal to 1 / 4R (bit / s) for every small image. It is usual to do.
【0007】[0007]
【発明が解決しようとする課題】しかしながら、HDT
V画像を分割せずにR(bit/s)で符号化した場合
(画面内で理想的な情報割当がされている場合と考えて
良い)を考えると、画像によっては、分割される小画像
に相当する4つの領域での発生ビット数は必ずしも等し
くなってはいない。SUMMARY OF THE INVENTION However, HDT
Considering a case where a V image is encoded with R (bit / s) without being divided (it may be considered that ideal information is allocated in a screen), depending on the image, a small image to be divided may be used. Are not necessarily the same in the four areas corresponding to.
【0008】例えば、図6及び図7に示すように、最
初、画面の1つの部分(a)に非常に精細で動きが激し
い領域があり、その他の部分(b),(c),(d)が
比較的フラットであったとし、この精細な領域が時間と
ともに徐々に(b)の部分に動いた場合を考える。最初
は、(b),(c),(d)の部分は1/4R(bit
/s)よりもかなり少ない情報量で符号化できるため、
ここで余った情報量が、少ない情報では符号化が困難な
(a)の部分に回ることにより、(a)の部分を1/4
R(bit/s)よりも多くの情報量をかけて符号化す
る。その後、情報を多く使うべき精細な領域が(b)に
徐々に移るため、(a)に割り当てられていた情報量が
しだいに(b)に割り当てられるようになる。For example, as shown in FIGS. 6 and 7, at first, there is a very fine and rapidly moving area in one part (a) of the screen, and the other parts (b), (c), (d) ) Is relatively flat, and a case is considered where this fine area gradually moves to the part (b) with time. Initially, the parts (b), (c) and (d) are 1 / 4R (bit
/ S) can be encoded with much less information than
Here, the surplus information amount is reduced to the part (a) where it is difficult to encode with small information, so that the part (a) is reduced to 1/4.
Encoding is performed by applying a larger amount of information than R (bit / s). After that, a fine area where much information is to be used gradually moves to (b), so that the information amount allocated to (a) is gradually allocated to (b).
【0009】ところで、分割形の符号化において、従来
の方法のように、4つに分けられた小画像の特徴が等し
いものと仮定して符号化処理を行うと、本来、1/4R
(bit/s)よりも多くの情報を費やして符号化すべ
き領域を強制的に1/4R(bit/s)に抑えて符号
化を行うことになり、結果として復号画像の画質を悪化
させてしまう。また、逆に1/4R(bit/s)より
も少ない情報量で十分画質の良い復号画像が得られる領
域を1/4R(bit/s)で符号化することが生じ、
この場合はむだな情報を送っていることになる。By the way, in the coding of the division type, if the coding process is performed on the assumption that the characteristics of the four divided small images are the same as in the conventional method, the 1 / 4R
(Bit / s) is used and coding is performed by forcibly suppressing the area to be coded by spending more information than RR (bit / s). As a result, the image quality of the decoded image is deteriorated. I will. Conversely, a region where a decoded image of sufficiently high image quality can be obtained with an information amount smaller than 1 / 4R (bit / s) may be encoded by 1 / 4R (bit / s),
In this case, wasteful information is being sent.
【0010】本発明は、前記問題点を解決するためにな
されたものであり、本発明の目的は、HDTV画像等の
高いサンプリングレートの信号を、複数の標準TVサイ
ズの小画像に分割して並列処理する高能率符号化方法に
おいて、分割された各小画像の性質が大きく異なる場合
でも適切な情報量割り当てが可能な技術を提供すること
にある。An object of the present invention is to divide a signal having a high sampling rate such as an HDTV image into a plurality of small images of a standard TV size. It is an object of the present invention to provide a technique capable of allocating an appropriate amount of information even when properties of divided small images are greatly different in a high-efficiency encoding method that performs parallel processing.
【0011】本発明の他の目的は、画質の良い復号画像
を得ることができる画像符号化方法を提供することにあ
る。Another object of the present invention is to provide an image coding method capable of obtaining a decoded image having good image quality.
【0012】本発明の前記ならびにその他の目的及び新
規な特徴は、本明細書の記述及び添付図面によって明ら
かにする。The above and other objects and novel features of the present invention will become apparent from the description of the present specification and the accompanying drawings.
【0013】[0013]
【課題を解決するための手段】本願において開示される
発明のうち代表的なものの概要を簡単に説明すれば、以
下のとおりである。The outline of a typical invention among the inventions disclosed in the present application will be briefly described as follows.
【0014】送信側において、符号化すべき画像を複数
個の小画像に分割した後、分割されたそれぞれの小画像
に対して並列に高能率符号化を施して伝送し、受信側に
おいては、伝送された複数個の小画像に対する符号化デ
ータを復号した後、合成して元の画像を得る画像符号化
復号化方法であって、分割されたそれぞれの小画像にお
いて、空間特徴量であるフレーム内の分散及び動き特徴
量であるフレーム間差分値の分散の加算値を求め、全体
の画像に対して割り当てられた情報量を、前記加算値に
比例して、分割された各小画像に振り分け、各小画像の
符号化にあたっては、それぞれの符号化出力情報量が振
り分けられた情報量になるように制御を行うことを特徴
とする。On the transmitting side, an image to be encoded is divided into a plurality of small images, and the divided small images are subjected to high-efficiency encoding in parallel and transmitted. An image coding and decoding method for decoding encoded data for a plurality of divided small images and then combining the decoded data to obtain an original image .
Variance and motion features within a frame, which are spatial features.
The sum of the variances of the inter-frame difference values
The information amount assigned to the image of
It is characterized in that it is proportionally divided into the divided small images, and in encoding each small image, control is performed so that the encoded output information amount becomes the distributed information amount.
【0015】[0015]
【0016】[0016]
【作用】前述の手段によれば、特徴量として、符号化の
難しさに反応するものを用いることによって、分割され
た各小画像が符号化しやすいかしにくいか、すなわち情
報が少なくても高画質が得られるか、あるいは多くの情
報を割り当てないと高画質が得られないかをあらかじめ
予測することができるので、全体でR(bit/s)で
符号化するとした時、情報が少なくても高画質が得られ
ると判断された小画像に対しては、R’(bit/s)
(R’<R)の情報を割り当てるように制御を行い、多
くの情報を割り当てないと高画質が得られないと判断さ
れた小画像に対しては、R”(bit/s)(R”>
R)の情報を割り当てるように制御を行うことが可能と
なる。According to the above-mentioned means, by using a feature amount that responds to the difficulty of encoding, it is possible to determine whether each of the divided small images is easy or difficult to encode. Since it is possible to predict in advance whether image quality can be obtained or high image quality cannot be obtained unless a large amount of information is allocated, when encoding is performed at R (bit / s) as a whole, even if information is small, R '(bit / s) for a small image determined to provide high image quality
Control is performed so that information of (R ′ <R) is assigned, and R ″ (bit / s) (R ″) is assigned to a small image for which it is determined that high image quality cannot be obtained unless a large amount of information is assigned. >
Control can be performed so as to allocate the information of R).
【0017】これにより、画像全体で情報の割り当てを
入力画像の特徴量によって行うことが可能となるので、
復号画像の画質を向上することができる。[0017] This makes it possible to allocate information to the entire image based on the feature amount of the input image.
The image quality of the decoded image can be improved.
【0018】[0018]
【実施例】以下、本発明による画像符号化復号化方法の
実施例を図面を用いて詳細に説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of an image encoding / decoding method according to the present invention will be described below in detail with reference to the drawings.
【0019】(実施例1)本発明による実施例1の画像
符号化復号化方法は、送信側において、符号化すべき画
像を複数個の小画像に分割した後、分割されたそれぞれ
の小画像に対して並列に高能率符号化を施して伝送し、
受信側においては、伝送された複数個の小画像に対する
符号化データを復号した後、合成して元の画像を得る画
像符号化復号化方法であって、分割されたそれぞれの小
画像の特徴量を求め、求められた特徴量に基づいて、全
体の画像に対して割り当てられた情報量を分割された各
小画像に振り分け、各小画像の符号化にあたっては、そ
れぞれの符号化出力情報量が振り分けられた情報量にな
るように制御を行うものである。(Embodiment 1) In an image encoding / decoding method according to Embodiment 1 of the present invention, an image to be encoded is divided into a plurality of small images on a transmitting side, and each divided small image is divided into a plurality of small images. On the other hand, high efficiency coding is performed in parallel and transmitted.
On the receiving side, an image encoding / decoding method for decoding encoded data for a plurality of transmitted small images and then combining the decoded data to obtain an original image, wherein a feature amount of each divided small image Is calculated, and the amount of information allocated to the entire image is allocated to each of the divided small images based on the obtained characteristic amount. When each small image is encoded, the encoded output information amount is The control is performed so that the information amount is distributed.
【0020】図1は前記実施例1の画像符号化復号化方
法の実施装置(コンピュータからなる装置)の機能構成
を示すブロック構成図であり、401は入力端子、40
2はHDTV信号、403は画像分割部、404〜40
7は標準TVサイズの小画像、408〜411は特徴量
計算部、412〜415は各小画像における特徴量、4
16は情報割り当て部、417〜420は各小画像に割
り当てられる情報量、421〜424は情報圧縮部、4
25〜428はバッファメモリ部、429〜432は符
号化出力、433は多重化部、434は符号化出力デー
タ、435は出力端子である。FIG. 1 is a block diagram showing a functional configuration of an apparatus (computer comprising a computer) for implementing the image encoding / decoding method according to the first embodiment.
2 is an HDTV signal, 403 is an image division unit, 404 to 40
7 is a standard TV size small image, 408 to 411 are feature amount calculation units, and 412 to 415 are feature amounts in each small image.
16 is an information allocating unit, 417 to 420 are information amounts allocated to each small image, 421 to 424 are information compressing units,
Reference numerals 25 to 428 denote buffer memory units, reference numerals 429 to 432 denote encoded outputs, reference numeral 433 denotes a multiplexing unit, reference numeral 434 denotes encoded output data, and reference numeral 435 denotes an output terminal.
【0021】前記本実施例1の実施装置は、符号化に先
立って算出された各小画像の特徴量に基づいて、各小画
像に割り当てる情報量を適切に決定するものであり、そ
の構成は、前記図1に示すような構成になっている。The apparatus according to the first embodiment appropriately determines the amount of information to be allocated to each small image based on the characteristic amount of each small image calculated prior to encoding. , Is configured as shown in FIG.
【0022】この実施装置の動作は、図1に示すよう
に、まず、入力端子401にHDTV信号402が入力
される。入力されたHDTV信号402は、画像分割部
403において4つの標準TVサイズの小画像404〜
407に分割される。分割されたそれぞれの標準TVサ
イズの小画像は、それぞれ特徴量計算部408〜411
に入力され、各小画像における特徴量412〜415が
求められる。求められた特徴量を用いて情報割当部41
6では、各小画像に割り当てられる情報量417〜42
0が計算される。ここで、各小画像に割り当てられる情
報量417〜420の合計は、全体に割り当てられてい
る情報量に等しくなるように制御される。In the operation of this embodiment, as shown in FIG. 1, first, an HDTV signal 402 is input to an input terminal 401. The input HDTV signal 402 is divided into four standard TV size small images 404 to
407. The divided small images of the standard TV size are respectively calculated by the feature amount calculation units 408 to 411.
And the feature amounts 412 to 415 in each small image are obtained. The information allocating unit 41 uses the obtained feature amount.
6, the information amount 417-42 allocated to each small image
0 is calculated. Here, the sum of the information amounts 417 to 420 assigned to the respective small images is controlled so as to be equal to the information amount assigned to the entire image.
【0023】一方、各小画像は、各々情報圧縮部421
〜424に入力されて符号化処理が施される。符号化出
力は、バッファメモリ部425〜428に入力されて、
それぞれ、その出力が情報割当部416において定めら
れた情報量417〜420になるようにフィードバック
制御される。各々一定の情報量にされた符号化出力42
9〜432は多重化部433に入力され、1つの符号化
出力データ434にまとめられた後、出力端子435を
経て伝送路に送出される。On the other hand, each small image is processed by an information compression unit 421.
To 424 and subjected to an encoding process. The encoded output is input to the buffer memory units 425 to 428,
Each of them is feedback-controlled so that the output becomes the information amount 417 to 420 determined by the information allocating unit 416. Encoded outputs 42 each having a constant information amount
9 to 432 are input to the multiplexing unit 433, are combined into one encoded output data 434, and are transmitted to the transmission path via the output terminal 435.
【0024】以上の説明からわかるように、本実施例1
によれば、特徴量として、符号化の難かしさに反応する
ものを用いることによって、分割された各小画像が符号
化しやすいかしにくいか、すなわち情報が少なくても高
画質が得られるか、あるいは多くの情報を割り当てない
と高画質が得られないかをあらかじめ予測することがで
きるので、全体でR(bit/s)で符号化するとした
時、情報が少なくても高画質が得られると判断された小
画像に対しては、R’(bit/s)(R’<R)の情
報を割り当てるように制御を行い、多くの情報を割り当
てないと高画質が得られないと判断された小画像に対し
ては、R”(bit/s)(R”>R)の情報を割り当
てるように制御を行うことが可能となる。As can be seen from the above description, the present embodiment 1
According to the above, by using a feature amount that responds to the difficulty of encoding, whether each divided small image is easy or difficult to encode, that is, whether high quality can be obtained even with a small amount of information , Or if a large amount of information is not assigned, it is possible to predict in advance whether a high image quality will not be obtained. Therefore, when encoding is performed at R (bit / s) as a whole, a high image quality can be obtained even if the information is small. Is controlled so that information of R '(bit / s) (R'<R) is assigned to the small image, and high image quality cannot be obtained unless a large amount of information is assigned. It is possible to control such that the information of R ″ (bit / s) (R ″> R) is assigned to the small image.
【0025】これにより、画像全体で情報の割当を入力
画像の特徴量によって行うことが可能となるので、復号
画像の画質を向上することができる。[0025] This makes it possible to allocate information to the entire image based on the features of the input image, thereby improving the image quality of the decoded image.
【0026】(実施例2)本発明による実施例2の画像
符号化復号化方法は、HDTV信号を4つの標準TVサ
イズの小画像の分割して処理する場合を考え、特徴量と
して、空間特徴量であるフレーム内の分散及び動き特徴
量であるフレーム間差分値の分散を用いる場合を想定す
る。また、情報圧縮方法としては離散コサイン変換を用
いるものとする。この場合、全体でR(bit/s)の
情報が割り当てられている時、各小画像に割り当てられ
る情報量は以下のように算出される。(Embodiment 2) An image encoding / decoding method according to Embodiment 2 of the present invention considers a case where an HDTV signal is divided into four small images of a standard TV size and processed. It is assumed that the variance within a frame as a quantity and the variance between frame differences as a motion feature quantity are used. It is assumed that a discrete cosine transform is used as an information compression method. In this case, when the information of R (bit / s) is assigned as a whole, the information amount assigned to each small image is calculated as follows.
【0027】まず、入力HDTV信号を4つの標準TV
サイズの小画像に分割し、分割された4つの小画像をそ
れぞれに対して、16×16の小ブロックに分割する。
小ブロック内の画素値をB(k,l)〔(k,l)=0,
1,2,…,15〕とおき、その小ブロックと1フレー
ム前の小ブロックとの差をD(k,l)〔(k,l)=
0,1,2…,15〕とおき、次式の数1に従って各小
ブロックのフレーム内分散σ2 intra及びフレーム間分散
σ2 interを求める。First, the input HDTV signal is divided into four standard TVs.
The image is divided into small images of a size, and each of the divided four small images is divided into 16 × 16 small blocks.
The pixel value in the small block is represented by B (k, l) [(k, l) = 0,
1, 2,..., 15], and the difference between the small block and the small block one frame before is D (k, l) [(k, l) =
0, 1, 2,..., 15], and the intra- frame variance σ 2 intra and inter- frame variance σ 2 inter of each small block are obtained according to the following equation (1).
【0028】[0028]
【数1】 (Equation 1)
【0029】ただし、ここで、Bバー,Dバーは、B
(k,l),D(k,l)の平均値である。Here, B bar and D bar represent B bar
It is the average value of (k, l) and D (k, l).
【0030】次に、4つの各小画像ごとに、求められた
σ2 intra,σ2 interをその小画像内で平均し、その小画
像に対する平均フレーム内分散σ2 intraバー及び平均フ
レーム間分散σ2 interバーを求める。これら2つの値を
用いて、小画像の特徴量Fとして次式の数2のように時
空間特徴量を求める。Next, for each of the four small images, the calculated σ 2 intra and σ 2 inter are averaged within the small image, and the average intra- frame variance σ 2 intra bar and the average inter-frame variance for the small image Find σ 2 inter bar. Using these two values, a spatio-temporal feature amount is obtained as a feature amount F of the small image as shown in the following Expression 2.
【0031】[0031]
【数2】 (Equation 2)
【0032】一般的に、平均フレーム内分散σ2 intraバ
ーが大きくなるのは、画面に高精細な領域を多く含む場
合であり、多くの情報を使わないと高画質が得られない
場合である。また、平均フレーム間分散σ2 interバーが
大きくなるのは動きが激しい場合であり、これも同様に
多くの情報を使わないと高画質が得られない場合であ
る。従って、Fの値は符号化のしにくい、すなわち、多
くの情報を使わないと高画質が得られないような場合に
大きな値を示し、そうでない場合には小さい値を示すこ
とになり、符号化の難易の指標として用いることができ
る。In general, the average intra- frame variance σ 2 intra bar increases when the screen includes many high-definition areas, and when high information cannot be obtained unless a large amount of information is used. . Also, the average inter- frame variance σ 2 inter bar becomes large when the motion is intense. Similarly, when a large amount of information is not used, high image quality cannot be obtained. Therefore, the value of F is difficult to encode, that is, indicates a large value when high image quality cannot be obtained unless a large amount of information is used, and indicates a small value otherwise. It can be used as an indicator of the difficulty of conversion.
【0033】そこで、4つの各小画像に対して求められ
た時空間特徴量Fm,(m=1,2,3,4)を用い
て、各小画像に割り当てる情報量Rm,(m=1,2,
3,4)を次式の数3で計算する。Therefore, using the spatiotemporal feature values Fm (m = 1, 2, 3, 4) obtained for the four small images, the information amount Rm, (m = 1 , 2,
3, 4) is calculated by the following equation (3).
【0034】[0034]
【数3】 (Equation 3)
【0035】このようにすれば、4つの小画像のうち相
対的に符号化のしにくい小画像に対するRmの値が大き
く設定され、各小画像の符号化を実行する時に、前記で
割り当てられた情報量になるように符号化制御を行うこ
とにより、各小画像の符号化の難易度に適応してビット
割当を行うことが可能となる。また、HDTV画像全体
としての情報量は、次式の数4となるように制御でき
る。In this way, the value of Rm for the small image which is relatively difficult to encode among the four small images is set to a large value, and when the encoding of each small image is executed, the Rm value is assigned. By performing the encoding control so as to obtain the information amount, it is possible to perform the bit allocation according to the difficulty of encoding each small image. Further, the information amount of the entire HDTV image can be controlled to be represented by the following equation (4).
【0036】[0036]
【数4】 (Equation 4)
【0037】図2に時空間特徴量Fmの変化とそれに伴
う割り当て情報量Rmの変化の例を示す。この例では、
時刻t’までは各小画像の時空間特徴量がほぼ等しく、
その後徐々に、小画像1の時空間特徴量が大きくなり、
小画像3、4の特徴量が小さくなって、時刻t”では時
空間特徴量の比が、F1:F2:F3:F4=7:4:3:
2になる。これに対し、前述した方法で各小領域への情
報割り当てを行うと、時刻t’までは、R1:R2:
R3:R4=1:1:1:1で、どの小画像にも同じ1/
4R(bit/s)の情報が割り当てられる。これに対
して、時刻t’以降は徐々に割り当て状態が時空間特徴
量の変化に応じて変わり、時刻t”ではR1:R2:
R3:R4=7:4:3:2となる。時刻t”での情報割
り当ては、小画像1に7/16R(bit/s)、小画
像2に4/16R(bit/s)、小画像3に3/16
R(bit/s)、小画像4に2/16R(bit/
s)となる。FIG. 2 shows an example of a change in the spatiotemporal feature value Fm and a change in the allocation information amount Rm accompanying the change. In this example,
Until time t ′, the spatio-temporal features of each small image are almost equal,
Thereafter, the spatio-temporal feature amount of the small image 1 gradually increases,
The feature amounts of the small images 3 and 4 are reduced, and at time t ″, the ratio of the spatiotemporal feature amounts is F 1 : F 2 : F 3 : F 4 = 7: 4: 3:
It becomes 2. On the other hand, when information is allocated to each small area by the above-described method, R 1 : R 2 :
R 3 : R 4 = 1: 1: 1: 1, and the same 1 /
4R (bit / s) information is allocated. On the other hand, after time t ′, the allocation state gradually changes according to the change in the spatiotemporal feature amount. At time t ″, R 1 : R 2 :
R 3 : R 4 = 7: 4: 3: 2. The information allocation at time t "is as follows: small image 1 has 7 / 16R (bit / s), small image 2 has 4 / 16R (bit / s), and small image 3 has 3 / 16R (bit / s).
R (bit / s), 2 / 16R (bit / s
s).
【0038】図3は前記実施例2の画像符号化復号化方
法の実施装置(コンピュータからなる装置)の機能構成
を示すブロック構成図であり、601は入力端子、60
2はHDTV信号、603は画像分割部、604〜60
7は標準TVサイズの小画像、608〜611はフレー
ム内分散計算部、612〜615はフレーム間分散計算
部、616〜619は時空間特徴量計算部、620〜6
23は時空間特徴量F1,F2,F3,F4、624は情報
割り当て部、625〜628は各小画像に割り当てられ
る情報量R1,R2,R3,R4、629〜632は離散コ
サイン変換部、633〜636は量子化部、637〜6
40は符号割り当て部、641〜644はバッファメモ
リ部、645〜648は符号化出力、649は多重化
部、650は符号化出力データ、651は出力端子であ
る。FIG. 3 is a block diagram showing a functional configuration of an apparatus (computer-based apparatus) for implementing the image encoding / decoding method according to the second embodiment.
2 is an HDTV signal, 603 is an image dividing unit, 604 to 60
7 is a small image of a standard TV size, 608 to 611 are intra-frame variance calculation units, 612 to 615 are inter-frame variance calculation units, 616 to 619 are spatio-temporal feature amount calculation units, and 620 to 6
Spatial feature amount time 23 F 1, F 2, F 3, F 4, 624 is information assigning unit, 625 to 628 is information amount R 1 assigned to each small image, R 2, R 3, R 4, 629~ 632 is a discrete cosine transform unit, 633 to 636 are quantization units, and 637 to 6
Numeral 40 is a code allocating unit, 641 to 644 are buffer memory units, 645 to 648 are coded outputs, 649 is a multiplexing unit, 650 is coded output data, and 651 is an output terminal.
【0039】本実施例2の実施装置の動作は、図3に示
すように、まず、入力端子601にHDTV信号602
が入力される。入力されたHDTV信号602は画像分
割部603において4つの標準TVサイズ画像604〜
607に分割される。分割されたそれぞれの標準TVサ
イズの小画像604〜607は、それぞれフレーム内分
散計算部608〜611及びフレーム間分散計算部61
2〜615に入力され、各小画像における平均フレーム
内分散σ2 intraバー及び平均フレーム間分散σ2 i nterバ
ーが求められ、これらを用いて時空間特徴量計算部61
6〜619で、各小画像に対する時空間特徴量F1,
F2,F3,F4(620〜623)が求められる。As shown in FIG. 3, the operation of the apparatus according to the second embodiment is as follows. First, the HDTV signal 602 is input to the input terminal 601.
Is entered. The input HDTV signal 602 is divided into four standard TV size images 604 to 604 by an image dividing unit 603.
607. The divided small images 604 to 607 of the standard TV size are respectively subjected to intra-frame variance calculators 608 to 611 and inter-frame variance calculator 61.
Is input to 2-615, average frame variance sigma 2 intra bars and the average inter-frame variance sigma 2 i NTER bars in each small image is determined, the space-time feature quantity calculator 61 using these
6 to 619, the spatio-temporal features F 1 ,
F 2, F 3, F 4 (620~623) is obtained.
【0040】求められた時空間特徴量Fm(m=1,
2,3,4)を用いて情報割り当て部624では各小画
像に割り当てられる情報量R1,R2,R3,R4(625
〜628)が計算される。The calculated spatiotemporal feature Fm (m = 1,
The information allocating unit 624 uses the information amounts R 1 , R 2 , R 3 , and R 4 (625) to be assigned to each small image using ( 2 , 3 , 4 ).
6628) is calculated.
【0041】一方、各小画像604〜607は、各々離
散コサイン変換部629〜632に入力されて離散コサ
イン変換が施された後、量子化部633〜636に入力
される。量子化部では、離散コサイン変換係数を量子化
し、符号割り当て部637〜640において符号が割り
当てられた後、バッファメモリ部641〜644に送ら
れる。バッファメモリ部641〜644においては、そ
れぞれ、その出力が情報割り当て部624において定め
られた情報量625〜628になるように量子化部63
3〜636へフィードバック制御をかける。各々一定の
情報量にされた符号化出力645〜648は多重化部6
49に入力され、1つの符号化出力データ650にまと
められた後、出力端子651を経て伝送路に送出され
る。On the other hand, each of the small images 604 to 607 is input to the discrete cosine transform units 629 to 632, subjected to discrete cosine transform, and then input to the quantization units 633 to 636. The quantization unit quantizes the discrete cosine transform coefficients, and codes are assigned by the code assignment units 637 to 640, and then sent to the buffer memory units 641 to 644. In the buffer memory units 641 to 644, the quantizing units 63 are set so that the outputs thereof become the information amounts 625 to 628 determined by the information allocating unit 624, respectively.
Apply feedback control to 3-636. The coded outputs 645 to 648 each having a constant information amount
The data is input to the input terminal 49, is collected into one encoded output data 650, and is transmitted to the transmission path via the output terminal 651.
【0042】前記実施例1,2においては、4分割する
場合について述べたが、複数個に分割する場合も全く同
様に考えることができる。また、特徴量としては、符号
化の難易を予測できる他の特徴量を用いることも可能で
ある。In the first and second embodiments, the case of dividing into four parts has been described. However, the case of dividing into plural parts can be considered in the same manner. Further, as the feature amount, another feature amount that can predict the difficulty of encoding can be used.
【0043】以上の説明からわかるように、本実施例2
によれば、図2に示すように、時刻t’までは各小画像
の時空間特徴量がほぼ等しく、その後徐々に、小画像1
の時空間特徴量が大きくなり、小画像3、4の特徴量が
小さくなって、時刻t”では時空間特徴量の比が、
F1:F2:F3:F4=7:4:3:2になる。これに対
し、前述した方法で各小領域への情報割り当てを行う
と、時刻t’までは、R1:R2:R3:R4=1:1:
1:1で、どの小画像にも同じ1/4R(bit/s)
の情報が割り当てられる。これに対して、時刻t’以降
は徐々に割り当て状態が時空間特徴量の変化に応じて変
わり、時刻t”ではR1:R2:R3:R4=7:4:3:
2となる。時刻t”での情報割り当ては、小画像1に7
/16R(bit/s)、小画像2に4/16R(bi
t/s)、小画像3に3/16R(bit/s)、小画
像4に2/16R(bit/s)となる。As can be seen from the above description, the present embodiment 2
According to FIG. 2, as shown in FIG. 2, the spatio-temporal feature amount of each small image is substantially equal until time t ′, and then the small image 1
At the time t ″, the ratio of the spatio-temporal feature amounts becomes
F 1 : F 2 : F 3 : F 4 = 7: 4: 3: 2 On the other hand, when the information is allocated to each small area by the above-described method, R 1 : R 2 : R 3 : R 4 = 1: 1: 1 until time t ′.
1: 1, the same 1 / 4R (bit / s) for every small image
Information is assigned. On the other hand, after time t ′, the allocation state gradually changes according to the change of the spatiotemporal feature amount. At time t ″, R 1 : R 2 : R 3 : R 4 = 7: 4: 3:
It becomes 2. The information allocation at time t ″ is 7
/ 16R (bit / s), 4 / 16R (bi
t / s), 3 / 16R (bit / s) for small image 3, and 2 / 16R (bit / s) for small image 4.
【0044】これにより、画像全体で情報の割り当てを
入力画像の特徴量によって行うことが可能となるので、
復号画像の画質を向上することができる。Thus, information can be assigned to the entire image based on the feature amount of the input image.
The image quality of the decoded image can be improved.
【0045】以上、本発明を実施例に基づき具体的に説
明したが、本発明は、前記実施例に限定されるものでは
なく、その要旨を逸脱しない範囲において種々変更し得
ることは言うまでもない。As described above, the present invention has been specifically described based on the embodiments. However, it is needless to say that the present invention is not limited to the above-described embodiments, and various changes can be made without departing from the gist of the present invention.
【0046】[0046]
【発明の効果】本願において開示された代表的なものに
よって得られる効果を簡単に説明すると以下のとおりで
ある。The effects obtained by the typical ones disclosed in the present application will be briefly described as follows.
【0047】分割された各小画像に対して、どのくらい
の比率で情報を割り当てたらよいかを、符号化に先だっ
てあらかじめ予測することができる。従って、予測した
値に基づいて分割した小画像の情報発生量を制御するよ
うにすれば、固定的に割り当てるのに比べて、効率的な
情報量割当が可能となり、結果として、復号画像の画質
を向上することができる。It is possible to predict in advance how much information should be allocated to each of the divided small images prior to encoding. Therefore, by controlling the information generation amount of the divided small image based on the predicted value, it is possible to efficiently allocate the information amount as compared to the fixed allocation, and as a result, the image quality of the decoded image is improved. Can be improved.
【図1】本発明による実施例1の画像符号化復号化方法
の実施装置(コンピュータからなる装置)の機能構成を
示すブロック構成図である。FIG. 1 is a block diagram showing a functional configuration of an apparatus (computer comprising a computer) for implementing an image encoding / decoding method according to a first embodiment of the present invention.
【図2】本発明による実施例2の時空間特徴量Fmの変
化とそれに伴う割り当て情報量Rmの変化の例を示す図
である。FIG. 2 is a diagram illustrating an example of a change in a spatio-temporal feature amount Fm and a change in a corresponding allocation information amount Rm according to the second embodiment of the present invention.
【図3】本実施例2の画像符号化復号化方法の実施装置
(コンピュータからなる装置)の機能構成を示すブロッ
ク構成図である。FIG. 3 is a block diagram illustrating a functional configuration of an apparatus (an apparatus including a computer) for performing the image encoding / decoding method according to the second embodiment.
【図4】従来のHDTV信号を空間的に4分割して標準
TVサイズの小画像にし、並列に符号化処理を行う場合
を説明するための図である。FIG. 4 is a diagram for explaining a case where a conventional HDTV signal is spatially divided into four to make a small image of a standard TV size and encoding processing is performed in parallel.
【図5】従来のHDTV信号を空間的に4分割して標準
TVサイズの小画像にし、並列に符号化処理を行う装置
の機能構成を示すブロック構成図である。FIG. 5 is a block diagram showing a functional configuration of a conventional apparatus that spatially divides an HDTV signal into four parts to make a small image of a standard TV size and performs encoding processing in parallel.
【図6】従来の画像符号化復号化方法の問題点を説明す
るための図である。FIG. 6 is a diagram for explaining a problem of a conventional image encoding / decoding method.
【図7】従来の画像符号化復号化方法の問題点を説明す
るための図である。FIG. 7 is a diagram for explaining a problem of a conventional image encoding / decoding method.
201,401,601…入力端子、202,402,
602…入力HDTV信号、203,403,603…
画像分割部、204〜207,404〜407,604
〜607…分割された標準TVサイズ小画像、208〜
211,421〜424…情報圧縮部、212〜21
5,425〜428,641〜644…バッファメモリ
部、216〜219…符号化出力、220,433,6
49…多重化部、221,434,650…多重化され
た符号化データ、222,435,651…出力端子、
408〜411…特徴量計算部、412〜415…求め
られた特徴量、416,624…情報割り当て部、41
7〜420,625〜628…割り当てられた情報量、
429〜432…符号化出力データ、608〜611…
フレーム内分散計算部、612〜615…フレーム間分
散計算部、616〜619…時空間特徴量計算部、62
0〜623…時空間特徴量、629〜632…離散コサ
イン変換部、633〜636…量子化部、637〜64
0…符号割り当て部。201, 401, 601 ... input terminals, 202, 402,
602 ... input HDTV signal, 203, 403, 603 ...
Image division unit, 204 to 207, 404 to 407, 604
~ 607 ... divided standard TV size small image, 208 ~
211, 421 to 424 ... information compression unit, 212 to 21
5,425-428,641-644... Buffer memory section, 216-219... Coded output, 220,433,6
49: multiplexing unit, 221, 434, 650: multiplexed encoded data, 222, 435, 651 ... output terminal,
408 to 411: feature amount calculation unit; 412 to 415: obtained feature amount, 416, 624: information allocation unit, 41
7 to 420, 625 to 628... Allocated information amount,
429 to 432 ... encoded output data, 608 to 611 ...
Intra-frame variance calculator, 612 to 615: Inter-frame variance calculator, 616 to 619: Spatio-temporal feature amount calculator, 62
0-623: Spatio-temporal feature amount, 629-632: Discrete cosine transform unit, 633-636: Quantization unit, 637-64
0: code assignment unit.
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 7/24 - 7/68 H04N 1/41 - 1/419 ──────────────────────────────────────────────────続 き Continued on the front page (58) Field surveyed (Int.Cl. 7 , DB name) H04N 7/ 24-7/68 H04N 1/41-1/419
Claims (1)
数個の小画像に分割した後、分割されたそれぞれの小画
像に対して並列に高能率符号化を施して伝送し、受信側
においては、伝送された複数個の小画像に対する符号化
データを復号した後、合成して元の画像を得る画像符号
化復号化方法であって、 分割されたそれぞれの小画像において、空間特徴量であ
るフレーム内の分散及び動き特徴量であるフレーム間差
分値の分散の加算値を求め、全体の画像に対して割り当
てられた情報量を、前記加算値に比例して、分割された
各小画像に振り分け、各小画像の符号化にあたっては、
それぞれの符号化出力情報量が振り分けられた情報量に
なるように制御を行うことを特徴とする画像符号化復号
化方法。1. A transmitting side divides an image to be coded into a plurality of small images, performs high efficiency coding on each of the divided small images in parallel, and transmits the divided small images. An image encoding / decoding method for decoding encoded data for a plurality of transmitted small images and then combining the decoded data to obtain an original image, wherein a spatial feature amount is calculated for each of the divided small images .
Differences between frames, which are the variances and motion features in the frames
Find the sum of the variances of the minute values and assign them to the entire image.
The allocated information amount is distributed to each divided small image in proportion to the added value, and in encoding each small image,
An image encoding / decoding method, characterized in that control is performed so that each encoded output information amount becomes a distributed information amount.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9330594A JP3203612B2 (en) | 1994-05-02 | 1994-05-02 | Image encoding / decoding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9330594A JP3203612B2 (en) | 1994-05-02 | 1994-05-02 | Image encoding / decoding method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07303252A JPH07303252A (en) | 1995-11-14 |
JP3203612B2 true JP3203612B2 (en) | 2001-08-27 |
Family
ID=14078630
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9330594A Expired - Fee Related JP3203612B2 (en) | 1994-05-02 | 1994-05-02 | Image encoding / decoding method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3203612B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1051193C (en) * | 1997-01-30 | 2000-04-05 | 广播电影电视部广播科学研究院电视研究所 | System for transmission of high distinctness TV by use of existing digital broadcast equipment |
KR19990040179A (en) * | 1997-11-17 | 1999-06-05 | 윤종용 | High definition television system using MP2's digital video data compression technology |
JP2000253397A (en) | 1999-03-01 | 2000-09-14 | Nec Corp | Moving picture encoding device |
JP4582710B2 (en) * | 2005-06-17 | 2010-11-17 | 株式会社Kddi研究所 | Video encoding device |
JP5339290B2 (en) * | 2009-11-12 | 2013-11-13 | 日本電信電話株式会社 | Video multiplexing apparatus, video multiplexing method, and program |
JP5300760B2 (en) * | 2010-02-23 | 2013-09-25 | 日本電信電話株式会社 | Video transmission system, video transmission method and program |
JP5654414B2 (en) * | 2011-05-26 | 2015-01-14 | 日本電信電話株式会社 | Video encoding apparatus, video encoding method, and program |
-
1994
- 1994-05-02 JP JP9330594A patent/JP3203612B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH07303252A (en) | 1995-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5592302A (en) | Coding method for coding pixel blocks and apparatus therefor | |
US7085322B2 (en) | Distributed control strategy for dynamically encoding multiple streams of video data in parallel for multiplexing onto a constant bit rate channel | |
JP3533282B2 (en) | Video compression using multiple processors | |
JP2504880B2 (en) | Channel bandwidth allocation device and allocation method | |
US5337049A (en) | Efficient coding signal processor | |
US6674796B1 (en) | Statistical multiplexed video encoding for diverse video formats | |
US6587508B1 (en) | Apparatus, method and computer program product for transcoding a coded moving picture sequence | |
JP3358620B2 (en) | Image encoding method and image encoding device | |
EP1725042A1 (en) | Fade frame generating for MPEG compressed video data | |
WO1994024822A1 (en) | Method and apparatus for coding image, and image recording medium | |
US20030095603A1 (en) | Reduced-complexity video decoding using larger pixel-grid motion compensation | |
JPH09214962A (en) | Moving video image compression system having vacant/ full buffer look ahead bit allocator | |
EP0861003A2 (en) | Code-amount control device and video coding device including the code-amount control device | |
JP3259702B2 (en) | Moving picture variable bit rate coding apparatus and method | |
JP2002152759A (en) | Image information converter and image information conversion method | |
JP3203612B2 (en) | Image encoding / decoding method | |
JPH07298258A (en) | Image coding/decoding method | |
JP3508916B2 (en) | Moving image variable bit rate encoding method and apparatus | |
JPH0787491A (en) | Quantization device, inverse quantization device, picture processing unit and quantization method, reversed quantization method and picture processing method | |
JPH06225279A (en) | Coding/decoding methods and coding/decoding devices | |
JP3614448B2 (en) | Image signal encoding and multiplexing method and apparatus | |
TWI803709B (en) | Image encoding device, image decoding device, control method and program thereof | |
JP2000092489A (en) | Device and method for image encoding and medium recorded with program | |
JPH04336894A (en) | Moving picture coder | |
JP2003174648A (en) | Moving picture encoder |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090629 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090629 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130629 Year of fee payment: 12 |
|
LAPS | Cancellation because of no payment of annual fees |