JP4552049B2 - Moving picture compression coding apparatus, compressed data decompression apparatus, moving picture compression coding and / or compressed data decompression program, moving picture compression coding method, and compressed data decompression method - Google Patents

Moving picture compression coding apparatus, compressed data decompression apparatus, moving picture compression coding and / or compressed data decompression program, moving picture compression coding method, and compressed data decompression method Download PDF

Info

Publication number
JP4552049B2
JP4552049B2 JP2005029117A JP2005029117A JP4552049B2 JP 4552049 B2 JP4552049 B2 JP 4552049B2 JP 2005029117 A JP2005029117 A JP 2005029117A JP 2005029117 A JP2005029117 A JP 2005029117A JP 4552049 B2 JP4552049 B2 JP 4552049B2
Authority
JP
Japan
Prior art keywords
vector
macroblock
generating
syndrome
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005029117A
Other languages
Japanese (ja)
Other versions
JP2006217363A (en
Inventor
晴彦 金子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Aerospace Exploration Agency JAXA
Original Assignee
Japan Aerospace Exploration Agency JAXA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Aerospace Exploration Agency JAXA filed Critical Japan Aerospace Exploration Agency JAXA
Priority to JP2005029117A priority Critical patent/JP4552049B2/en
Publication of JP2006217363A publication Critical patent/JP2006217363A/en
Application granted granted Critical
Publication of JP4552049B2 publication Critical patent/JP4552049B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像情報圧縮・伸長技術に関し、より詳細には、誤り制御符号を用いた画像情報圧縮・伸長技術に関連する。   The present invention relates to an image information compression / decompression technique, and more particularly to an image information compression / decompression technique using an error control code.

動画像符号化方式においては、画像のフレーム内相関のみなくフレーム間相関を用いて情報の圧縮を行う必要がある。このために従来の動画像圧縮アルゴリズムにおいては一般に、フレームｎ−１から次のフレームｎを予測するためのフレーム間動き補償予測が必須である。フレーム間動き補償予測のためにはフレームｎ−１のマクロブロックがフレームｎ上のどの位置に移動したかを検索する必要があり、このことから、従来の動画像圧縮符号化方式は圧縮符号化のための計算量が非常に多いという問題点を有する(図１の(ａ：従来の動画像圧縮法)参照)。従来より符号化計算量削減を目的として検索アルゴリズムの改良法等が提案されているが、圧縮アルゴリズムがフレーム間動き補償予測を基にしている限り、大幅な計算量削減は非常に難しいことは明らかである(特許文献１ないし３、及び、非特許文献１)。一方、フレーム間相関を用いない圧縮方式、例えばMotionJPEG等、ではフレーム内相関のみしか考慮していないことから十分な圧縮率が得られない場合がある(特許文献４、及び、非特許文献１参照)。   In the moving image coding method, it is necessary to compress information using not only intra-frame correlation of images but also inter-frame correlation. Therefore, in the conventional moving image compression algorithm, generally, inter-frame motion compensation prediction for predicting the next frame n from the frame n−1 is essential. In order to perform inter-frame motion compensation prediction, it is necessary to search to which position on the frame n the macroblock of the frame n−1 has moved. From this, the conventional moving image compression coding system uses compression coding. There is a problem that the amount of calculation for is very large (see (a: conventional video compression method) in FIG. 1). Previously, search algorithm improvements have been proposed for the purpose of reducing the amount of coding, but as long as the compression algorithm is based on inter-frame motion compensation prediction, it is clear that drastic reduction in the amount of computation is very difficult. (Patent Documents 1 to 3 and Non-Patent Document 1). On the other hand, a compression method that does not use inter-frame correlation, such as Motion JPEG, considers only intra-frame correlation, so that a sufficient compression rate may not be obtained (see Patent Document 4 and Non-Patent Document 1). ).

特開平１０−２００８９６JP-A-10-200906 特開２００４−２０８２５３JP 2004-208253 A 特開２００４−２２１７４４JP 2004-221744 A 特開２００２−２９０７４４JP 2002-290744 A 酒井善則，吉田俊之，“映像情報符号化”，オーム社，２００１．Yoshinori Sakai, Toshiyuki Yoshida, “Video Information Coding”, Ohmsha, 2001. D. J. C. Mackay, “Good Error-Correcting Codes Based on Very Sparse Matrices,” IEEE Trans. Information Theory, Vol.45, No.2, pp.399-431, 1999.D. J. C. Mackay, “Good Error-Correcting Codes Based on Very Sparse Matrices,” IEEE Trans. Information Theory, Vol.45, No.2, pp.399-431, 1999. R. G. Gallager, “Low-Density Parity-Check Codes,” IRE Trans. Information Theory, Vol.8, No.1, pp.21-28, Jan. 1962.R. G. Gallager, “Low-Density Parity-Check Codes,” IRE Trans. Information Theory, Vol.8, No.1, pp.21-28, Jan. 1962.

上述のように、動画像を効率的に圧縮するためには、フレーム間相関を考慮したフレーム間符号化が必須である。フレーム間符号化方式として従来よりフレーム間動き補償予測を使用した圧縮法が一般に使用されている。しかし、フレーム間動き補償予測は本質的に非常に多くの計算量を必要とすることから、動画像の圧縮符号化器に対しては一般に高い計算能力が求められる。   As described above, in order to efficiently compress a moving image, inter-frame coding considering inter-frame correlation is essential. Conventionally, a compression method using interframe motion compensated prediction has been generally used as an interframe coding method. However, since inter-frame motion compensated prediction essentially requires a very large amount of calculation, generally a high calculation capability is required for a moving image compression encoder.

一方、衛星等の宇宙機や小型携帯機器等においては、搭載する集積回路の消費電力や回路規模等に対し厳しい制約が存在し、従って動画像圧縮符号化回路に対しても低消費電力化、小規模化が求められている。   On the other hand, in space machines such as satellites and small portable devices, there are severe restrictions on the power consumption and circuit scale of the integrated circuit to be mounted, so the power consumption of the video compression coding circuit is also reduced. Smaller scale is required.

以上のことから、本発明の実施形態は従来よりも非常に少ない符号化計算量を有する動画像圧縮符号化方式、すなわち、符号化器におけるフレーム間動き補償予測必要としないフレーム間符号・復号化技術を提供することを目的とする。   From the above, the embodiment of the present invention is a moving image compression coding system having a much smaller amount of coding calculation than the conventional one, that is, interframe coding / decoding that does not require interframe motion compensation prediction in the encoder. The purpose is to provide technology.

本発明は、動画像を圧縮するための圧縮符号化方式と、圧縮された動画像情報を復元するための伸長方式からなる。動画像情報は２種のピクチャ、すなわちＩピクチャ及びＢピクチャより構成される。Ｉピクチャはフレーム内符号化を行うピクチャであり、従来のＪＰＥＧ等の静止画像圧縮方式に準じて圧縮及び伸長を行うことができる。Ｂピクチャはフレーム間符号化を行うピクチャであり、次に示す手順で圧縮符号化を行う(第１図の(ｂ：本発明の一実施の形態による動画像圧縮の上段(圧縮手順)）、及び、第１６図を参照)。なお、以下に示すような誤り制御符号を用いたフレーム間符号化法は従来知られていない。
つまり、誤り訂正符号は、従来誤り訂正のみのために用いられることが常識とされていたが、本発明によって、誤り訂正符号自体を動画像圧縮のための手段とした点に特徴がある。 The present invention comprises a compression encoding method for compressing moving images and an expansion method for restoring compressed moving image information. The moving picture information is composed of two types of pictures, that is, an I picture and a B picture. An I picture is a picture that performs intra-frame coding, and can be compressed and expanded according to a conventional still image compression method such as JPEG. A B picture is a picture that performs interframe coding, and performs compression coding according to the following procedure ((b: upper stage of video compression (compression procedure) according to an embodiment of the present invention) in FIG. 1), And FIG. 16). Note that an interframe coding method using an error control code as described below has not been known conventionally.
In other words, it has been common knowledge that error correction codes are conventionally used only for error correction, but the present invention is characterized in that the error correction codes themselves are used as means for compressing moving images.

Ｂピクチャは縦Ｈσピクセル横Ｗσピクセルを有する画素の集合である。それぞれの画素は｛０，１，．．．，Ｌ−１｝のＬレベルの値を取るものとする。Ｂピクチャは縦σピクセル、横σピクセルを有するマクロブロックに分割され、以下に示す行列の形式で表現する。

Figure 0004552049
ただし、
Figure 0004552049
はσ×σピクセルを有するマクロブロックであり、以下に示す行列の形式で表現する。
Figure 0004552049
ＢピクチャにはＮ＝Ｈ×Ｗ個のマクロブロックが存在する。このマクロブロックの数をＭ個（Ｍ＜Ｎ）に圧縮するため、以下に示す低密度パリティ検査符号の検査行列を用いる。
Figure 0004552049
ただし、
Figure 0004552049
である。上記の検査行列Ｈを用いてＢピクチャを圧縮しシンドロームベクトル
Figure 0004552049
を得る。ただし、シンドロームブロックＳiは以下に示す式により与えられる。
Figure 0004552049
ここで、
Figure 0004552049
であり、マクロブロックＢjの加算は画素ごとに行う。また、シンドロームブロックＳiは以下の式で表現される。
Figure 0004552049
シンドロームブロックＳiは少数のマクロブロックＢjの和であるから、ＪＰＥＧ等の静止画像圧縮符号化におけるマクロブロックと類似の特性を有する。従って、Ｓiに対して直交変換、量子化、ランレングス符号化及びエントロピー符号化等を適用することにより容易に圧縮可能である。 A B picture is a set of pixels having vertical Hσ pixels and horizontal Wσ pixels. Each pixel is {0, 1,. . . , L−1} is assumed to be an L level value. A B picture is divided into macroblocks having vertical σ pixels and horizontal σ pixels, and is expressed in the form of a matrix shown below.
Figure 0004552049
However,
Figure 0004552049
Is a macroblock having [sigma] * [sigma] pixels and is expressed in the form of a matrix shown below.
Figure 0004552049
There are N = H × W macroblocks in the B picture. In order to compress the number of macroblocks to M (M <N), a check matrix of a low density parity check code shown below is used.
Figure 0004552049
However,
Figure 0004552049
It is. Syndrome vector by compressing B picture using above check matrix H
Figure 0004552049
Get. However, the syndrome block S i is given by the following equation.
Figure 0004552049
here,
Figure 0004552049
The addition of the macro block B j is performed for each pixel. The syndrome block S i is expressed by the following equation.
Figure 0004552049
Since the syndrome block S i is the sum of a small number of macro blocks B j , the syndrome block S i has characteristics similar to those of a macro block in still image compression coding such as JPEG. Therefore, orthogonal transform for S i, can be easily compressed by applying quantization, run-length coding and entropy coding like.

以上に示すように、ＢピクチャはシンドロームベクトルＳに対し直交変換、量子化、ランレングス符号化、エントロピー符号化、等を適用することにより圧縮することが可能である。   As described above, the B picture can be compressed by applying orthogonal transformation, quantization, run length coding, entropy coding, and the like to the syndrome vector S.

なお、シンドロームは誤り制御符号の復号（誤り検出・訂正）のために、復号器で内部的に計算する値であり、シンドロームをどこか別の所に送信するという概念が一般的にはない。そのため、当然シンドロームを圧縮する必要性がないため「シンドローム圧縮法」というものは従来存在していない。
一方、本願発明では、シンドロームそのものを送信するので、好ましくは、シンドロームを圧縮する必要性が出てくる。本発明では、シンドロームが圧縮しやすい値を取るように工夫をしている。簡単に言うと、シンドロームベクトルが一般の画像と似たような特性を持つようにしている。こうすることによりシンドロームの効率的な圧縮が可能となるのである。 The syndrome is a value calculated internally by the decoder for decoding the error control code (error detection / correction), and there is generally no concept of transmitting the syndrome to somewhere else. Therefore, since there is no need to compress the syndrome, there is no “syndrome compression method” conventionally.
On the other hand, in the present invention, since the syndrome itself is transmitted, it is preferable to compress the syndrome. In the present invention, the syndrome is devised so as to take a value that is easy to compress. Simply put, the syndrome vector has characteristics similar to those of ordinary images. By doing so, the syndrome can be efficiently compressed.

本願発明者が本発明のアイデアに至った、最も大きなポイントは、線形符号の一種である低密度パリティ検査符号（ＬＤＰＣ符号）に着目した点である。
つまり、
（１）ＬＤＰＣ符号が線形符号であること、
（２）ＬＤＰＣ符号の検査行列の各行が有する「１」の数が非常に少ないこと、
（３）ＬＤＰＣ符号の復号法であるBelief Propagation(BP)アルゴリズムが、画像の伸長（復元）に有効に使えること、
等のＬＤＰＣ符号（＝線形符号の一部）の特徴を動画像圧縮に生かしたところにポイントがある。
以上のような点から、本願発明者は、本願発明が従来技術に比して大きな進歩性を有するものと信じる。 The greatest point that the inventor of the present application has reached the idea of the present invention is that the low-density parity check code (LDPC code), which is a kind of linear code, is focused.
That means
(1) The LDPC code is a linear code,
(2) The number of “1” s in each row of the LDPC code check matrix is very small,
(3) The Belief Propagation (BP) algorithm, which is an LDPC code decoding method, can be used effectively for image decompression (restoration).
The point is that the characteristics of the LDPC code (= part of the linear code) such as the above are utilized for moving picture compression.
From the above points, the inventor of the present application believes that the present invention has a great inventive step as compared with the prior art.

一方、Ｂピクチャの伸長のためには主に、フレーム間画像補間及び検査行列Ｈにより定義されるＴａｎｎｅｒグラフ上でのＢｅｌｉｅｆ Ｐｒｏｐａｇａｔｉｏｎ（ＢＰ）アルゴリズムの実行が必要である。詳細な手順は次のとおりである。以下の説明については、図１の(ｂ：本発明の一実施の形態による動画像圧縮法の下段(伸長手段)、及び、第１７図）を参照頂きたい。   On the other hand, for the expansion of a B picture, it is mainly necessary to execute the Belief Propagation (BP) algorithm on the Tanner graph defined by the inter-frame image interpolation and the check matrix H. The detailed procedure is as follows. For the following description, please refer to FIG. 1 (b: the lower part of the moving image compression method according to the embodiment of the present invention (expanding means) and FIG. 17).

フレーム内符号化により圧縮されたＩピクチャはそれぞれ独立に伸長可能であるから詳細な説明は省略する。   Since I pictures compressed by intra-frame coding can be decompressed independently, detailed description is omitted.

圧縮されたシンドロームベクトルに対し、エントロピー符号の復号、ランレングス符号の復号、逆量子化及び逆直交変換等を適用することにより、シンドロームベクトル

Figure 0004552049
を復元する。ただし、
Figure 0004552049
は以下の式で表現される。
Figure 0004552049
このとき、量子化誤差等の影響により必ずしもＳ＝Ｓ’とはならないが、ＳとＳ’の誤差が小さければ相応の画質を有するＢピクチャを復元可能である。 By applying entropy code decoding, run length code decoding, inverse quantization, inverse orthogonal transform, etc. to the compressed syndrome vector, the syndrome vector
Figure 0004552049
To restore. However,
Figure 0004552049
Is expressed by the following expression.
Figure 0004552049
At this time, S = S ′ is not always satisfied due to the influence of the quantization error or the like. However, if the error between S and S ′ is small, a B picture having a suitable image quality can be restored.

次に、伸長されたＩピクチャから伸長を行いたいＢピクチャの予測画像を生成する。例えば、Ｂピクチャの前方にＩピクチャＩ1、後方にＩピクチャＩ2が存在する場合、Ｉ1ピクチャとＩ2ピクチャの間で動きベクトルを推定し、この動きベクトルを用いてＩ1ピクチャとＩ2ピクチャの補間画像を生成することによりＢピクチャの予測画像が生成できる。Ｂピクチャの予測画像を以下に示す行列の形式で表現する。

Figure 0004552049
ただし、
Figure 0004552049
はσ×σピクセルを有するマクロブロックであり、以下に示す行列の形式で表現する。
Figure 0004552049
Next, a predicted image of a B picture to be expanded is generated from the expanded I picture. For example, when an I picture I 1 exists in front of a B picture and an I picture I 2 exists behind, a motion vector is estimated between the I 1 picture and the I 2 picture, and the I 1 picture and I By generating an interpolated image of two pictures, a predicted image of a B picture can be generated. A predicted picture of a B picture is expressed in the following matrix format.
Figure 0004552049
However,
Figure 0004552049
Is a macroblock having [sigma] * [sigma] pixels and is expressed in the form of a matrix shown below.
Figure 0004552049

一般に、予測画像Ｂ’には予測誤差が存在することから、Ｂ’≠Ｂである。そこで、Ｂ’に存在する予測誤差を低減するため、シンドロームベクトルＳ’を用いて、検査行列Ｈで定義されるＴａｎｎｅｒグラフ上においてＢＰアルゴリズムを実行する。   In general, since a prediction error exists in the predicted image B ′, B ′ ≠ B. Therefore, in order to reduce the prediction error existing in B ′, the BP algorithm is executed on the Tanner graph defined by the check matrix H using the syndrome vector S ′.

検査行列Ｈに対するＴａｎｎｅｒグラフＧは次のように定義する。グラフＧは二部グラフであり、Ｎ個のｖノード

Figure 0004552049
及びＭ個のｃノード
Figure 0004552049
を有する。検査行列Ｈにおいて
Figure 0004552049
であればノードｃiとノードｖjを枝
Figure 0004552049
で接続する。グラフＧの枝の集合をＥとする。枝
Figure 0004552049
は以下の２種の離散確率分布を有する。
Figure 0004552049
上に示すＴａｎｎｅｒグラフＧ上でＢＰアルゴリズムを実行するため、以下に示すＢＰアルゴリズム入力ベクトルを定義する。
Figure 0004552049
ただし、
Figure 0004552049
である。また、集合
Figure 0004552049
を以下のように定義する。
Figure 0004552049
すべての
Figure 0004552049
に対して、それぞれ独立に以下に示すＢＰアルゴリズムを実行する。 The Tanner graph G for the check matrix H is defined as follows. Graph G is a bipartite graph with N vnodes
Figure 0004552049
And M c-nodes
Figure 0004552049
Have In the check matrix H
Figure 0004552049
Then branch nodes c i and v j
Figure 0004552049
Connect with. Let E be a set of branches of the graph G. branch
Figure 0004552049
Has the following two types of discrete probability distributions.
Figure 0004552049
In order to execute the BP algorithm on the Tanner graph G shown above, the following BP algorithm input vector is defined.
Figure 0004552049
However,
Figure 0004552049
It is. Also set
Figure 0004552049
Is defined as follows.
Figure 0004552049
All
Figure 0004552049
In contrast, the following BP algorithm is executed independently.

ステップ１：すべての枝

Figure 0004552049
に対し、離散確率分布
Figure 0004552049
を以下の式により初期化する。
Figure 0004552049
ただし、
Figure 0004552049
は予測画像の画素値がｙであるとき実際の画像の画素値がｘである確率であり、確率分布は実験等によりあらかじめ決定しておくものとする。また、
Figure 0004552049
である。 Step 1: All branches
Figure 0004552049
Discrete probability distribution
Figure 0004552049
Is initialized by the following equation.
Figure 0004552049
However,
Figure 0004552049
Is the probability that the pixel value of the actual image is x when the pixel value of the predicted image is y, and the probability distribution is determined in advance by experiments or the like. Also,
Figure 0004552049
It is.

ステップ２：すべての枝

Figure 0004552049
に対し、離散確率分布
Figure 0004552049
を以下の式により更新する。
Figure 0004552049
ただし、ｄはノードｃiの次数であり、ｃiに直接接続しているｖノードの集合を
Figure 0004552049
とする。得られた確率分布
Figure 0004552049
に対して、以下の式を満たすように正規化を行う。
Figure 0004552049
なお、本ステップに対しては畳み込み演算が適用可能である。 Step 2: All branches
Figure 0004552049
Discrete probability distribution
Figure 0004552049
Is updated by the following formula.
Figure 0004552049
Where d is the order of the node c i and the set of v nodes directly connected to c i
Figure 0004552049
And Probability distribution obtained
Figure 0004552049
Is normalized so that the following expression is satisfied.
Figure 0004552049
A convolution operation can be applied to this step.

ステップ３：すべての枝

Figure 0004552049
に対し、離散確率分布
Figure 0004552049
を以下の式により更新する。
Figure 0004552049
ただし、δはノードｖjの次数であり、ｖjに直接接続しているｃノードの集合を
Figure 0004552049
とする。得られた確率分布
Figure 0004552049
に対して、以下の式を満たすように正規化を行う。
Figure 0004552049
Step 3: All branches
Figure 0004552049
Discrete probability distribution
Figure 0004552049
Is updated by the following formula.
Figure 0004552049
Where δ is the degree of the node v j and the set of c nodes directly connected to v j
Figure 0004552049
And Probability distribution obtained
Figure 0004552049
Is normalized so that the following expression is satisfied.
Figure 0004552049

上記のステップ２及びステップ３を複数回繰り返した後、予測画素の値

Figure 0004552049
の修正値
Figure 0004552049
を以下の式により決定する。
Figure 0004552049
ただし、δはノードｖjの次数であり、ｖjに直接接続しているｃノードの集合を
Figure 0004552049
とする。 After repeating the above step 2 and step 3 multiple times, the value of the predicted pixel
Figure 0004552049
Correction value of
Figure 0004552049
Is determined by the following equation.
Figure 0004552049
Where δ is the degree of the node v j and the set of c nodes directly connected to v j
Figure 0004552049
And

以上の手順により予測画素値

Figure 0004552049
の修正値
Figure 0004552049
からなるＢピクチャを構成可能である。 Predicted pixel value by the above procedure
Figure 0004552049
Correction value of
Figure 0004552049
A B picture consisting of

なお、上述した各処理は、例えば圧縮処理においては、まず、（ａ）画像情報を取り込み画素値をＡ／Ｄ変換するための入力インタフェース、（ｂ）Ａ／Ｄ変換された各画素の画素値信号線を、検査行列に従って整数加算器に接続することにより構成するシンドロームベクトル計算回路、（ｃ）シンドロームベクトルに対して一般の可逆圧縮処理または非可逆圧縮処理を行うための組み合わせ回路及び順序回路、（ｄ）圧縮処理後のデータを出力するための出力インタフェースを用いて実現可能である。   For example, in the compression process, each of the above-described processes includes (a) an input interface for taking image information and A / D converting the pixel value, and (b) a pixel value of each pixel subjected to A / D conversion. A syndrome vector calculation circuit configured by connecting a signal line to an integer adder according to a check matrix; (c) a combinational circuit and a sequential circuit for performing general lossless compression processing or lossy compression processing on the syndrome vector; (D) It can be realized using an output interface for outputting data after compression processing.

また、次に、（ａ’）画像情報を取り込み画素値をＡ／Ｄ変換するための入力インタフェース、（ｂ’）入力された画像情報を一時的に記憶するためのフレームメモリ、（ｃ’）フレームメモリに記憶されている画像情報に対して検査行列に従ってシンドロームベクトルを計算するコンピュータプログラム、（ｄ’）シンドロームベクトルに対し一般の可逆圧縮処理または非可逆圧縮処理を行うコンピュータプログラム、（ｅ’）コンピュータプログラムの実行結果を出力するための出力インタフェースによっても実現可能である。   Next, (a ′) an input interface for taking image information and A / D converting the pixel value, (b ′) a frame memory for temporarily storing the input image information, (c ′) A computer program for calculating a syndrome vector according to a check matrix for image information stored in the frame memory; (d ′) a computer program for performing a general lossless compression process or irreversible compression process on the syndrome vector; It can also be realized by an output interface for outputting the execution result of the computer program.

また、伸長処理においては、まず、（ａ）圧縮データを入力するための入力インタフェース、（ｂ）圧縮データからシンドロームベクトルを生成するための伸長処理を行う組み合わせ回路及び順序回路、（ｃ）処理対象のフレームの前方及び後方のフレーム情報を入力して保持しておくための入力インタフェース及びフレームメモリ、（ｄ）フレームメモリ上の画像情報を用いて処理対象フレームの予測画像を生成するための順序回路及び算術演算回路、（ｅ）シンドロームベクトルと予測画像を入力としてＢＰアルゴリズムを実行するための順序回路及び算術演算回路、（ｆ）ＢＰアルゴリズムの実行結果から伸長後の画像を構成し出力するための出力インタフェースを用いて実現可能である。   In the decompression process, first, (a) an input interface for inputting compressed data, (b) a combinational circuit and a sequential circuit for performing decompression processing for generating a syndrome vector from the compressed data, and (c) a processing target An input interface and frame memory for inputting and holding frame information of the front and rear of the frame, and (d) a sequential circuit for generating a predicted image of the processing target frame using image information on the frame memory And an arithmetic operation circuit, (e) a sequential circuit and an arithmetic operation circuit for executing the BP algorithm with the syndrome vector and the predicted image as inputs, and (f) for constructing and outputting a decompressed image from the execution result of the BP algorithm. It can be implemented using an output interface.

また、次に、（ａ’）圧縮データを入力するための入力インタフェース、（ｂ’）入力された圧縮データを保持しておくためのメモリ装置、（ｃ’）メモリ装置上の圧縮データを伸長しシンドロームベクトルに変換するためのコンピュータプログラム、（ｄ’）処理対象のフレームの前方及び後方のフレーム情報を入力し保持しておくための入力インタフェースとフレームメモリ、（ｅ’）フレームメモリ上の画像情報から処理対象のフレームの予測画像を生成するためのコンピュータプログラム、（ｆ’）シンドロームベクトルと予測画像を入力としてＢＰアルゴリズムを実行するためのコンピュータプログラム、（ｇ’）ＢＰアルゴリズムの実行結果から伸長後の画像を構成し出力するための出力インタフェースによっても実現可能である。   Next, (a ′) an input interface for inputting compressed data, (b ′) a memory device for holding the input compressed data, and (c ′) decompressing the compressed data on the memory device. A computer program for converting into a syndrome vector, (d ′) an input interface and frame memory for inputting and holding frame information before and after the frame to be processed, and (e ′) an image on the frame memory A computer program for generating a predicted image of a frame to be processed from information, (f ′) a computer program for executing a BP algorithm with a syndrome vector and a predicted image as input, and (g ′) decompressed from the execution result of the BP algorithm It can also be realized by an output interface for composing and outputting later images. .

このように、本発明の圧縮処理及び伸長処理は、ハードウェアまたはソフトウェアによって実現可能である。また、これらの処理はハードウェアとソフトウェアの適切な組み合わせにより実現可能であることは明らかである。   Thus, the compression processing and decompression processing of the present invention can be realized by hardware or software. It is obvious that these processes can be realized by an appropriate combination of hardware and software.

なお、例えば、携帯電話端末において本発明の圧縮処理を行い、非常に高圧縮したデータを、携帯電話事業者のサーバにおいて、本発明の伸長処理を施し、伸長処理した信号に対して、同サーバにおいて、ＭＰＥＧ等の従来的な圧縮処理を施し、別の携帯端末に送信し、当該別の携帯端末においてＭＰＥＧ等の伸長を行うことによって、携帯電話端末間での圧縮動画像の送受信が行えることも勿論である。このようにすることによって、圧縮画像を受信した携帯端末における伸長処理のための負荷を減らすことが可能である。   For example, the compression processing of the present invention is performed in a mobile phone terminal, and the highly compressed data is subjected to the decompression processing of the present invention in the server of the mobile phone operator, and the decompressed signal is processed by the server. Can transmit and receive compressed moving images between mobile phone terminals by performing conventional compression processing such as MPEG, transmitting to another mobile terminal, and decompressing MPEG or the like in the other mobile terminal Of course. By doing so, it is possible to reduce the load for the decompression process in the mobile terminal that has received the compressed image.

以下、より具体的に、課題を解決するための手段について説明する。   Hereinafter, a means for solving the problem will be described more specifically.

本発明の動画像圧縮符号化装置は、動画像を構成するフレームを入力してマクロブロックベクトルを生成する手段と、線形誤り制御符号の検査行列を用いて、前記マクロブロックベクトルをシンドロームベクトルに変換する手段と、を備える動画像圧縮符号化装置(発明１)によって実現できる。   The moving picture compression coding apparatus of the present invention converts a macro block vector into a syndrome vector using means for generating a macro block vector by inputting a frame constituting the moving picture and a check matrix of a linear error control code. And a moving image compression encoding device (invention 1).

また、前記線形誤り制御符号の検査行列が、低密度パリティ検査符号の検査行列である、発明１の動画像圧縮符号化装置(発明２)によって実現できる。   Further, the linear error control code check matrix can be realized by the moving picture compression encoding apparatus (invention 2) of the invention 1 which is a low-density parity check code check matrix.

更に、前記低密度パリティ検査符号の検査行列を用いてマクロブロックベクトルをシンドロームベクトルに変換する手段が、２元低密度パリティ検査符号の検査行列

Figure 0004552049
を用いて、マクロブロックベクトル
Figure 0004552049
から
Figure 0004552049
で与えられる関係式により、シンドロームベクトル
Figure 0004552049
を生成する手段である、発明２の動画像圧縮符号化装置(発明３)によって実現できる。 Further, means for converting a macroblock vector into a syndrome vector using a parity check matrix of the low density parity check code includes a parity check matrix of a binary low density parity check code.
Figure 0004552049
Use the macroblock vector
Figure 0004552049
From
Figure 0004552049
The syndrome vector is given by the relation given by
Figure 0004552049
This can be realized by the moving picture compression encoding apparatus (Invention 3) of Invention 2.

更にまた、前記動画像を構成するフレームを入力してマクロブロックベクトルを生成する手段が、フレームをσ×σピクセルの大きさを有するＮ個のマクロブロックに分割し、これらのマクロブロックを要素とするマクロブロックベクトル

Figure 0004552049
を生成する手段である、以上のいずれかの発明の動画像圧縮符号化装置(発明４)によって実現できる。 Further, means for generating a macroblock vector by inputting a frame constituting the moving image divides the frame into N macroblocks having a size of σ × σ pixels, and the macroblocks are divided into elements. Macroblock vector
Figure 0004552049
This can be realized by the moving picture compression encoding apparatus (Invention 4) according to any one of the above inventions.

更に、前記シンドロームベクトルに対する圧縮符号化手段、を更に備える、以上のいずれかの発明の動画像圧縮符号化装置(発明５)によって実現できる。
これに加えて、前記シンドロームベクトルに対する圧縮符号化手段が、シンドロームベクトル

Figure 0004552049
に対し所定の非可逆圧縮法または可逆圧縮法を適用することにより、圧縮されたシンドロームベクトルを生成する手段である、
発明５の動画像圧縮符号化装置(発明６)によって実現できる。 Further, this can be realized by the moving picture compression coding apparatus (invention 5) according to any one of the above inventions, further comprising compression coding means for the syndrome vector.
In addition, the compression encoding means for the syndrome vector may be a syndrome vector.
Figure 0004552049
A means for generating a compressed syndrome vector by applying a predetermined lossy compression method or a reversible compression method to
This can be realized by the moving picture compression encoding apparatus (invention 6) of the invention 5.

この発明６における各処理を図示したのが、図１６である。
同図において、「動画像を構成するフレームを入力してマクロブロックベクトルを生成する処理」(1601)は、フレームをσ×σピクセルの大きさを有するＮ個のマクロブロック(1613)に分割し、これらのマクロブロックを要素とするマクロブロックベクトル

Figure 0004552049
(1615)を生成する。 FIG. 16 shows each process in the sixth aspect of the present invention.
In the figure, the “process for generating a macroblock vector by inputting a frame constituting a moving image” (1601) divides the frame into N macroblocks (1613) having a size of σ × σ pixels. , A macroblock vector whose elements are these macroblocks
Figure 0004552049
(1615) is generated.

次に、「低密度パリティ検査符号の検査行列を用いてマクロブロックベクトルをシンドロームベクトルに変換する処理」(1603)は、２元低密度パリティ検査符号の検査行列(1617)

Figure 0004552049
を用いて、マクロブロックベクトル
Figure 0004552049
(1615)から
Figure 0004552049
で与えられる関係式により、シンドロームベクトル
Figure 0004552049
(1619)を生成する。 Next, “processing for converting a macroblock vector into a syndrome vector using a parity check matrix of a low density parity check code” (1603) is a parity check matrix of a binary low density parity check code (1617).
Figure 0004552049
Use the macroblock vector
Figure 0004552049
From (1615)
Figure 0004552049
The syndrome vector is given by the relation given by
Figure 0004552049
(1619) is generated.

「シンドロームベクトルに対する圧縮符号化処理」(1605)は、シンドロームベクトル

Figure 0004552049
(1619)に対し所定の非可逆圧縮法または可逆圧縮法(例えば、ＤＣＴ＋量子化＋ジグザグスキャン＋ランレングス符号化＋ハフマン符号化)を適用することにより、圧縮されたシンドロームベクトル(1621)を生成する。 “Compression coding for syndrome vectors” (1605)
Figure 0004552049
Applying a predetermined lossy compression method or lossless compression method (for example, DCT + quantization + zigzag scan + run length coding + Huffman coding) to (1619) to generate a compressed syndrome vector (1621) To do.

そして、前記シンドロームベクトルに対する圧縮符号化手段に、直交変換、量子化、ランレングス符号化、エントロピー符号化、の少なくとも１つ或いはこれらの任意の組み合せが含まれる、発明５の動画像圧縮符号化装置(発明７)によって実現できる。   The moving picture compression coding apparatus according to the fifth aspect, wherein the compression coding means for the syndrome vector includes at least one of orthogonal transformation, quantization, run length coding, entropy coding, or any combination thereof. (Invention 7)

次に、本発明の圧縮データ伸長装置は、発明１ないし４の装置で生成されたシンドロームベクトルを入力する手段と、処理対象フレームの予測画像を生成する手段と、予測画像のマクロブロックベクトルを生成する手段と、シンドロームベクトルとマクロブロックベクトルからBelief Propagation （ＢＰ）アルゴリズム入力ベクトルを生成する手段と、ＢＰアルゴリズム入力ベクトルを用いてフレームの伸長画像を生成する手段、を備える圧縮データ伸長装置(発明８)によって実現できる。   Next, the compressed data decompression apparatus of the present invention generates means for inputting the syndrome vector generated by the apparatuses of inventions 1 to 4, means for generating a predicted image of the processing target frame, and generates a macroblock vector of the predicted image. A compressed data decompression device (invention 8) comprising: means for generating a Belief Propagation (BP) algorithm input vector from the syndrome vector and macroblock vector; and means for generating a decompressed image of the frame using the BP algorithm input vector. ).

更に、発明５ないし７の装置で生成された、圧縮されたシンドロームベクトルを入力して伸長する手段と、処理対象フレームの予測画像を生成する手段と、予測画像のマクロブロックベクトルを生成する手段と、シンドロームベクトルとマクロブロックベクトルからBelief Propagation （ＢＰ）アルゴリズム入力ベクトルを生成する手段と、ＢＰアルゴリズム入力ベクトルを用いてフレームの伸長画像を生成する手段、を備える圧縮データ伸長装置(発明９)によって実現できる。   Furthermore, means for inputting and expanding the compressed syndrome vector generated by the apparatus of the inventions 5 to 7, means for generating a predicted image of the processing target frame, and means for generating a macroblock vector of the predicted image Realized by a compressed data decompression device (invention 9) comprising means for generating a Belief Propagation (BP) algorithm input vector from a syndrome vector and a macroblock vector, and means for generating a decompressed image of a frame using the BP algorithm input vector it can.

更に、前記圧縮されたシンドロームベクトルを入力して伸長する手段が、発明５ないし７に記載の装置により圧縮されたシンドロームベクトルに対し、圧縮装置に対応した所定の伸長手順を適用することにより伸長後のシンドロームベクトル

Figure 0004552049
を生成する手段である、発明９の圧縮データ伸長装置(発明１０)によって実現できる。 Further, the means for inputting and decompressing the compressed syndrome vector applies the predetermined decompression procedure corresponding to the compression apparatus to the syndrome vector compressed by the apparatus according to any of the fifth to seventh aspects. The syndrome vector
Figure 0004552049
Can be realized by the compressed data decompression apparatus (invention 10) of the invention 9.

また、前記処理対象フレームの予測画像を生成する手段が、処理対象のフレームの前方及び後方に存在する、フレーム内符号化圧縮されたフレームから、動き予測を用いて処理対象フレームの予測画像を生成する手段であり、前記予測画像のマクロブロックベクトルを生成する手段が、予測画像をσ×σピクセルの大きさを有するＮ個のマクロブロックに分割し、これらのマクロブロックを要素とするマクロブロックベクトル

Figure 0004552049
を構成する手段であり、前記シンドロームベクトルとマクロブロックベクトルからBelief Propagation（ＢＰ）アルゴリズム入力ベクトルを生成する手段が、マクロブロック
Figure 0004552049
及びシンドロームブロック
Figure 0004552049
を入力し、すべての
Figure 0004552049
に対して２種のＢＰアルゴリズム入力ベクトル
Figure 0004552049
及び
Figure 0004552049
を生成する手段であり、前記ＢＰアルゴリズム入力ベクトルを用いてフレームの伸長画像を生成する手段が、２種のＢＰアルゴリズム入力ベクトル
Figure 0004552049
及び
Figure 0004552049
を入力し、圧縮装置で用いた低密度パリティ検査符号の検査行列
Figure 0004552049
を表現する二部グラフ上のそれぞれの枝
Figure 0004552049
に、
Figure 0004552049
の修正値に対する２種の離散確率分布
Figure 0004552049
及び
Figure 0004552049
を割り当て、確率分布
Figure 0004552049
をベクトル
Figure 0004552049
の値に基づいて初期化した後、すべての
Figure 0004552049
に対して
Figure 0004552049
を満足するようにＢＰアルゴリズムに基づいて確率分布
Figure 0004552049
及び
Figure 0004552049
を繰り返して更新することにより、圧縮前の正しい画素値
Figure 0004552049
に近い値を有する伸長後の画素値
Figure 0004552049
を生成する手段である、発明８ないしは１０の圧縮データ伸長装置(発明１１)によって実現できる。 In addition, the means for generating a predicted image of the processing target frame generates a predicted image of the processing target frame using motion prediction from frames that have been subjected to intra-frame coding compression that exist before and after the processing target frame. And a means for generating a macroblock vector of the predicted image divides the predicted image into N macroblocks having a size of σ × σ pixels, and a macroblock vector having these macroblocks as elements
Figure 0004552049
The means for generating a Belief Propagation (BP) algorithm input vector from the syndrome vector and the macroblock vector is a macroblock.
Figure 0004552049
And syndrome block
Figure 0004552049
Enter all
Figure 0004552049
Two BP algorithm input vectors for
Figure 0004552049
as well as
Figure 0004552049
, And means for generating a decompressed image of the frame using the BP algorithm input vector includes two types of BP algorithm input vectors.
Figure 0004552049
as well as
Figure 0004552049
Is the parity check matrix of the low-density parity check code used in the compressor.
Figure 0004552049
Each branch on the bipartite graph
Figure 0004552049
In addition,
Figure 0004552049
Two Discrete Probability Distributions for Modified Values
Figure 0004552049
as well as
Figure 0004552049
Assign probability distribution
Figure 0004552049
Vector
Figure 0004552049
After initialization based on the value of
Figure 0004552049
Against
Figure 0004552049
Distribution based on BP algorithm to satisfy
Figure 0004552049
as well as
Figure 0004552049
To update the correct pixel value before compression.
Figure 0004552049
Pixel value after decompression with a value close to
Figure 0004552049
Can be realized by the compressed data decompression apparatus (invention 11) of the invention 8 or 10.

この発明１１の各処理を図示したのが、図１７である。
同図においては、「圧縮されたシンドロームベクトルを入力して伸長する処理」(1701)は、発明６の装置により圧縮されたシンドロームベクトル(1721)に対し、圧縮装置に対応した所定の伸長手順を適用することにより伸長後のシンドロームベクトル

Figure 0004552049
(1723)を生成する。 FIG. 17 illustrates each process of the eleventh aspect of the present invention.
In the figure, the “process of inputting and compressing a compressed syndrome vector” (1701) performs a predetermined expansion procedure corresponding to the compression device for the syndrome vector (1721) compressed by the device of the sixth aspect. Syndrome vector after extension by applying
Figure 0004552049
(1723) is generated.

「処理対象フレームの予測画像を生成する処理」(1703)は、処理対象のフレームの前方(1725)及び後方(1729)に存在する、フレーム内符号化されたフレームから、動き予測を用いて処理対象フレームの予測画像(1727)を生成する。   `` Process for generating predicted image of processing target frame '' (1703) is a process using motion prediction from intra-frame encoded frames existing in the front (1725) and rear (1729) of the processing target frame. A predicted image (1727) of the target frame is generated.

ここで、処理対象のフレームの前方(1725)及び後方(1729)に存在する、フレーム内符号化されたフレームとはたとえば、ＭＰＥＧの動画圧縮方式における、Ｉピクチャに相当するものである。   Here, the intra-coded frames existing in the front (1725) and rear (1729) of the frame to be processed correspond to, for example, an I picture in the MPEG video compression method.

「予測画像のマクロブロックベクトルを生成する処理」(1705)は、予測画像をσ×σピクセルの大きさを有するＮ個のマクロブロックに分割し、これらのマクロブロックを要素とするマクロブロックベクトル

Figure 0004552049
を構成する。 “Process for generating macroblock vector of predicted image” (1705) divides the predicted image into N macroblocks having a size of σ × σ pixels, and a macroblock vector having these macroblocks as elements
Figure 0004552049
Configure.

「シンドロームベクトルとマクロブロックベクトルからBelief Propagation（ＢＰ）アルゴリズム入力ベクトルを生成する処理」(1707)は、マクロブロック

Figure 0004552049
及びシンドロームブロック
Figure 0004552049
を入力し、すべての
Figure 0004552049
に対して２種のＢＰアルゴリズム入力ベクトル
Figure 0004552049
及び
Figure 0004552049
を生成する。 “Process to generate Belief Propagation (BP) algorithm input vector from syndrome vector and macroblock vector” (1707)
Figure 0004552049
And syndrome block
Figure 0004552049
Enter all
Figure 0004552049
Two BP algorithm input vectors for
Figure 0004552049
as well as
Figure 0004552049
Is generated.

「ＢＰアルゴリズム入力ベクトルを用いてフレームの伸長画像を生成する処理」(1709)は、２種のＢＰアルゴリズム入力ベクトル

Figure 0004552049
及び
Figure 0004552049
を入力し、圧縮装置で用いた低密度パリティ検査符号の検査行列(1617)
Figure 0004552049
を表現する二部グラフ(1733)上のそれぞれの枝
Figure 0004552049
に、
Figure 0004552049
の修正値に対する２種の離散確率分布
Figure 0004552049
及び
Figure 0004552049
を割り当て、確率分布
Figure 0004552049
をベクトル
Figure 0004552049
の値に基づいて初期化した後、すべての
Figure 0004552049
に対して
Figure 0004552049
を満足するようにＢＰアルゴリズムに基づいて確率分布
Figure 0004552049
及び
Figure 0004552049
を繰り返して更新することにより、圧縮前の正しい画素値
Figure 0004552049
に近い値を有する伸長後の画素値
Figure 0004552049
(1735)を生成する。 “Process for generating a decompressed image of a frame using a BP algorithm input vector” (1709)
Figure 0004552049
as well as
Figure 0004552049
The parity check matrix of the low-density parity check code used in the compressor (1617)
Figure 0004552049
Each branch on the bipartite graph (1733)
Figure 0004552049
In addition,
Figure 0004552049
Two Discrete Probability Distributions for Modified Values
Figure 0004552049
as well as
Figure 0004552049
Assign probability distribution
Figure 0004552049
Vector
Figure 0004552049
After initialization based on the value of
Figure 0004552049
Against
Figure 0004552049
Distribution based on BP algorithm to satisfy
Figure 0004552049
as well as
Figure 0004552049
To update the correct pixel value before compression.
Figure 0004552049
Pixel value after decompression with a value close to
Figure 0004552049
(1735) is generated.

本発明による動画像圧縮符号化・圧縮データ伸長システムは、動画像を構成するフレームを入力してマクロブロックベクトルを生成する手段と、線形誤り制御符号の検査行列を用いて、前記マクロブロックベクトルをシンドロームベクトルに変換する手段と、上記シンドロームベクトルを入力する手段と、処理対象フレームの予測画像を生成する手段と、予測画像のマクロブロックベクトルを生成する手段と、シンドロームベクトルとマクロブロックベクトルからBelief Propagation （ＢＰ）アルゴリズム入力ベクトルを生成する手段と、ＢＰアルゴリズム入力ベクトルを用いてフレームの伸長画像を生成する手段、を備える動画像圧縮符号化・圧縮データ伸長システム(発明１２)、として実現できる。
なお、以上の各動画像圧縮符号化装置と、各圧縮データ伸長装置を、技術的に整合する範囲で任意に組み合せて、発明１２と同様の動画像圧縮符号化・圧縮データ伸長システムが形成され得ることは、本明細書及び図面の開示を理解した当業者が容易に理解できる。
このようなシステムは、以上の各動画像圧縮符号化装置と、各圧縮データ伸長装置を、技術的に整合する範囲で任意に「組み合せ」で構成されるが、それらの間は、直結されていても良いし、通信回線によってカップルされていても良い。この通信回線には、有線、無線を含み、インターネットやイントラネットなど、如何なる回線でも利用可能である。 A moving image compression encoding / compression data decompression system according to the present invention uses a means for generating a macroblock vector by inputting a frame constituting a moving image, and a check matrix of a linear error control code, and Means for converting to a syndrome vector; means for inputting the syndrome vector; means for generating a predicted image of a processing target frame; means for generating a macroblock vector of the predicted image; and belief propagation from the syndrome vector and the macroblock vector It can be realized as a moving image compression encoding / compression data decompression system (invention 12) comprising means for generating an (BP) algorithm input vector and means for generating a decompressed image of a frame using the BP algorithm input vector.
It should be noted that the above-described moving image compression encoding device and each compressed data expansion device are arbitrarily combined within a technically consistent range to form a moving image compression encoding / compression data expansion system similar to that of the twelfth aspect. It can be easily understood by those skilled in the art who understand the disclosure of the present specification and drawings.
Such a system is configured by arbitrarily “combining” each of the above-described moving image compression encoding apparatuses and each compressed data decompression apparatus within the technically consistent range, but they are directly connected. It may be coupled by a communication line. This communication line includes wired and wireless, and any line such as the Internet or an intranet can be used.

本発明の態様の１つとして、発明５ないし７の動画像圧縮符号化装置のうちの一つの構成手段であるシンドロームベクトルに対する圧縮符号化手段としての、シンドロームベクトルに対する圧縮符号化装置（発明１３）が実現できる。
この発明と同様に、以上の各発明によって実現される各装置のうち、当該各装置のうちの一つの構成手段としての装置が、発明として把握され得ることは、本明細書及び図面の開示を理解した当業者に容易に理解できる。 As one aspect of the present invention, a compression encoding apparatus for a syndrome vector (invention 13) as compression encoding means for a syndrome vector, which is one of the constituent means of the moving image compression encoding apparatuses of inventions 5 to 7. Can be realized.
Similarly to the present invention, among the devices realized by the respective inventions described above, a device as one constituent means of the respective devices can be grasped as an invention, as disclosed in the present specification and drawings. It can be easily understood by those skilled in the art.

本発明に関わるプログラムは、コンピュータにより、以上のいずれかの発明の各手段のうち少なくとも１つの手段を実行させて、ハードウェアのみにより実現される手段との組合せにより、或いは、コンピュータのみにより実現される手段により、当該いずれかの発明記載の装置として機能させるためのプログラム(発明１４)として実現できる。   The program according to the present invention is realized by a computer by executing at least one of the means of any of the above inventions, in combination with means realized only by hardware, or only by a computer. By this means, it can be realized as a program (invention 14) for causing it to function as the device described in any of the inventions.

本発明の方法は、動画像を構成するフレームを入力してマクロブロックベクトルを生成するステップと、線形誤り制御符号の検査行列を用いて、前記マクロブロックベクトルをシンドロームベクトルに変換するステップと、を含む、動画像圧縮符号化方法(発明１５)として実現される。   The method of the present invention includes a step of generating a macroblock vector by inputting a frame constituting a moving image, and a step of converting the macroblock vector to a syndrome vector using a parity check matrix of a linear error control code. Including a moving image compression encoding method (invention 15).

また、発明１５の方法で生成されたシンドロームベクトルを入力するステップと、処理対象フレームの予測画像を生成するステップと、予測画像のマクロブロックベクトルを生成するステップと、シンドロームベクトルとマクロブロックベクトルからBelief Propagation （ＢＰ）アルゴリズム入力ベクトルを生成するステップと、ＢＰアルゴリズム入力ベクトルを用いてフレームの伸長画像を生成するステップ、を含む、圧縮データ伸長方法(発明１６)として実現される。   Further, a step of inputting a syndrome vector generated by the method of the invention 15, a step of generating a predicted image of the processing target frame, a step of generating a macroblock vector of the predicted image, and a believe from the syndrome vector and the macroblock vector This is realized as a compressed data decompression method (Invention 16), including a step of generating a Propagation (BP) algorithm input vector and a step of generating a decompressed image of the frame using the BP algorithm input vector.

本発明の実施形態により、動画像の圧縮時にフレーム間動き補償予測を行わなくともフレーム間相関を利用した動画像圧縮符号化が可能となる。動画像圧縮時のフレーム間動き補償予測が不要となったことから、圧縮時における理論上の計算量がＪＰＥＧの約１／２程度、ＭＰＥＧ２の約１／１０程度となるような動画像圧縮符号化方式を実現することができる。さらに、本発明の実施形態による動画像圧縮符号化方式においては、フレーム間動き補償予測が不要であるにもかかわらずフレーム間相関を利用した圧縮情報の伸長が可能であることから、フレーム間相関を利用していないＭｏｔｉｏｎＪＰＥＧ等よりも高い画質を得ることが可能である。   According to the embodiment of the present invention, it is possible to perform moving image compression encoding using inter-frame correlation without performing inter-frame motion compensation prediction when compressing a moving image. Since the motion compensation prediction between frames at the time of moving picture compression is not required, a moving picture compression code in which the theoretical calculation amount at the time of compression is about 1/2 of JPEG and about 1/10 of MPEG2. Can be realized. Furthermore, in the moving image compression coding system according to the embodiment of the present invention, the interframe correlation can be expanded because the compression information can be expanded using the interframe correlation even though the interframe motion compensation prediction is unnecessary. It is possible to obtain a higher image quality than Motion JPEG or the like that does not use.

本発明の実施形態により動画像の圧縮時における計算量が大幅に削減できることから、動画像圧縮回路の規模や消費電力に対して厳しい制約が存在する衛星搭載センサ、携帯電話等の小型機器搭載カメラ、モニタカメラ、等において有用な動画像圧縮方式を得ることができる。   Since the amount of calculation at the time of compressing a moving image can be greatly reduced by the embodiment of the present invention, there are severe restrictions on the size and power consumption of the moving image compression circuit. In addition, it is possible to obtain a moving image compression system useful in a monitor camera or the like.

なお、本発明の実施形態による圧縮処理及び伸長処理における主な処理内容と計算量を、従来の動画像圧縮法のそれと比較した結果を図２に示す。   FIG. 2 shows a result of comparing main processing contents and calculation amount in the compression processing and decompression processing according to the embodiment of the present invention with those of the conventional moving image compression method.

本発明を実施するための最良の実施形態について、図を参照しながら詳細に説明する。なお、以下では課題を解決するための手段に定義した記号を使用する。   The best mode for carrying out the present invention will be described in detail with reference to the drawings. In the following, symbols defined as means for solving the problem are used.

本発明の実施の形態においては、動画像はＩピクチャ及びＢピクチャの２種のピクチャより構成される。Ｉピクチャはフレーム内符号化を行うピクチャであり、ＪＰＥＧ等の従来の静止画像圧縮方式により情報の圧縮及び伸長を行う。一方、Ｂピクチャはフレーム間符号化を行うピクチャである。 ただし、本発明の一つの実施形態においてフレーム間符号化とは、従来のように圧縮時にフレーム間の相関を利用して情報を圧縮するのではなく、圧縮時には一定の規則に従って情報を圧縮し、復号時にフレーム間相関を利用して元の情報を復元するような圧縮符号化法を意味している。   In the embodiment of the present invention, a moving picture is composed of two types of pictures, an I picture and a B picture. The I picture is a picture that performs intra-frame coding, and compresses and decompresses information by a conventional still image compression method such as JPEG. On the other hand, the B picture is a picture for performing interframe coding. However, in one embodiment of the present invention, the inter-frame coding means that the information is not compressed using the correlation between frames at the time of compression as in the prior art, but the information is compressed according to a certain rule at the time of compression, It means a compression encoding method that restores original information using inter-frame correlation at the time of decoding.

以下では動画像情報が、１枚のＩピクチャと３枚のＢピクチャの組を単位として構成されている場合を例に説明する。本動画像におけるピクチャのシーケンスを図３に示す。Ｉピクチャ及びＢピクチャはそれぞれ縦２８８ピクセル、横３５２ピクセルの画素を有するものとし、マクロブロックのサイズは８×８ピクセルであるとする。従って、それぞれのピクチャは縦方向にＨ＝３６個、横方向にＷ＝４４個のマクロブロックを有する。５個のピクチャから構成される動画像情報の例を、図４〜図８に示す。ここで、各画素値は８ビットで表現されることからＬ＝２５６である。本動画像情報において第１フレーム及び第５フレームはＩピクチャ、第２フレーム、第３フレーム及び第４フレームはＢピクチャとする。   In the following, an example will be described in which the moving image information is composed of a set of one I picture and three B pictures. FIG. 3 shows a sequence of pictures in the main moving image. Assume that each of the I picture and the B picture has 288 pixels in the vertical direction and 352 pixels in the horizontal direction, and the size of the macroblock is 8 × 8 pixels. Accordingly, each picture has H = 36 macroblocks in the vertical direction and W = 44 macroblocks in the horizontal direction. Examples of moving image information composed of five pictures are shown in FIGS. Here, since each pixel value is expressed by 8 bits, L = 256. In the moving image information, the first frame and the fifth frame are I pictures, and the second frame, the third frame, and the fourth frame are B pictures.

Ｉピクチャは既存のＪＰＥＧ等の静止画像圧縮方式によりフレーム内符号化を行う。Ｂピクチャの符号化手順は以下のとおりである。   The I picture is subjected to intra-frame coding by the existing still image compression method such as JPEG. The B picture encoding procedure is as follows.

Ｂピクチャは行列の形式で以下のように表現する。

Figure 0004552049
ただし、
Figure 0004552049
は８×８ピクセルを有するマクロブロックであり行列形式で以下のように表現する。
Figure 0004552049
A B picture is expressed in the form of a matrix as follows.
Figure 0004552049
However,
Figure 0004552049
Is a macroblock having 8 × 8 pixels and is expressed in matrix form as follows.
Figure 0004552049

なお、行列ＢにとしてＢピクチャそのものではなく、Ｂピクチャとこれに最も近い位置にあるＩピクチャとの差分画像を用いることが可能であり、これにより圧縮率を高めることができる。ただし、以下では簡単のためＢピクチャそのものを圧縮する例を示す。図６に示すＢピクチャにおけるマクロブロック

Figure 0004552049
を以下に示す。
Figure 0004552049
Note that a difference image between the B picture and the I picture located closest to the B picture can be used as the matrix B instead of the B picture itself, thereby increasing the compression rate. However, for the sake of simplicity, an example in which the B picture itself is compressed will be described below. Macroblock in B picture shown in FIG.
Figure 0004552049
Is shown below.
Figure 0004552049

符号長Ｎ＝Ｈ×Ｗ＝１５８４ビット、検査長Ｍ＝５２８ビットを有する低密度パリティ検査符号の行列を

Figure 0004552049
とおく。ただし、Ｈの列ベクトルはすべてハミング重み２を有し、Ｈの行ベクトルのうち上方の２６４個はハミング重み４を、それ以外の２６４個はハミング重み８を有する。行列Ｈにおいて、
Figure 0004552049
となるような要素の位置（ｉ、ｊ）のリストを図９に示す。
上記の検査行列Ｈを用いてＢを圧縮し、シンドロームベクトル
Figure 0004552049
を得る。ただし、シンドロームブロックＳiは以下の式により定義する。
Figure 0004552049
A matrix of low density parity check codes having code length N = H × W = 1484 bits and check length M = 528 bits.
Figure 0004552049
far. However, all the H column vectors have a Hamming weight 2, and the upper 264 of the H row vectors have a Hamming weight 4 and the other 264 have a Hamming weight 8. In matrix H,
Figure 0004552049
FIG. 9 shows a list of element positions (i, j) such that
Compress B using the above check matrix H, and syndrome vector
Figure 0004552049
Get. However, the syndrome block S i is defined by the following equation.
Figure 0004552049

ここで、

Figure 0004552049
であり、マクロブロックＢjの加算は画素ごとに行う。また、Ｓiは以下の行列で表現する。
Figure 0004552049
図６に示すＢピクチャに対して、図９に示す検査行列を用いて計算したシンドロームブロックＳ0は以下のように与えられる。
Figure 0004552049
here,
Figure 0004552049
The addition of the macro block B j is performed for each pixel. S i is expressed by the following matrix.
Figure 0004552049
For the B picture shown in FIG. 6, a syndrome block S 0 calculated using the parity check matrix shown in FIG. 9 is given as follows.
Figure 0004552049

次に、得られたシンドロームブロックＳiに対し以下に示す手順で、離散コサイン変換を適用する。シンドロームブロックＳiに対する２次元離散コサイン変換は以下の式により定義される。

Figure 0004552049
ただし、
Figure 0004552049
である。上記の演算により以下に示す変換係数行列を得る。
Figure 0004552049
シンドロームブロックＳ0の変換係数行列は以下の行列で与えられる。
Figure 0004552049
Next, a discrete cosine transform is applied to the obtained syndrome block S i in the following procedure. The two-dimensional discrete cosine transform for the syndrome block S i is defined by the following equation.
Figure 0004552049
However,
Figure 0004552049
It is. The conversion coefficient matrix shown below is obtained by the above calculation.
Figure 0004552049
The transform coefficient matrix of the syndrome block S 0 is given by the following matrix.
Figure 0004552049

次に、得られた変換係数行列を量子化テーブルＱを用いて量子化する。量子化テーブルＱの例を以下に示す。

Figure 0004552049
Next, the obtained transform coefficient matrix is quantized using the quantization table Q. An example of the quantization table Q is shown below.
Figure 0004552049

変換係数行列Ωiを量子化テーブルＱで量子化した行列を「量子化後の変換係数行列」と称し、Ωi／Ｑと表現する。例として、量子化後の変換係数行列Ω0／Ｑを以下に示す。

Figure 0004552049
A matrix obtained by quantizing the transform coefficient matrix Ω i with the quantization table Q is referred to as a “quantized transform coefficient matrix” and expressed as Ω i / Q. As an example, the quantized transform coefficient matrix Ω 0 / Q is shown below.
Figure 0004552049

上に示すように、量子化後の変換係数行列においては高周波成分が０となることから、ＪＰＥＧ等において使用されているジグザグスキャン、ランレングス符号化、ハフマン符号化、等を適用することにより、量子化後の変換係数行列を圧縮可能であることは明らかである。   As shown above, since the high-frequency component is 0 in the transform coefficient matrix after quantization, by applying zigzag scanning, run-length encoding, Huffman encoding, etc. used in JPEG, Obviously, the quantized transform coefficient matrix can be compressed.

次に圧縮された動画像情報の伸長手順を示す。ＪＰＥＧ等のフレーム内符号化により圧縮されているＩピクチャはそれぞれ独立に伸長を行う。Ｂピクチャの伸長のためには主に、フレーム間画像補間及び検査行列Ｈにより定義されるＴａｎｎｅｒグラフ上でのＢｅｌｉｅｆ Ｐｒｏｐａｇａｔｉｏｎ（ＢＰ）アルゴリズムの実行が必要である。詳細な手順は次のとおりである。   Next, a procedure for decompressing the compressed moving image information is shown. Each I picture compressed by intra-frame coding such as JPEG is independently expanded. In order to expand a B picture, it is mainly necessary to execute a Belief Propagation (BP) algorithm on a Tanner graph defined by inter-frame image interpolation and a check matrix H. The detailed procedure is as follows.

圧縮された量子化後の変換係数行列に対し、それぞれハフマン符号復号、ランレングス符号復号、等を適用し、またジグザグスキャン等により変換された数値列を変換前の数値列に逆変換することにより、量子化後の変換係数行列Ωi／Ｑを復元する。次に、量子化後の変換係数行列Ωi／Ｑに対し逆量子化を適用し変換係数行列Ωi’を得る。ここで量子化誤差によりΩi≠Ωi’となることに注意が必要である。変換係数行列Ω0’の例を以下に示す。

Figure 0004552049
変換係数行列Ωiに対し逆離散コサイン変換を適用し、シンドロームブロック
Figure 0004552049
を得る。ただし、量子化誤差の影響によりＳi≠Ｓi’である。シンドロームブロック
Figure 0004552049
の例を以下に示す。
Figure 0004552049
By applying Huffman code decoding, run-length code decoding, etc. to the compressed quantized transform coefficient matrix, respectively, and by inversely transforming the numerical sequence converted by zigzag scanning etc. into the numerical sequence before conversion Then, the quantized transform coefficient matrix Ω i / Q is restored. Next, inverse quantization is applied to the quantized transform coefficient matrix Ω i / Q to obtain a transform coefficient matrix Ω i ′. Note that Ω i ≠ Ω i ′ due to quantization error. An example of the transform coefficient matrix Ω 0 ′ is shown below.
Figure 0004552049
Apply inverse discrete cosine transform to transform coefficient matrix Ω i , syndrome block
Figure 0004552049
Get. However, S i ≠ S i ′ due to the influence of quantization error. Syndrome block
Figure 0004552049
An example of this is shown below.
Figure 0004552049

次に、伸長済みのＩピクチャから伸長を行いたいＢピクチャの予測画像を生成する。例えば、Ｂピクチャの前方にＩピクチャＩ1、後方にＩピクチャＩ2が存在する場合、Ｉ1ピクチャとＩ2ピクチャの間で動きベクトルを推定し、この動きベクトルを用いてＩ1ピクチャとＩ2ピクチャの補完画像を生成することによりＢピクチャの予測画像が生成できる。Ｂピクチャの予測画像を以下に示す行列の形式で表現する。

Figure 0004552049
Next, a predicted image of a B picture to be expanded is generated from the expanded I picture. For example, when an I picture I 1 exists in front of a B picture and an I picture I 2 exists behind, a motion vector is estimated between the I 1 picture and the I 2 picture, and the I 1 picture and I A predicted picture of a B picture can be generated by generating a complementary picture of two pictures. A predicted picture of a B picture is expressed in the following matrix format.
Figure 0004552049

ただし、

Figure 0004552049
は８×８ピクセルを有するマクロブロックであり、以下に示す行列の形式で表現する。
Figure 0004552049
一般に、予測画像Ｂ’には予測誤差が存在することから、Ｂ’≠Ｂである。図６に示すＢピクチャを図４及び図８に示すＩピクチャから予測した画像を図１０に示す。図１０に示す予測画像におけるマクロブロックの例を以下に示す。
Figure 0004552049


Figure 0004552049
予測画像Ｂ’に存在する予測誤差を低減するため、シンドロームベクトルＳ’を用いて、検査行列Ｈで定義されるＴａｎｎｅｒグラフ上においてＢＰアルゴリズムを実行する。 However,
Figure 0004552049
Is a macroblock having 8 × 8 pixels and is expressed in the form of a matrix shown below.
Figure 0004552049
In general, since a prediction error exists in the predicted image B ′, B ′ ≠ B. An image obtained by predicting the B picture shown in FIG. 6 from the I picture shown in FIGS. 4 and 8 is shown in FIG. Examples of macroblocks in the predicted image shown in FIG. 10 are shown below.
Figure 0004552049


Figure 0004552049
In order to reduce the prediction error existing in the predicted image B ′, the BP algorithm is executed on the Tanner graph defined by the check matrix H using the syndrome vector S ′.

検査行列Ｈに対するＴａｎｎｅｒグラフＧは次のように定義する。グラフＧは二部グラフであり、Ｎ＝１５８４個のｖノード

Figure 0004552049
と、Ｍ＝５２８個のｃノード
Figure 0004552049
を有する。検査行列Ｈにおいて
Figure 0004552049
であればノードｃiとノードｖjを枝
Figure 0004552049
で接続する。図９に示す検査行列に対するＴａｎｎｅｒグラフの部分グラフを図１１に示す。グラフＧの枝の集合をＥとする。枝
Figure 0004552049
は以下に示す２種の離散確率分布を有する。
Figure 0004552049
The Tanner graph G for the check matrix H is defined as follows. Graph G is a bipartite graph with N = 1588 vnodes
Figure 0004552049
And M = 528 c-nodes
Figure 0004552049
Have In the check matrix H
Figure 0004552049
Then branch nodes c i and v j
Figure 0004552049
Connect with. FIG. 11 shows a partial graph of the Tanner graph for the parity check matrix shown in FIG. Let E be a set of branches of the graph G. branch
Figure 0004552049
Has the following two types of discrete probability distributions.
Figure 0004552049

上記のＴａｎｎｅｒグラフＧ上でＢＰアルゴリズムを実行するため以下に示すＢＰアルゴリズム入力ベクトルを定義する。

Figure 0004552049
ただし、
Figure 0004552049
である。また、集合
Figure 0004552049
を以下のように定義する。
Figure 0004552049
すべての
Figure 0004552049
に対して、それぞれ独立に以下に示すＢＰアルゴリズムを実行する。

ステップ１：すべての枝
Figure 0004552049
に対し、離散確率分布
Figure 0004552049
を以下の式により初期化する。
Figure 0004552049
In order to execute the BP algorithm on the above Tanner graph G, the following BP algorithm input vector is defined.
Figure 0004552049
However,
Figure 0004552049
It is. Also set
Figure 0004552049
Is defined as follows.
Figure 0004552049
All
Figure 0004552049
In contrast, the following BP algorithm is executed independently.

Step 1: All branches
Figure 0004552049
Discrete probability distribution
Figure 0004552049
Is initialized by the following equation.
Figure 0004552049

ただし、

Figure 0004552049
は予測画像の画素値がｙであるとき実際の画像の画素値がｘである確率であり、確率分布は実験等によりあらかじめ決定しておくものとする。また、
Figure 0004552049
である。確率分布
Figure 0004552049
の例を図１２に示す。

ステップ２：すべての枝
Figure 0004552049
に対し、離散確率分布
Figure 0004552049
を以下の式により更新する。
Figure 0004552049
However,
Figure 0004552049
Is the probability that the pixel value of the actual image is x when the pixel value of the predicted image is y, and the probability distribution is determined in advance by experiments or the like. Also,
Figure 0004552049
It is. Probability distribution
Figure 0004552049
An example of this is shown in FIG.

Step 2: All branches
Figure 0004552049
Discrete probability distribution
Figure 0004552049
Is updated by the following formula.
Figure 0004552049

ただし、ｄはノードｃiの次数であり、ｃiに直接接続しているｖノードの集合を

Figure 0004552049
とする。例えば、図９に示す検査行列に対するＴａｎｎｅｒグラフにおいて、ｉ＝０、ｊ＝１９であるとき
Figure 0004552049
、
Figure 0004552049
、
Figure 0004552049
、
Figure 0004552049
である。得られた確率分布
Figure 0004552049
に対して、以下の式を満たすように正規化を行う。
Figure 0004552049
Where d is the order of the node c i and the set of v nodes directly connected to c i
Figure 0004552049
And For example, in the Tanner graph for the parity check matrix shown in FIG. 9, when i = 0 and j = 19
Figure 0004552049
,
Figure 0004552049
,
Figure 0004552049
,
Figure 0004552049
It is. Probability distribution obtained
Figure 0004552049
Is normalized so that the following expression is satisfied.
Figure 0004552049

ステップ３：すべての枝

Figure 0004552049
に対し、離散確率分布
Figure 0004552049
を以下の式により更新する。
Figure 0004552049
ただし、δはノードｖjの次数であり、ｖjに直接接続しているｃノードの集合を
Figure 0004552049
とする。例えば、図９に示す検査行列に対するＴａｎｎｅｒグラフにおいて、ｉ＝２０６、ｊ＝０であるとき、
Figure 0004552049
、
Figure 0004552049
である。得られた確率分布
Figure 0004552049
に対して、以下の式を満たすように正規化を行う。
Figure 0004552049
Step 3: All branches
Figure 0004552049
Discrete probability distribution
Figure 0004552049
Is updated by the following formula.
Figure 0004552049
Where δ is the degree of the node v j and the set of c nodes directly connected to v j
Figure 0004552049
And For example, in the Tanner graph for the parity check matrix shown in FIG. 9, when i = 206 and j = 0,
Figure 0004552049
,
Figure 0004552049
It is. Probability distribution obtained
Figure 0004552049
Is normalized so that the following expression is satisfied.
Figure 0004552049

上記のステップ２及びステップ３を複数回繰り返した後、予測画素値

Figure 0004552049
の修正値
Figure 0004552049
を以下の式により決定する。
Figure 0004552049
ただし、δはノードｖjの次数であり、ｖjに直接接続しているｃノードの集合を
Figure 0004552049
とする。 After repeating the above step 2 and step 3 multiple times, the predicted pixel value
Figure 0004552049
Correction value of
Figure 0004552049
Is determined by the following equation.
Figure 0004552049
Where δ is the degree of the node v j and the set of c nodes directly connected to v j
Figure 0004552049
And

以上の手順により予測画素値

Figure 0004552049
の修正値
Figure 0004552049
からなるＢピクチャを構成可能である。 Predicted pixel value by the above procedure
Figure 0004552049
Correction value of
Figure 0004552049
A B picture consisting of

上記の伸長手順により、予測画素値

Figure 0004552049
の修正値
Figure 0004552049
が有効に計算できることを示すため、上記ステップ２及びステップ３の反復回数を１回から５回に設定した場合の確率分布
Figure 0004552049
を図１３に示す。ただし、
Figure 0004552049
、
Figure 0004552049
、
Figure 0004552049
、
Figure 0004552049
である。図１３に示すように、上記ステップ２及びステップ３を反復して実行することにより、正しい値
Figure 0004552049
に近い値を与えるような確率分布が得られることがわかる。 By the above expansion procedure, the predicted pixel value
Figure 0004552049
Correction value of
Figure 0004552049
In order to show that can be calculated effectively, the probability distribution when the number of iterations of step 2 and step 3 is set from 1 to 5
Figure 0004552049
Is shown in FIG. However,
Figure 0004552049
,
Figure 0004552049
,
Figure 0004552049
,
Figure 0004552049
It is. As shown in FIG. 13, the correct value is obtained by repeatedly executing the above steps 2 and 3.
Figure 0004552049
It can be seen that a probability distribution giving a value close to is obtained.

図１０に示すＢピクチャの予測画像を、上記ＢＰアルゴリズムにより復号した結果を図１４に示す。ただし、反復回数は５回である。さらに、図１４に対して前方及び後方のＩピクチャを用いて画像補正を施したものに対して、再度ＢＰアルゴリズムを適用した結果を図１５に示す。このように、画像補正とＢＰアルゴリズムを組み合わせることにより、高い画質を有するＢピクチャを構成することが可能である。   FIG. 14 shows the result of decoding the predicted picture of the B picture shown in FIG. 10 by the BP algorithm. However, the number of iterations is five. Further, FIG. 15 shows the result of applying the BP algorithm again to the image corrected with respect to FIG. 14 using the front and rear I pictures. In this way, a B picture having high image quality can be configured by combining image correction and the BP algorithm.

以上本願発明について、添付図面を参照しつつ、その実施の形態を説明してきたが、本願発明の技術的範囲は、これらの具体的な図面および実施の形態には限定されず、添付の特許請求の範囲およびその均等の範囲に及ぶ。
そして当該特許請求の範囲に記載された技術思想の精神を逸脱しない限り、本願発明に対しては、実施の形態及び図面に記載の発明に対する各種構成要素の修正・変更・追加、非本質部分の他の技術との置換、等が可能であることは、当然に本明細書及び図面の開示を理解した当業者に認識される。 While the embodiments of the present invention have been described with reference to the accompanying drawings, the technical scope of the present invention is not limited to these specific drawings and embodiments, and the appended claims Range of and its equivalent range.
And unless it deviates from the spirit of the technical idea described in the scope of the claims, the invention of the present application includes modifications, changes and additions of various components to the invention described in the embodiments and drawings, and non-essential parts. It will be appreciated by those skilled in the art who understand the disclosure of the present specification and drawings that substitution with other technologies is possible.

本願発明は、搭載する集積回路の消費電力や回路規模等に厳しい制約が存する、衛星等の宇宙機や小型携帯機器、携帯電話、防犯カメラ、デジタルビデオカメラ、モニタカメラ、等における、動画像圧縮・伸長に広く用いることが可能である。   The present invention is a video compression method for spacecraft such as satellites, small portable devices, mobile phones, security cameras, digital video cameras, monitor cameras, etc., where there are severe restrictions on power consumption, circuit scale, etc. -Can be widely used for elongation.

従来の動画像圧縮法の原理と本発明の一つの実施形態の動画像圧縮法の原理。The principle of the conventional moving image compression method and the principle of the moving image compression method of one embodiment of the present invention. 圧縮処理及び伸長処理における主な処理内容と計算量の比較。Comparison of main processing contents and calculation amount in compression processing and decompression processing. 本発明の一つの実施形態における動画像情報のフレーム構成例。The frame structural example of the moving image information in one embodiment of this invention. 動画像の例(第１フレーム)。An example of a moving image (first frame). 動画像の例(第２フレーム)。Example of moving image (second frame). 動画像の例(第３フレーム)。Example of moving image (third frame). 動画像の例(第４フレーム)。Example of moving image (fourth frame). 動画像の例(第５フレーム)。Example of moving image (fifth frame). 検査行列Ｈの例。An example of a check matrix H. フレーム補間によるＢピクチャの予測画像。B picture prediction image by frame interpolation. 検査行列Ｈに対するTannerグラフの部分グラフ。A subgraph of the Tanner graph for the check matrix H. Brief Propagation(BP)アルゴリズムにおける初期確率分布の例。Example of initial probability distribution in the Brief Propagation (BP) algorithm. BPアルゴリズムによる確率分布の更新例。Update example of probability distribution by BP algorithm. 図１０の予測画像に対しBPアルゴリズムを適用した例。The example which applied BP algorithm with respect to the estimated image of FIG. 図１４の画像に画像補正を施し再度BPアルゴリズムを適用した例。The example which performed image correction to the image of FIG. 14, and applied BP algorithm again. 本発明の一実施例の圧縮符号化装置の処理手順の概要。The outline | summary of the process sequence of the compression encoding apparatus of one Example of this invention. 本発明の一実施例の圧縮データ伸長装置の処理手順の概要。The outline | summary of the process sequence of the compression data expansion | extension apparatus of one Example of this invention.

符号の説明Explanation of symbols

1601 動画像を構成するフレームを入力してマクロブロックベクトルを生成する処理
1603 低密度パリティ検査符号の検査行列を用いて、マクロブロックベクトルをシンドロームベクトルに変換する処理
1605 シンドロームベクトルに対する圧縮符号化処理
1611 フレーム
1613 マクロブロック(σ×σ)
1615 マクロブロックベクトル
1617 低密度パリティ検査符号の検査行列
1619 シンドロームベクトル
1621 圧縮データ
1701 圧縮されたシンドロームベクトルを入力して伸長する処理
1703 処理対象フレームの予測画像を生成する処理
1705 予測画像のマクロブロックベクトルを生成する処理
1707 シンドロームベクトルとマクロブロックベクトルからBrief Propagation(ＢＰ)アルゴリズム入力ベクトルを生成する処理
1709 ＢＰアルゴリズムの入力ベクトルを用いてフレームの伸長画像を生成する処理
1721 圧縮データ
1723 シンドロームベクトル
1725 前方フレーム
1727 処理対象フレーム
1729 後方フレーム
1731 予測画像
1733 二部グラフ
1735 伸長画像
1737 ＢＰアルゴリズム(確率分布の反復更新) 1601 Processing to generate a macroblock vector by inputting frames constituting a moving image
1603 Processing to convert macroblock vector to syndrome vector using parity check matrix of low density parity check code
1605 Compression coding for syndrome vector
1611 frames
1613 Macroblock (σ × σ)
1615 macroblock vector
1617 Parity check matrix for low-density parity check code
1619 syndrome vector
1621 compressed data
1701 Decompressing a compressed syndrome vector
1703 Processing to generate predicted image of processing target frame
1705 Process to generate macroblock vector of predicted image
1707 Processing to generate Brief Propagation (BP) algorithm input vector from syndrome vector and macroblock vector
1709 Processing for generating a decompressed image of a frame using an input vector of a BP algorithm
1721 compressed data
1723 syndrome vector
1725 Front frame
1727 Process target frame
1729 Rear frame
1731 Predicted image
1733 bipartite graph
1735 Expanded image
1737 BP algorithm (iteration update of probability distribution)

Claims (6)

動画像を構成するフレームを入力してマクロブロックベクトルを生成する手段と、
線形誤り制御符号の検査行列を用いて、前記マクロブロックベクトルをシンドロームベクトルに変換する手段と、
を備え、
前記線形誤り制御符号の検査行列は、低密度パリティ検査符号の検査行列であり、
前記低密度パリティ検査符号の検査行列を用いてマクロブロックベクトルをシンドロームベクトルに変換する手段が、２元低密度パリティ検査符号の検査行列
Figure 0004552049
を用いて、マクロブロックベクトル
Figure 0004552049
から
Figure 0004552049
で与えられる関係式により、シンドロームベクトル
Figure 0004552049
を生成する手段である、
ことを特徴とする動画像圧縮符号化装置。
ここで、
Figure 0004552049
はパリティ検査行列Ｈの第ｉ行、第ｊ列の要素を意味し、
Figure 0004552049
はマクロブロックを意味し、
Figure 0004552049
はシンドロームブロックを意味し、Σはマクロブロックの各要素ごとの和をとることを意味する。 Means for generating a macroblock vector by inputting a frame constituting a moving image;
Means for converting the macroblock vector into a syndrome vector using a check matrix of a linear error control code;
With
The check matrix of the linear error control code is a check matrix of a low density parity check code,
Means for converting a macroblock vector into a syndrome vector using a parity check matrix of the low density parity check code is a parity check matrix of a binary low density parity check code.
Figure 0004552049
Use the macroblock vector
Figure 0004552049
From
Figure 0004552049
The syndrome vector is given by the relation given by
Figure 0004552049
Is a means of generating
A moving image compression encoding apparatus characterized by the above.
here,
Figure 0004552049
Means the element of the i-th row and j-th column of the parity check matrix H,
Figure 0004552049
Means a macroblock,
Figure 0004552049
Means a syndrome block, and Σ means taking the sum of each element of the macroblock. 前記動画像を構成するフレームを入力してマクロブロックベクトルを生成する手段が、フレームをσ×σピクセルの大きさを有するＮ個のマクロブロックに分割し、これらのマクロブロックを要素とするマクロブロックベクトル
Figure 0004552049
を生成する手段である、
請求項１に記載の動画像圧縮符号化装置。ここで、
Figure 0004552049
はマクロブロックを意味する。 A means for generating a macroblock vector by inputting a frame constituting the moving image divides the frame into N macroblocks having a size of σ × σ pixels, and a macroblock having these macroblocks as elements vector
Figure 0004552049
Is a means of generating
The moving image compression encoding apparatus according to claim 1. here,
Figure 0004552049
Means a macroblock. 前記シンドロームベクトルに対する圧縮符号化手段、
を更に備える、請求項１又は２に記載の動画像圧縮符号化装置。 Compression encoding means for the syndrome vector;
The moving image compression encoding apparatus according to claim 1, further comprising: 前記シンドロームベクトルに対する圧縮符号化手段が、シンドロームベクトル
Figure 0004552049
に対し所定の非可逆圧縮法または可逆圧縮法を適用することにより、圧縮されたシンドロームベクトルを生成する手段である、
請求項３に記載の動画像圧縮符号化装置。ここで、
Figure 0004552049
はシンドロームブロックを意味する。 The compression encoding means for the syndrome vector comprises a syndrome vector
Figure 0004552049
A means for generating a compressed syndrome vector by applying a predetermined lossy compression method or a reversible compression method to
The moving image compression encoding apparatus according to claim 3. here,
Figure 0004552049
Means a syndrome block. 前記前記シンドロームベクトルに対する圧縮符号化手段に、直交変換、量子化、ランレングス符号化、エントロピー符号化、の少なくとも１つ或いはこれらの任意の組み合せが含まれる、請求項３に記載の動画像圧縮符号化装置。   The moving image compression code according to claim 3, wherein the compression coding means for the syndrome vector includes at least one of orthogonal transformation, quantization, run length coding, entropy coding, or any combination thereof. Device. 請求項１または２の装置で生成されたシンドロームベクトルを入力する手段と、処理対象フレームの予測画像を生成する手段と、予測画像のマクロブロックベクトルを生成する手段と、シンドロームベクトルとマクロブロックベクトルからBelief Propagation （ＢＰ）アルゴリズム入力ベクトルを生成する手段と、ＢＰアルゴリズム入力ベクトルを用いてフレームの伸長画像を生成する手段と、
を備える圧縮データ伸長装置であって、
前記処理対象フレームの予測画像を生成する手段が、処理対象のフレームの前方及び後方に存在する、フレーム内符号化圧縮されたフレームから、動き予測を用いて処理対象フレームの予測画像を生成する手段であり、
前記予測画像のマクロブロックベクトルを生成する手段が、予測画像をσ×σピクセルの大きさを有するＮ個のマクロブロックに分割し、これらのマクロブロックを要素とするマクロブロックベクトル
Figure 0004552049
を構成する手段であり、
前記シンドロームベクトルとマクロブロックベクトルからBelief Propagation（ＢＰ）アルゴリズム入力ベクトルを生成する手段が、マクロブロック
Figure 0004552049
及びシンドロームブロック
Figure 0004552049
を入力し、すべての
Figure 0004552049
に対して２種のＢＰアルゴリズム入力ベクトル
Figure 0004552049
及び
Figure 0004552049
を生成する手段であり、
前記ＢＰアルゴリズム入力ベクトルを用いてフレームの伸長画像を生成する手段が、２種のＢＰアルゴリズム入力ベクトル
Figure 0004552049
及び
Figure 0004552049
を入力し、圧縮装置で用いた低密度パリティ検査符号の検査行列
Figure 0004552049
を表現する二部グラフ上のそれぞれの枝
Figure 0004552049
に、
Figure 0004552049
の修正値に対する２種の離散確率分布
Figure 0004552049
及び
Figure 0004552049
を割り当て、確率分布
Figure 0004552049
をベクトル
Figure 0004552049
の値に基づいて初期化した後、すべての
Figure 0004552049
に対して
Figure 0004552049
を満足するようにＢＰアルゴリズムに基づいて確率分布
Figure 0004552049
及び
Figure 0004552049
を繰り返して更新することにより、圧縮前の正しい画素値
Figure 0004552049
に近い値を有する伸長後の画素値
Figure 0004552049
を生成する手段である、
圧縮データ伸長装置。ここで、
Figure 0004552049
は予測画像のマクロブロックを意味し、
Figure 0004552049
はマクロブロック
Figure 0004552049
の第
Figure 0004552049
行、第
Figure 0004552049
列の要素を意味し、
Figure 0004552049
は伸長後のシンドロームブロックを意味し、
Figure 0004552049
はシンドロームブロック
Figure 0004552049
の第
Figure 0004552049
行、第
Figure 0004552049
列の要素を意味し、
Figure 0004552049
は検査行列Ｈの第ｉ行、第ｊ列の要素を意味し、Σは整数値の和をとることを意味する。 A means for inputting the syndrome vector generated by the apparatus according to claim 1, a means for generating a predicted image of the processing target frame, a means for generating a macroblock vector of the predicted image, and the syndrome vector and the macroblock vector Means for generating a Belief Propagation (BP) algorithm input vector; means for generating a decompressed image of a frame using the BP algorithm input vector;
A compressed data decompression device comprising:
The means for generating a predicted image of the processing target frame generates means for generating a predicted image of the processing target frame using motion prediction from frames that have been subjected to intra-frame encoding and compression, existing in the front and rear of the processing target frame. And
The means for generating a macroblock vector of the predicted image divides the predicted image into N macroblocks having a size of σ × σ pixels, and a macroblock vector having these macroblocks as elements
Figure 0004552049
Is a means of configuring
Means for generating a Belief Propagation (BP) algorithm input vector from the syndrome vector and the macroblock vector;
Figure 0004552049
And syndrome block
Figure 0004552049
Enter all
Figure 0004552049
Two BP algorithm input vectors for
Figure 0004552049
as well as
Figure 0004552049
Is a means for generating
The means for generating a decompressed image of a frame using the BP algorithm input vector includes two types of BP algorithm input vectors.
Figure 0004552049
as well as
Figure 0004552049
Is the parity check matrix of the low-density parity check code used in the compressor.
Figure 0004552049
Each branch on the bipartite graph
Figure 0004552049
In addition,
Figure 0004552049
Two Discrete Probability Distributions for Modified Values
Figure 0004552049
as well as
Figure 0004552049
Assign probability distribution
Figure 0004552049
Vector
Figure 0004552049
After initialization based on the value of
Figure 0004552049
Against
Figure 0004552049
Distribution based on BP algorithm to satisfy
Figure 0004552049
as well as
Figure 0004552049
To update the correct pixel value before compression.
Figure 0004552049
Pixel value after decompression with a value close to
Figure 0004552049
Is a means of generating
Compressed data decompression device. here,
Figure 0004552049
Means a macroblock of the predicted image,
Figure 0004552049
Is a macroblock
Figure 0004552049
The first
Figure 0004552049
Line, second
Figure 0004552049
Means column element,
Figure 0004552049
Means the syndrome block after extension,
Figure 0004552049
Is the syndrome block
Figure 0004552049
The first
Figure 0004552049
Line, second
Figure 0004552049
Means column element,
Figure 0004552049
Means the element of the i-th row and j-th column of the check matrix H, and Σ means the sum of integer values.
JP2005029117A 2005-02-04 2005-02-04 Moving picture compression coding apparatus, compressed data decompression apparatus, moving picture compression coding and / or compressed data decompression program, moving picture compression coding method, and compressed data decompression method Expired - Fee Related JP4552049B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005029117A JP4552049B2 (en) 2005-02-04 2005-02-04 Moving picture compression coding apparatus, compressed data decompression apparatus, moving picture compression coding and / or compressed data decompression program, moving picture compression coding method, and compressed data decompression method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005029117A JP4552049B2 (en) 2005-02-04 2005-02-04 Moving picture compression coding apparatus, compressed data decompression apparatus, moving picture compression coding and / or compressed data decompression program, moving picture compression coding method, and compressed data decompression method

Publications (2)

Publication Number Publication Date
JP2006217363A JP2006217363A (en) 2006-08-17
JP4552049B2 true JP4552049B2 (en) 2010-09-29

Family

ID=36980183

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005029117A Expired - Fee Related JP4552049B2 (en) 2005-02-04 2005-02-04 Moving picture compression coding apparatus, compressed data decompression apparatus, moving picture compression coding and / or compressed data decompression program, moving picture compression coding method, and compressed data decompression method

Country Status (1)

Country Link
JP (1) JP4552049B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4674226B2 (en) * 2007-08-22 2011-04-20 日本電信電話株式会社 Channel encoding method, channel encoding system, hierarchical channel encoding program, and hierarchical channel decoding program
JP5056530B2 (en) * 2008-03-27 2012-10-24 沖電気工業株式会社 Decoding system, method and program
CN106063133B (en) * 2014-03-05 2019-06-14 三菱电机株式会社 Data compression device and data compression method

Also Published As

Publication number Publication date
JP2006217363A (en) 2006-08-17

Similar Documents

Publication Publication Date Title
JP3997171B2 (en) Moving picture encoding apparatus, moving picture encoding method, moving picture encoding program, moving picture decoding apparatus, moving picture decoding method, and moving picture decoding program
RU2483468C2 (en) Two-pass quantisation for context-based adaptive binary arithmetic coding coders
JP4819024B2 (en) Image encoding / decoding method and system
US10499086B2 (en) Video data encoding and decoding methods and apparatuses
KR102390162B1 (en) Apparatus and method for encoding data
RU2679285C2 (en) Providing information accuracy in image encoding device, method and program for image encoding, image decoding device and method and program for image decoding
JP6210948B2 (en) Image estimation method
US10721485B2 (en) Image coding apparatus, image coding method, and non-transitory computer-readable storage medium
JP5094960B2 (en) Spatial enhanced transform coding
JP2007312340A (en) Dynamic image encoding device
US8199820B2 (en) Intermediate compression of reference frames for transcoding
US8923389B1 (en) Unified scaling with differential coding for internal bit depth extension and reference frame compression
Zhou et al. Distributed video coding using interval overlapped arithmetic coding
JP4552049B2 (en) Moving picture compression coding apparatus, compressed data decompression apparatus, moving picture compression coding and / or compressed data decompression program, moving picture compression coding method, and compressed data decompression method
JP2019521550A (en) Method and apparatus for context adaptive binary arithmetic coding of a series of binary symbols representing syntax elements related to video data
JP4515378B2 (en) Image decoding apparatus, program, and computer-readable recording medium
JP6614935B2 (en) Video encoding apparatus and program
JP6210949B2 (en) Image estimation method
Chien et al. BLAST-DVC: BitpLAne SelecTive distributed video coding
TW201633786A (en) Multimedia codec, application processor including the same, and method of operating the application processor
JP6564315B2 (en) Encoding device, decoding device, and program
JP2020522180A (en) Method and device for encoding and decoding a data stream representing at least one image
JP2009296277A (en) Image coder, image decoder, image coding method, image decoding method, and program
JP4880868B2 (en) Video compression method and apparatus for improving performance
KR20100082700A (en) Wyner-ziv coding and decoding system and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090810

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100419

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100614

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100623

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130723

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees