JP5037938B2 - Image encoding / decoding device, encoding / decoding program, and encoding / decoding method - Google Patents
Image encoding / decoding device, encoding / decoding program, and encoding / decoding method Download PDFInfo
- Publication number
- JP5037938B2 JP5037938B2 JP2006512698A JP2006512698A JP5037938B2 JP 5037938 B2 JP5037938 B2 JP 5037938B2 JP 2006512698 A JP2006512698 A JP 2006512698A JP 2006512698 A JP2006512698 A JP 2006512698A JP 5037938 B2 JP5037938 B2 JP 5037938B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- encoding
- conversion
- procedure
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 111
- 238000006243 chemical reaction Methods 0.000 claims description 107
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000015654 memory Effects 0.000 description 38
- 230000008569 process Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 25
- 239000002131 composite material Substances 0.000 description 24
- 238000004458 analytical method Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000013139 quantization Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000000872 buffer Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、映像を符号化するための映像符号化装置、映像符号化プログラム、映像符号化方法、符号化された映像を復号化するための映像復号化装置、復号化プログラム、復号化方法、符号化された映像符号化ストリームを記録した媒体及び符号化された映像データを送信する方法に関する。 The present invention relates to a video encoding device for encoding video, a video encoding program, a video encoding method, a video decoding device for decoding encoded video, a decoding program, a decoding method, The present invention relates to a medium on which an encoded video encoded stream is recorded and a method for transmitting encoded video data.
大容量の映像や音声の情報を、圧縮されたデジタルデータとして記録し、伝達する方法として、MPEG(Moving Picture Experts Group)方式等の符号化方式が策定され、MPEG−1規格、MPEG−2規格、MPEG−4規格等として国際標準の符号化方式となっている。また、さらに圧縮率を向上させる方式として、Joint Video Team(JVT)of ISO/IEC MPEG & ITU−T VCEG:“Text of International Standard of Joint Video Specification”,ITU−T Rec.H.264 | ISO/IEC 14496−10 Advanced Video Coding,(December,2003)に記載されるH.264/AVC(Advanced Video Coding)規格等が定められている。これらの方式は、デジタル衛星放送、DVD、携帯電話及びデジタルカメラ等における符号化方式として採用され、現在ますます利用の範囲が広がり、身近なものとなっている。
これらの符号化方式のうち、H.264/AVC方式では、これまでMPEG等で用いられてきた、動き補償予測や離散コサイン変換(Discrete Cosine Transform、DCT)による算術変換符号化の技術に加え、イントラ(Intra−coded)予測符号化と呼ばれる技術が採用されている。これは、他のピクチャの情報を用いることなく、イントラフレーム内における符号化済み隣接ブロックから信号レベルを予測する技術である。
第3図は、イントラ予測符号化の説明図である。ここでは、例として、画面の左上から右下へ順次走査するラスタースキャン方式において、4×4画素サイズのブロック単位で予測する場合について説明する。予測ブロック303(予測する対象のブロック)の画素304の信号レベルは、既に符号化された隣接ブロック301の境界画素302(隣接ブロック301の画素のうち、予測ブロックに隣接する画素。ただし、予測ブロックの右上の隣接ブロックについては、最も下の一行の画素)の信号レベルから予測され、予測された値と実際の値との差分(残差成分)をDCT等によって算術変換符号化する。このとき、まだ符号化されていない隣接ブロックの画素305は、予測に用いることができない。予測の方向(すなわち、符号化モード)306は複数あり、全ての方向について予測を行って残差成分を比較し、最も残差成分が小さい方向が選択されて、その残差成分が算術変換符号化される。ここで、方向「0:DC」は、全ての境界画素の信号レベルの平均値を予測値とするモードである。
なお、16×16画素サイズのブロック単位で予測する場合でも、予測の方向は制限されるが、同様にしてイントラ予測符号化をすることができる。As a method for recording and transmitting large-capacity video and audio information as compressed digital data, an encoding method such as the MPEG (Moving Picture Experts Group) method has been established, and the MPEG-1 standard and the MPEG-2 standard. It is an international standard encoding method such as MPEG-4 standard. Furthermore, as a method for further improving the compression rate, Joint Video Team (JVT) of ISO / IEC MPEG & ITU-T VCEG: “Text of International Standard of Joint Video Specification”, IT. H. H.264 | ISO / IEC 14496-10 Advanced Video Coding, (December, 2003). The H.264 / AVC (Advanced Video Coding) standard is defined. These systems are adopted as encoding systems in digital satellite broadcasting, DVDs, mobile phones, digital cameras, and the like, and the range of use is now expanding and becoming familiar.
Of these encoding schemes, H.264. In the H.264 / AVC system, in addition to the techniques of arithmetic transform coding using motion compensated prediction and discrete cosine transform (Discrete Cosine Transform, DCT) that have been used in MPEG and the like, intra-coded predictive coding and The so-called technology is adopted. This is a technique for predicting a signal level from a coded adjacent block in an intra frame without using information of other pictures.
FIG. 3 is an explanatory diagram of intra prediction encoding. Here, as an example, a case will be described in which prediction is performed in block units of 4 × 4 pixel size in a raster scan method in which scanning is sequentially performed from the upper left to the lower right of the screen. The signal level of the
Even when prediction is performed in units of blocks each having a size of 16 × 16 pixels, the prediction direction is limited, but intra prediction encoding can be performed in the same manner.
上記のように、イントラ予測符号化では、まだ符号化されていない隣接ブロックの画素を用いることができない。このため、予測の方向306によって、予測精度に差が生じる。例えば、画面の左上から右下へ順番に走査するラスタースキャン方式によってブロックをスキャンする場合、左上から右下方向への予測精度は高くなるが、右上から左下方向への予測精度は低くなる。すなわち、左上から右下方向へ信号レベルが同等の画素が続く画像(右下がり画像)に対しては予測がしやすいため、圧縮率を高くすることができるが、右上から左下へ信号レベルが同等の画素が続く画像(右上がり画像)に対しては予測がしにくいため、圧縮率が低くなる。
また、従来のイントラ予測符号化では、境界画素のみを用いて予測しているため、ブロック内部の信号レベルの連続的変化を十分精度高く予測できないという問題点がある。通常は、画素の信号レベルはなだらかに変化する。しかし、従来のイントラ予測符号化では、ブロック境界において境界画素を延長して予測する(すなわち、予測されるブロック内の画素を境界画素と同じであると予測する)。このため、境界画素から遠い画素ほど、残差成分が大きくなり、算術変換後の符号量が多くなる。
本発明は、上記の問題点に鑑みてなされたものであり、イントラ予測を行う前に、入力画像を垂直方向若しくは水平方向に反転し、又は、任意の角度に回転させることによって、スキャン方向を変更することなく常に予測精度の高い方向にイントラ予測することができる映像符号化装置、及び、これに対応する映像復号化装置を提供することを目的とする。
また、本発明は、イントラ予測の際に、境界画素だけでなく、ブロック内部の画素を用いて、所定の補間式による精度の高いイントラ予測を実現する映像符号化装置、及び、これに対応した映像復号化装置を提供することを目的とする。
本発明によれば、画像の信号を符号化する符号化装置において、前記画像の方向を変換する画像変換部と、前記画像と、前記方向を変換された画像とを符号化する符号化部と、前記符号化された画像の符号量と、前記符号化された方向を変換された画像の符号量とを比較し、前記符号量が少ない符号を選択し、前記選択された符号と、前記選択された符号を表示するフラグとを出力するモード選択部と、を備えるものが提供される。
また、本発明によれば、画像の信号を符号化する符号化装置において、前記画像の予測領域の第1の画素の情報と、前記第1の画素から予測方向にある一つの第2の画素の情報との第1の差分を算出し、前記予測領域の前記第1の差分を符号化し、前記第1の画素の情報と、前記第1の画素から予測方向にある複数の第3の画素の情報に前進補間式を適用して予測値を算出し、前記予測値との第2の差分を算出し、前記予測領域の前記第2の差分を符号化する符号化部と、複数の前記予測方向について算出された前記予測領域の前記第1及び第2の差分の符号量を比較し、前記符号量が最も少ない符号を選択し、前記選択された符号と、前記選択された符号がいずれの前記予測方向について算出された第1又は第2のいずれの差分であるかを示すフラグとを出力するモード選択部と、を備えるものが提供される。
したがって、本発明によれば、スキャン方向を変更することなく常に予測精度の高い方向にイントラ予測することによって圧縮率を高めた映像符号化装置と、これに対応する映像復号化装置を提供することができる。
また、本発明によれば、ブロック内部の画素を用いて精度の高いイントラ予測をすることによって圧縮率を高めた映像符号化装置、およびこれに対応した映像復号化装置を提供することができる。
本発明の実施形態、本発明の利点については、添付された図面を参照しながら以下に詳細に説明する。As described above, in intra prediction encoding, pixels of adjacent blocks that are not yet encoded cannot be used. For this reason, a difference occurs in prediction accuracy depending on the prediction direction 306. For example, when a block is scanned by a raster scan method that sequentially scans from the upper left to the lower right of the screen, the prediction accuracy from the upper left to the lower right direction increases, but the prediction accuracy from the upper right to the lower left direction decreases. In other words, it is easy to predict an image in which pixels with the same signal level continue from the upper left to the lower right (lower-right image), so the compression rate can be increased, but the signal level is equal from the upper right to the lower left. Since it is difficult to predict an image with a continuous pixel (upwardly rising image), the compression rate is low.
Further, in the conventional intra prediction coding, since prediction is performed using only boundary pixels, there is a problem that continuous changes in the signal level inside the block cannot be predicted with sufficient accuracy. Usually, the signal level of the pixel changes gently. However, in the conventional intra prediction coding, prediction is performed by extending the boundary pixel at the block boundary (that is, the pixel in the predicted block is predicted to be the same as the boundary pixel). For this reason, as the pixel is farther from the boundary pixel, the residual component becomes larger and the amount of code after arithmetic conversion increases.
The present invention has been made in view of the above problems, and before performing intra prediction, the input image is inverted in the vertical direction or the horizontal direction, or rotated to an arbitrary angle to thereby change the scan direction. It is an object of the present invention to provide a video encoding device capable of always performing intra prediction in a direction with high prediction accuracy without change, and a video decoding device corresponding to the video encoding device.
In addition, the present invention provides a video encoding device that realizes intra prediction with high accuracy by a predetermined interpolation formula using not only the boundary pixels but also the pixels inside the block at the time of intra prediction, and corresponding to this. An object is to provide a video decoding device.
According to the present invention, in an encoding apparatus that encodes an image signal, an image conversion unit that converts the direction of the image, an encoding unit that encodes the image, and the image whose direction has been converted; The code amount of the encoded image is compared with the code amount of the image obtained by converting the encoded direction, the code with the small code amount is selected, the selected code, and the selection And a mode selection unit for outputting a flag for displaying the generated code.
According to the present invention, in the encoding device that encodes an image signal, information on the first pixel in the prediction region of the image and one second pixel in the prediction direction from the first pixel. And calculating the first difference of the prediction region, encoding the first difference of the prediction region, and a plurality of third pixels in the prediction direction from the first pixel. A prediction value is calculated by applying a forward interpolation formula to the information, a second difference from the prediction value is calculated, and the second difference in the prediction region is encoded, and a plurality of the encoding units The code amounts of the first and second differences in the prediction region calculated for the prediction direction are compared, the code with the smallest code amount is selected, and the selected code and the selected code are either Whether the difference is the first or second difference calculated for the prediction direction of Those comprising a mode selection unit for outputting the A flag, is provided.
Therefore, according to the present invention, it is possible to provide a video encoding device in which the compression rate is increased by always performing intra prediction in a direction with high prediction accuracy without changing the scan direction, and a video decoding device corresponding thereto. Can do.
Further, according to the present invention, it is possible to provide a video encoding device that increases the compression rate by performing intra prediction with high accuracy using pixels in the block, and a video decoding device corresponding to this.
Embodiments of the present invention and advantages of the present invention will be described in detail below with reference to the accompanying drawings.
第1図は、本発明の第1の実施の形態の映像符号化装置のハードウエア構成を説明するブロック図である。
第2図は、本発明の第1の実の形態の映像符号化装置の機能を説明するブロック図である。
第3図は、イントラ予測符号化の説明図である。
第4図は、本発明の第1の実施の形態の映像符号化の手順の説明図である。
第5図は、本発明の第2の実施の形態の映像復号化装置のハードウエア構成を説明するブロック図である。
第6図は、本発明の第2の実施の形態の映像復号化装置の機能を説明するブロック図である。
第7図は、本発明の第2の実施の形態の映像復号化の手順の説明図である。
第8図は、本発明の第3の実施の形態のイントラ予測方法の説明図である。
第9図は、本発明第3の実施の形態のイントラ予測方法を適用するイントラ予測部の機能を説明するブロック図である。
第10図は、本発明の第3の実施の形態のイントラ予測の手順の説明図である。
第11図は、本発明の第4の実施の形態のデータ記録媒体の説明図である。
第12図は、本発明の第5の実施の形態のパケットの説明図である。FIG. 1 is a block diagram for explaining the hardware configuration of a video encoding apparatus according to the first embodiment of the present invention.
FIG. 2 is a block diagram for explaining the functions of the video encoding apparatus according to the first embodiment of the present invention.
FIG. 3 is an explanatory diagram of intra prediction encoding.
FIG. 4 is an explanatory diagram of a video encoding procedure according to the first embodiment of this invention.
FIG. 5 is a block diagram illustrating the hardware configuration of the video decoding apparatus according to the second embodiment of the present invention.
FIG. 6 is a block diagram illustrating functions of the video decoding apparatus according to the second embodiment of the present invention.
FIG. 7 is an explanatory diagram of a video decoding procedure according to the second embodiment of this invention.
FIG. 8 is an explanatory diagram of an intra prediction method according to the third embodiment of this invention.
FIG. 9 is a block diagram illustrating functions of an intra prediction unit to which the intra prediction method according to the third embodiment of the present invention is applied.
FIG. 10 is an explanatory diagram of an intra prediction procedure according to the third embodiment of this invention.
FIG. 11 is an explanatory diagram of a data recording medium according to the fourth embodiment of the present invention.
FIG. 12 is an explanatory diagram of a packet according to the fifth embodiment of this invention.
第1図は、本発明の第1の実施の形態の映像符号化装置のハードウエア構成を説明するブロック図である。
第1の実施の形態の映像符号化装置101は、相互に通信可能に接続されたプロセッサ102、メモリ103、入力インターフェース(入力I/F)104及び出力インターフェース(出力I/F)106からなる。入力I/F104は、入力装置105に接続される。また、出力I/F106は、出力装置107に接続される。
プロセッサ102は、本発明の映像符号化の処理を行うプロセッサであり、メモリ103に格納されたプログラムを実行して、入力I/F104から受けたデータを符号化し、出力I/F106に送る。
メモリ103には、プロセッサ102が実行するプログラムが格納される。また、プロセッサ102が処理する対象となるデータが一時的に格納される。
映像符号化装置101には、プロセッサ102及びメモリ103が複数設けられてもよい。例えば、本発明の映像符号化の処理を行うプログラムの一部のみを実行する専用のプロセッサが設けられてもよい。また、同一の処理を行う専用のプロセッサが複数設けられてもよい。
プロセッサ102及びメモリ103は、単一のチップ上に実装されてもよい。
入力I/F104は、プロセッサ102が処理する映像データを入力装置105から受信するインターフェースである。
入力装置105は、映像符号化装置101が処理する映像信号を入力I/F104に入力する装置であり、例えば、ビデオカメラやTVチューナーである。この場合、入力I/F104は、例えば、ビデオキャプチャカードである。また、入力装置105は、符号化されていない映像データが格納された記憶装置であってもよい。この場合、入力I/F104は、例えば、SCSIインターフェースである。
出力I/F106は、プロセッサ102によって符号化されたデータを出力装置107に送信するインターフェースである。
出力装置107は、映像符号化装置101が符号化したデータの出力先であり、例えば、符号化したデータを格納する記憶装置である。この場合、出力I/F106は、例えば、SCSIインターフェースである。また、出力装置107は、LANやIPネットワーク等(図示省略)を介して出力I/F106と接続されたコンピュータ装置であってもよい。この場合、出力I/F106は、ネットワークインターフェースである。また、出力装置107は、電話通信網(図示省略)を介して出力I/F106と接続された受像装置であってもよい。この場合、出力I/F106は、電話信号の送信機である。また、出力装置107は、デジタルTV受像機であってもよい。この場合、出力I/F106は、デジタルTV信号の送信機である。
映像符号化装置101は、入力I/F104及び出力I/F106をそれぞれ複数備え、それぞれの入力I/F104及び出力I/F106に、異なる種類の入力装置及び出力装置が接続されてもよい。例えば、映像符号化装置101は、二つの出力I/F106を備え、一方にはハードディスク装置が接続され、もう一方には光磁気ディスク装置が接続されてもよい。また、一方にはハードディスク装置が接続され、もう一方にはLAN等を介してコンピュータ装置が接続されてもよい。
第2図は、本発明の第1の実施の形態の映像符号化装置101の機能を説明するブロック図である。
映像符号化装置101は、原画像メモリ201、画像変換部202、符号化部203、モード制御部213及びモード選択部214からなる。ここで、原画像メモリ201は、メモリ103の一部の領域であり、画像変換部202、モード制御部213及びモード選択部214は、メモリ103に格納され、プロセッサ102によって実行されるプログラムである。また、符号化部203は、プロセッサ102によって実行されるプログラムである動き予測部204、イントラ予測部205、算術変換部206、量子化部207、係数符号化部208、逆量子化部209及び逆算術変換部210、並びに、メモリ103の一部の領域である復号画像メモリ211及び予測画像メモリ212からなる。
次に、映像符号化装置101の各部の機能を、画像を符号化する手順に沿って説明する。
原画像メモリ201は、符号化する原画像を一時的にバッファリングする。次に、画像変換部202は、原画像メモリ201から取得した画像のフレーム全体又は一部を変換処理する。ここで、フレームの一部とは、例えば、フレームを所定のサイズに分割したマクロブロック又はブロックでもよいし、所定の矩形領域でもよい。一般には、マクロブロック単位で符号化が行われる。
画像変換部202は、フレーム全体に対して変換処理を行ったデータをマクロブロック単位に分割して符号化部203に伝送してもよいし、フレームをマクロブロック単位に分割してから変換処理を行ってもよい。変換処理を行ったか否かの情報は、モード制御部213に伝送される。
画像変換部202が行う変換処理は、画像の方向を変換する処理である。画像の方向を変換する処理とは、例えば、フレームを左右に反転させる左右対称変換、フレームを上下に反転させる上下対称変換、及び、フレームを回転させる回転変換等の線対称変換や点対称変換である。以下、例として、画像全体を左右対称変換した場合と、変換しない場合とを比較して、符号量が小さくなる方を選択する場合について説明する。
符号化部203は、画像変換部202から、左右対称変換した画像と、変換しない画像とを取得し、それぞれの画像を順次符号化する。また、符号化部203が複数設けられ、それぞれの画像を二つの符号化部203が並列に符号化してもよい。符号化部203が複数設けられる場合、映像符号化装置101には、符号化部203のプログラムのみを実行する専用のプロセッサ102が複数設けられる。
動き予測部204は、画像変換部202から取得した画像に対して、予測画像メモリ212及び復号画像メモリ211の画像を用いてフレーム間予測を行い、動きベクトル等の情報をモード制御部213に伝送し、予測によって得られた符号化ブロックの残差成分を算術変換部206に伝送する。
イントラ予測部205は、画像変換部202から取得した画像に対して、復号画像メモリ211の画像を用いてイントラ予測を行い、モードの情報等をモード制御部213に伝送し、予測によって得られた符号化ブロックの残差成分を算術変換部206に伝送する。
算術変換部206、量子化部207及び係数符号化部208は、従来の符号化装置と同じものであり、それぞれ、DCT演算、変換係数の量子化、及び、係数の符号への変換等を行う。また、逆量子化部209、逆算術変換部210も、従来の符号化装置と同じものであり、それぞれ、符号化されたデータを逆変換することによって画像情報に戻し、復号画像メモリ211及び予測画像メモリ212に格納する。
モード制御部213は、画像(フレーム)全体及び符号化途中のマクロブロックにおける符号化モードを管理する。画像全体に関しては、変換処理を行った画像に対する符号化プロセスと、変換処理を行っていない画像に対する符号化プロセスの情報を保持する。すなわち、変換処理を行った場合と、行わない場合のそれぞれについて、動き予測の基準となる情報(動きベクトル、参照フレームの情報等)や、イントラ符号化モード(イントラ予測の方向)の情報等を保持する。マクロブロックに関しては、現マクロブロックがイントラ符号化されるかフレーム間予測符号化されるかの情報、及び、これらに関係するイントラ符号化モード、動きベクトル、参照フレームの情報等を保持する。モード制御部213は、これらの情報をモード選択部214に伝送する。
モード選択部214は、画像全体及び符号化途中のマクロブロックに関する符号化データ並びに符号化モードの情報から、画像の符号化データを構成して出力する。画像変換部202による変換処理を行って符号化した場合の全体の符号量と、変換処理を行わないで符号化した場合の符号量とを比較し、小さい方の符号をストリームとして出力する。また、変換処理を行ったか否かのフラグ、及び、画像の一部の領域について変換した場合にはその領域の位置情報を、データとしてストリームに付加する。
変換処理を行ったか否かを示すフラグは、左右対称変換、上下対称変換については、それぞれ1ビットずつあればよい。回転変換の場合、時計周りに90度回転する毎に数を1ずつ増やすとすると、2ビットあれば360度の回転を表現できる。
第4図は、本発明の第1の実施の形態の映像符号化の手順の説明図である。
まず、画像変換部202が符号化方式の判定を行う(ステップ401)。すなわち、フレーム全体に対して変換処理を行うか、マクロブロック単位で変換するか等の判定を行う。以下、例として、フレーム全体を変換する場合について説明する。変換処理を行うプロセスは、ステップ402に進み、変換処理を行わないプロセスはステップ404に進む。
ステップ402では、画像変換部202が入力画像の変換を行う。すなわち、フレームごとに、左右対称変換、上下対称変換、回転変換等を行う。続いて、ステップ403に進む。
ステップ403及びステップ404では、符号化部203が画像を符号化する。この符号化は、第2図において説明した通りである。
次に、モード選択部214が符号量の比較及びモード判定を行う(ステップ405)。すなわち、第2図において説明したように、変換処理を行ったプロセスと変換処理を行わなかったプロセスとで、符号化によって得られた符号量を比較し、符号量の少ないデータを出力すると判定する。
次に、モード選択部214が符号及びフラグを出力する(ステップ406)。第2図において説明したように、ステップ405の判定に従い、変換処理を行ったか否かを示すフラグと、画像の一部の領域を変換処理した場合にはその領域の位置情報と、選択された符号化データをストリームとして出力する。以上で符号化処理が終了する。
第5図は、本発明の第2の実施の形態の映像復号化装置のハードウエア構成を説明するブロック図である。
第2の実施の形態の映像復号化装置501は、相互に通信可能に接続されたプロセッサ502、メモリ503、入力インターフェース(入力I/F)504及び出力インターフェース(出力I/F)506からなる。入力I/F504は、入力装置505に接続される。また、出力I/F506は、出力装置507に接続される。
プロセッサ502は、本発明の映像復号化の処理を行うプロセッサであり、メモリ503に格納されたプログラムを実行して、入力I/F504から受けたデータを復号化し、出力I/F506に送る。
メモリ503には、プロセッサ502が実行するプログラムが格納される。また、プロセッサ502が処理する対象となるデータが一時的に格納される。
映像復号化装置501には、プロセッサ502及びメモリ503が複数設けられてもよい。例えば、本発明の映像復号化の処理を行うプログラムの一部のみを実行する専用のプロセッサが設けられてもよい。
プロセッサ502及びメモリ503は、単一のチップ上に実装されてもよい。
入力I/F504は、プロセッサ102が処理する符号化されたデータを入力装置505から受信するインターフェースである。
入力装置505は、映像復号化装置501が処理する符号化されたデータを入力I/F504に入力する装置であり、例えば、符号化されたデータが格納された記憶装置である。この場合、入力I/F504は、例えば、SCSIインターフェースである。また、入力装置505は、LANやIPネットワーク等(図示省略)を介して入力I/F504と接続されたコンピュータ装置であってもよい。この場合、入力I/F504は、ネットワークインターフェースである。また、入力装置505は、電話通信網(図示省略)を介して入力I/F504と接続された映像データ送信装置であってもよい。この場合、入力I/F504は、電話信号の受信機である。また、入力装置505は、デジタルTV放送局であってもよい。この場合、入力I/F504は、デジタルTVチューナーである。
出力I/F506は、プロセッサ502によって復号化されたデータを出力装置507に送信するインターフェースである。
出力装置507は、映像復号化装置501が復号化したデータの出力先であり、例えば、映像を出力するディスプレイである。この場合、出力I/F506は、例えば、ビデオカードである。また、出力装置507は、復号化したデータをストリーム記録する記憶装置である。この場合、出力I/F506は、例えば、SCSIインターフェースである。
映像復号化装置501は、入力I/F504及び出力I/F506をそれぞれ複数備え、それぞれの入力I/F504及び出力I/F506に、異なる種類の入力装置及び出力装置が接続されてもよい。例えば、映像符号化装置101は、二つの入力I/F504を備え、一方にはハードディスク装置が接続され、もう一方には光ディスク装置が接続されてもよい。また、一方にはハードディスク装置が接続され、もう一方にはLAN等を介してコンピュータ装置が接続されてもよい。
第6図は、本発明の第2の実施の形態の映像復号化装置501の機能を説明するブロック図である。
映像復号化装置501は、ストリーム解析部601、モード判定部602、復号化部603、画像変換部610及び復号画像メモリ611からなる。ここで、ストリーム解析部601、モード判定部602、復号化部603及び画像変換部610は、メモリ503に格納され、プロセッサ502によって実行されるプログラムであり、復号画像メモリ611は、メモリ503の一部の領域である。また、復号化部603は、プロセッサ502によって実行されるプログラムである動き予測部604、イントラ予測部605、係数解析部606、逆量子化部607及び逆算術演算部608、並びに、メモリ503の一部の領域である予測画像メモリ609からなる。
第2の実施の形態の復号化装置501は、第1の実施の形態の映像符号化装置101によって符号化されたストリームを復号化することができる。次に、映像復号化装置501の各部の機能を、符号化されたストリームを復号化する手順に沿って説明する。
ストリーム解析部601は、入力された符号化ストリームのデータを解析し、フラグやデータの情報をモード判定部602に伝送する。ストリーム解析部601は、符号化装置101によって作成されたストリームのデータ、フラグを解析する。
次に、モード判定部602は、ストリーム解析部601によって解析された情報によって、動き予測やイントラ予測、画像変換に関するモードの制御を行う。符号化時に、画像に対して反転、回転等の変換処理が施されていることを示すフラグがストリームに付されている場合には、施された変換処理の種類の情報(例えば、左右対称変換が施されているか否かの情報等)を画像変換部610に伝送する。
動き予測部604は、モード判定部602から伝送された動きベクトル等の情報と予測画像メモリ609および復号画像メモリ611の画像とを用いてフレーム間予測を行い、予測情報を係数解析部606に伝送する。
イントラ予測部605は、モード判定部602から伝送されたイントラ符号化モード等の情報と復号画像メモリ611の画像とを用いてイントラ予測を行い、予測情報を係数解析部606に伝送する。
係数解析部606、逆量子化部607及び逆算術変換部608は、従来の復号化装置と同じものであり、それぞれ、予測情報と係数情報との合成、変換係数の逆量子化及びDCT演算等を行う。
画像変換部610は、モード判定部602から伝送された情報に従って、復号化された画像のフレーム全体又は一部を変換処理する。すなわち、上記第1図及び第2図の符号化装置101の画像変換部202が行った変換処理を元に戻す処理を行う。
復号画像メモリ611は、画像変換部610による変換処理後の復号画像を格納し、出力装置504に伝送して、復号化された画像の画面への表示やストリームへの出力を行う。
第7図は、本発明の第2の実施の形態の映像復号化の手順の説明図である。
まず、ストリーム解析部601及びモード判定部602がストリーム及びフラグの解析を行う(ステップ701)。次に、復号化部603が画像を復号化する(ステップ702)。次に、画像変換部610が復号画像の変換を行い、復号画像メモリ611に格納する(ステップ703)。最後に、復号画像メモリ611に格納された画像を表示又はストリーム記録のために出力する(ステップ704)。以上で復号化処理が終了する。なお、上記の各部の処理の内容は、第6図において説明した通りであるので、詳細な説明を省略する。
以上で説明した本発明の第1の実施の形態の映像符号化装置101及び第2の実施の形態の映像復号化装置501は、同一のハードウエアとして実装されてもよい。この場合、メモリ103(又は、メモリ503)には、第2図及び第6図において説明した各プログラムが格納されると共に、第2図及び第6図において説明した各領域が確保される。
以上の本発明の第1及び第2の実施の形態によれば、スキャン方向を変更することなく常に予測精度の高い方向にイントラ予測をすることによって符号化後の符号量を削減する(すなわち、圧縮率の高い)映像符号化装置と、これに対応する映像復号化装置を提供することができる。その結果、従来のイントラ予測と比較して、符号量が最大で約1割程度削減される。但し、符号量は原画像の内容に応じて変化するので、常時一定の削減量ではない。
第8図は、本発明の第3の実施の形態のイントラ予測方法の説明図である。
本実施の形態は、予測ブロック802の画素の信号レベルを予測する際に、境界画素の信号レベルだけでなく、既に符号化された隣接ブロック801全体の画素の信号レベルを使用する方法であり、上記第2図及び第6図のイントラ予測部205及び605において用いられる。ここで、「予測ブロック」とは、符号化の対象であって、まだ符号化されていないブロックをいい、「隣接ブロック」とは、予測ブロックに隣接する符号化済みのブロックをいう。
予測の方向は、第3図の306に示す通りである。本実施の形態では、説明を簡単にするため、一部の方向についての予測のみを記載するが、実際の予測では、予測の方向306の全てについて予測を行い、残差成分が最も小さくなる方向が選択される。ここで、予測とは、符号化の際には、予測ブロック802の各画素の実際の信号レベルと、予測に利用する隣接ブロックの画素の信号レベルから算出された予測値との差分(残差成分)を符号化する手順をいう。一方、復号化の際には、同様にして算出された予測値に、復号化された残差成分を加算することによって復号画像を得る手順をいう。以下、符号化の手順を説明する。
従来のイントラ予測方法は、境界画素のみを用いた予測方法である。例えば、垂直方向に予測する場合、予測ブロック802の真上にある隣接ブロック801の境界画素(最も下の一行の画素)を用いて、下方向に予測する。すなわち、予測ブロック802を4列に分割し、各画素の信号レベルの値から、その画素を含む列の上に接する境界画素の信号レベルの値を減算する。水平方向に予測する場合も同様に、予測ブロックの左側にある隣接ブロックの境界画素(最も右の一列の画素)を用いて、右方向に予測する。すなわち、予測ブロック802を4行に分割し、各画素の信号レベルの値から、その画素を含む行の左に接する境界画素の信号レベルの値を減算する。すなわち、上記のいずれの方向の予測においても、予測ブロックの画素の信号レベルを、境界画素の信号レベルと同じであると予測し、その予測値と実際の値との差(残差成分)を計算する。
一方、本発明の第3の実施の形態のイントラ予測方法は、境界画素だけでなく、隣接ブロックの内部の画素をも用いる複合画素による予測方法である。ここで、複合画素とは、予測ブロックの画素の予測に用いる複数のブロックをいい、例えば、水平方向に予測する場合、予測対象の行の左側に隣接する隣接ブロックの一行(803)である。この場合、複合画素803の値から補間式によって予測値を算出し、隣接する予測ブロックの一行の画素の値を予測する。この予測には、例えば、ニュートン前進補間式を用いる。例えば、隣接ブロックの複合画素と予測ブロックの予測対象の画素の番号nを0〜7として、画素nの信号レベルをynとし、n=0、1、2、3(符号化済み)からn=4、5、6、7(未符号化)を求める場合について説明する。この時、画素nの信号レベル予測値ynは、式(1)によって算出される。
残差成分は、予測ブロックの画素の値から、式(1)によって算出された予測値を減算して求める。例えば、n=7の場合、画素7の残差成分は、画素7の実際の値からy7を減算した値である。斜めの方向に予測する場合も、同様にして、予測対象となる予測ブロックの画素と、予測の基礎となる隣接ブロックの画素に、番号n(n=0〜7)を付して、式(1)によって予測値を算出する(805)。予測の対象となる画素が4より少ない場合は、nの範囲を制限して計算する。例えば、予測の対象となる画素が3である場合は、n=0〜6とする(806)。
式(1)は、ブロックサイズが4×4画素の場合に適用する数式の例であるが、本実施の形態の予測方法は、他のブロックサイズ(例えば、16×16画素等)の場合にも適用することができる。一般に、0からnまでの番号が付された画素について、画素0〜mの既知の信号レベルの値から、画素m+1〜nの信号レベルの値を予測する場合、予測値ynは、式(2)によって求めることができる。ここで、nCjは二項係数である。
次に、従来の予測方法による残差と本実施の形態の予測方法による残差とを比較する。従来の予測方法による信号レベル808は、画素3(境界画素)の信号レベルと同じである。一方、本実施の形態の予測方法による信号レベル809は、式(1)によって算出された値である。
例えば、画素0〜3の信号レベルが一定の割合で変化するとき、画素4〜7の実際の信号レベル810も、それに近い割合で変化することが多い。すなわち、実際の信号レベル810は、従来の予測方法による信号レベル808より本実施の形態の予測方法による信号レベル809に近いことが多い。その結果、従来の予測方法による残差811より本実施の形態の予測方法による残差812が小さくなり、符号量が少なくなる。なお、式(1)及び式(2)では、予測に全ての既知の画素の信号レベルを用いているが、一部の画素の信号レベルを用いて予測することもできる。
なお、本実施の形態には、最小二乗法を適用してもよい。この場合、既知の信号レベルから、最小二乗法による推定を行った一次式を用いる。例えば、上記と同様に、n=0、1、2、3のときの画素nの既知の信号レベルynに基づいて、n=4、5、6、7のときの画素nの信号レベルynを求める場合には、式(3)を用いる。ここで、mは、予測の基礎となる画素の数であり、この例では、m=4である。
第9図は、本発明第3の実施の形態のイントラ予測方法を適用するイントラ予測部205の機能を説明するブロック図である。
本実施の形態のイントラ予測部205は、既に符号化された隣接ブロックの信号レベルの情報907と現画像とに基づいて、予測ブロックのイントラ符号化モード(すなわち、上記第3図の予測の方向306)を決定し、予測処理を行って、符号化モード及び残差成分の情報906をモード制御部213、及び算術変換部206に伝送する。
イントラ予測部205は、イントラ予測制御部901と、各符号化モードに対応する複数の予測部とによって構成される。これらの複数の予測部は、従来の境界画素を使用した予測をおこなうものと、本実施の形態の複合画素による予測を行うものに分類され、それぞれには、第2図の予測の方向306に示す各方向に予測を行うものが含まれる。
第9図には、説明を簡単にするため、境界画素を用いて垂直方向(第2図の「0:Vertical」)に予測する垂直方向境界画素モード予測部902、境界画素を用いて水平方向(第2図の「1:Horizontal」)に予測する水平方向境界画素モード予測部903、複合画素を用いて垂直方向に予測する垂直方向複合画素モード予測部904及び複合画素を用いて水平方向に予測する水平方向複合画素モード予測部905のみを示すが、実際には、第2図の他の予測の方向306ごとに、境界画素を用いる予測部と、複合画素を用いる予測部とが設けられる。
イントラ予測制御部901は、イントラ予測方法の管理を行う。すなわち、予測ブロックに隣接するブロックが使用可能かどうかをチェックし、イントラ予測のための情報を制御する。
各モード予測部902〜905は、隣接ブロックの画素の信号レベルから予測ブロックの画素の信号レベルを予測して、実際の画素の信号レベルとの残差成分を算出する。次に、算出された残差成分が最も小さいモードの情報をモード制御部213に伝送し、そのモードで算出された残差成分を算術変換部206に伝送する。
垂直方向境界画素モード予測部902は、予測ブロックの上側の隣接ブロックの境界画素を用いて、下方向に予測する。水平方向境界画素モード予測部903は、予測ブロックの左側の隣接ブロックの境界画素を用いて、右方向に予測する。
垂直方向複合画素モード予測部904及び水平方向複合画素モード予測部905は、本実施の形態の複合画素を用いたイントラ予測を行う。垂直方向複合画素モード予測部904は、予測ブロックの上側の隣接ブロックの複合画素(すなわち、境界画素及び内部にある画素)を用いて、式(1)又は式(2)によって信号レベルの予測値を計算し、実際の信号レベルとの残差成分を求める。水平方向複合画素モード予測部905は、予測ブロックの左側の隣接ブロックの複合画素を用いて、式(1)又は式(2)によって信号レベルの予測値を計算し、実際の信号レベルとの残差成分を求める。
第10図は、本発明の第3の実施の形態のイントラ予測の手順の説明図である。
まず、イントラ予測制御部901が、イントラ予測モードのチェックを行う(ステップ1001)。すなわち、隣接するブロックの画素が使用可能であるかどうかを判定し、その判定結果に基づいて、適用可能な予測の方向306及びそれぞれの予測の方向306において予測に使用する画素を特定する。
次に、モード予測部902〜905が、適用可能な予測の方向306について、イントラ予測を行う。第10図では、例として、垂直方向及び水平方向のそれぞれについて、従来の境界画素を用いた予測と、本実施の形態の複合画素を用いた予測とを行う(ステップ1002〜1005)。
次に、ステップ1002〜1005の予測の結果から、最適なイントラ予測モードを選択する(ステップ1006)。ステップ1002〜1005の予測の結果、画素ごとの残差成分のモードごとの合計値が算出される。この合計値が小さいモードほど符号化後の符号量は小さくできるため、最も残差成分の合計値が小さいモードを最適なモードとして選択する。次に、選択された残差成分を算術変換部206に伝送し、選択されたモードの情報をモード制御部213に伝送する。さらに正確に判定するためには、モード選択部214が、算術変換部206による算術変換後の残差成分の合計値が最も小さいモードを最適なモードとして選択してもよい。以上で、イントラ予測処理が終了する。
モード選択部214は、選択された最適なモードを示すフラグを、出力する符号のストリームに付加する。
なお、第10図においては、説明を簡単にするため、垂直方向及び水平方向の予測のみを記載したが、実際は、イントラ予測制御部901が適用可能と判定した全ての予測の方向について予測を行い、その結果から最適なモードを選択することができる。
第9図及び第10図は、映像符号化装置101について説明したが、本実施の形態のイントラ予測方法は、映像復号化装置501についても同様に適用することができる。この場合、イントラ予測部605は、従来の境界画素モード予測部に加えて、各予測の方向306ごとの複合画素モード予測部を備え、入力された符号化データの予測モードに従ってイントラ予測を行うことによって、本実施の形態のイントラ予測方法に対応した映像復号化装置501を実現することができる。
すなわち、モード判定部602は、復号化しようとする画像のストリームに付されたフラグを参照し、画像を符号化したときに選択されたイントラ予測モードを判定する。次に、イントラ予測部605は、判定されたイントラ予測モードに従って予測を行い、画像を復号化する。例えば、復号化しようとする画像が、右方向に境界画素モードの符号化がされていた場合は、予測ブロックの画素の信号レベルを、予測ブロックの左側の隣接ブロックの境界画素と同じと予測して、復号化する。また、例えば、復号化しようとする画像が、右方向に複合画素モードの符号化がされていた場合は、予測ブロックの画素の信号レベルを、予測ブロックの左側の隣接ブロックの複合画素に式(1)を適用して予測値を算出し、復号化する。
以上の本発明の第3の実施の形態によれば、複合画素(ブロック内部の画素)を用いて精度の高いイントラ予測をすることによって、符号化後の符号量を削減する(すなわち、圧縮率が高い)映像符号化装置、およびこれに対応した映像復号化装置を提供することができる。
第11図は、本発明の第4の実施の形態のデータ記録媒体の説明図である。
データ記録媒体1101は、出力装置107又は入力装置505が記憶装置である場合の記録媒体であり、例えば、磁気ディスクである。本発明の第1の実施の形態の映像符号化装置101によって作成された符号化データは、データ記録媒体1101上にデータ列1102として記録される。データ列1102は、一定の文法に従う符号化ストリームとして記録される。以下、H.264/AVC規格の例について説明する。
H.264/AVCでは、ストリームは、シーケンスパラメータセット1103、ピクチャパラメータセット1104並びにスライス1105、1106及び1107によって構成される。以下、例として、1つのスライスに1つの画像(フレーム)が格納される場合について説明する。
フレーム全体に左右対称変換、上下対称変換又は回転変換等の変換処理が行われた場合のストリームでは、スライス1105の先頭にスライスヘッダ1108が記録され、スライスヘッダ1108の内部には、変換処理に関連するフラグ等の情報1109が格納される。この情報の内容としては、変換処理を行ったか否かを示すフラグと、画像の一部の領域を変換した場合には、その一部の領域の位置情報等が格納される。変換処理を行ったか否かを示すフラグは、左右対称変換、上下対称変換については、それぞれ1ビットずつあれば足りる。回転変換の場合、時計周りに90度回転する毎に数を1ずつ増やすとすると、2ビットあれば360度の回転を表現できる。変換処理を行った領域の位置情報は、例えば、画像における横座標、縦座標、幅、高さ等の情報である。また、マクロブロック毎に変換処理を行う場合には、スライスヘッダの代わりにマクロブロックのフラグを記録する部分にこれらの情報を格納することができる。
また、本発明の第3の実施の形態のイントラ予測方法を適用する場合、H.264/AVC規格の符号化ストリームに複合画素を用いた新しいモードが追加される。この場合、従来のフラグ等の情報1109に、新しいモードを示す数値を追加して格納する。新しいモードの表現形式としては、複合画素を用いた予測であることを示すビットを追加してもよいし、各予測方向に対して、複合画素によるモード予測を行った場合の数値を割り当ててもよい。
第12図は、本発明の第5の実施の形態のパケットの説明図である。
第12図は、例として、映像符号化装置101の出力I/F106が、IPネットワークに送信するIPパケットを第11図のデータ列1102から生成する手順を説明する図である。
まず、データ列1102は、所定のサイズに分割され、TCPヘッダ1204〜1206が付され、TCPセグメント1201〜1203が生成される。第12図は、一つのスライスから一つのセグメントが生成される例を示す。このとき、各スライスに含まれるスライスヘッダ1108も、セグメントに含まれる。第11図において説明したように、スライスヘッダ1108の内部には、変換処理に関連するフラグ等の情報1109が格納される。なお、第12図では説明を省略するが、スライス1107以降についても同様にしてセグメントが生成される。
次に、各セグメントが所定のサイズに分割され、IPヘッダが付され、IPパケットが生成される。例えば、セグメント1202を所定のサイズに分割し、IPヘッダ1209及び1210を付して、IPパケット1207及び1208が生成される。ここでは、セグメント1202の一部から生成されたIPパケット1207及び1208のみを示すが、セグメント1202全体について、同様にしてIPパケットが生成される。また、第12図では説明を省略するが、他のセグメント1201等も同様にして分割され、IPパケットが生成される。
IPパケット1209等は、例えば、映像符号化装置101の出力I/F106によって生成され、IPネットワーク(図示省略)を介して出力装置107に送信される。
また、IPパケット1209等は、データ列1102が格納された記憶装置と、データ列1102からIPパケット1209等を生成して送信する出力インターフェースとを備え、映像符号化機能を有しないパケット送信装置(図示省略)から送信されてもよい。
また、第12図と同様にして、映像符号化装置101又はパケット送信装置は、データ列1102から無線パケットを生成し、無線パケット通信網を介して出力装置107に無線パケットを送信してもよい。
なお、本発明は、H.264/AVCに限らず、種々の規格に基づいた映像符号化装置及び映像復号化装置等に適用することができる。FIG. 1 is a block diagram for explaining the hardware configuration of a video encoding apparatus according to the first embodiment of the present invention.
The
The
The
The
The
The input I /
The
The output I /
The
The
FIG. 2 is a block diagram illustrating functions of the
The
Next, functions of each unit of the
The
The
The conversion process performed by the
The encoding unit 203 acquires from the
The
The
The
The
The
The flag indicating whether or not the conversion process has been performed may be one bit each for the left-right symmetric conversion and the vertical symmetric conversion. In the case of rotation conversion, if the number is incremented by 1 every 90 degrees clockwise, 360 degrees can be expressed with 2 bits.
FIG. 4 is an explanatory diagram of a video encoding procedure according to the first embodiment of this invention.
First, the
In
In
Next, the
Next, the
FIG. 5 is a block diagram illustrating the hardware configuration of the video decoding apparatus according to the second embodiment of the present invention.
The
The
The
The
The
The input I /
The
The output I /
The
The
FIG. 6 is a block diagram illustrating functions of the
The
The
The
Next, the
The
The
The
The
The decoded
FIG. 7 is an explanatory diagram of a video decoding procedure according to the second embodiment of this invention.
First, the
The
According to the first and second embodiments of the present invention described above, the amount of code after encoding is reduced by always performing intra prediction in a direction with high prediction accuracy without changing the scan direction (that is, It is possible to provide a video encoding device (with a high compression rate) and a video decoding device corresponding thereto. As a result, compared with the conventional intra prediction, the code amount is reduced by about 10% at the maximum. However, since the code amount changes according to the contents of the original image, it is not always a constant reduction amount.
FIG. 8 is an explanatory diagram of an intra prediction method according to the third embodiment of this invention.
The present embodiment is a method of using not only the signal level of the boundary pixel but also the signal level of the entire pixel of the
The direction of prediction is as shown at 306 in FIG. In this embodiment, for the sake of simplicity, only predictions for some directions are described, but in actual prediction, prediction is performed for all prediction directions 306, and the residual component is the smallest direction. Is selected. Here, prediction refers to a difference (residual) between an actual signal level of each pixel of the
The conventional intra prediction method is a prediction method using only boundary pixels. For example, when predicting in the vertical direction, the prediction is performed in the downward direction using the boundary pixel (the pixel in the lowest row) of the
On the other hand, the intra prediction method according to the third embodiment of the present invention is a prediction method based on composite pixels that uses not only boundary pixels but also pixels inside adjacent blocks. Here, the composite pixel refers to a plurality of blocks used for predicting the pixel of the prediction block. For example, when predicting in the horizontal direction, it is one row (803) of an adjacent block adjacent to the left side of the prediction target row. In this case, a prediction value is calculated from the value of the
The residual component is obtained by subtracting the predicted value calculated by Equation (1) from the pixel value of the predicted block. For example, when n = 7, the residual component of the
Equation (1) is an example of a mathematical formula that is applied when the block size is 4 × 4 pixels, but the prediction method according to the present embodiment is for other block sizes (for example, 16 × 16 pixels). Can also be applied. In general, when predicting the signal level values of the pixels m + 1 to n from the known signal level values of the
Next, the residual by the conventional prediction method is compared with the residual by the prediction method of the present embodiment. The
For example, when the signal levels of the
Note that a least square method may be applied to this embodiment. In this case, a linear expression that is estimated by a least square method from a known signal level is used. For example, similarly to the above, based on the known signal level yn of the pixel n when n = 0, 1, 2, 3, the signal level yn of the pixel n when n = 4, 5, 6, 7 is obtained. If so, equation (3) is used. Here, m is the number of pixels serving as a basis for prediction, and in this example, m = 4.
FIG. 9 is a block diagram illustrating the function of the
The
The
FIG. 9 shows a vertical boundary pixel
The intra
Each
The vertical boundary pixel
The vertical direction composite pixel
FIG. 10 is an explanatory diagram of an intra prediction procedure according to the third embodiment of this invention.
First, the intra
Next, the
Next, an optimal intra prediction mode is selected from the prediction results of
The
In FIG. 10, only the prediction in the vertical direction and the horizontal direction is described for the sake of simplicity, but in reality, prediction is performed for all the prediction directions that the intra
9 and 10 describe the
That is, the
According to the third embodiment of the present invention described above, the amount of code after encoding is reduced by performing highly accurate intra prediction using composite pixels (pixels in a block) (that is, the compression rate). (High) video encoding device and video decoding device corresponding to this can be provided.
FIG. 11 is an explanatory diagram of a data recording medium according to the fourth embodiment of the present invention.
The data recording medium 1101 is a recording medium when the
H. In H.264 / AVC, a stream includes a
In a stream in which conversion processing such as left-right symmetric conversion, up-down symmetric conversion, or rotation conversion is performed on the entire frame, a
Further, when the intra prediction method according to the third embodiment of the present invention is applied, A new mode using composite pixels is added to the H.264 / AVC standard encoded stream. In this case, a numerical value indicating a new mode is added to
FIG. 12 is an explanatory diagram of a packet according to the fifth embodiment of this invention.
FIG. 12 is a diagram illustrating, as an example, a procedure in which the output I /
First, the
Next, each segment is divided into a predetermined size, an IP header is added, and an IP packet is generated. For example, the
The IP packet 1209 and the like are generated by, for example, the output I /
Further, the IP packet 1209 and the like include a storage device in which the
Similarly to FIG. 12, the
In addition, this invention is H.264. The present invention is not limited to H.264 / AVC and can be applied to video encoding devices and video decoding devices based on various standards.
本発明は、画像データの記録及び伝送に利用することができ、圧縮率を改善してデータ量を削減することによって、記録容量の低減及び伝送速度の向上に寄与する。例えば、本発明は、ハードディスクやDVDを用いたビデオレコーダー及びビデオプレーヤーに利用することができる。また、本発明は、携帯電話やテレビ放送を含む、有線又は無線通信網を用いた画像配信サービスに利用することができる。また、本発明は、テレビ電話、テレビ会議システム等に利用することができる。 The present invention can be used for recording and transmission of image data, and contributes to a reduction in recording capacity and an increase in transmission speed by improving the compression rate and reducing the amount of data. For example, the present invention can be used for a video recorder and a video player using a hard disk or a DVD. In addition, the present invention can be used for an image distribution service using a wired or wireless communication network including a mobile phone and a television broadcast. Further, the present invention can be used for a video phone, a video conference system, and the like.
Claims (13)
前記画像のフレームを所定のサイズに分割したマクロブロックごとに、前記画像の方向を変換する画像変換部(202)と、
前記マクロブロックごとに、前記方向を変換されていない変換前画像と、前記方向を変換された変換後画像とをそれぞれ予測符号化する一つ又は複数の符号化部(203)と、
前記符号化された変換前画像の符号量と、前記符号化された変換後画像の符号量とを比較し、前記画像の符号化モードを選択し、前記選択された符号化モードと、前記変換が行われたか否かを示す識別子とを出力するモード選択部(214)と、を備えることを特徴とする符号化装置。In an encoding device for encoding an image signal,
An image conversion unit (202) for converting the direction of the image for each macroblock obtained by dividing the frame of the image into a predetermined size ;
For each macroblock, one or a plurality of encoding units (203) for predictively encoding the pre-conversion image whose direction has not been converted and the post-conversion image whose direction has been converted, respectively,
The code amount of the encoded pre-conversion image is compared with the code amount of the encoded post-conversion image, the encoding mode of the image is selected, the selected encoding mode, and the conversion And a mode selection unit (214) that outputs an identifier indicating whether or not the recording has been performed.
前記符号化部(203)は、前記マクロブロックごとに、前記変換前画像と、前記各モードの変換が行われた変換後画像とをそれぞれ予測符号化し、
前記モード選択部(214)は、前記符号化された変換前画像の符号量と、前記符号化された各モードの変換後画像の符号量とを比較し、前記符号量が少ない符号を選択し、前記選択された符号と、前記選択された符号の種別を示す識別子とを出力することを特徴とする請求項1に記載の符号化装置。The image conversion unit (202) converts, for each macroblock , a vertically symmetric mode that flips the image up and down, a left-right symmetric mode that flips the image left and right, and / or a rotation mode that rotates the image. And
The encoding unit (203), said each macro block, and the pre-conversion image, the predicted encoding the converted image conversion for each mode is performed, respectively,
The mode selection unit (214) compares the code amount of the encoded pre-conversion image with the code amount of the encoded post-conversion image of each mode, and selects a code with a small code amount. The encoding apparatus according to claim 1, wherein the selected code and an identifier indicating a type of the selected code are output.
前記画像のフレームを所定のサイズに分割したマクロブロックごとに、前記画像の方向を変換する第1の手順と、
前記マクロブロックごとに、前記方向を変換されていない変換前画像を予測符号化する第2の手順と、
前記マクロブロックごとに、前記方向を変換された変換後画像を予測符号化する第3の手順と、
前記第2の手順で符号化された符号量と、前記第3の手順で符号化された符号量とを比較し、前記画像の符号化モードを選択し、前記選択された符号化モードと、前記変換が行われたか否かを示す識別子とを出力する第4の手順とを含むことを特徴とするプログラム。In a program for causing a processor (102) to execute processing for encoding an image signal,
A first procedure for converting the direction of the image for each macroblock obtained by dividing the frame of the image into a predetermined size ;
A second procedure for predictively encoding a pre-conversion image that has not been transformed in direction, for each macroblock ;
For each macroblock , a third procedure for predictively encoding the transformed image whose direction has been transformed;
Comparing the code amount encoded in the second procedure with the code amount encoded in the third procedure, selecting the encoding mode of the image, and the selected encoding mode; And a fourth procedure for outputting an identifier indicating whether or not the conversion has been performed.
前記第3の手順は、前記マクロブロックごとに、前記各モードの変換が行われた変換後画像を予測符号化し、
前記第4の手順は、前記符号化された変換前画像の符号量と、前記符号化された各モードの変換後画像の符号量とを比較し、前記符号量が少ない符号を選択し、前記選択された符号と、前記選択された符号の種別を示す識別子とを出力することを特徴とする請求項5に記載のプログラム。The first procedure performs, for each macroblock , conversion of a vertically symmetric mode that flips the image up and down, a left-right symmetric mode that flips the image left and right, and / or a rotation mode that rotates the image. ,
In the third procedure, for each macroblock , a converted image that has undergone conversion in each mode is predictively encoded,
The fourth procedure compares the code amount of the encoded pre-conversion image with the code amount of the encoded image after conversion in each of the modes, selects a code with a small code amount, and 6. The program according to claim 5, wherein the selected code and an identifier indicating the type of the selected code are output.
前記画像のフレームを所定のサイズに分割したマクロブロックごとに、前記画像の方向を変換する第1の手順と、
前記マクロブロックごとに、前記方向を変換されていない変換前画像を予測符号化する第2の手順と、
前記マクロブロックごとに、前記方向を変換された変換後画像を予測符号化する第3の手順と、
前記第2の手順で符号化された符号量と、前記第3の手順で符号化された符号量とを比較し、前記画像の符号化モードを選択し、前記選択された符号化モードと、前記変換が行われたか否かを示す識別子とを出力する第4の手順とを含むことを特徴とする方法。A method for encoding an image signal, comprising:
A first procedure for converting the direction of the image for each macroblock obtained by dividing the frame of the image into a predetermined size ;
A second procedure for predictively encoding a pre-conversion image that has not been transformed in direction, for each macroblock ;
For each macroblock , a third procedure for predictively encoding the transformed image whose direction has been transformed;
Comparing the code amount encoded in the second procedure with the code amount encoded in the third procedure, selecting the encoding mode of the image, and the selected encoding mode; And a fourth procedure for outputting an identifier indicating whether or not the conversion has been performed.
前記第3の手順は、前記マクロブロックごとに、前記各モードの変換が行われた変換後画像を予測符号化し、
前記第4の手順は、前記符号化された変換前画像の符号量と、前記符号化された各モードの変換後画像の符号量とを比較し、前記符号量が少ない符号を選択し、前記選択された符号と、前記選択された符号の種別を示す識別子とを出力することを特徴とする請求項9に記載の方法。The first procedure performs, for each macroblock , conversion of a vertically symmetric mode that flips the image up and down, a left-right symmetric mode that flips the image left and right, and / or a rotation mode that rotates the image. ,
In the third procedure, for each macroblock , a converted image that has undergone conversion in each mode is predictively encoded,
The fourth procedure compares the code amount of the encoded pre-conversion image with the code amount of the encoded image after conversion in each of the modes, selects a code with a small code amount, and The method according to claim 9, further comprising: outputting a selected code and an identifier indicating the type of the selected code.
徴とする請求項9に記載の方法。The method according to claim 9, wherein the second procedure and the third procedure perform predictive coding using intra prediction.
前記符号化された画像と、前記画像を予測符号化する際に、前記画像のフレームを所定のサイズに分割したマクロブロックごとに、前記画像を上下に反転する上下対称モード、前記画像を左右に反転する左右対称モード、及び/又は、前記画像を回転させる回転モードの変換のいずれかが行われたことを示す識別子とを含むパケットを送信することを特徴とする送信方法。A transmission method for transmitting an encoded image, comprising:
A vertically symmetric mode in which the image is inverted up and down for each macroblock obtained by dividing the frame of the image into a predetermined size when the image is predictively encoded, and the image is horizontally A transmission method comprising: transmitting a packet including a left-right symmetric mode to be reversed and / or an identifier indicating that any one of rotation mode conversions for rotating the image has been performed.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2004/006169 WO2005107267A1 (en) | 2004-04-28 | 2004-04-28 | Image encoding/decoding device, encoding/decoding program, and encoding/decoding method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010098601A Division JP5010709B2 (en) | 2010-04-22 | 2010-04-22 | Image decoding device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2005107267A1 JPWO2005107267A1 (en) | 2008-03-21 |
JP5037938B2 true JP5037938B2 (en) | 2012-10-03 |
Family
ID=35242050
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006512698A Expired - Lifetime JP5037938B2 (en) | 2004-04-28 | 2004-04-28 | Image encoding / decoding device, encoding / decoding program, and encoding / decoding method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5037938B2 (en) |
WO (1) | WO2005107267A1 (en) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007110348A (en) | 2005-10-12 | 2007-04-26 | Ntt Docomo Inc | Moving picture coding apparatus, moving picture decoding apparatus, moving picture coding method, moving picture decoding method, moving picture coding program, and moving picture decoding program |
JP4844449B2 (en) * | 2006-04-17 | 2011-12-28 | 日本ビクター株式会社 | Moving picture encoding apparatus, method, program, moving picture decoding apparatus, method, and program |
WO2008102805A1 (en) * | 2007-02-23 | 2008-08-28 | Nippon Telegraph And Telephone Corporation | Video coding method and decoding method, their device, their program and program-recorded medium |
JP4707118B2 (en) * | 2007-03-28 | 2011-06-22 | 株式会社Kddi研究所 | Intra prediction method for moving picture coding apparatus and moving picture decoding apparatus |
US8238428B2 (en) * | 2007-04-17 | 2012-08-07 | Qualcomm Incorporated | Pixel-by-pixel weighting for intra-frame coding |
JP2009094828A (en) | 2007-10-10 | 2009-04-30 | Hitachi Ltd | Device and method for encoding image, and device and method for decoding image |
JP5169978B2 (en) | 2009-04-24 | 2013-03-27 | ソニー株式会社 | Image processing apparatus and method |
JP5700970B2 (en) * | 2009-07-30 | 2015-04-15 | トムソン ライセンシングThomson Licensing | Decoding method of encoded data stream representing image sequence and encoding method of image sequence |
JP2011151682A (en) * | 2010-01-22 | 2011-08-04 | Sony Corp | Image processing apparatus and method |
MX347117B (en) * | 2011-06-24 | 2017-04-11 | Mitsubishi Electric Corp | Moving image encoding apparatus, moving image decoding apparatus, moving image encoding method and moving image decoding method. |
JP5362810B2 (en) * | 2011-12-27 | 2013-12-11 | 株式会社エヌ・ティ・ティ・ドコモ | Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, moving picture decoding method, moving picture encoding program, and moving picture decoding program |
CN104488268B (en) * | 2012-07-04 | 2018-07-17 | 汤姆逊许可公司 | Spatial prediction with increased number of possible coding mode |
CN112383780B (en) * | 2013-08-16 | 2023-05-02 | 上海天荷电子信息有限公司 | Encoding and decoding method and device for point matching reference set and index back and forth scanning string matching |
JP2015070488A (en) * | 2013-09-30 | 2015-04-13 | Kddi株式会社 | Encoder, decoder, coding method and decoding method for moving image, and program |
JP5886922B2 (en) * | 2014-09-22 | 2016-03-16 | 日立マクセル株式会社 | Image decoding method |
CN104284190B (en) * | 2014-11-05 | 2017-05-10 | 安徽大学 | Compressed image steganography encoding method based on AMBTC high and low average optimization |
US10306229B2 (en) | 2015-01-26 | 2019-05-28 | Qualcomm Incorporated | Enhanced multiple transforms for prediction residual |
JP5891333B2 (en) * | 2015-09-11 | 2016-03-22 | 日立マクセル株式会社 | Image decoding method |
JP5887013B2 (en) * | 2015-09-11 | 2016-03-16 | 日立マクセル株式会社 | Image decoding method |
JP5887012B2 (en) * | 2015-09-11 | 2016-03-16 | 日立マクセル株式会社 | Image decoding method |
JP2016129391A (en) * | 2016-02-22 | 2016-07-14 | 日立マクセル株式会社 | Image decoding method |
US10623774B2 (en) | 2016-03-22 | 2020-04-14 | Qualcomm Incorporated | Constrained block-level optimization and signaling for video coding tools |
US11323748B2 (en) | 2018-12-19 | 2022-05-03 | Qualcomm Incorporated | Tree-based transform unit (TU) partition for video coding |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04223786A (en) * | 1990-12-26 | 1992-08-13 | Casio Comput Co Ltd | Picture compressing device |
JPH08317403A (en) * | 1995-05-16 | 1996-11-29 | Canon Inc | Device and method for image processing |
JPH09200757A (en) * | 1996-01-18 | 1997-07-31 | Nitsuko Corp | Encoder, decoder and data transmitter |
-
2004
- 2004-04-28 JP JP2006512698A patent/JP5037938B2/en not_active Expired - Lifetime
- 2004-04-28 WO PCT/JP2004/006169 patent/WO2005107267A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2005107267A1 (en) | 2005-11-10 |
JPWO2005107267A1 (en) | 2008-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4542447B2 (en) | Image encoding / decoding device, encoding / decoding program, and encoding / decoding method | |
JP5037938B2 (en) | Image encoding / decoding device, encoding / decoding program, and encoding / decoding method | |
JP5676717B2 (en) | Image decoding apparatus and image decoding method | |
JP6311085B1 (en) | Image decoding apparatus and image decoding method | |
JP5547171B2 (en) | Image decoding apparatus and image decoding method | |
JP6355870B2 (en) | Image decoding apparatus and image decoding method | |
JP6647432B2 (en) | Decryption method | |
JP6311086B1 (en) | Image decoding apparatus and image decoding method | |
JP6311084B1 (en) | Image decoding apparatus and image decoding method | |
JP6434172B2 (en) | Decryption method | |
JP6357523B2 (en) | Image decoding apparatus and image decoding method | |
JP6348562B2 (en) | Decoding device and decoding method | |
JP6523495B2 (en) | Decryption method | |
JP6222756B2 (en) | Decryption method | |
JP6364462B2 (en) | Decoding device and decoding method | |
JP6096871B2 (en) | Decoding device and decoding method | |
JP6117302B2 (en) | Decryption method | |
JP5865966B2 (en) | Image decoding apparatus and decoding method | |
JP5010709B2 (en) | Image decoding device | |
JP5868909B2 (en) | Decryption method | |
JP5913474B2 (en) | Decryption method | |
JP5055419B2 (en) | Image decoding apparatus, decoding program, and decoding method | |
JP5380594B2 (en) | Image decoding method | |
JP5236088B2 (en) | Image encoding / decoding device, encoding / decoding program, and encoding / decoding method | |
JP2018098814A (en) | Image decoding method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100422 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110331 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110408 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20110603 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20110907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110907 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20120229 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120705 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150713 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5037938 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |