JP5533302B2 - 動画像符号化装置 - Google Patents

Description

本発明は、一般に動画像符号化装置に関し、詳しくは予測符号化を用いた動画像符号化装置に関する。

ビデオカメラ等で利用されている動画像圧縮方式には、ＭＰＥＧ（Moving Picture Experts Group）やＨ.２６４がある。これらの動画像圧縮方式では、符号化対象画像と時間的に近い画像を参照し、この参照画像と符号化対象画像との差分画像を圧縮することで、高い画質を保ったまま大幅な情報量削減を実現している。

近年、画像サイズの大画面化や新規格の採用により、参照画像として利用可能な隣接画像の枚数が増加し、画像を記憶しておくために必要なメモリサイズが増加している。また、参照画像をメモリに読み書きするために、単位時間あたりに発生する画像データの転送量も増加している。

符号化装置をＬＳＩ（Large Scale Integration）で実現する場合、ＬＳＩ内部の高速なＳＲＡＭ（Static Random Access Memory）により符号化に必要な全メモリ容量を提供することは、コストの面で現実的ではない。従って、ＬＳＩ外部にＤＲＡＭ（Dynamic Random Access Memory）を設け、これをフレームメモリとして利用するのが一般的な構成である。しかしながらＬＳＩと外部ＲＡＭとの間で大容量のデータをやりとりするためには、高い動作周波数が必要になり、消費電力が増大するという問題がある。

復号側では、参照画像を用意し、受信圧縮データを展開して得られた差分画像と参照画像とから、画像を再構成する。この際、復号側では原画像のそのままのデータは得られないので、参照画像としては、受信圧縮データから再構成された画像を用いている。この復号側の動作に合わせるために、符号化側でも、一度非可逆圧縮したデータを符号化装置内で展開し、復号側で得られる参照画像と同一の画像を再構成して、符号化用の参照画像として用いている。この再構成された画像は、ローカルデコード画像と呼ばれる。

着目符号化対象画像から再構成されたローカルデコード画像は、符号化装置から外部ＲＡＭに書き出され、次以降の画像を符号化する際に、外部ＲＡＭから符号化装置内に参照画像として読み込まれる。符号化のアルゴリズムにも依存するが、ローカルデコード画像の書き出し動作は、外部ＲＡＭへの全アクセスの約１／４を占めることもある。前述のように、ＬＳＩと外部ＲＡＭとの間で大容量のデータをやりとりする構成では、高い動作周波数が必要になり、消費電力が増大してしまう。

特開２００５−７９９５３号公報

以上を鑑みると、ローカルデコード画像を利用するためにメモリに読み書きするデータ量を低減可能な動画像符号化装置が望まれる。

動画像符号化装置は、参照画像と符号化対象画像の着目ブロックとから予測画像を生成する予測部と、前記予測画像と前記着目ブロックとから誤差画像を求める予測誤差演算部と、前記誤差画像と前記予測画像とに基づいてローカルデコード画像を生成する画像再構成部と、前記ローカルデコード画像と前記着目ブロックとの差分を求め圧縮することにより圧縮差分画像を生成する差分圧縮部と、前記圧縮差分画像を書き込むメモリと、前記メモリから読み出した前記圧縮差分画像を展開して得られる画像と、外部から取得した前記着目ブロックとを加算することにより、参照画像を生成する差分展開部とを含むことを特徴とする。

本願開示の少なくとも１つの実施例によれば、ローカルデコード画像と着目ブロックとの差分を求め圧縮することにより圧縮差分画像を生成し、ローカルデコード画像の代りに圧縮差分画像をメモリに格納する。これにより、ローカルデコード画像を利用するためにメモリに読み書きするデータ量を低減できる。

動画像符号化装置の一例を示すブロック図である。 差分圧縮部の一例を示す図である。 記憶部に格納されている圧縮差分画像データの一例を示す図である。 差分展開部の一例を示す図である。 差分圧縮部の別の一例を示す図である。 丸め部の一例を示す図である。 丸め部の別の一例を示す図である。 丸め変換テーブル部のテーブルの一例を示す図である。 端数処理を実行する差分圧縮部により生成された圧縮差分画像を格納するデータ構造の一例である。 差分展開部の別の一例を示す図である。 インター予測部の一例を示す図である。 図１の動画像符号化装置を適用したシステムの構成の一例を示す図である。

以下に、本発明の実施例を添付の図面を用いて詳細に説明する。

図１は、動画像符号化装置の一例を示すブロック図である。動画像符号化装置は、インター予測部１１、イントラ予測部１２、選択部１３、予測誤差演算部１４、変換部１５、量子化部１６、符号化部１７、逆量子化部１８、逆変換部１９、加算部２０、フィルタ部２１、差分圧縮部２２、記憶部２３、差分展開部２４を含む。動画像符号化装置は、フレームメモリ部２５に接続されている。逆量子化部１８、逆変換部１９、加算部２０、及びフィルタ部２１が、画像再構成部３０を有する。

フレームメモリ部２５には、ビデオカメラ等から順次供給される動画像データのうちの最新の数フレーム分の画像が格納されている。これら複数の画像のうちの１つが符号化対象画像であり、他の１つ又は２つの画像が予測符号化用の参照画像用として用いられる。符号化対象画像は複数のマクロブロックに分割されており、そのうちの１つが符号化対象である着目マクロブロックである。インター予測部１１は、参照画像と符号化対象画像の着目マクロブロックとから画面間予測画像を生成する。イントラ予測部１２は、着目マクロブロックが属する符号化対象画像内の画像データ、即ち着目マクロブロックが属する画面と同一画面の画像データから画面内予測画像を生成する。選択部１３は、各マクロブロックの予測画像の生成方式として、画面内予測方式（イントラ予測方式）と画面間予測方式（インター予測方式）との切り替えを行なう。なお上記参照画像は、従来の動画像符号化装置ではフレームメモリ部２５に格納される参照画像を読み出したそのままの画像であるが、図１に示す動画像符号化装置では、フレームメモリ部２５から読み出された画像に基づいて差分展開部２４が参照画像を生成する。この差分展開部２４の処理について後程説明する。

インター予測部１１の処理は、具体的には、複数の動きベクトルに対して着目マクロブロックと参照画像中の対応位置の画像ブロックの間の誤差（例えば画素毎の差分の絶対値和）を求め、この誤差の大きさを参考にして最適な動きベクトルを検出する。予測画像が着目マクロブロックと最も類似した画像となるように動きベクトルを選択すれば、誤差画像の情報量が最も小さくなり、最終的にエントロピー符号化後のビットストリームの情報量が最も小さくなる。インター予測部１１は、検出した最適な動きベクトルに対応する参照画像中の位置の画像ブロックを抽出し、予測画像として出力する。

選択部１３が選択した予測画像は、予測誤差演算部１４に供給される。予測誤差演算部１４は、予測画像と着目ブロックとの差分を計算することにより予測画像と着目ブロックとから誤差画像を求め、求めた誤差画像を変換部１５に供給する。変換部１５は、誤差画像に対して直交変換を行ない、直交変換後の誤差画像即ち変換係数を量子化部１６に供給する。量子化部１６は、変換係数に対して量子化処理を実行し、量子化された変換係数を求める。この量子化後変換係数は、符号化部１７と逆量子化部１８とに供給される。符号化部１７は、量子化後変換係数をエントロピー符号化し、情報量圧縮された画像情報であるビットストリームを生成する。なおインター予測部１１が検出した動きベクトルは符号化部１７に供給され、量子化後変換係数とともにエントロピー符号化され、ビットストリーム中に動きベクトルに関する情報が含まれることになる。

逆量子化部１８は、量子化後変換係数に対して逆量子化を実行し、変換係数を復元する。復元された変換係数は、逆変換部１９に供給される。逆変換部１９は、変換係数に対して逆直交変換を実行し、誤差画像を復元する。加算部２０は、復元された誤差画像と予測誤差演算部１４で用いた予測画像とから、再構成画像を生成する。フィルタ部２１は、直交変換・量子化処理と逆量子化・逆直交変換処理とにより再構成画像に生じたブロック歪みを減少させるデブロッキングフィルタ処理を行い、処理後の画像であるローカルデコード画像を差分圧縮部２２に供給する。

従来の動画像符号化装置では、画像再構成部３０が再構成したローカルデコード画像をそのままフレームメモリ部２５等のメモリに格納していたが、図１の動画像符号化装置では、ローカルデコード画像を差分圧縮部２２に供給する。差分圧縮部２２は、ローカルデコード画像と着目ブロックとの差分を求め圧縮することにより圧縮差分画像を生成する。

図２は、差分圧縮部２２の一例を示す図である。差分圧縮部２２は、差分作成部３１と符号化部３２とを含む。差分作成部３１は、画像再構成部３０のフィルタ部２１からローカルデコード画像を受け取ると共に、符号化対象画像の着目マクロブロックのデータ（ローカルデコード画像の原画像）を受け取る。差分作成部３１は、受け取った２つの画像の差分を計算することにより、差分画像を生成する。符号化部３２は、この差分画像を符号化することにより、圧縮差分画像を生成する。

図１を再び参照し、差分圧縮部２２が生成した圧縮差分画像は、記憶部２３に格納される。記憶部２３は、例えば動画像符号化装置内のＳＲＡＭである。記憶部２３に格納された圧縮差分画像は、例えば一枚の予測符号化対象画像の全マクロブロック分を纏めて、外部の例えばＤＲＡＭであるフレームメモリ部２５に転送され格納される。記憶部２３は設けられていなくともよく、その場合には、差分圧縮部２２が生成した圧縮差分画像はそのままフレームメモリ部２５に格納されることになる。また記憶部２３からフレームメモリ部２５への転送タイミングも、画像一枚毎の転送ではなく、マクロブロックの１ライン毎、画像複数枚毎等であってもよい。また、ある予測符号化対象画像に対して求めた圧縮差分画像が、次の符号化対象画像に対する参照対象となる場合には、そのまま記憶部２３に格納されたままの状態としてよい。

上記の差分圧縮部２２は、可変長符号化により圧縮を行なってよい。この場合、差分圧縮部２２は、符号化対象画像の複数の着目ブロックに対応する複数の圧縮差分画像のデータを、データサイズを示す情報と共にメモリ（記憶部２３又はフレームメモリ部２５）に格納してよい。このようにデータサイズを示す情報と共に圧縮差分画像のデータをメモリに格納しておけば、データ読み出し時に当該データサイズを示す情報を参照することにより、圧縮差分画像データに対するランダムアクセスが可能となる。

フレームメモリ部２５には、前述のように、ビデオカメラ等から順次供給される動画像データのうちの最新の数フレーム分の画像が格納されており、そのうちの一枚が符号化対象画像である。動画像符号化装置からフレームメモリ部２５に転送され書き込まれる圧縮差分画像は、当該符号化対象画像に対して求められたローカルデコード画像の圧縮差分画像であり、当該符号化対象画像に対応付けられたメモリ位置に格納される。ここで、対応付けられたメモリ位置とは、このメモリ位置に格納されるデータが当該符号化対象画像の圧縮差分画像であることが分かればよい。例えばフレームメモリ部２５に動画像データの最新の５フレーム分の画像が格納されれば、これらの第１乃至第５の画像に対応する第１乃至第５の固定長のメモリ領域を用意しておき、このメモリ領域に圧縮差分画像を格納してよい。また或いは、圧縮差分画像の格納先を示すポインタデータを画像に付加する形で設けることにより、動画像データの画像を読み出すときに、この画像に付加されたポインタデータを参照して、圧縮差分画像の格納位置が分かるようにしてもよい。

差分展開部２４は、現在の符号化対象画像の符号化において参照される動画像データのフレームの画像（以降参照元画像と呼ぶ）をフレームメモリ部２５から読み出す。例えば、符号化対象画像のフレームの１つ前のフレームの画像を参照する場合には、当該１つ前のフレームの画像を参照元画像としてフレームメモリ部２５から読み出す。差分展開部２４は、更に、記憶部２３を介して、参照元画像に対応付けられた圧縮差分画像をフレームメモリ部２５から読み出す。この際、参照元画像に対応付けられた１フレーム分の圧縮差分画像をフレームメモリ部２５から読み出して記憶部２３に格納しておいてよい。記憶部２３に格納しておくデータは、１フレーム分の圧縮差分画像データでなくともよく、例えば１／２フレーム分或いは複数フレーム分の圧縮差分画像データであってよい。

図３は、記憶部２３に格納されている圧縮差分画像データの一例を示す図である。この例では、記憶部２３に、符号化中フレーム（符号化対象画像）から求めた１フレーム分の圧縮差分画像のデータ３５と、符号化対象画像を符号化する際に参照される参照元画像に対応する１フレーム分の圧縮差分画像のデータ３６とが格納されている。図３において、ｄａｔａ（ｎ，ｍ）は、ｍ／４行のｎ／４番目のマクロブロックに対する圧縮差分画像データを示す。可変長符号化の場合には、各データｄａｔａ（ｎ，ｍ）の大きさが異なる。ここでｎ及びｍについて増加量が４となっているのは、マクロブロックとして４画素×４画素のブロックサイズを想定しているためである。また位置（ｘ，０）は、所定の位置に格納された圧縮差分画像の１番目のマクロブロック行の開始位置を示し、位置（ｘ，４）は、２番目のマクロブロック行の開始位置を示す。各行は、前の行の最終データの直後から、間をあけることなく開始される。

各圧縮差分画像のデータは、図３に示されるように、各マクロブロック行のデータサイズを示す情報３８と共に格納されている。各行の先頭に格納されているデータサイズ情報３８を参照すれば、その行のデータサイズが分かるので、次の行の先頭位置を知ることができる。これにより、各行の先頭の圧縮差分画像データにはランダムアクセスすることが可能となる。各データｄａｔａ（ｎ，ｍ）の間には、圧縮に利用した可変長符号化テーブルに現れない符号をセパレータとして挿入してよい。

参照用の圧縮差分画像３６を差分展開部２４が参照する際には、アクセス対象のマクロブロック行の開始位置にたどりつくまで、データサイズ情報３８を参照して行を読み飛ばしていく。その後は、アクセス対象のマクロブロックの圧縮差分画像データに辿り着くまで、セパレータを数えて読み飛ばしていく。なお各データｄａｔａ（ｎ，ｍ）は、例えば４×４＝１６個の符号となるので、行開始位置から符号の数を順に数えていき、アクセス対象のマクロブロックの圧縮差分画像データに辿り着くようにしてもよい。

動き補償のアルゴリズムにおいて、シーケンシャルアクセスが参照画像のアクセスの主要形態である場合には、前回の指定マクロブロック位置と前回の読み出しデータ位置とを、それぞれポインタで記録しておくようにしてもよい。次のアクセス時には、前回の指定マクロブロック位置を示すポインタを参照し、今回の指定マクロブロック位置が前回の指定マクロブロック位置の直後の位置であれば、前回の読み出しデータ位置示すポインタを参照し、その直後の位置からデータを読み出せばよい。

図４は、差分展開部２４の一例を示す図である。差分展開部２４は、復号部４１と加算部４２とを含む。復号部４１は、差分圧縮部２２からの参照元画像に対応する圧縮差分画像データを受け取り、復号化処理により圧縮データを展開（伸長）して差分画像データを生成する。加算部４２は、外部のフレームメモリ部２５から取得した参照元画像と復号部４１からの差分画像とを加算して、参照画像を生成する。この参照画像は、圧縮差分画像を生成する基となったローカルデコード画像を復元したものである。生成された参照画像は、インター予測部１１に供給される。なおインター予測部１１は、参照画像のフレーム内において、符号化対象画像の着目マクロブロックの対応位置を内側に含む所定の大きさの探索領域内から最適な動きベクトルを探索する。従って、差分展開部２４がインター予測部１１に供給する参照画像のデータは、この探索領域に相当する分のデータであってよい。

このようにして図１に示す動画像符号化装置では、ローカルデコード画像をそのままフレームメモリ部２５に格納するのではなく、ローカルデコード画像と原画像との差分画像を圧縮して得られる圧縮差分画像をフレームメモリ部２５に格納する。ローカルデコード画像を非可逆圧縮することで、差分圧縮画像のデータ量は、ローカルデコード画像のデータ量の１／４以下に抑えることができる。これにより、予測処理に必要な圧縮差分画像のデータ量は、Ｂフレームで前後方参照用に２フレーム分、Pフレームでエンコード対象用と前方参照用とに２フレーム分であり、例えばフルＨＤサイズ（１９２０×１０８０）の場合でも合計１．５ＭＢ程度となる。このデータ量は、内部ＳＲＡＭである記憶部２３にすべて記憶することが可能なサイズである。また従来は、ローカルデコード画像のサイズをＤＳとして、フレームメモリ部２５への読み書きに必要なデータ転送量が２ＤＳであった。それに対し、図１では、参照元画像のサイズを同等のＤＳとして、ローカルデコード画像の読み書きに必要なデータ転送量が２ＤＳ／４以下、参照元画像の読み出しに必要なデータ転送量がＤＳとなり、合計１．５ＤＳ以下となる。このように、外部フレームメモリ部２５へのアクセスを２５％程度削減できる。削減したデータ量分をインター予測での探索範囲の拡大に利用して画質を向上させたり、性能の低い安価な外部ＲＡＭを利用してコストを削減したり、外部ＲＡＭを利用しないときに電源やクロックなどを遮断して消費電力を低減したりすることができる。

図５は、差分圧縮部２２の別の一例を示す図である。図５において、図２と同一の構成要素は同一の番号で参照し、その説明は省略する。図５に示す差分圧縮部２２は、差分作成部３１及び符号化部３２に加え、丸め部５１を含む。丸め部５１は、差分作成部３１が生成した差分画像のデータを端数処理により丸め、丸め後の差分画像のデータを符号化部３２に供給する。符号化部３２は、丸め後の差分画像のデータを符号化して圧縮することにより圧縮差分画像を生成する。

図６は、丸め部５１の一例を示す図である。図６に示す丸め部５１は、分離部６１、ＭＳＢ検出部６２、マスクパターン生成部６３、マスク演算部６４、及び合成部６５を含む。分離部６１は、差分画像データを受け取り、各画素データを符号と絶対値とに分離する。例えば、ある画素データの値が−１０３である場合、分離部６１は、符号の＋／−を０／１により示す１ビット（この場合は“１”）と、絶対値１０３（２進表記で“０１１００１１１”）とに分離する。ＭＳＢ検出部６２は、絶対値の各ビットのうち値が“１”である最上位ビットを検出する。この例の場合、絶対値は“０１１００１１１”であるので、最下位ビットから数えて７番目のビットが最上位ビットとなる。マスクパターン生成部６３は、検出された最上位ビットから例えば３ビットのみを残すためのマスクパターンを生成する。この例の場合、マスクパターンは“０１１１００００”となる。マスク演算部６４は、分離部６１から供給される絶対値とマスクパターン生成部６３から供給されるマスクパターンとのビット毎の論理積をとることにより、マスク処理を行なう。即ち、絶対値を端数処理することにより、最上位ビットから例えば３ビットのみが残る値に絶対値が丸められる。この例の場合、絶対値“０１１００１１１”が“０１１０００００”（１０進表示で９６）に丸められる（下位ビットが切り捨てられる）。合成部６５は、マスク演算部６４から供給される丸め後の絶対値と分離部６１から供給される符号ビットとを合成して、符号付きの丸め後のデータを生成する。この場合、丸め後のデータとして、−９６が得られることになる。

図７は、丸め部５１の別の一例を示す図である。図７において、図６と同一の構成要素は同一の番号で参照し、その説明は適宜省略する。図７の丸め部５１は、分離部６１、合成部６５、丸め変換部７１、及び丸め変換テーブル部７２を含む。丸め変換部７１は、分離部６１が求めた絶対値を受け取り、丸め変換テーブル部７２のテーブルを参照することにより、当該絶対値の端数処理後の丸め値をテーブルから読み出し、読み出した丸め値を出力する。合成部６５は、丸め変換部７１から供給される丸め後の絶対値と分離部６１から供給される符号ビットとを合成して、符号付きの丸め後のデータを生成する。

図８は、丸め変換テーブル部７２のテーブルの一例を示す図である。このテーブルにおいては、丸め前の値に対して丸め後の値が一対一に対応付けられている。このテーブルにおいて、例えば値９６から１２７迄の値は、値１１２に対応付けられている。従って、前述の例の絶対値１０３は、この例では１１２に丸められることになる。

図９は、端数処理を実行する差分圧縮部により生成された圧縮差分画像を格納するデータ構造の一例である。図８には、符号化中フレーム（符号化対象画像）から求めた１フレーム分の圧縮差分画像のデータ７５と、符号化対象画像を符号化する際に参照される参照元画像に対応する１フレーム分の圧縮差分画像のデータ７５とが示されている。ｄａｔａ（ｎ，ｍ）は、ｍ／４行のｎ／４番目のマクロブロックに対する圧縮差分画像データを示す。可変長符号化の場合には、各データｄａｔａ（ｎ，ｍ）の大きさが異なるので、各データｄａｔａ（ｎ，ｍ）を固定長のデータ格納領域内に格納し、余った部分は空白（ｇａｐ）状態とされている。ここで位置（ｘ，ｙ）は、ｙ行ｘ列目の画素の位置を示す。固定長のデータ格納領域を用意しているので、各データｄａｔａ（ｎ，ｍ）の先頭位置は、（０，０）、（４，０）、（８，０）等の固定位置となり、ランダムアクセスが可能となる。

図１０は、差分展開部２４の別の一例を示す図である。図１０において、図４と同一の構成要素は同一の番号で参照し、その説明は省略する。図１０に示す差分展開部２４は、図５に示す端数処理を実行する差分圧縮部２２と共に用いられてよい。図６に示すように所定のビット数のみ残すようにデータを丸めた場合、また図８に示すように丸め対象の値が大きくなると丸め前後での値の差が大きくなる場合、絶対値の大きいデータに対しては丸め誤差が大きくなる。このように誤差が大きいデータを多く含むような圧縮差分画像から復元した参照画像は品質が低いものとなり、予測符号化に用いる予測画像の候補としては好ましくない。図１０に示す差分展開部２４は、インター予測部１１により予測画像を選択する際に考慮するファクターの１つとして、劣化度を示すデータを生成するようになっている。

図１０の差分展開部２４は、復号部４１及び加算部４２に加え、更に劣化度生成部８１を含む。劣化度生成部８１は、復号部４１が復号する対象の圧縮差分画像のデータに対して、各画素毎に圧縮差分画像のデータの符号長に応じた劣化度を計算する。具体的には、符号長が短ければ劣化度が小さく、且つ、符号長が長ければ劣化度が大きいように、劣化度を計算してよい。前述の図５に示す差分圧縮部２２の符号化部３２で可変長符号化をする際に、出現頻度の高い値には短い符号長の符号が割り当てられ、出現頻度の低い値には長い符号長の符号が割り当てられる。ここで符号化部３２が符号化する対象は、差分画像を丸めた画像である。差分画像の性質から、値０近辺が出現頻度が最も高く、絶対値が大きくなると出現頻度が小さくなる。また前述の丸め処理の性質から、値０近辺が最も誤差が小さく、絶対値が大きくなると誤差が大きくなる。従って、符号化後の圧縮差分画像は、符号長が短ければ誤差が小さく、符号長が長ければ誤差が大きいことになる。このことから、前述のように、符号長が短ければ劣化度が小さく、且つ、符号長が長ければ劣化度が大きいように、劣化度を計算してよい。

例えば符号のビット長が所定の閾値以下の場合には劣化度を０とし、符号のビット長が所定の閾値より大きい場合には劣化度を０以上としてよい。この場合、符号のビット長に応じた値として、例えば“１”をビット長に等しい数だけ左シフトした数を劣化度として求めてよい。この計算処理において、例えば、シフト数に重み係数を掛けた数だけ左シフトしたり、シフト演算により得られた値に更に別の重み係数を掛けたりして、劣化度を求めてもよい。

図１１は、インター予測部１１の一例を示す図である。インター予測部１１は、差分絶対値和計算部９１、劣化度合計部９２、加算部９３、動きベクトル決定部９４、及び動き補償処理部９５を含む。差分絶対値和計算部９１は、参照画像中の探索領域内で、複数の動きベクトルに対して着目マクロブロックと参照画像中の対応位置の画像ブロックの間の差分絶対値和ＳＡＤ（Sum of Absolute Differences）を求める。差分絶対値和計算部９１は、動きベクトルの情報を動きベクトル決定部９４及び劣化度合計部９２に供給し、差分絶対値和ＳＡＤを加算部９３に供給する。劣化度合計部９２は、参照画像のそれぞれの画素に対応して差分展開部２４が求めた劣化度を受け取り、差分絶対値和計算部９１から指定された動きベクトルが示す位置でのマクロブロック内の劣化度の合計値を求める。劣化度合計部９２が求めた劣化度の合計値は、加算部９３に供給される。加算部９３は、差分絶対値和ＳＡＤと劣化度合計値とを加算し、対応する動きベクトルに対するコストを計算する。加算部９３が計算した加算値は、動きベクトル決定部９４に供給される。動きベクトル決定部９４は、複数の動きベクトルの中から、コストが最小となるような最適な動きベクトルを検出する。動き補償処理部９５は、検出した最適な動きベクトルに対応する参照画像中の位置の画像ブロックを抽出し、予測画像として出力する。

一般的には、予測画像が着目マクロブロックと最も類似した画像となるように動きベクトルを選択すれば、誤差画像の情報量が最も小さくなり、最終的にエントロピー符号化後のビットストリームの情報量が最も小さくなる。しかしながら、劣化度が大きい参照画像と着目マクロブロックとが偶然類似したとしても、丸め誤差によりもたらされた高い類似度には意味がない。そこで、参照画像と着目マクロブロックとの類似度だけではなく参照画像の劣化状態を示す劣化度も考慮して、劣化が少なく且つ類似度の高い参照画像部分を予測画像として選択する。即ち、参照画像中の劣化度が大きい画像部位は劣化度が小さい画像部位よりも、予測画像として適切ではないので、劣化度が大きい画像部位はコストが大きくなるようにする。これにより、ある画像部位は、その劣化度が大きい程、予測画像として選択する際の優先度が下げられる結果となり、適切な予測画像が選択される。このように、インター予測部１１は、劣化度に応じて参照画像中の劣化度が大きい画像部位の優先度を下げて参照画像中から画像部位を選択することになる。

なお図１１では、インター予測部１１の差分絶対値和計算部９１で差分絶対値和ＳＡＤを計算するとしたが、他の類似度の指標を計算するようにしてもよい。例えば、ＳＡＴＤ（Sum of Absolute Transformed Differences）や、ＳＳＤ（Sum of Squared Differences）を計算してもよい。この場合、これらの計算結果と劣化度合計値とが、加算部９３により加算されることになる。

図１２は、図１の動画像符号化装置を適用したシステムの一例を示す図である。図１２に示すシステムは、カメラ１０１、動画像符号化装置１０２、及び画像蓄積装置１０３を含む。カメラ１０１は、撮像対象の動画像を撮像し、動画像データをデジタルデータとして動画像符号化装置１０２に供給する。動画像符号化装置１０２は、図１に示される動画像符号化装置とフレームメモリ部２５とを含み、カメラ１０１から供給された動画像データをビットストリームに変換する。動画像符号化装置１０２が生成したビットストリームは、ハ―ドディスクやＤＶＤ（Digital Versatile Disk）等の画像蓄積装置１０３に格納される。

以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。

１１ インター予測部
１２ イントラ予測部
１３ 選択部
１４ 予測誤差演算部
１５ 変換部
１６ 量子化部
１７ 符号化部
１８ 逆量子化部
１９ 逆変換部
２０ 加算部
２１ フィルタ部
２２ 差分圧縮部
２３ 記憶部
２４ 差分展開部
２５ フレームメモリ部

Claims (4)

1. 参照画像と符号化対象画像の着目ブロックとから予測画像を生成する予測部と、
   前記予測画像と前記着目ブロックとから誤差画像を求める予測誤差演算部と、
   前記誤差画像と前記予測画像とに基づいてローカルデコード画像を生成する画像再構成部と、
   前記ローカルデコード画像と前記着目ブロックとの差分を求め圧縮することにより圧縮差分画像を生成する差分圧縮部と、
   前記圧縮差分画像を書き込むメモリと、
   前記メモリから読み出した前記圧縮差分画像を展開して得られる画像と、外部から取得した前記着目ブロックとを加算することにより、参照画像を生成する差分展開部と、
   を含むことを特徴とする動画像符号化装置。
2. 前記差分圧縮部は可変長符号化により前記圧縮を行ない、前記符号化対象画像の複数の着目ブロックに対応する複数の前記圧縮差分画像のデータを、データサイズを示す情報と共に前記メモリに格納することを特徴とする請求項１記載の動画像符号化装置。
3. 前記差分圧縮部は、前記ローカルデコード画像と前記着目ブロックとの差分を求め、該差分のデータを端数処理により丸め、丸め後の前記差分のデータを圧縮することにより前記圧縮差分画像を生成することを特徴とする請求項１又は２記載の動画像符号化装置。
4. 前記差分展開部は、前記圧縮差分画像を展開する際に前記圧縮差分画像の符号長に応じた劣化度データを生成し、前記予測部は、前記劣化度データに応じて前記参照画像中の劣化度が大きい画像部位の優先度を下げて前記参照画像中から画像部位を選択することにより前記予測画像を生成することを特徴とする請求項１乃至３何れか一項記載の動画像符号化装置。
   

Images