JP4480156B2

JP4480156B2 - 画像処理装置及び方法

Info

Publication number: JP4480156B2
Application number: JP2005026881A
Authority: JP
Inventors: 純牧野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-02-02
Filing date: 2005-02-02
Publication date: 2010-06-16
Anticipated expiration: 2025-02-02
Also published as: JP2006217180A; US20060171680A1; US7916785B2

Description

本発明は、画像データを圧縮して記録する装置及び方法に関するものであり、特にＭＰＥＧ４ｐａｒｔ−１０：ＡＶＣ（ＩＳＯ／ＩＥＣ１４４９６−１０、別名Ｈ．２６４）方式を用いて画像データを圧縮する装置及び方法に関する。

従来から、画像データを圧縮して記録する様々な方式が提案されている。そして、新たにＭＰＥＧ４ｐａｒｔ−１０：ＡＶＣ（ＩＳＯ／ＩＥＣ１４４９６−１０、別名Ｈ．２６４）方式が提案されている。（以下、Ｈ．２６４方式と呼ぶ。）
まずＨ．２６４方式の圧縮手順について、図７を用いて説明する。図７において、入力された画像データは、マクロブロックに分けられ、差分器７０１で予測値との差分を求め、変換器７０２で整数ＤＣＴ変換され、量子化器７０３で量子化され、その量子化されたデータは差分画像データとして７１５のエントロピー符号化に送られる。

他方、その量子化されたデータは、逆量子化器７０４で逆量子化され、逆変換器７０５で逆整数ＤＣＴ変換され、加算器７０６で予測値を加えて画像を復元する。復元画像は、一方でイントラ予測のためのフレームメモリ７０７に送られ、他方でデブロッキングフィルタ７０９に供給され、デブロッキングフィルター処理を行われた後、インター予測のためのフレームメモリ７１０に送られる。

フレームメモリ７０７に格納されているイントラ予測のための画像は、イントラ予測回路７０８でイントラ予測のために用いられる。なお、イントラ予測では、同一ピクチャ内で、既に符号化されたブロックの隣接画素の値を予測値として用いる。

フレームメモリ７１０に格納されているインター予測のための画像は、後述するように、複数のピクチャで構成される。その予測用のピクチャは、ｌｉｓｔ＿０とｌｉｓｔ＿１の二つのリストに分けられていて、インター予測回路７１１においてインター予測のために用いられる。

そして、予測後はメモリコントローラ７１３によって、フレームメモリ７１０内の画像が更新される。なお、インター予測では、フレームの異なる画像データに対して、動き検出器７１２において動き検出を実行し、最適な動きベクトルを求める。そして、最適動きベクトルを用いて予測画像が決定される。イントラ予測とインター予測の結果、最適な予測が７１４で選択され、イントラ予測モードまたは予測ベクトルが、エントロピー符号化器（例えば、可変長符号化器）７１５に供給され、差分画像データと共に符号化されて、出力ビットストリームが形成される。以上がＨ．２６４方式の圧縮手順の概要であるが、その内容については標準規格書に詳しく開示されている。また、Ｈ．２６４の圧縮手順について開示したその他の先行文献も存在する（例えば、特許文献１参照。）。

次に、Ｈ．２６４のインター予測について、図８から図１１を用いて詳細に説明する。Ｈ．２６４のインター予測では、複数のピクチャを予測に用いることができる。このため参照ピクチャを特定するためにリストを２つ（Ｌｉｓｔ＿０及びＬｉｓｔ＿１）用意して、各リストには最大５枚の参照ピクチャを割り当てられるようにしている。

ＰピクチャではＬｉｓｔ＿０のみを使用して、主に前方向予測を行う。ＢピクチャではＬｉｓｔ＿０及びＬｉｓｔ＿１を用いて、双方向予測（または前方あるいは後方のみの予測）を行う。すなわち、Ｌｉｓｔ＿０には主に前方向予測のためのピクチャが割り当てられ、Ｌｉｓｔ＿１には主に後方向予測のためのピクチャが収められる。

ここで符号化の際の参照リストの例を図８に示す。図８において、８０１は表示順に並べた画像データを示し、四角の中にはピクチャの種類と表示順を示す番号を記入してある。Ｉ１５は表示順が１５番目のＩピクチャであり、イントラ予測のみを行う。Ｐ１８は表示順が１８番目のＰピクチャであり、前方向予測のみを行う。Ｂ１６は表示順が１６番目のＢピクチャであり、双方向予測を行う。符号化を行う順序は表示順序と異なり、予測を行う順に符号化を行う。すなわち、図では、Ｉ１５，Ｐ１８，Ｂ１６，Ｂ１７，Ｐ２１，Ｂ１９，Ｂ２０，，といった順になる。８０２は参照リスト（Ｌｉｓｔ＿０）を示し、一旦符号化され復号化されたピクチャが収められている。例えば、Ｐ２１のピクチャ（表示順が２１番目のピクチャで、Ｐピクチャ）でインター予測を行う場合、リスト内の既に符号化が終わって復号化されたピクチャを参照する。この例では、Ｐ０６，Ｐ０９，Ｐ１２，Ｉ１５，Ｐ１８がリストに収められている。インター予測では、マクロブロック毎に、このリスト中の参照ピクチャ内から最適な予測値をもつ動きベクトルを求め、符号化する。リスト内のピクチャは、参照ピクチャ番号が順に与えられ、区別される（図示した番号とは別に与えられる）。

Ｐ２１の符号化が終わると、こんどは新たにＰ２１が復号化され参照リストに追加される。参照リストからは、最も古い参照ピクチャ（ここではＰ０６）がリストから除去される。符号化はこの後Ｂ１９，Ｂ２０と行われ、Ｐ２４へと続く。この時の参照リストの様子を図９に示す。

さらに、図１０は、参照リストの変化の様子を、各ピクチャ毎に示している。図１０において、符号化されるピクチャ順に上から下へと、符号化中のピクチャとＬｉｓｔ＿０及びＬｉｓｔ＿１の内容を示している。

図１０の様に、Ｐピクチャ（またはＩピクチャ）が符号化されると、参照リストが更新され、リスト中の最も古いピクチャが除去されることになる。この例ではＬｉｓｔ＿１は１つのピクチャしか持っていないが、これは後方参照を多くすると復号までのバッファ量が増えてしまうため、あまり離れた後方ピクチャの参照を避けたためである。

ここで挙げた例は、参照に用いるピクチャは、Ｉ及びＰピクチャとし、Ｉ及びＰピクチャは全て参照リストに順次加えている。

また、Ｌｉｓｔ＿１では後方予測に使うピクチャは１ピクチャだけとしている。ただし、これは通常最もよく用いられるであろうピクチャの構成で、最も良く使用されるであろう一例に過ぎず、Ｈ．２６４自体は、参照リストの構成により高い自由度を持っている。例えば、全てのＩ及びＰピクチャを参照リストに加える必要は無く、またＢピクチャを参照に加えることも可能である。さらに、明示的に指示されるまで参照リストにとどまる長期参照リストも定義されている。図１１にはＰ２４のピクチャを、参照リストに使用しなかった場合の、参照リストの変化の様子を示している。

尚、図１２は、Ｈ２６４のインター予測では１６ｘ１６画素のマクロブロックをさらに細かいマクロブロック・パーティションに分割することができる様子を示している。分割したマクロブロック・パーティションは、それぞれに独立した参照ピクチャを参照し、動きベクトルを求めることができる。さらに、８ｘ８のマクロブロック・パーティションについては、より細かいサブ・マクロブロック・パーティションに分割することができる。各サブ・マクロブロック・パーティションは、同一の参照ピクチャを参照するが、動きベクトルは独立して求められる。尚、上記特許文献１の図２７にも、このように動き補償のブロックサイズを可変できる構成が開示されている。
特開２００５−５８４４号公報

しかしながら、Ｈ．２６４の規格では、参照リストの構成、更新方法などを定義しているものの、どの参照ピクチャをいつ更新するかについては定められていない。このため参照リストの中で、参照されている頻度が高いピクチャであっても、単に古いピクチャであるという理由だけで更新の際に削除されてしまう可能性がある。

例えば、図１３に示す様に、Ｐ２１のピクチャを符号化する際、参照リスト中のＰ０９ピクチャに異常があり（例えば、フラッシュ撮影された画像であった場合）、ほとんど予測に使われず、それより古いＰ０６ピクチャの方が、より多く参照されている場合であっても、通常はリストの更新の際に最も古いＰ０６が削除され、参照されにくいＰ０９が残っていた。この場合、実質的に参照されるピクチャの数が参照リスト中に少なくなってしまい、符号化効率を最大に高めることができないという不都合がある。

本発明は上述の問題点に鑑みてなされたものであり、符号化効率をより高めることができる符号化方法及び装置を提供するものである。

上記課題を解決するために、本発明による画像処理装置は、異なるフレームの画像データを参照ピクチャとして予測符号化を行う画像処理装置であって、既に符号化されたフレームの復元画像を参照ピクチャとして、当該参照ピクチャのデータを複数フレーム分記憶可能なメモリ手段と、前記メモリ手段に記憶された複数の参照ピクチャを選択的に使用して、符号化対象ブロックの動き補償予測を行う予測手段と、前記メモリ手段に記憶された前記参照ピクチャの更新を制御するメモリ制御手段と、前記メモリ手段に記憶された各参照ピクチャが前記予測手段による動き補償予測に使用された回数を計測するカウンタ手段とを備え、前記メモリ制御手段は、前記カウンタ手段の計測結果に基づいて、前記予測手段による動き補償予測に使用された回数が所定回数以上である参照ピクチャを選択して、当該選択された参照ピクチャの属性を短期参照ピクチャから長期参照ピクチャへ変更することを特徴とする。

また、本発明による画像処理方法は、異なるフレームの画像データを参照ピクチャとして予測符号化を行う画像処理方法であって、既に符号化されたフレームの復元画像を参照ピクチャとして、当該参照ピクチャのデータを複数フレーム分記憶する記憶工程と、前記記憶工程において記憶された複数の参照ピクチャを選択的に使用して、符号化対象ブロックの動き補償予測を行う予測工程と、前記記憶工程において記憶された前記参照ピクチャの更新を制御するメモリ制御工程と、前記記憶工程において記憶された各参照ピクチャが前記予測工程における動き補償予測に使用された回数を計測する計測工程とを備え、前記メモリ制御工程では、前記計測工程における計測結果に基づいて、前記予測工程における動き補償予測に使用された回数が所定回数以上である参照ピクチャを選択して、当該選択された参照ピクチャの属性を短期参照ピクチャから長期参照ピクチャへ変更することを特徴とする。

さらなる本発明の特徴は、以下本発明を実施するための最良の形態および添付図面によって明らかになるものである。

本発明によれば、参照回数を計測し、それに応じて参照リストを更新することで、参照回数の多いピクチャが参照リストに残り、インター予測符号化の効率が向上する。

＜第１の実施形態＞
まず、本発明による圧縮手順について、図１から図４を用いて説明する。図１は本実施形態における圧縮符号化装置のブロック図であり、Ｈ．２６４方式に基づいて画像データの圧縮符号化を行う。

図１において、画像データは、マクロブロックに分割されて入力され、差分器１０１で予測値との差分が求められる。この差分画像は、変換器１０２で整数ＤＣＴ変換され、整数ＤＣＴ変換係数が得られる。整数ＤＣＴ変換係数は、量子化器１０３で量子化され、一方は差分画像データとしてエントロピー符号化１１５に送られる。さらに、量子化データは、逆量子化器１０４にも供給され、逆量子化されて整数ＤＣＴ係数を再度取得する。この係数は、逆変換器１０５において逆整数ＤＣＴ変換されて上述の差分画像が得られる。そして、この差分画像は加算器１０６によって、予測値が加算され、画像が復元される。復元画像は、一方でイントラ予測のためのフレームメモリ１０７に送られ、他方でデブロッキングフィルタ１０９によってデブロッキングフィルター処理が実行された後、インター予測のためのフレームメモリ１１０に供給される。

イントラ予測用フレームメモリ１０７内に格納されている画像は、イントラ予測回路１０８で使用される。イントラ予測では、同一ピクチャ内で、既に符号化されたブロックの隣接画素の値を予測値として用いる。

インター予測用フレームメモリ１１０内に格納されている画像は、後述するように、複数のピクチャで構成され、そのピクチャがｌｉｓｔ＿０とｌｉｓｔ＿１の二つの参照リストに分けられて、インター予測回路１１１で使用される。

予測処理後は、メモリーコントローラー１１３によって、参照リスト内のピクチャが更新される。

インター予測回路１１１では、フレームの異なる画像データに対して、動き検出器１１２において求められた最適な動きベクトルを用いて予測画像を決定する。イントラ予測とインター予測の結果、最適な予測が切換回路１１４で選択される。また、予測モード（イントラモード又はインターモード）または予測ベクトルが、エントロピー符号化回路１１５に送られ、これらは差分画像データと共に符号化されて出力ビットストリームが形成される。

１１６はアクセスカウンターであり、インター予測用フレームメモリ１１０内の各参照ピクチャについて、動きベクトルが振り分けられた回数を計測する。アクセスカウンター１１６の内容は、メモリーコントローラー１１３によるピクチャの更新の際に利用される。

第１の実施形態では、参照リストの更新を、各参照ピクチャが予測に使用された回数をアクセスカウンターにより計測し、その結果、最もアクセス頻度の少なかったピクチャを除去し、新たなピクチャを追加することで行うようにしている。

この参照リスト更新の手順を図２のフローチャートをもちいて説明する。このフローチャートの動作は、図１のブロック図中において図示しないＣＰＵ等によって制御されている。

図２において、ステップＳ２０２では、最初にインター予測を行うマクロブロックを選択される。そして、ステップＳ２０３で、各参照ピクチャに対して動き検出を行い、インター予測が実行される。

ステップＳ２０４では、インター予測の結果どのピクチャを参照するかを決定し、ステップＳ２０５においてそのピクチャに対応するアクセスカウンタをカウントする。

ステップＳ２０６では、全てのマクロブロックに対してインター予測処理及び予測ピクチャカウント処理が行われたかを判断し、終了していれば処理はステップＳ２０７に移行し、終了していなければ処理はステップＳ２０２に戻り、次のマクロブロックについて同様の処理を実行する。

ステップＳ２０７では、全てのマクロブロックについてインター予測が終了した後、アクセスカウンターのカウンター値をチェックする。ステップＳ２０８では、そのカウンタ値に基づいて、参照数が最も低かった参照ピクチャを更新の際削除するピクチャに決定する。

そして、ステップＳ２０９では、ステップＳ２０８で決定した参照ピクチャをＬｉｓｔ＿０から削除し、新たなピクチャをリストに追加することによって、参照リストの更新が行われる。

ここで、参照ピクチャのカウントの具体例について説明する。

Ｈ．２６４で採用しているように、１つのマクロブロックはマクロブロック・パーティションに分割される。各分割マクロブロック・パーティションについての参照ピクチャは、それぞれ異なる場合がある。この場合、参照ピクチャのカウントは、分割したマクロブロック・パーティションの面積に応じて行えばよい。

図３に示したように、画像３０１のインター予測で、参照ピクチャ３０２，３０３，３０４が参照リストにある場合で、マクロブロック３０５を、８ｘ１６に分割し、さらにその一方を８ｘ８ブロックに分割して予測したときを例に挙げて説明する。

例えば、８ｘ１６のマクロブロック・パーティション３０６は、参照ピクチャ３０２から、動きベクトル３０７で予測を行い、８ｘ８のマクロブロック３０８は、参照ピクチャ３０３から、動きベクトル３０９で予測を行い、また、８ｘ８のマクロブロック３１０は、参照ピクチャ３０４から動きベクトル３１１で予測を行ったとする。この場合、各参照ピクチャにカウントする数は、参照ピクチャ３０２について０．５、参照ピクチャ３０３について０．２５、参照ピクチャ３０４については０．２５と、カウントすればよい。あるいは、８ｘ８マクロブロック・パーティションを基準にして、カウント数を、参照ピクチャ３０２については２、参照ピクチャ３０３については１、参照ピクチャ３０４については１としても良い。続いて、第１の実施形態において、参照ピクチャの更新がどのように実行されるかについて図４を用いて説明する。

図４では、ピクチャＰ２４のインター予測が行われるまでは、結果として最も古い参照ピクチャが削除されている。つまり、ピクチャＰ２１がインター予測されたときには、参照ピクチャＰ０６が一番参照頻度が少ないものであったため、それがＬｉｓｔ＿０から削除されている。

さらに、図４は、ピクチャＰ２４のインター予測が行われた後において、参照ピクチャの参照頻度をアクセスカウンターでチェックした結果、Ｐ１２に対する参照が最も少なかった場合を示している。

Ｐ１２の参照頻度が最も少なかったことから、Ｐ２４のインター予測後の参照ピクチャの更新では、参照リスト中の最も古いピクチャであるＰ０９ではなく、Ｐ１２がリストから削除され、符号化の終了したＰ２４が新たな参照ピクチャに加えられている。

このように、第１の実施形態では、参照リストの更新を、各参照ピクチャが予測に使用された回数をアクセスカウンターにより計測し、その結果、最もアクセス頻度の少なかったピクチャを除去し、新たなピクチャ（予測が完了したピクチャ）を追加することにより、常に最適な参照リストを維持することができ、効率的なインター予測によって圧縮符号化効率を向上させている。

＜第２の実施形態＞
図５及び図６を用いて、第２の実施形態について説明する。第２の実施形態に係る圧縮符号化装置の構成は、第１の実施形態に係るそれと同様であるので、詳細な説明は割愛する。

第２の実施形態が第１の実施形態と異なる点は、参照リストの更新の際、各参照ピクチャが予測に使用された回数をアクセスカウンターにより計測し、その結果、アクセス回数が特に多い参照ピクチャを、長期参照ピクチャに変更することにある。

第２の実施形態に係る処理について、図５のフローチャートを用いて説明する。

図５において、ステップＳ５０２では、最初にインター予測を行うマクロブロックを選択される。そして、ステップＳ５０３で、各参照ピクチャに対して動き検出を行い、インター予測が実行される。

ステップＳ５０４では、インター予測の結果どのピクチャを参照するかを決定し、ステップＳ５０５においてそのピクチャに対応するアクセスカウンタをカウントする。

ステップＳ５０６では、全てのマクロブロックに対してインター予測処理及び予測ピクチャカウント処理が行われたかを判断し、終了していれば処理はステップＳ５０７に移行し、終了していなければ処理はステップＳ５０２に戻り、次のマクロブロックについて同様の処理を実行する。

ステップＳ５０７では、全てのマクロブロックについてインター予測が終了した後、アクセスカウンターのカウンター値をチェックする。

ステップＳ５０８では、Ｌｉｓｔ＿０の参照ピクチャの中で、参照頻度が所定回数以上のものがあるかを判定し、所定回数以上のピクチャがある場合には、処理はステップＳ５０９に移行し、所定回数以上のピクチャがない場合には処理はステップＳ５１０に移行する。

ステップＳ５０９では、該当する参照ピクチャについて、その属性を短期参照ピクチャから長期参照ピクチャに設定変更する。このようにすることにより、特定のピクチャが時間的に古いものであったとしても参照頻度が多いという特殊な場合にも対処し、圧縮効率を良くすることができる。

ステップＳ５１０では、ステップＳ５０７でチェックされたカウンタ値に基づいて、参照数が最も低かった参照ピクチャを更新の際削除するピクチャに決定する。そして、新たなピクチャをＬｉｓｔ＿０に追加する。

尚、長期参照ピクチャについて、その後の参照頻度を引き続きアクセスカウンターで計測し、一定数より参照頻度が減少したら、その長期参照ピクチャを、参照リストの更新の際に削除対象とすればよい。また、シーンチェンジがあった場合には、長期参照ピクチャといえども強制的に更新の際の削除対象とするようにしてもよい。

図６は、第２の実施形態において、参照ピクチャの更新がどのようにされるかを示す概念図である。

図６において、ピクチャＰ２４のインター予測が行われたあと、参照ピクチャの参照頻度をアクセスカウンターでチェックした結果、Ｉ１５に対する参照頻度が特に多かった場合を示している。

まず、図６では、ピクチャＰ２４のインター予測が行われるまでは、結果として最も古い参照ピクチャが削除されている。つまり、ピクチャＰ２１がインター予測されたときには、参照ピクチャＰ０６が一番参照頻度が少ないものであったため、それがＬｉｓｔ＿０から削除されている。

さらに、図４では、ピクチャＰ２４のインター予測が行われた場合、Ｉ１５の参照頻度が特に多かった（すなわち所定の回数以上参照された）ことから、Ｐ２４のインター予測後の参照ピクチャの更新では、Ｉ１５を新たに長期参照ピクチャに指定し（図中の斜線部）、参照リスト中の最も古いピクチャであるＰ０９がリストから削除され、符号化の終了したＰ２４が新たな参照ピクチャに加えられている。

このように、第２の実施形態では、参照リストの更新の際、各参照ピクチャが予測に使用された回数をアクセスカウンターにより計測し、その結果、アクセス回数が特に多い参照ピクチャを長期参照ピクチャに変更することにより、常に最適な参照リストを維持することができ、効率的なインター予測によって圧縮符号化効率を向上させている。

＜その他の実施形態＞
本発明では、実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれている。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含む。

また、上記実施の形態の機能を実現するソフトウェアのプログラムコードがネットワークを介して配信されることにより、システム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納され、そのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行することによっても、達成されることは云うまでもない。

本発明による第１の実施形態に係る圧縮符号化装置の構成を示すブロック図である。第１の実施形態に係る動作を説明するためのフローチャートである。マクロブロック・パーティションの取り扱いの例を示す図である。第１の実施形態の参照リスト更新の様子を示す図である。第２の実施形態に係る動作を説明するためのフローチャートである。第２の実施形態の参照リスト更新の様子を示す図である。Ｈ２６４方式に準拠した一般的な圧縮符号化装置の構成を示すブロック図である。従来の参照リスト１を説明するための図である。従来の参照リスト２を説明するための図である。通常の参照リストの更新の様子を示す図である。従来の参照リストの更新の例を示す図である。一般的なマクロブロック・パーティションを示す図である。従来の参照リストの更新の例を示す概念図である。

Claims

異なるフレームの画像データを参照ピクチャとして予測符号化を行う画像処理装置であって、
既に符号化されたフレームの復元画像を参照ピクチャとして、当該参照ピクチャのデータを複数フレーム分記憶可能なメモリ手段と、
前記メモリ手段に記憶された複数の参照ピクチャを選択的に使用して、符号化対象ブロックの動き補償予測を行う予測手段と、
前記メモリ手段に記憶された前記参照ピクチャの更新を制御するメモリ制御手段と、
前記メモリ手段に記憶された各参照ピクチャが前記予測手段による動き補償予測に使用された回数を計測するカウンタ手段とを備え、
前記メモリ制御手段は、前記カウンタ手段の計測結果に基づいて、前記予測手段による動き補償予測に使用された回数が所定回数以上である参照ピクチャを選択して、当該選択された参照ピクチャの属性を短期参照ピクチャから長期参照ピクチャへ変更することを特徴とする画像処理装置。
前記メモリ制御手段は、前記属性を変更した参照ピクチャの前記動き補償予測に使用される頻度が一定数より減少したならば、当該属性を変更した参照ピクチャを削除することを特徴とする請求項１に記載の画像処理装置。
前記カウンタ手段は、参照するマクロブロック単位で使用回数を計測することを特徴とする請求項１または２に記載の画像処理装置。
前記カウンタ手段は、前記参照するマクロブロックがさらに細分化されて参照される場合、マクロブロックの細分化されたサイズに応じた値をカウントに用いることを特徴とする請求項３に記載の画像処理装置。
前記メモリ制御手段は、シーンチェンジがあった場合には、前記属性を変更した参照ピクチャを削除することを特徴とする請求項１に記載の画像処理装置。
異なるフレームの画像データを参照ピクチャとして予測符号化を行う画像処理方法であって、
既に符号化されたフレームの復元画像を参照ピクチャとして、当該参照ピクチャのデータを複数フレーム分記憶する記憶工程と、
前記記憶工程において記憶された複数の参照ピクチャを選択的に使用して、符号化対象ブロックの動き補償予測を行う予測工程と、
前記記憶工程において記憶された前記参照ピクチャの更新を制御するメモリ制御工程と、
前記記憶工程において記憶された各参照ピクチャが前記予測工程における動き補償予測に使用された回数を計測する計測工程とを備え、
前記メモリ制御工程では、前記計測工程における計測結果に基づいて、前記予測工程における動き補償予測に使用された回数が所定回数以上である参照ピクチャを選択して、当該選択された参照ピクチャの属性を短期参照ピクチャから長期参照ピクチャへ変更することを特徴とする画像処理方法。
前記メモリ制御工程では、前記属性を変更した参照ピクチャの前記動き補償予測に使用される頻度が一定数より減少したならば、当該属性を変更した参照ピクチャを削除することを特徴とする請求項６に記載の画像処理方法。
前記計測工程では、参照するマクロブロック単位で使用回数を計測することを特徴とする請求項６または７に記載の画像処理方法。
前記計測工程では、前記参照するマクロブロックがさらに細分化されて参照される場合、マクロブロックの細分化されたサイズに応じた値を計測に用いることを特徴とする請求項８に記載の画像処理方法。
前記メモリ制御工程では、シーンチェンジがあった場合には、前記属性を変更した参照ピクチャを削除することを特徴とする請求項６に記載の画像処理方法。