JP4596975B2

JP4596975B2 - 画像符号化方法、及び画像処理装置

Info

Publication number: JP4596975B2
Application number: JP2005145794A
Authority: JP
Inventors: 純牧野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-05-18
Filing date: 2005-05-18
Publication date: 2010-12-15
Anticipated expiration: 2025-05-18
Also published as: JP2006324905A

Description

本発明は、画像符号化方法、及び画像処理装置に関し、特に、画像データを圧縮するために用いて好適なものである。

従来から、画像データを圧縮して記録する様々な方式が提案されている。そして、新たにMPEG4 part-10:AVC（ISO/IEC 14496-10、別名H.264）方式が提案されている（以下、この方式をH.264方式と呼ぶ）。
H.264方式の圧縮手順について、図８を用いて説明する。なお、H.264の詳細については非特許文献１に詳述されている通りである。

図８は、H.264方式で画像データを圧縮する画像処理装置の構成を示す図である。
図８において、入力された画像データは、マクロブロックに分けられ、減算部７０１に送られる。減算部７０１は、画像データと予測値との差分を求めて、整数DCT（Discrete Cosine Transform）変換部７０２に出力する。整数DCT変換部７０２は、入力したデータを整数DCT変換して量子化部７０３に出力する。量子化部７０３は、入力したデータを量子化する。量子化されたデータの一方は、差分画像データとしてエントロピー符号化部７１５に送られる。もう一方は、逆量子化部７０４で逆量子化された後、逆整数DCT変換部７０５で逆整数DCT変換される。逆整数DCT変換されたデータは、加算部７０６で予測値が加えられる。これにより、画像が復元される。

復元された画像の一方は、イントラ（フレーム内）予測のためのフレームメモリ７０７に送られる。他方は、デブロッキングフィルター７０９でデブロッキングフィルター処理が行われた後、インター（フレーム間）予測のためのフレームメモリ７１０に送られる。イントラ予測のためのフレームメモリ７０７内の画像は、イントラ予測部７０８でのイントラ予測で使用される。このイントラ予測では、同一ピクチャ内で、既に符号化されたブロックの隣接画素の値を予測値として用いる。

インター予測のためのフレームメモリ７１０内の画像は、後述するように、複数のピクチャで構成される。これら複数のピクチャは、「list 0」と「list 1」の２つのリストに分けられる。２つのリストに分けられた複数のピクチャは、インター予測部７１１でのインター予測で使用される。インター予測がなされた後に、メモリーコントローラー７１３によって、内部の画像が更新される。インター予測部７１１で行われるインター予測では、フレームの異なる画像データに対して動き検出部７１２で行われた動き検出の結果に基づく最適な動きベクトルを用いて、予測画像を決定する。

イントラ予測とインター予測の結果、最適な予測が選択部７１４で選択される。また、前記動きベクトルは、エントロピー符号化部７１５に送られ、前記差分画像データと共に符号化される。こうして出力ビットストリームが形成される。

ここで、H.264方式のインター予測について、図９から図１２を用いて詳細に説明する。
H.264方式のインター予測では、複数のピクチャを予測に用いることができる。このため、参照ピクチャを特定するためにリストを２つ（「List 0」及び「List 1」）用意する。各リストには最大５枚の参照ピクチャが割り当てられるようにしている。

Ｐピクチャでは「List 0」のみを使用して、主に前方向予測を行う。Ｂピクチャでは「List 0」及び「List 1」を用いて、双方向予測（または前方あるいは後方のみの予測）を行う。すなわち、「List 0」には主に前方向予測のためのピクチャが割り当てられ、「List 1」には主に後方向予測のためのピクチャが収められる。

図９に、符号化の際に使用される参照リストの例を示す。ここでは、Ｉピクチャ、Ｐピクチャ及びＢピクチャの割合が、標準的な場合を例に挙げて説明する。すなわち、Ｉピクチャが１５フレーム間隔、Ｐピクチャが３フレーム間隔、その間のＢピクチャが２フレームである場合で説明する。図９において、８０１は、表示順に並べた画像データを示す。画像データ８０１の四角の中にはピクチャの種類と表示順を示す番号を記入してある。例えば、ピクチャＩ１５は表示順が１５番目のＩピクチャであり、イントラ予測のみを行う。ピクチャＰ１８は表示順が１８番目のＰピクチャであり、前方向予測のみを行う。ピクチャＢ１６は表示順が１６番目のＢピクチャであり、双方向予測を行う。

符号化を行う順序は表示順序と異なり、予測を行う順となる。すなわち、図９では、符号化を行う順序は、「Ｉ１５、Ｐ１８、Ｂ１６、Ｂ１７、Ｐ２１、Ｂ１９、Ｂ２０、・・・」となる。
また、図９において、８０２は、参照リスト（List 0）を示す。この参照リスト（List 0）８０２には、一旦符号化され復号化されたピクチャが収められている。例えば、ピクチャＰ２１（表示順が２１番目のＰピクチャ）でインター予測を行う場合、参照リスト（List 0）８０２内の既に符号化が終わって復号化されたピクチャを参照する。図９に示す例では、ピクチャＰ０６、Ｐ０９、Ｐ１２、Ｉ１５、Ｐ１８が参照リスト８０２に収められている。

インター予測では、マクロブロック毎に、この参照リスト（List 0）８０２中の参照ピクチャ内から最適な予測値をもつ動きベクトルを求め、符号化する。参照リスト（List 0）８０２内のピクチャは、参照ピクチャ番号が順に与えられ、区別される（図示した番号とは別に与えられる）。
ピクチャＰ２１の符号化が終わると、こんどは新たにピクチャＰ２１が復号化され参照リスト（List 0）８０２に追加される。参照リスト（List 0）８０２から、最も古い参照ピクチャ（ここではピクチャＰ０６）が除去される。この後符号化は、ピクチャＢ１９、Ｂ２０と行われ、ピクチャＰ２４へと続く。このときの参照リスト（List 0）８０２の様子を図１０に示す。

図１１に、参照リストの変化の様子をピクチャ毎に示す。
図１１では、上から順番にピクチャが符号化されるようにしている。また、符号化中のピクチャと、その符号化中のピクチャに対する参照リスト（List 0及びList 1）の内容を示している。図１１に示す様に、Ｐピクチャ（またはＩピクチャ）が符号化されると、参照リスト（List 0及びList 1）が更新され、参照リスト（List 0及びList 1）中の最も古いピクチャが除去される。この例では、参照リスト（List 1）は１つのピクチャしか持っていない。これは、後方向予測のために参照するピクチャの数を多くすると、復号までのバッファ量が増えてしまうためである。すなわち、符号化中のピクチャとあまりに離れたところにある後方のピクチャの参照を避けたためである。

ここで挙げた例では、参照に用いるピクチャを、Ｉピクチャ及びＰピクチャとし、Ｉピクチャ及びＰピクチャの全てを参照リスト（List 0及びList 1）に順次加えている。また、後方向予測のために参照リスト（List 1）で使うピクチャはＩピクチャだけとした。以上のようにしたのは、通常最もよく用いられるであろうピクチャの構成であるからである。ただし、このような参照リストにおけるピクチャの構成は、最も良く使用されるであろう一例に過ぎず、H.264自体は、参照リストの構成に、より高い自由度を持っている。

例えば、Ｉピクチャ及びＰピクチャの全てを参照リストに加える必要は無く、またＢピクチャを参照リストに加えることも可能である。また明示的に指示されるまで参照リストにとどまる長期参照リストも定義されている。図１２に、Ｂピクチャを参照リストに加える場合の参照リストの変化の様子を示す。Ｂピクチャを参照リストに加える場合、通常、全てのＢピクチャを符号化する度に、符号化したピクチャを参照リストに追加することが考えられる。

ISO/IEC 14496-10,"Advanced Video Coding"

H.264の規格では、Ｂピクチャを参照リストに加えることで、インター予測の精度の向上を図っている。しかしながら、通常の考え方で、全てのＢピクチャを参照リストに加える場合、必ずしもインター予測の精度が向上していなかった。これは、ＩピクチャまたはＰピクチャの間にあるＢピクチャが複数枚ある場合、参照リスト中のピクチャのほとんどがＢピクチャになってしまうからである。特にＩピクチャまたはＰピクチャを符号化する際の参照リストは、ＩピクチャまたはＰピクチャは１枚のみで、それ以外はＢピクチャとなってしまう。

すなわち、図１２に示した様に、ＩピクチャとＰピクチャとの間のＢピクチャが２枚である構成で、全てのＢピクチャを参照リストに加える場合、Ｐピクチャが参照するのは、参照リスト（List 0）にあるピクチャである。このため、１枚のＰピクチャと４枚のＢピクチャを参照することになる。例えば、ピクチャＰ２４が参照するのは、ピクチャＢ２０、Ｂ１９、Ｐ２１、Ｂ１７、Ｂ１６である。これと、Ｂピクチャを参照リストに加えなかった図１１に示した例と比べてみる。

図１１に示した例では、ピクチャＰ２４は、ピクチャＰ２１、Ｐ１８、Ｉ１５、Ｐ１２、Ｐ０９を参照している。すなわち、Ｂピクチャを全て参照リストに加えた図１２に示した例では、参照できるＰピクチャの数が少ない。通常、ＢピクチャはＩピクチャまたはＰピクチャよりも劣化を許容する場合が多く、参照するには不利である。

また、参照しているピクチャの時間間隔も、図１１に示した例では、ピクチャＰ０９からピクチャＰ２１までとなり、１２フレーム分ある。これに対し、図１２に示した例では、ピクチャＢ１６からピクチャＰ２１までの６フレーム分と狭いものとなっている。このため、参照できる画像の選択幅が少ないと考えられる。
このように、全てのＢピクチャを参照リストに加えた場合、必ずしもインター予測の精度が向上せず、圧縮効率も改善されなかった。

本発明は、前述の問題点に鑑みてなされたものであり、インター予測の精度を向上させることを目的とする。

本発明の画像処理方法は、メモリにデータとして記憶された複数枚のピクチャを参照ピクチャとして参照し、参照した結果に基づいて、画像データを構成するピクチャの符号化を行う画像符号化方法であって、前記画像データは、ピクチャ間のインター予測を行わないＩピクチャ、前方向のインター予測を行うＰピクチャ、及び双方向のインター予測を行うＢピクチャを含み、前記Ｉピクチャまたは前記Ｐピクチャから次の前記Ｐピクチャまでの間に、前記Ｂピクチャが複数枚存在するものであり、前記Ｐピクチャまたは前記Ｂピクチャを符号化する際に参照される参照ピクチャを複数枚保存する第１の参照リストと、前記Ｂピクチャを符号化する際にのみ参照される参照ピクチャを複数枚保存する第２の参照リストとに、前記メモリに記憶される複数枚の参照ピクチャを分類して管理する管理ステップと、前記Ｉピクチャまたは前記Ｐピクチャから次の前記Ｐピクチャまでの間に存在する複数枚のＢピクチャのうち、所定の一部のＢピクチャを選択する選択ステップと、前記Ｉピクチャまたは前記Ｐピクチャの符号化が行われた場合には、当該ＩピクチャまたはＰピクチャの復元画像を新たな参照ピクチャとして前記第１及び第２の参照リストの両方に追加して、前記第１及び第２の参照リストの更新を行い、前記Ｂピクチャの符号化が行われた場合には、前記選択ステップで選択されたＢピクチャの復元画像のみを新たな参照ピクチャとして少なくとも前記第１の参照リストに追加して、少なくとも前記第１の参照リストの更新を行う更新ステップとを有することを特徴とする。

本発明の画像処理装置は、メモリにデータとして記憶された複数枚のピクチャを参照ピクチャとして参照し、参照した結果に基づいて、画像データを構成するピクチャの符号化を行う画像処理装置であって、前記画像データは、ピクチャ間のインター予測を行わないＩピクチャ、前方向のインター予測を行うＰピクチャ、及び双方向のインター予測を行うＢピクチャを含み、前記Ｉピクチャまたは前記Ｐピクチャから次の前記Ｐピクチャまでの間に、前記Ｂピクチャが複数枚存在するものであり、前記Ｐピクチャまたは前記Ｂピクチャを符号化する際に参照される参照ピクチャを複数枚保存する第１の参照リストと、前記Ｂピクチャを符号化する際にのみ参照される参照ピクチャを複数枚保存する第２の参照リストとに、前記メモリに記憶される複数枚の参照ピクチャを分類して管理する管理手段と、前記Ｉピクチャまたは前記Ｐピクチャから次の前記Ｐピクチャまでの間に存在する複数枚のＢピクチャのうち、所定の一部のＢピクチャを選択する選択手段と、前記Ｉピクチャまたは前記Ｐピクチャの符号化が行われた場合には、当該ＩピクチャまたはＰピクチャの復元画像を新たな参照ピクチャとして前記第１及び第２の参照リストの両方に追加して、前記第１及び第２の参照リストの更新を行い、前記Ｂピクチャの符号化が行われた場合には、前記選択手段により選択されたＢピクチャの復元画像のみを新たな参照ピクチャとして少なくとも前記第１の参照リストに追加して、少なくとも前記第１の参照リストの更新を行う更新手段とを有することを特徴とする。

本発明によれば、ＩピクチャまたはＰピクチャから次の前記Ｐピクチャまでの間にあるＢピクチャが複数枚ある場合、Ｂピクチャのうち一部のＢピクチャの復元画像のみを参照ピクチャとしたので、参照ピクチャとするＩピクチャまたはＰピクチャの数を増やすことが可能になると共に、参照ピクチャの時間間隔を広げることが可能になる。これにより、インター予測の精度を向上させることが可能になる。

（第１の実施形態）
次に、図面を参照しながら、本発明の第１の実施形態について説明する。
図１は、本実施形態の画像処理装置の構成の一例を示したブロック図である。
図１において、入力された画像データは、マクロブロックに分けられ、減算部１０１に送られる。減算部１０１は、画像データと予測値との差分を求めて、整数DCT変換部１０２に出力する。整数DCT変換部１０２は、入力したデータを整数DCT変換して量子化部１０３に出力する。量子化部１０３は、入力したデータを量子化する。量子化されたデータの一方は、差分画像データとしてエントロピー符号化部１１５に送られる。もう一方は、逆量子化部１０４で逆量子化された後、逆整数DCT変換部１０５で逆整数DCT変換される。逆整数DCT変換されたデータは、加算部１０６で予測値が加えられる。これにより、画像が復元される。

復元された画像の一方は、イントラ予測のためのフレームメモリ１０７に送られる。他方は、デブロッキングフィルター１０９でデブロッキングフィルター処理が行われた後、インター予測のためのフレームメモリ１１０に送られる。イントラ予測のためのフレームメモリ１０７内の画像は、イントラ予測部１０８でのイントラ予測で使用される。このイントラ予測では、同一ピクチャ内で、既に符号化されたブロックの隣接画素の値を予測値として用いる。

インター予測のためのフレームメモリ１１０内の画像は、複数のピクチャで構成される。これら複数のピクチャは、「list 0」と「list 1」の２つの参照リストに分けられる。２つのリストに分けられた複数のピクチャは、インター予測部１１１でのインター予測で使用される。インター予測がなされた後に、メモリーコントローラー１１３によって、参照リスト内のピクチャが更新される。インター予測部１１１で行われるインター予測では、フレームの異なる画像データに対して動き検出部１１２で行われた動き検出の結果に基づく最適な動きベクトルを用いて、予測画像を決定する。

イントラ予測とインター予測の結果、最適な予測が選択部１１４で選択される。また、前記動きベクトルが、エントロピー符号化部１１５に送られ、前記差分画像データと共に符号化される。こうして出力ビットストリームが形成される。
Ｂピクチャセレクター１１６は、Ｂピクチャの符号化後、参照リストに加えるＢピクチャを選択する。Ｂピクチャを参照リストに加える場合は、メモリーコントローラー１１３に対し、Ｂピクチャを加えるように参照リストを更新するように伝える。

なお、図１では、Ｂピクチャセレクター１１６からの指示は、メモリーコントローラー１１３にのみ関連している様に描画している。しかしながら、必ずしもこのようにする必要はない。参照リストに加えないピクチャについては、デブロッキングフィルター１０９の処理は不要である。したがって、Ｂピクチャセレクター１１６からの指示をデブロッキングフィルター１０９の入力側に作用させて、デブロッキングフィルター処理への入力を制御することで、参照リストの更新の有無を選択させるようにしてもよい。

本実施形態では、以上のような構成の画像処理装置において、ＩピクチャまたはＰピクチャ間にあるＢピクチャが複数枚ある場合、一連のＢピクチャの内、最初に符号化されるＢピクチャのみを、参照リストの更新の際に、参照リストに加えるようにしている。

ここで、図２のフローチャートを参照しながら、Ｂピクチャを参照リストに加える際の画像処理装置の動作の一例を説明する。
符号化が開始すると、各ピクチャに対して符号化処理を行う（ステップＳ２０１）。
次に、符号化したピクチャが、最終ピクチャかどうかを判断し（ステップＳ２０２）、最終ピクチャであれば、符号化を終了する。

一方、符号化したピクチャが最終ピクチャでなければ、参照リストの更新の判断に移る（ステップＳ２０３、Ｓ２０４）。まず、符号化したピクチャが、Ｂピクチャであるかどうか、すなわちＩピクチャまたはＰピクチャであるかどうかを判断する（ステップＳ２０３）。この判断の結果、ＩピクチャまたはＰピクチャであった場合、参照リストの更新を行う（ステップＳ２０５）。

一方、符号化したピクチャが、Ｂピクチャであった場合は、そのＢピクチャがＩピクチャまたはＰピクチャから何番目にあるかを判断し（ステップＳ２０４）、所定の順番である場合にのみ、参照リストの更新を行う（ステップＳ２０５）。前述したように、本実施形態では、ＩピクチャまたはＰピクチャの間にあるＢピクチャのうち、符号化順で最初のＢピクチャについてのみ、参照リストの更新を行う。それ以外のＢピクチャについては、参照リストの更新を行わず、次のピクチャの符号化処理に移る（ステップＳ２０１）。

図３に、参照ピクチャが更新される様子の一例を示す。ここでは、Ｉピクチャ、Ｐピクチャ及びＢピクチャの割合が、標準的な場合を例に挙げて説明する。すなわち、Ｉピクチャが１５フレーム間隔、Ｐピクチャが３フレーム間隔、その間のＢピクチャが２フレームである場合で説明する。
図３において、まず、ピクチャＰ２１の符号化を行う場合、参照リスト（List 0）の内部には、ピクチャＢ１０、Ｉ１５、Ｂ１３、Ｐ１８、Ｂ１６があり、これらのピクチャが符号化の際に参照される。一方、参照リスト（List 1）にはピクチャＢ１６がある（Ｐピクチャの符号化では使用しない）。

ピクチャＰ２１の符号化が終わると、参照ピクチャが更新される。具体的には、最も古いピクチャＢ１０が削除され、ピクチャＰ２１が新たに加えられた結果、参照リスト（List 0）の内部は、ピクチャＩ１５、Ｂ１３、Ｐ１８、Ｂ１６、Ｐ２１に更新される。また、参照リスト（List 1）の内部は、ピクチャＢ１０が削除され、ピクチャＰ２１が新たに加えられた結果、ピクチャＰ２１に更新される。

次に、この参照リストの状態で、ピクチャＢ１９の符号化を行う。ピクチャＢ１９は、ＩピクチャまたはＰピクチャの間にあるＢピクチャのうち、符号化順で最初のＢピクチャであるから、ピクチャＢ１９の符号化が終了した際、参照リストの更新を行う。すなわち、最も古いピクチャＩ１５が削除され、ピクチャＢ１９が新たに加えられた結果、参照リスト（List 0）の内部は、ピクチャＢ１３、Ｐ１８、Ｂ１６、Ｐ２１、Ｂ１９に更新される。また、参照リスト（List 1）の内部は、ピクチャＰ２１が削除され、ピクチャＢ１９が新たに加えられた結果、ピクチャＢ１９に更新される。

次に、この参照リストの状態で、ピクチャＢ２０の符号化を行う。ピクチャＢ２０は、ＩピクチャまたはＰピクチャの間にあるＢピクチャのうち、符号化順で最初のＢピクチャでないから、ピクチャＢ２０の符号化が終了した際、参照リストの更新を行わない。すなわち、参照リスト（List 0）の内部は、ピクチャＢ１３、Ｐ１８、Ｂ１６、Ｐ２１、Ｂ１９であり、参照リスト（List 1）の内部は、ピクチャＢ１９のままである。以下、ピクチャＰ２４、Ｂ２２、Ｂ２３、Ｐ２７の符号化と参照リストの更新とを順次行う。

本実施形態では、例えばピクチャＰ２４を符号化する際に使用する参照リスト（List 0）には、ピクチャＢ１３、Ｐ１８、Ｂ１６、Ｐ２１、Ｂ１９が含まれており、Ｐピクチャが２枚含まれている。さらに、参照リスト（List 0）に含まれているピクチャのフレーム間隔も、９フレームとなっている。通常考えられる全てのＢピクチャを参照リストに加えた図１２に示した例よりも、参照リスト（List 0）中のＩピクチャまたはＰピクチャの数が多く、なおかつフレーム間隔も広くとれている。このため、参照する画像の選択肢が増え、より精度の高いインター予測を行うことができ、結果として良好な画像圧縮を行える。

なお、本実施形態の説明では、選択したＢピクチャで参照リストを更新する際、参照リスト（List 1）側のピクチャも更新した。ただし、参照リスト（List 1）については、ＩピクチャまたはＰピクチャでのみ更新するようにしてもよい。このようにした場合は、図４に示す様にして参照リストが変化する。この場合、ＩピクチャまたはＰピクチャの符号化は、参照リスト（List 0）に影響を与えないので、本実施形態の効果は、参照リスト（List 1）の更新方法によらず、同等となる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態での圧縮手順は、図１に示した第１の実施形態の構成とほぼ同様にして実現することができる。ただし、本実施形態では、ＩピクチャまたはＰピクチャの間にあるＢピクチャが複数枚ある場合、一連のＢピクチャのうち、最後に符号化されるＢピクチャのみを、参照リストの更新の際に、参照リストに加えるようにしている。このように、本実施形態と前述した第１の実施形態とは、参照リストに加えるピクチャが異なるだけであるので、前述した第１の実施形態と同一の部分についての詳細な説明を省略する。

図５に示すように、ピクチャＢ１９は、ＩピクチャまたはＰピクチャの間にある最初のＢピクチャであるから、ピクチャＢ１９の符号化が終了した際には、参照リストを更新しない。これに対し、次のピクチャＢ２０は、ＩピクチャまたはＰピクチャの間にある最後のＢピクチャであるから、ピクチャＢ２０の符号化が終了した際には、参照リストの更新を行う。

本実施形態では、例えばピクチャＰ２４を符号化する際に使用する参照リストには、ピクチャＢ１４、Ｐ１８、Ｂ１７、Ｐ２１、Ｂ２０が含まれており、Ｐピクチャが２枚含まれている。また、参照リストに含まれているピクチャのフレーム間隔は、８フレームである。このように、本実施形態の参照リストに含まれているピクチャのフレーム間隔は、第１の実施形態で説明したものよりも狭いが、図１２に示した従来技術よりは広い。したがって、従来技術よりも参照する画像の選択肢が広く、より精度の高いインター予測を行うことができ、結果として良好な画像圧縮を行える。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。本実施形態での圧縮手順は、図１に示した第１の実施形態の構成とほぼ同様にして実現することができる。ただし、本実施形態では、ＩピクチャまたはＰピクチャの間にあるＢピクチャが複数枚かつ奇数である場合、一連のＢピクチャのうち、中央で符号化されるＢピクチャのみを、参照リストの更新の際に、参照リストに加えるものである。このように、本実施形態と前述した第１の実施形態とは、参照リストに加えるピクチャが異なるだけであるので、前述した第１の実施形態と同一の部分についての詳細な説明を省略する。

ここでは、図６に示すように、Ｉピクチャが１６フレーム間隔、Ｐピクチャが４フレーム間隔、その間のＢピクチャが３フレームである場合を例に挙げて説明する。図６において、ピクチャＢ１７は、ＩピクチャまたはＰピクチャの間にある中央のＢピクチャでないから、ピクチャＢ１７の符号化が終了した際には、参照リストを更新しない。これに対し、次のピクチャＢ１８は、ＩピクチャまたはＰピクチャの間にある中央のＢピクチャであるから、ピクチャＢ１８の符号化が終了した際に、参照リストの更新を行う。さらにその次のピクチャＢ１９は、ＩピクチャまたはＰピクチャの間にある中央のＢピクチャでないから、ピクチャＢ１９の符号化が終了した際には、参照リストを更新しない。

本実施形態では、例えばピクチャＰ２４を符号化する際使用する参照リストには、ピクチャＢ１０、Ｉ１６、Ｂ１４、Ｐ２０、Ｂ１８が含まれており、ＩピクチャまたはＰピクチャが２枚含まれている。また、参照リストに含まれているピクチャのフレーム間隔は、１１フレームであることに加え、ピクチャのフレーム間隔も均等に散らばっている。図１２に示した従来技術の様に全てのＢピクチャを参照リストに加える場合、このピクチャＰ２４を符号化する際の参照リストには、ピクチャＢ１５、Ｐ２０、Ｂ１７、Ｂ１８、Ｂ１９が含まれることになる。したがって、本実施形態の方が、従来技術よりも参照する画像の選択肢が広く、より精度の高いインター予測を行うことができ、結果として良好な画像圧縮を行える。また、参照リスト中のピクチャのフレーム間隔が均等であることは、１つのピクチャの参照を行った後、次のピクチャで参照する範囲が求めやすくなるので、予測処理の効率化につながる。

図７に、前述した各実施形態の画像処理装置が適用されるビデオカメラの内部構成の一例を示す。
図７において、動画撮影記録時、レンズ１４０１を通してＣＣＤ１４０２で撮像された画像信号は、Ａ／Ｄ１４０３でデジタルデータとされカメラ処理部１４０４で輝度や色の補正等が行われる。カメラ処理部１４０４から出力されたデータは、動画エンコード・デコード処理部（画像処理部）１４０５で動画像データのエンコード処理が行われ、記録再生制御部（ＲＥＣ／ＰＢ）１４０６によって記録媒体１４０７に記録される。ここで、エンコード方法は、例えば、前述したMPEG4 part-10:AVC（ISO/IEC 14496-10、別名H.264）方式が挙げられる。このように、図７に示した例では、前述した各実施形態の画像処理装置は、動画エンコード・デコード処理部（画像処理部）１４０５に設けられる。また、記録媒体１４０７は、例えば磁気テープやディスクである。またエンコードした動画データを、デジタルインターフェース（Ｉ／Ｆ）１４１５を通して外部に出力する事も出来る。

デジタルインターフェース１４１５は、IEEE1394やＵＳＢ（Universal Serial Bus）である。動画エンコード・デコード処理部１４０５でエンコードされる前のデータは表示部１４０８（例えばＬＣＤ表示パネル）へも送られる。ユーザーは、表示部１４０８に表示された画像を見ながら撮影画角や構図を決める。ＣＰＵ１４０９は各処理ブロックの制御を司っている。またＣＰＵ１４０９には操作指示入力部１６０１が接続され、操作指示入力部１６０１には動画撮影用のトリガボタン１６０２及び静止画撮影用のシャッターボタン１６０３が設けられている。ユーザーは、動画撮影用のトリガボタン１６０２を押す事で動画撮影記録の開始・停止を行う。この動画撮影用のトリガボタン１６０２は撮影記録中押し続けている必要は無く、一度押すと記録動作が開始され、もう一度押すと記録動作が停止する。動画撮影用のトリガボタン１６０２の操作に応じて、動画撮影記録が実行されると、動画エンコード・デコード処理部（画像処理部）１４０５でエンコード動作も実行される。この間、各実施形態で説明したような画像処理装置の動作が実行可能となる。また、再生時は、記録された動画データが記録再生制御部１４０６によって記録媒体１４０７から読み出され、動画エンコード・デコード処理部１４０５でエンコード時のインター予測における参照関係等の情報を用いつつデコードが行われて、表示部１４０８等でデコードされた表示画像を表示可能となる。

また、ユーザーは、静止画撮影用のシャッターボタン１６０３を押す事によって撮影した静止画をメモリカード１４１２に記録する事が出来る。カメラ処理部１４０４から出力されたデータは、動画エンコード・デコード処理部１４０５と共に静止画エンコード・デコード処理部１４１３にも入力される。静止画エンコード・デコード処理部１４１３では静止画データのエンコード処理やサムネイルの生成が行われる。エンコード方法は例えばJPEG等である。

エンコードされた静止画データはカード制御部１４１４によってメモリカード１４１２に記録される。再生時は記録された静止画データがカード制御部１４１４によってメモリカード１４１２から読み出され、静止画エンコード・デコード処理部１４１３でサムネイル画像のデコードや本画像のデコードが行われる。サムネイル画像をデコードするか本画像をデコードするかはＣＰＵ１４０９によって指示される。また、エンコードした静止画データを、デジタルインターフェース１４１５を通して外部に出力する事も出来る。デジタルインターフェースはIEEE1394やＵＳＢである。

ユーザーが動画撮影用のトリガボタン１６０２を押して動画撮影記録を開始した後、動画撮影記録中に好みのシーンで静止画の撮影も行いたいと思ったら、動画撮影記録を停止する事無く静止画撮影用のシャッターボタン１６０３を押して撮影した静止画データをメモリカード１４１２に記録することが出来る。

（本発明の他の実施形態）
前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
また、前述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。

また、この場合、前記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。

さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。

本発明の第１の実施形態を示し、画像処理装置の構成の一例を示したブロック図である。本発明の第１の実施形態を示し、Ｂピクチャを参照リストに加える際の画像処理装置の動作の一例を説明するフローチャートである。本発明の第１の実施形態を示し、参照ピクチャが更新される様子の一例を示す図である。本発明の実施形態を示し、参照ピクチャが更新される様子の他の例を示す図である。本発明の第２の実施形態を示し、参照ピクチャが更新される様子の一例を示す図である。本発明の第３の実施形態を示し、参照ピクチャが更新される様子の一例を示す図である。本発明の実施形態を示し、画像処理装置が適用されるビデオカメラの内部構成の一例を示す図である。従来の技術を示し、画像処理装置の構成を示す図である。従来の技術を示し、ピクチャＰ２１の符号化を符号化する際の参照リストの例を示す図である。従来の技術を示し、ピクチャＰ２４の符号化を符号化する際の参照リストの例を示す図である。従来の技術を示し、参照リストの変化の様子をピクチャ毎に示す図である。従来の技術を示し、Ｂピクチャを参照リストに加える場合の参照リストの変化の様子を示す図である。

符号の説明

１０２整数DCT変換部
１０３量子化部
１０４逆量子化部
１０５逆整数DCT変換部
１０９デブロッキングフィルター
１１０フレームメモリ
１１１インター予測部
１１２動き検出部
１１３メモリーコントローラー
１１５エントロピー符号化部
１１４選択部
１１６Ｂピクチャセレクター

Claims

メモリにデータとして記憶された複数枚のピクチャを参照ピクチャとして参照し、参照した結果に基づいて、画像データを構成するピクチャの符号化を行う画像符号化方法であって、
前記画像データは、ピクチャ間のインター予測を行わないＩピクチャ、前方向のインター予測を行うＰピクチャ、及び双方向のインター予測を行うＢピクチャを含み、前記Ｉピクチャまたは前記Ｐピクチャから次の前記Ｐピクチャまでの間に、前記Ｂピクチャが複数枚存在するものであり、
前記Ｐピクチャまたは前記Ｂピクチャを符号化する際に参照される参照ピクチャを複数枚保存する第１の参照リストと、前記Ｂピクチャを符号化する際にのみ参照される参照ピクチャを複数枚保存する第２の参照リストとに、前記メモリに記憶される複数枚の参照ピクチャを分類して管理する管理ステップと、
前記Ｉピクチャまたは前記Ｐピクチャから次の前記Ｐピクチャまでの間に存在する複数枚のＢピクチャのうち、所定の一部のＢピクチャを選択する選択ステップと、
前記Ｉピクチャまたは前記Ｐピクチャの符号化が行われた場合には、当該ＩピクチャまたはＰピクチャの復元画像を新たな参照ピクチャとして前記第１及び第２の参照リストの両方に追加して、前記第１及び第２の参照リストの更新を行い、前記Ｂピクチャの符号化が行われた場合には、前記選択ステップで選択されたＢピクチャの復元画像のみを新たな参照ピクチャとして少なくとも前記第１の参照リストに追加して、少なくとも前記第１の参照リストの更新を行う更新ステップとを有することを特徴とする画像符号化方法。
前記選択ステップは、前記Ｉピクチャまたは前記Ｐピクチャから次の前記Ｐピクチャまでの間に存在する複数枚のＢピクチャのうち、符号化順序で最初のＢピクチャを選択することを特徴とする請求項１に記載の画像符号化方法。
前記選択ステップは、前記Ｉピクチャまたは前記Ｐピクチャから次の前記Ｐピクチャまでの間に存在する複数枚のＢピクチャのうち、符号化順序で最後のＢピクチャを選択することを特徴とする請求項１に記載の画像符号化方法。
前記Ｉピクチャまたは前記Ｐピクチャから次の前記Ｐピクチャまでの間に存在する複数枚のＢピクチャは、奇数枚であり、
前記選択ステップは、前記Ｉピクチャまたは前記Ｐピクチャから次の前記Ｐピクチャまでの間に存在する奇数枚のＢピクチャのうち、符号化順序で真ん中のＢピクチャを選択することを特徴とする請求項１に記載の画像符号化方法。
前記更新ステップは、前記選択ステップで選択されたＢピクチャの復元画像については、前記第１の参照リストのみに追加することを特徴とする請求項１に記載の画像符号化方法。
メモリにデータとして記憶された複数枚のピクチャを参照ピクチャとして参照し、参照した結果に基づいて、画像データを構成するピクチャの符号化を行う画像処理装置であって、
前記画像データは、ピクチャ間のインター予測を行わないＩピクチャ、前方向のインター予測を行うＰピクチャ、及び双方向のインター予測を行うＢピクチャを含み、前記Ｉピクチャまたは前記Ｐピクチャから次の前記Ｐピクチャまでの間に、前記Ｂピクチャが複数枚存在するものであり、
前記Ｐピクチャまたは前記Ｂピクチャを符号化する際に参照される参照ピクチャを複数枚保存する第１の参照リストと、前記Ｂピクチャを符号化する際にのみ参照される参照ピクチャを複数枚保存する第２の参照リストとに、前記メモリに記憶される複数枚の参照ピクチャを分類して管理する管理手段と、
前記Ｉピクチャまたは前記Ｐピクチャから次の前記Ｐピクチャまでの間に存在する複数枚のＢピクチャのうち、所定の一部のＢピクチャを選択する選択手段と、
前記Ｉピクチャまたは前記Ｐピクチャの符号化が行われた場合には、当該ＩピクチャまたはＰピクチャの復元画像を新たな参照ピクチャとして前記第１及び第２の参照リストの両方に追加して、前記第１及び第２の参照リストの更新を行い、前記Ｂピクチャの符号化が行われた場合には、前記選択手段により選択されたＢピクチャの復元画像のみを新たな参照ピクチャとして少なくとも前記第１の参照リストに追加して、少なくとも前記第１の参照リストの更新を行う更新手段とを有することを特徴とする画像処理装置。