JP5496047B2

JP5496047B2 - 画像再生方法、画像再生装置、画像再生プログラム、撮像システム、および再生システム

Info

Publication number: JP5496047B2
Application number: JP2010227774A
Authority: JP
Inventors: 臣二北村; 征永関
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2010-10-07
Filing date: 2010-10-07
Publication date: 2014-05-21
Anticipated expiration: 2030-10-07
Also published as: CN103109535B; CN103109535A; US20130202044A1; WO2012046366A1; JP2012085001A; US9386310B2

Description

本発明は、画像再生技術に関し、特に、時間方向の冗長性を削減することによって情報量の圧縮を行う画面間予測符号化を用いて符号化された動画像ストリームをデコードして再生する画像再生に関するものである。

近年、ＭＰＥＧ−２（ISO/IEC 13818-2）をはじめ、ＭＰＥＧ−４（ISO/IEC 14496-2）やＨ．２６４（ISO/IEC 14496-10）といった動画像符号化技術が盛んに研究され、コンピュータ、通信、民生用ＡＶ機器および放送などの様々な分野で応用されている。

これらの動画像符号化技術では、同一画面上の空間方向の冗長性を削減する画面内予測符号化と、すでに符号化・復号化された前後のピクチャ（参照画像）を参照して予測画像を生成し、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行うことで時間的な冗長性を削減する画面間予測符号化との２種類の符号化方式を用いることによって、情報量の圧縮を行っている。画面間予測符号化された動画像ストリームをデコードして再生するためには、予測画像を生成するために参照ピクチャを一時的に記憶しておくための参照画像メモリが必要となる。この参照画像メモリとしては、一般的にＤＲＡＭのような外部メモリ、またはシステムＬＳＩに内蔵される混載メモリが用いられ、予測画像を生成するために、この参照画像メモリに対してメモリアクセスが発生する。

一方、近年では、大画面のプラズマディスプレイや液晶テレビをはじめとした高精細フラットパネルディスプレイが急速に市場に普及していく中、高精細なＨＤＴＶ動画記録可能なデジタルビデオカメラやデジタルスチルカメラ等の民生用小型カメラが、数万円程度のリーズナブルな価格で購入できるようになってきている。このようなカメラで撮影された動画像ストリームをデコードして再生するためには、参照画像メモリへの頻繁なメモリアクセス（トラフィック）が発生しても問題なく正常に動画像ストリームをデコードできるよう、高帯域なメモリバンド幅を有する参照画像メモリを搭載する必要がある。

高帯域なメモリバンド幅を確保するためには、例えば、３２ｂｉｔのデータビット幅を有するＤＲＡＭを複数個用いたり、あるいはＬＰＤＤＲ２（Low Power Double Data Rate 2）−ＳＤＲＡＭのような高速な動作周波数でも動作可能な高性能なＤＲＡＭを用いる必要がある。ところがいずれの場合も、実装コストが高くなったり消費電力が大きくなったりするため、低コスト化と省電力化が困難という課題があった。特に、小型バッテリーで動作するデジタルビデオカメラやデジタルスチルカメラ等の民生用小型カメラにおいては、低コスト・省電力に対するニーズは非常に高く、このため、動画像ストリームのデコードにおける低コスト・省電力化に関する研究が盛んに行われている。

次に、動画像ストリームをデコードして再生する一般的な方法について、以下に説明する。

図１１は動画像ストリームを入力し、順次デコードして再生画像を出力する一般的な画像再生装置を簡単に示す図である。入力端子２から再生対象となる動画像ストリームが入力され、デコーダ６０３においてはピクチャ層、スライス層、マクロブロック層のデコードがピクチャ毎に順次行われる。デコードされたピクチャは出力端子１３から図示していない表示制御部に出力される。また、参照画像として残す必要があるピクチャ（例えば、Ｉ／Ｐピクチャ）は、参照画像メモリ５に書き込まれ一時的に記憶される。参照画像メモリ５を、例えば、３２ｂｉｔのデータバスを有するメモリで構成した場合には、４画素（８ｂｉｔ×４画素＝３２ｂｉｔ）を一つのアドレスに記憶するような方式で書き込まれ、６４ｂｉｔのデータバスを有するメモリで構成した場合には、８画素（８ｂｉｔ×８画素＝６４ｂｉｔ）を一つのアドレスに記憶するような形式で書き込まれる。

また、画面間予測符号化されているピクチャ（例えば、Ｐ／Ｂピクチャ）をデコードする場合は、参照画像メモリ５に記憶されている参照画像が順次読み出されて予測画像が生成され、デコードされた差分値と加算されて、出力端子１３から図示していない表示制御部に出力される。

参照画像メモリ５に上記のような形式で一時的に記憶されている参照画像を読み出す場合は、デコード対象となるマクロブロックの画面内の位置と動きベクトル値とに基づいて参照画像の２次元空間内の読み出し先頭アドレスが算出され、参照画像メモリ５の読み出しアドレス（３２ｂｉｔのデータバスを有するメモリの場合は４画素単位のアドレス）に変換される。

図１３（１）（２）はその一例を示す。算出された参照画像の２次元空間内の読み出し先頭アドレスが参照画像メモリ５の読み出しアドレスの境界と一致する場合（図１３（１））は、１６×１６画素の予測画像を生成するための読み出し時に発生するリードトラフィックは２５６バイト（４画素単位のアドレスで６４アドレス分）となり、読み出しにおける無効画素を含んだ転送は一切発生しない。一方、算出された参照画像の２次元空間内の読み出し先頭アドレスが参照画像メモリ５の読み出しアドレスの境界と一致しない場合（図１３（２））は、１６×１６画素の予測画像を生成するための読み出し時に発生するリードトラフィックは３２０バイト（４画素単位のアドレスで８０アドレス分）となり、読み出しにおける無効画素を含んだ転送が多く発生し、読み出しにおけるオーバーヘッドが大きくなる。

また、ＭＰＥＧ−２の場合は、この予測画像を生成する際の動き補償の単位は１６×１６画素で構成される比較的大きなブロック単位であるため、リード時に発生するオーバーヘッドも大きな問題にはならない。ところが、ＭＰＥＧ−４では動き補償の単位として１６×１６画素だけではなく、８×８画素単位もサポートされ、さらに、Ｈ．２６４では動き補償の精度をより一層高める目的で、図１２に示すように、１６×１６，１６×８，８×１６，８×８，８×４，４×８，４×４画素といった、より細かいブロック単位での動き補償がサポートされており、読み出しにおけるオーバーヘッドもさらに大きくなる。

具体的には、例えば、動き補償のサイズが４×４画素の場合、図１３（３）（４）に示すように、算出された参照画像の２次元空間内の読み出し先頭アドレスが参照画像メモリ５の読み出しアドレスの境界と一致する場合（図１３（３））は、４×４画素の予測画像を生成するための読み出し時に発生するリードトラフィックは１６バイト（４画素単位のアドレスで４アドレス分）となり、読み出しにおける無効画素を含んだ転送は一切発生しない。一方、算出された参照画像の２次元空間内の読み出し先頭アドレスが参照画像メモリ５の読み出しアドレスの境界と一致しない場合（図１３（４））は、４×４画素の予測画像を生成するための読み出し時に発生するリードトラフィックは３２バイト（４画素単位のアドレスで８アドレス分）となり、読み出しにおける無効画素を含んだ転送が多く発生し、読み出しにおけるオーバーヘッドも１６×１６画素単位での動き補償と比較して、大きくなる。

すなわち、動画像ストリームをデコードする場合は、参照画像メモリ５内の動きベクトルで指し示される任意の画素位置からのブロック単位でのランダムアクセスが必要となるため、画素位置によっては参照画像メモリ５を効率良くアクセスできず、メモリアクセス時のオーバーヘッドが多くなる。また、予測画像生成のための動き補償のサイズが小さくなればなる程、メモリアクセス（リードアクセス）時のオーバーヘッドがより一層多くなる。

参照画像メモリの容量やデータバスのビット幅、動作周波数等の仕様は、デコーダがサポートする動画ストリームの解像度やフレームレート（ＭＰＥＧ−２やＨ．２６４等の規格ではレベルで規定）等によって決定される事項である。そして、この参照画像メモリの仕様は、規格の範囲内において発生する可能性のあるワーストケースを想定した上で決定される。このため、ＨＤＴＶ動画に対応した民生用小型カメラ等では、高性能な参照画像メモリを備える必要があり、よって、低コスト化と省電力化を実現することが困難であった。

なお、ここで述べるワーストケースとは、具体的には、動画像ストリーム内の画面間予測符号化されているピクチャが、以下のように符号化されている場合である。

・予測画像を生成するために発生する参照画像メモリアクセスが、ピクチャ内のすべてのマクロブロックにおいて、無効転送画素を含んだオーバーヘッドの最も大きい転送である。

・マクロブロックの動き補償サイズが、ピクチャ内のすべてのマクロブロックにおいて、最小サイズである。（例えば、Ｈ．２６４の場合、４×４画素）
・前方予測／後方予測／双方向予測が可能なＢピクチャについては、ピクチャ内のすべてのマクロブロックにおいて、双方向予測を用いて符号化されている。

上記のような課題を解決するメモリバンド幅削減に関する技術が、特許文献１〜４に開示されている。

特許文献１および２によると、デコードされた画像はフィルタ処理によって縮小されて参照画像メモリに記憶され、参照画像メモリから読み出された縮小画像をフィルタ処理によって拡大した画像が参照画像として用いられる。

特許文献３によると、デコードされた画像をアダマール変換および量子化により圧縮した画像が参照画像メモリに記憶され、参照画像メモリから読み出された圧縮画像を逆量子化および逆アダマール変換によって伸張した画像が参照画像として用いられる。

特許文献４によると、デコードされた画像を参照画像メモリに記憶する際に、縮小や圧縮などの非可逆な変換処理を施すことによって発生する圧縮歪を、以降のピクチャをデコードする際に時間的に累積しないよう、適応的に制御する。

特開２０００−５０２７２号公報特開２０００−７８５６８号公報特開２０００−０４４４０号公報特許第４３８４１３０号

特許文献１，２および３に記載されたメモリバンド幅削減方法では、いずれの場合も、デコードされた画像に対してフィルタリングやアダマール変換・量子化といった非可逆変換の処理が行われて参照画像が生成されるため、この非可逆変換によって発生した不要な圧縮歪が参照画像に重畳されてしまう。画面間予測符号化を行うＭＰＥＧ−２やＨ．２６４のような動画像符号化方式では、参照画像の歪は次のデコード画像に重畳され、歪の重畳されたデコード画像はさらに次の参照画像として用いられるため、デコード時に発生する圧縮歪は時間的に累積される。

そして、特許文献１，２および３の場合、高解像度画像や高フレームレート画像などメモリアクセス量が多く発生する動画像ストリームに関しては、動画像ストリームを実際にデコードした際に発生するメモリアクセス量の大小に関わらず、予め上記のようなワーストケースを想定した上で参照画像メモリの許容メモリバンド幅を超えると判断された場合は、常に、この参照画像に非可逆変換を施してメモリアクセスの削減を図る。このため、この非可逆変換によって発生したノイズも常に時間的に累積されることになるので、再生されたデコード画像において大きなノイズとして視覚的にも発見されやすくなる、といった課題がある。

特許文献４のメモリアクセス削減方法は、上記のようなデコード処理における圧縮歪の時間的な累積を抑制するために、圧縮した参照画像と非圧縮の参照画像の２種類の参照画像を参照画像メモリに記憶し、Ｐピクチャなど圧縮歪が時間的に累積されるピクチャの場合には非圧縮の参照画像を用いてデコードし、Ｂピクチャなど圧縮歪が時間的に累積されないピクチャの場合には圧縮した参照画像を用いてデコードすることによって、メモリバンド幅削減を図る技術である。しかし、圧縮した参照画像と非圧縮の参照画像の２種類の参照画像を参照画像メモリに記憶する必要があり、より一層大容量のメモリを必要とする、といった課題がある。

また、圧縮した参照画像と非圧縮の参照画像の２種類の参照画像を参照画像メモリに書き込む必要が発生するため、圧縮した参照画像を参照してデコードする場合のリードアクセスが削減できる一方、逆に、圧縮した参照画像も参照画像メモリに別途書き込むためのライトアクセスが増加し、結果として、大きなメモリバンド幅削減には繋がらない、といった課題がある。特に、Ｐピクチャをデコードする場合は、圧縮歪が時間的に累積されないように非圧縮の参照画像を参照画像メモリからリードする必要がある上に、以降のピクチャのデコードに必要となる参照画像として、圧縮した画像と非圧縮の画像の両方を参照画像メモリにライトする必要が発生するため、特許文献４の技術を導入しない場合よりも必要となるメモリバンド幅は逆に増加する。

また、特許文献４には、圧縮した参照画像を用いて予測画像を生成する方式を双方向予測されたマクロブロックに限定して適用することで、参照画像を圧縮した際に発生する歪が低減されると記載されているが、これは例えば、前方予測用ピクチャにおける圧縮の歪がプラス側、後方予測用ピクチャにおける圧縮の歪がマイナス側に発生している場合に言えることである。前方予測用ピクチャおよび後方予測用ピクチャにおける圧縮の歪が両方ともプラス側あるいはマイナス側に発生している場合は、参照画像を圧縮した際に発生する歪が低減されることはなく、Ｂピクチャをデコードして再生する場合にもノイズとして視覚的にも確認される場合がある。

上記のような課題を解決するため、本発明は、低コスト・省電力で、デコード時に発生する圧縮歪の時間的な累積を抑制可能な画像再生技術を提供することを目的としている。

本発明の一態様は、画面間予測符号化された動画像ストリームを参照画像メモリにアクセスしながらデコードする画像再生方法として、前記参照画像メモリに対するトラフィックをピクチャ単位で見積もるために、前記動画像ストリームをピクチャ単位でデコードする第１のデコードステップと、再生画像を生成するために、前記動画像ストリームをピクチャ単位でデコードする第２のデコードステップとを備え、前記第２のデコードステップにおいて、デコード対象ピクチャが、デコード後に参照画像として前記参照画像メモリに格納すべきものであるとき、前記第１のデコードステップにおいて見積もられた、当該デコード対象ピクチャを参照するピクチャに係るトラフィックを基にして、当該デコード対象ピクチャを前記参照画像メモリに格納する際の圧縮態様を設定するものである。

この態様によると、第１のデコードステップにおいて、動画像ストリームの各ピクチャについて、参照画像メモリに対するトラフィックが見積もられる。そして、再生画像を生成するための第２のデコードステップにおいて、デコード対象ピクチャがいわゆる参照ピクチャであるとき、第１のデコードステップにおいて見積もられた、当該デコード対象ピクチャを参照するピクチャに係るトラフィックを基にして、デコード対象ピクチャを参照画像メモリに格納する際の圧縮態様が設定される。すなわち、参照画像を格納する際の圧縮態様が、事前に解析したメモリアクセスにおけるトラフィックに基づいて設定されるので、例えば必要性の低い圧縮処理を回避することができ、よって、デコード時に発生する圧縮歪の時間的な累積を従来よりも抑制することができる。しかも、必要以上の高性能なメモリを搭載する必要がなく、例えば、外部メモリの個数を不必要に増加させたり、メモリをより高速な動作周波数で動作させたりせずに済む。

本発明によると、参照画像を格納する際の圧縮態様が、事前に解析したメモリアクセスにおけるトラフィックに基づいて設定されるので、デコード時に発生する圧縮歪の時間的な累積を従来よりも抑制することができる。しかも、必要以上の高性能なメモリを搭載する必要がないため、低コスト化と省電力化を同時に実現できる。

第１の実施形態に係る画像再生装置の構成を示す図である。動画像ストリームのピクチャ構成の一例を示す図である。第１の実施形態に係るトラフィック見積もり用デコードを示すフローチャートである。第１の実施形態に係る再生用デコードを示すフローチャートである。第１の実施形態におけるトラフィック見積り用デコードと再生用デコードとのタイミングを示す図である。第２の実施形態に係る画像再生装置の構成を示す図である。第３の実施形態に係る画像再生方法を示すフローチャートである。第４の実施形態に係る画像再生装置の構成を示す図である。第４の実施形態に係る画像再生方法を示すフローチャートである。撮像システムの構成例を示す図である。一般的な画像再生装置の構成を示す図である。Ｈ．２６４における動き補償サイズを示す図である。動き補償サイズとリードトラフィックの関係を示す図である。

以下、本発明の実施の形態について、図面を参照して説明する。

＜第１の実施形態＞
図１は第１の実施形態に係る画像再生装置１の構成を示す図である。図１の構成において、入力端子２には、再生対象となる動画像ストリームが順次入力される。可変長復号化部３は、入力された動画像ストリームの可変長復号化を行い、各種の符号化パラメータと量子化係数を出力する。ここでの符号化パラメータは、ピクチャタイプ（Ｉ／Ｐ／Ｂピクチャ）をはじめ、マクロブロックの符号化タイプ（イントラ／インター）、予測方向種別（前方予測／後方予測／双方向予測）、動き補償サイズおよび動きベクトル等を含む。逆量子化・逆ＤＣＴ部４は、可変長長復号化部３から出力された量子化係数に対して逆量子化と逆ＤＣＴ変換を行う。

参照画像メモリ５は、すでにデコードされたピクチャを参照画像として一時的に記憶する。トラフィック解析部６は、可変長復号化部３から出力された符号化パラメータに基づいて、参照画像メモリ５に対するトラフィックをピクチャ単位で事前に解析する。設定端子７には、参照画像メモリ５の許容メモリバンド幅（所定の閾値）が設定される。参照画像圧縮制御部８は、トラフィック解析部６において算出された各ピクチャに係る参照画像メモリ５に対するトラフィックを一時的に保持し、デコード対象ピクチャを参照するピクチャに係るトラフィックと設定された許容メモリバンド幅とを比較することによって、参照画像メモリ５への参照画像の格納における圧縮態様を設定する。

書き込み制御部９は、参照画像圧縮制御部８によって設定された圧縮態様に従って、参照画像メモリ５への参照画像の書き込みの制御を行う。読み出し制御部１０は、参照画像圧縮制御部８によって設定された圧縮態様に応じた伸張態様と、可変長復号化部３から出力された動きベクトルに従って、参照画像メモリ５からの参照画像の読み出しの制御を行う。動き補償部１１は、読み出し制御部１０によって読み出された参照画像から、可変長復号化部３から出力された動きベクトルに基づいて、予測画像を生成する。加算器１２は、画面内予測（イントラ）符号化されているマクロブロックについては、逆量子化・逆ＤＣＴ部４から出力された画像データをそのまま出力する一方、画面間予測（インター）符号化されているマクロブロックについては、逆量子化・逆ＤＣＴ部４から出力される画像データと動き補償部１１から出力された予測画像とを加算して出力する。出力端子１３は、加算器１２の出力を再生画像として出力する。

図１の構成では、可変長復号化部３、逆量子化・逆ＤＣＴ部４、動き補償部１１および加算器１２によって、デコード処理部２０が構成されている。このデコード処理部２０は、画面間予測符号化された動画像ストリームについてピクチャ単位で可変長復号化を行い、再生画像を生成するとともに、参照画像メモリ５に対するトラフィックの見積もりのために符号化パラメータを出力するものであれば、他の構成であってもかまわない。

以下、図１の画像再生装置１を用いて動画像ストリームを再生する手順について、図２〜図５を用いて順に説明する。

図２は動画像ストリームのピクチャ構成の一例を示す図である。図２では、動画像ストリームの各ピクチャを、上段は入力順に、中段は符号化順に、そして下段は再生順に、それぞれ示している。また、図２では、参照ピクチャを太実線および太字で示している。

図２の上段では、画面間予測符号化を用いて符号化されている各ピクチャ（Ｐ／Ｂピクチャ）の参照ピクチャと、予測画像を生成するために発生する参照ピクチャのリードトラフィック（ＲＴ）とを示している。例えば、符号化順で５番目に位置するＢ３ピクチャの前方予測用の参照ピクチャはＩ２ピクチャであり、Ｂ３ピクチャをデコードする際に発生するＩ２ピクチャ参照のためのリードトラフィックを『ＲＴ（Ｉ２→Ｂ３）』と図示している。一方、Ｂ３ピクチャの後方予測用の参照ピクチャはＰ５ピクチャであり、Ｂ３ピクチャをデコードする際に発生するＰ５ピクチャ参照のためのリードトラフィックを『ＲＴ（Ｂ３←Ｐ５）』と図示している。また、図２の上段には、他のピクチャをデコードする場合に参照ピクチャとして参照され得るピクチャ（Ｉ／Ｐピクチャ）の参照画像メモリへのライトトラフィック（ＷＴ）についても示している。例えば、Ｉ２ピクチャのライトトラフィックは『ＷＴ（Ｉ２）』と図示している。

本実施形態では、動画像ストリームをデコード再生する際に実際に生じる参照画像メモリに対するトラフィックを事前に解析して、これらのトラフィックが画像再生装置１に搭載されている参照画像メモリ５の許容メモリバンド幅を超える場合は、参照画像を圧縮して参照画像メモリ５に格納する一方、許容メモリバンド幅を超えない場合は参照画像を圧縮せずにそのまま参照画像メモリ５に格納する。これにより、参照画像圧縮による歪の時間的な伝播が極力抑制されるように、制御がなされる。すなわち、従来は、動画像ストリームをデコードする上で発生し得る全てのケースを考慮し、非常に発生確率の低いワーストケースを想定して参照画像メモリに対するトラフィックを見積もっていた。このため、再生対象の動画像ストリームをデコード再生した場合に実際には参照画像メモリの許容メモリバンド幅を超えない場合でも、常に参照画像の圧縮が行われていた。これに対して本実施形態では、動画像ストリームをデコード再生する前に、デコード対象となる各ピクチャを再生した際に実際に発生するトラフィックを事前に解析するためのトラフィック見積もり用デコードを先行して行う。このため、再生用デコード時に参照画像の圧縮が必要と判断されたピクチャに限って参照画像の圧縮が行われるが、それ以外の場合は参照画像の圧縮は行われない。

すなわち、画面間予測符号化された動画像ストリームは、通常、ピクチャ内の各マクロブロックの符号化効率が高くなるような符号化の形式が適宜選択される。このため、ＰピクチャやＢピクチャにおいても、全てのマクロブロックが画面間予測符号化されているとは限らず、参照画像をリードする必要がない画面内予測符号化がなされたマクロブロックが多く存在する場合もある。また、画面間予測符号化されているマクロブロックの全てについて、参照画像メモリに対してオーバーヘッドの大きなリードアクセス（より小さなサイズでの動き補償など）が必要となるとは限らない。また、Ｂピクチャにおいても、全てのマクロブロックについて前後２つのピクチャを参照する双方向予測を用いた符号化が行われているとは限らず、前方予測のみ、あるいは後方予測のみを用いた片方向予測を用いた符号化が行われている場合もある。

以上のように本実施形態では、参照画像の圧縮を必要に応じて最小限に適用するため、従来技術と比較して、より好ましいメモリバンド幅削減を図ることが可能となる。

図３および図４を用いて、本実施形態における具体的な制御フローについて説明する。図３はトラフィック見積もり用デコードを示すフローチャート、図４は再生画像を生成する再生用デコードを示すフローチャートである。ここでは図２に示す動画像ストリームを再生するものとする。

まず図３を用いて、トラフィック見積もり用デコードの処理について具体的に説明する。なお、トラフィック見積もり用デコードでは、参照画像メモリに対するトラフィックをピクチャ毎に見積もるだけであり、参照画像メモリから参照画像を実際に読み出して予測画像を生成したり、あるいは、再生画像を以降のデコードに必要となる参照画像として参照画像メモリに書き込んだりはしない。このため、参照画像メモリに対するアクセスは行われず、トラフィックは一切発生しない。

まず、トラフィック見積もり用デコードが起動され、可変長復号化部３が、入力された動画像ストリームを先頭のＩ２ピクチャから符号化順に順次デコードし、各種の符号化パラメータをトラフィック解析部６に順次出力する（ＳＴ１０１）。次に、トラフィック解析部６が、トラフィック見積もり対象ピクチャのデコードが終了したか否かを判断する。１ピクチャ分のデコードが完了したとき、ＳＴ１０３に移行する（ＳＴ１０２）。

次に、トラフィック解析部６は、デコードされたトラフィック見積り対象ピクチャのピクチャタイプを識別する（ＳＴ１０３）。ＩピクチャまたはＰピクチャのときは、参照画像メモリ５へのライトアクセスが発生するため、ライトトラフィックが算出される（ＳＴ１０４）。ライトトラフィックについては、ピクチャの解像度が分かれば容易に算出できる。Ｐピクチャのときは、さらに、前方予測対象ピクチャを参照する場合に発生するリードトラフィックが各種符号化パラメータに基づいて算出される（ＳＴ１０７）。一方、Ｂピクチャのときは、後方予測用ピクチャを参照する場合に発生するリードトラフィックが各種符号化パラメータに基づいて算出され（ＳＴ１０６）、さらに、前方予測用ピクチャを参照する場合に発生するリードトラフィックが同様に算出される（ＳＴ１０７）。

最後に、トラフィック見積り対象ピクチャがまだ残っているか否かの判断が行われ（ＳＴ１０８）、残っている場合は、ＳＴ１０１に移行して、上述した動作が繰り返し行われる。

このようにトラフィック見積もり用デコードを実行することによって、各ピクチャをデコードする際に発生する参照画像メモリ５の具体的なトラフィックがトラフィック解析部６において算出される。すなわち、図２に示す動画像ストリームを再生した場合に生じるピクチャ毎のトラフィックは、次のような簡単な算出式を用いて事前に求められる。ただし、ＳＴ（Ｘ）はＸピクチャのトラフィックを表す。

ＳＴ（Ｂ０）＝ＲＴ（Ｂ０←Ｉ２） …（式１）
ＳＴ（Ｂ１）＝ＲＴ（Ｂ１←Ｉ２） …（式２）
ＳＴ（Ｉ２）＝ＷＴ（Ｉ２） …（式３）
ＳＴ（Ｂ３）＝ＲＴ（Ｉ２→Ｂ３）＋ＲＴ（Ｂ３←Ｐ５） …（式４）
ＳＴ（Ｂ４）＝ＲＴ（Ｉ２→Ｂ４）＋ＲＴ（Ｂ４←Ｐ５） …（式５）
ＳＴ（Ｐ５）＝ＷＴ（Ｐ５）＋ＲＴ（Ｉ２→Ｐ５） …（式６）
ＳＴ（Ｂ６）＝ＲＴ（Ｐ５→Ｂ６）＋ＲＴ（Ｂ６←Ｐ８） …（式７）
ＳＴ（Ｂ７）＝ＲＴ（Ｐ５→Ｂ７）＋ＲＴ（Ｂ７←Ｐ８） …（式８）
ＳＴ（Ｐ８）＝ＷＴ（Ｐ８）＋ＲＴ（Ｐ５→Ｐ８） …（式９）

上のようなトラフィック見積もり用デコードにおいて事前に算出された各ピクチャのトラフィックと、参照画像メモリ５の許容メモリバンド幅ＡＷとを比較して、再生用デコード時において、参照画像を圧縮する必要があるか否かを適宜判断する。

参照画像メモリ５の許容メモリバンド幅ＡＷとは、１ピクチャをデコードする際に許容できる参照画像メモリ５に対するトラフィックである。言いかえると、参照画像メモリ５のバンド幅をピクチャ単位に換算した値である。例えば、１秒間に６０枚のピクチャが存在する動画像ストリームを、参照画像メモリ５のメモリとしてデータ幅が３２ｂｉｔのＤＤＲ４００を用いてデコードした場合は、メモリアクセスにおける転送ロスを２０％考慮すると、
ＡＷ＝（３．２ＧＢ／ｓ×０．８）／６０＝４２．７ＭＢ／ｓ …（式１０）
となる。

参照画像を圧縮するか否かの判断は、具体的には例えば次のように行う。いま、図２の動画像ストリームにおいてＩ２ピクチャを再生用にデコードするものとする。Ｉ２ピクチャを参照画像として参照するピクチャは、Ｉ２ピクチャの前後に位置するＢ０，Ｂ１，Ｂ３，Ｂ４およびＰ５ピクチャの計５枚のピクチャである。これらのピクチャが正常にデコードされるためには、各ピクチャに係る参照画像メモリ５に対するトラフィックが許容メモリバンド幅ＡＷ以下に収まらなければならない。すなわち、次の（式１１）〜（式１５）を満たす必要がある。

ＳＴ（Ｂ０）≦ＡＷ …（式１１）
ＳＴ（Ｂ１）≦ＡＷ …（式１２）
ＳＴ（Ｂ３）≦ＡＷ …（式１３）
ＳＴ（Ｂ４）≦ＡＷ …（式１４）
ＳＴ（Ｐ５）≦ＡＷ …（式１５）

そこで、（式１１）〜（式１５）が全て満足するときは、Ｉ２ピクチャをデコードした画像を圧縮せずに参照画像メモリ５に格納し、いずれか１つでも満足しないときは、Ｉ２ピクチャをデコードした画像を圧縮して参照画像メモリ５に格納する、といった判断を行う。

なお、上のような判断を行うためには、再生用デコードよりも先に、トラフィック見積もり用デコードを開始する必要がある。すなわち、図５に示すように、再生用デコードは、トラフィック見積もり用デコードの開始から、所定数のピクチャ分だけ遅延して開始する必要がある。ここでの遅延量は、動画像ストリームのＧＯＰ（Group of Pictures）構成に基づいて設定すればよい。例えば、図２に示すように、ＩピクチャまたはＰピクチャが現れる周期Ｍが３（ＩピクチャまたはＰピクチャの間に挿入されるＢピクチャは２枚）の場合は、少なくとも６ピクチャ分の遅延を設定すればよい。また、Ｍ＝４（ＩピクチャまたはＰピクチャ間に挿入されているＢピクチャが３枚）の場合は、少なくとも８ピクチャ分の遅延を設定すればよい。すなわち、（Ｍ×２）枚以上のピクチャ分だけ遅延させればよい。あるいは、再生開始までの遅延時間が大きな問題にならないときは、例えば１ＧＯＰ分の遅延を設定してもかわない。

次に、図４を用いて再生用デコードの処理について具体的に説明する。この再生用デコードでは、上述したような参照画像を圧縮するか否かの判断がピクチャ単位で行われる。

まず、再生用デコードが起動され、可変長復号化部３が、入力された動画像ストリームを先頭のＩ２ピクチャから符号化順に順次デコードする（ＳＴ２０１）。なお、可変長復号化部３はトラフィック見積り用デコードでも動作するため、図５に示すように、互いに排他的に動作するように時分割でデコード処理を行う。また、トラフィック見積り用デコードの場合は、参照画像メモリ５へのアクセスが一切発生しないため、高速処理可能な可変長復号化部３を備えれば、比較的短い時間で１ピクチャ分のデコード処理は終了する。

次に、デコード対象ピクチャのピクチャタイプの識別が行われる（ＳＴ２０２）。そしてＩピクチャまたはＰピクチャのときは、参照画像圧縮制御部８が、デコード対象ピクチャを参照するピクチャ全てのトラフィック見積もりが完了しているか否かの確認を行う（ＳＴ２０３）。例えば、デコード対象ピクチャがＩ２ピクチャであるときは、上述したように、Ｉ２ピクチャを参照するピクチャはＢ０，Ｂ１，Ｂ３，Ｂ４，Ｐ５ピクチャであるので、これらのピクチャのトラフィック見積もり用デコードが完了しているか否かが確認される。もし完了していないときは、トラフィック見積り用デコードによって見積りが完了するまで待機する。

次に、参照画像圧縮制御部８が、デコード対象ピクチャを参照するピクチャ全てのトラフィックが許容メモリバンド幅ＡＷ（閾値）以下か否かの確認を行う（ＳＴ２０４）。例えば、デコード対象ピクチャがＩ２ピクチャのときは、上述した（式１１）〜（式１５）が全て満足されるか否かが確認される。あるいは、デコード対象ピクチャがＰ５ピクチャのときは、
ＳＴ（Ｂ３）≦ＡＷ …（式１６）
ＳＴ（Ｂ４）≦ＡＷ …（式１７）
ＳＴ（Ｂ６）≦ＡＷ …（式１８）
ＳＴ（Ｂ７）≦ＡＷ …（式１９）
ＳＴ（Ｐ８）≦ＡＷ …（式２０）
といった５つの条件式が全て満足されるか否かの確認が行われる。

ＳＴ２０４において、デコード対象ピクチャを参照するピクチャ全てのトラフィックが許容メモリバンド幅ＡＷ以下と判断されたときは（Ｙｅｓ）、参照画像圧縮制御部８は、デコード対象ピクチャをデコードして得た画像を圧縮せずに参照画像メモリ５に書き込む設定とし、この設定を一時的に記憶する（ＳＴ２０５）。一方、デコード対象ピクチャを参照するピクチャのトラフィックのうち、１つでも許容メモリバンド幅ＡＷより大きいと判断された場合（Ｎｏ）、参照画像圧縮制御部８は、デコード対象ピクチャをデコードして得た画像を圧縮して参照画像メモリ５に書き込む設定とし、この設定を一時的に記憶する（ＳＴ２０６）。さらに、デコード対象ピクチャを参照するピクチャのトラフィックの更新を行う（ＳＴ２０７）。すなわち、デコード対象ピクチャが圧縮された場合は、デコード対象ピクチャを参照するピクチャのトラフィックも変化するため、このトラフィックの更新を行う。例えば、デコード対象ピクチャがＩ２ピクチャのときは、Ｉ２ピクチャが圧縮されて参照画像メモリ５に記憶されると、Ｉ２ピクチャを参照するピクチャであるＢ０，Ｂ１，Ｂ３，Ｂ４，Ｐ５ピクチャのトラフィックＳＴ（Ｂ０），ＳＴ（Ｂ１），ＳＴ（Ｂ３），ＳＴ（Ｂ４），ＳＴ（Ｐ５）も変化する。このうち、Ｂ３，Ｂ４ピクチャのトラフィックＳＴ（Ｂ３），ＳＴ（Ｂ４）については、デコード対象ピクチャがＰ５ピクチャのとき、（式１６）、（式１７）に示すように、Ｐ５ピクチャを圧縮するか否かの判定にも用いられる。よって、トラフィックを更新する必要がある。

このようにして、デコード対象ピクチャをデコードして生成された復元画像を参照画像メモリ５に格納する際の圧縮態様（ここでは圧縮するか否か）が決定される。なお、ＳＴ２０２においてデコード対象ピクチャがＢピクチャと識別された場合は、参照画像メモリ５への書き込みは発生しないため、上述した書き込み設定に関わる処理はスキップして、後述するＳＴ２０８に移行する。

次に、参照画像メモリ５に記憶された参照画像を順次読み出して、デコード対象ピクチャをデコードする処理について説明する。

まず、デコード対象ピクチャのピクチャタイプが再度識別され（ＳＴ２０８）、ＰピクチャまたはＢピクチャのときは、参照画像圧縮制御部８において、デコード対象ピクチャが参照するピクチャが圧縮されているか否かの確認が行われる（ＳＴ２０９）。圧縮された画像のときは（Ｙｅｓ）、対象となる参照画像を参照画像メモリ５から読み出した後、伸張する設定にし（ＳＴ２１０）、圧縮されていない画像のときは（Ｎｏ）、対象となる参照画像を参照画像メモリ５から読み出した後、伸張しない設定にする（ＳＴ２１１）。なお、ＳＴ２０８において、Ｉピクチャと識別されたときは、参照画像メモリ５から参照画像を読み出す必要がないため、後述するＳＴ２１２にスキップする。

このようにして、デコード対象ピクチャをデコードする際の参照画像の読み出し設定が行われ、ピクチャ内のスライス層以下のデコードが起動される（ＳＴ２１２）。ここでは、書き込み制御部９および読み出し制御部１０によって、すでに決定された書き込み／読み出し設定に基づいて、参照画像メモリ５内の参照画像に対してリード／ライトアクセスが行われる。デコード対象ピクチャの１ピクチャ分のデコードが終了したとき、動画像ストリームにおいて再生されていないデコード対象ピクチャが存在するか否かの確認が行われ（ＳＴ２１３）、存在する場合はＳＴ２０１に移行して、上述の処理を再度行い、存在しないときは処理を終了する。

なお、上述の説明では、参照画像メモリ５に対するトラフィックをピクチャ単位で精度良く見積もるために、マクロブロックの符号化タイプ、予測方向種別、動き補償サイズおよび動きベクトルといった各種符号化パラメータを用いるものとしたが、トラフィックの見積もり手法はこれに限定されるものではない。例えば、これらの符号化パラメータを全て用いる代わりに、その１つ、またはいくつかを用いて、トラフィックを簡易的に見積もってもかまわない。

例えば、ピクチャ内に存在するインターマクロブロックの個数に基づいて、トラフィックを簡易的に見積もってもよい。あるいは、ピクチャについて抽出された動きベクトルの個数に基づいてトラフィックを簡易的に見積もってもよい。さらには、ピクチャについて抽出された動き補償サイズ毎のマクロブロック数に基づいて、トラフィックを簡易的に見積もってもかまわない。

また、上述の説明では、事前に見積もられた各ピクチャのトラフィックそれぞれと許容メモリバンド幅ＡＷとを比較し、この比較処理の結果から、デコード対象ピクチャの圧縮／非圧縮を決定するものとしたが、参照画像の圧縮態様を決定するための比較処理はこれに限定されるものではない。例えば、デコード対象ピクチャを参照する複数のピクチャを１つの単位とし、これらの各ピクチャに係るトラフィックの平均値と許容メモリバンド幅ＡＷとを比較してもよい。具体的には、デコード対象ピクチャがＩ２ピクチャであるとき、Ｉ２ピクチャを参照する５つのピクチャのトラフィックＳＴ（Ｂ０），ＳＴ（Ｂ１），ＳＴ（Ｂ３）、ＳＴ（Ｂ４）、ＳＴ（Ｐ５）の平均値と許容メモリバンド幅ＡＷとを比較し、その比較結果から、Ｉ２ピクチャから得られた参照画像を圧縮するか否かを決定する。

また、上述の説明では、参照画像メモリ５を動画像ストリーム再生のためにのみ用いるものとしたが、参照画像メモリ５は、動画像ストリーム再生とは異なる他の処理にも用いられるメモリであってもよい。この場合は、参照画像メモリ５へのアクセスが互いに競合しないように、動画像ストリーム再生と他の処理とが協調制御される。このとき、比較処理に用いられる許容メモリバンド幅ＡＷは、上述の説明で算出した値から、他の処理が必要とするトラフィックを減じて得た値に設定すればよい。

また、上述の説明では、許容メモリバンド幅ＡＷを１種類のみ設定し、この許容メモリバンド幅ＡＷとトラフィックとの比較処理によって、参照画像を圧縮するか否かを判定するものとしたが、許容メモリバンド幅ＡＷの設定や圧縮態様の判定はこれに限られるものではない。例えば、所定の閾値としての許容メモリバンド幅ＡＷを複数種類設定できるようにして、この複数の許容メモリバンド幅ＡＷとトラフィックとの比較処理によって、複数の圧縮率の中からいずれかを選択するという方法を用いてもかまわない。具体的には例えば、２個の許容メモリバンド幅ＡＷ１，ＡＷ２を設定し、この許容メモリバンド幅ＡＷ１，ＡＷ２と各ピクチャのトラフィックとを比較して、各ピクチャのトラフィックがＡＷ１以下であればデコード対象ピクチャを圧縮せず、ＡＷ１より大きくＡＷ２以下であればデコード対象ピクチャを７５％に圧縮し、ＡＷ２より大きければデコード対象ピクチャをより圧縮率の高い５０％に圧縮するものと判定する。

また、参照画像を圧縮する場合は、輝度成分と色差成分とにそれぞれ独立した圧縮率を設定してもよい。例えば、輝度成分の歪は人間の目にも確認されやすいため、色差成分の圧縮率よりも輝度成分の圧縮率の方が低くなるような設定にする方がより好ましい。

以上のように本実施形態によると、動画像ストリームをデコードして再生する場合に、実際に生じる参照画像メモリに対するトラフィックをピクチャ単位で事前に見積もり、それらのトラフィックが参照画像メモリの許容メモリバンド幅を超える場合に、参照画像を圧縮して格納する。これにより、デコード時に発生する参照画像圧縮による歪の時間的な伝播を極力抑制することができる。また、発生確率の極めて低いワーストケースを想定して、必要以上の高性能なメモリを搭載する必要がないため、低コスト化と省電力化を同時に実現できる。また、従来のように、圧縮した参照画像と非圧縮の参照画像の両方を記憶させておく必要がないため、比較的少ないメモリ容量で実現できるとともに、参照画像メモリへのライトアクセスも２重に発生しない。

＜第２の実施形態＞
図６は第２の実施形態に係る画像再生装置２の構成を示す図である。図６において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明を省略する。図６の構成において第１の実施形態と異なるのは、可変長復号化部３においてデコードされた中間データを一時的に記憶しておくための中間バッファメモリ２０２と、中間バッファメモリ２０２の書き込み／読み出し制御を行う中間バッファメモリ制御部２０３とが追加されている点である。

第１の実施形態の場合、トラフィック見積もり用デコードと再生用デコードとをタイミングをずらして起動し、可変長復号化部３を排他的に動作させていた。ところが、先行して実行されるトラフィック見積り用デコードで一旦、動画像ストリームの可変長復号化を行った後に、また再度、再生用デコードのために同一ストリームの可変長復号化を行うため、デコード処理に重複があり、再生用デコードに余分な時間が発生する。本実施形態は、この再生用デコードにおける余分な時間を削除することを目的とするものである。

以下、本実施形態における処理を具体的に説明する。

まず、第１の実施形態と同様に、トラフィック見積り用デコードが先行して起動され、可変長復号化部３は、ピクチャ毎の具体的なトラフィックを見積もるために、ピクチャ層だけではなく、スライス層、マクロブロック層までの全てのデコードを行う。そして第１の実施形態では、デコードされたデータのうち、トラフィック見積りに必要となる各種符号化パラメータがトラフィック解析部６に順次出力されるだけであったが、本実施形態ではこれに加えて、デコードされたマクロブロック層の画像データ（量子化係数）を中間データとして一時的に中間バッファメモリ２０２に格納する。すなわち、可変長復号化部３から順次出力されるマクロブロック層の画像データが、中間バッファメモリ制御部２０３の書き込み制御によって、中間バッファメモリ２０２に記憶される。

そして再生用デコードでは、動画像ストリームを再度、可変長復号化するのではなく、中間バッファメモリ２０２に一時的に記憶されているデコード対象ピクチャの画像データが、中間バッファメモリ制御部２０３の読み出し制御によって順次読み出され、この画像データを用いてデコード処理が行われる。

このように本実施形態によると、トラフィック見積り用デコードにおけるデコード処理で得られた中間データを中間バッファメモリ２０２に一時的に格納し、再生用デコードにおいて、中間バッファメモリ２０２から中間データを読み出し、再生画像を生成する。これにより、ピクチャ毎の可変長復号化が１回で済むことになり、したがって、再生用デコード処理の高速化を図ることができる。また、高速処理が可能な可変長復号化器を設ける必要性もなくなるという効果も得られる。

なお、上述の説明では、可変長復号化により生成された画像データ（量子化係数）を中間データとして中間バッファメモリ２０２に記憶させるものとしたが、中間バッファメモリ２０２に格納する中間データはこれに限られるものではない。例えば、二値化処理と算術符号化を組み合わせて可変長符号化されているＨ.２６４の動画像ストリームをデコードする場合には、算術復号化された後の二値化データを中間データとして中間バッファメモリ２０２に記憶させてもよい。この二値化データは、画像データ（量子化係数）が圧縮されているものに相当するので、これを中間データとして格納することによって、中間バッファメモリ２０２を比較的小容量のメモリで構成することができる。

また、上述の説明は、参照画像メモリ５と中間バッファメモリ２０２はそれぞれ独立して構成されているものとしたが、これに限られるものではなく、参照画像メモリ５と中間バッファメモリ２０２とが単一の共有メモリで構成されていてもよい。この場合は、互いの動作に影響が出ないよう、排他的に制御すればよい。

＜第３の実施形態＞
図７は第３の実施形態に係る画像再生方法を示すフローチャートである。本実施形態では、第１および第２の実施形態で説明した画像再生方法を用いて動画像ストリームを再生している間に、一時停止やコマ送りなどを行う場合の処理について具体的に説明する。

第１および第２の実施形態で説明した画像再生方法は、参照画像メモリ５に対するトラフィックが許容メモリバンド幅を超える場合にのみ参照画像を圧縮するため、デコード時に発生する参照画像圧縮による歪の時間的な伝播を極力抑制することができる。ところが、許容メモリバンド幅が比較的小さい参照画像メモリ５を用いて画像再生装置を構成したり、参照画像メモリ５に対するトラフィックが大きな動画像ストリームを再生したりした場合は、参照画像圧縮が頻繁に行われ、参照画像圧縮による歪の時間的な伝播も大きくなる。ただ、このような場合でも、通常の動画再生のときは、参照画像圧縮による歪は視覚的には比較的気づきにくく大きな問題とはならないが、例えば、一時停止して静止画が表示されたときやコマ送りを行ったときは、歪はより目につきやすくなる。

そこで本実施形態では、一時停止やコマ送り再生など、参照画像圧縮による歪が視覚的に気づかれやすい状況になった場合は、ピクチャ毎のトラフィックに関わらず、参照画像を圧縮しないように制御変更することを特徴とする。

以下、図７を用いて具体的に説明する。

まず、第１および第２の実施形態で説明した画像再生方法を用いて動画像ストリームを再生中に、一時停止やコマ送りが指示されたか否かを判断する（ＳＴ３０１）。動画像再生中にいきなりコマ送りが行われることはないので、動画の通常再生中であればまず一時停止が指示されたか否かの判断が行われる。一時停止が指示されていないときは（Ｎｏ）、そのまま参照画像を圧縮制御（各ピクチャのトラフィックに応じて圧縮態様を設定）する設定で、動画像ストリームを再生する（ＳＴ３０２）。一方、一時停止が指示されたときは（Ｙｅｓ）、一時停止直後か否かの判断が行われ（ＳＴ３０３）、一時停止直後のときは（Ｙｅｓ）、参照画像圧縮による歪が目につきやすいため、一時停止時の再生ピクチャより前のＩピクチャに戻って（ＳＴ３０４）、参照画像を圧縮しない設定で再度デコード処理を行う（ＳＴ３０５）。次に、デコードされたピクチャが一時停止時の再生ピクチャと同じか否かの判断が行われ（ＳＴ３０６）、同じでないときは（Ｎｏ）、ＳＴ３０５に移行して参照画像を圧縮しない設定で次のピクチャが再デコードされる。同様にピクチャが順次再デコードされ、一時停止時の再生ピクチャと同じピクチャが再デコードされたとき（Ｙｅｓ）、再生画像の差し替えが行われ（ＳＴ３０７）、ＳＴ３０１に移行する。また、一時停止の後、継続してコマ送りが行われるときは（ＳＴ３０１でＹｅｓ、ＳＴ３０３でＮｏ）、参照画像圧縮による歪が時間的に伝播しないよう、参照画像を圧縮しない設定でデコード処理を行う（ＳＴ３０８）。

このように、一時停止して静止画が表示された場合やコマ送りされた場合など、参照画像圧縮による歪が視覚的に発見されやすい場合は、参照画像を圧縮しない設定でデコード処理を行う。これにより、一時停止やコマ送りにおいて、参照画像圧縮による歪が回避されるので、より好ましい動画像ストリームの再生が実現でき、実使用シーンを想定した好ましい画像再生装置を実現できる。

なお、本実施形態では、一時停止の場合、Ｉピクチャに遡って参照画像を圧縮しない設定で再度デコード処理を行い表示画像を差し替えるため、参照画像圧縮による歪のない再生画像が生成されるまでに若干のタイムラグが生じることになる。ただし、実際の画像再生装置では、このタイムラグは最大でも０．５秒程度であるため、視聴者の体感速度の面からみて大きな問題にはならない。また、コマ送りの場合も、参照画像を圧縮しない設定で許容メモリバンド幅を超えたトラフィックの中でデコードを行うため、若干、デコード処理に時間を要することになる。ただし、コマ送り再生は、通常の動画再生に比べてリアルタイム性が要求されるものではないため、大きな問題にならない。

＜第４の実施形態＞
図８は第４の実施形態に係る画像再生装置４の構成を示す図、図９は第４の実施形態に係る画像再生方法を示すフローチャートである。図８において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明を省略する。図８の構成において、第１の実施形態と異なるのは、一時停止やコマ送りなどが発生した場合に、参照画像圧縮による歪の伝搬に起因した、再生画像の劣化度合を判定する劣化度合判定部４０２が追加されている点である。また、図９において、図７と共通のステップには図７と同一の符号を付しており、ここではその詳細な説明を省略する。図９のフローにおいて第３の実施形態と異なるのは、一時停止やコマ送りなどが発生した場合に、再生画像の劣化度合を判定するステップＳＴ４０１が追加されている点である。

すなわち、第１および第２の実施形態で説明した、参照画像の圧縮態様を制御する設定で動画像ストリームを再生している場合において、一時停止が指示されたとき、その時の再生ピクチャは、参照画像圧縮による歪の時間的な伝播が大きい場合と小さい場合とが存在する。例えば、参照画像圧縮による歪の時間的伝播がないＩピクチャが再生された後、比較的早い段階で一時停止された場合は、参照画像圧縮による歪の時間的伝播が少ないため、Ｉピクチャに遡った再デコード処理を行わなくてもさほど問題はない。一方、Ｉピクチャが再生された後しばらく経過してから一時停止された場合は、参照画像圧縮による歪の時間的伝播が大きいため、Ｉピクチャに遡った再デコード処理を行わなければ、参照画像圧縮による歪が画像上発見されやすくなる。

本実施形態では、このような判断処理を、劣化度合判定部４０２がステップＳＴ４０１において行うことを特徴とする。すなわち、ステップＳＴ４０１では、一時停止時の再生ピクチャからデコードされた再生画像の劣化度合が大きいか否かを判断する。そして、劣化度合が相対的に大きいときは（Ｙｅｓ）、一時停止時の再生ピクチャより前のＩピクチャに戻って（ＳＴ３０４）、参照画像を圧縮しない設定で再度デコード処理を行う（ＳＴ３０５）。同様にピクチャが順次再デコードされ、一時停止時の再生ピクチャと同じピクチャが再デコードされたとき（ＳＴ３０６でＹｅｓ）、再生画像の差し替えが行われる（ＳＴ３０７）。一方、劣化度合が相対的に小さいときは（ＳＴ４０１でＮｏ）、その後、参照画像を圧縮しない設定で、デコードを行う（ＳＴ３０８）。ステップＳＴ４０１を追加したことによって、第３の実施形態と比べて、Ｉピクチャに遡った再デコード処理を行う回数を少なく抑えることができる。

なお、ステップＳＴ４０１での判定処理は、例えば次のように行う。すなわち、一時停止時の再生画像の劣化度合を判定するための閾値として、画質的に許容できるＩピクチャからの時間的な距離が設定端子７から設定される。そして、Ｉピクチャから一時停止時の再生ピクチャまでの時間的な距離をこの閾値と比較することによって、劣化度合が大きいか小さいかを判定する。あるいは、Ｉピクチャからの時間的な距離に代えて、あるいはこれに加えて、一時停止時の再生ピクチャへの、参照画像圧縮による歪の伝搬回数を用いて判断してもよい。

（システムの構成例）
上述の各実施形態に係る画像再生方法は、例えばデジタルビデオカメラやデジタルスチルカメラ等の撮像システム（映像システム）に利用することができる。図１０はそのような撮像システムの構成の一例を示すである。図１０の撮像システムは、各実施形態に係る画像再生方法を利用したシステムであり、画像処理回路５３は、各実施形態に係る画像再生方法を実行可能な画像再生部１００を含み、画像処理を行う。

図１０の撮像システムでは、光学系５０を通って入射した画像光はセンサー５１上に結像され、光電変換される。光電変換によって得られた電気信号はＡ／Ｄ変換回路５２にアナログ画像信号として与えられる。Ａ／Ｄ変換回路５２は入力されたアナログ画像信号をデジタル画像信号に変換した後、画像処理回路５３に出力する。画像処理回路５３では、Ｙ／Ｃ処理、エッジ処理、画像の拡大縮小、およびＪＰＥＧやＭＰＥＧ等の画像圧縮／伸張処理，画像圧縮されたストリームの制御等が行われる。画像処理された信号は、記録系／転送系５４において、メディアに記録されたり、あるいはインターネット等を介して転送されたりする。記録または転送された信号は再生系５５によって再生される。センサー５１および画像処理回路５３はタイミング制御回路５６により制御され、光学系５０、記録系／転送系５４，再生系５５およびタイミング制御回路５６は、各々、システム制御回路５７により制御される。

なお、図１０に示した撮像システムでは、光学系５０からの画像光をセンサー５１で光電変換してＡ／Ｄ変換回路５２に入力する、カメラ機器等に用いられる構成としたが、これに限定されるものではない。例えば、テレビ等のＡＶ機器のアナログ映像入力をアナログ画像信号として直接にＡ／Ｄ変換回路５２に供給する構成であってもよい。

また、図１０に示した撮像システムから光学系５０やセンサー５１等の撮像に関する部分を省いた構成の再生システムにも、上述の各実施形態は同様に適用可能である。

なお、上述の各実施形態に係る画像再生方法は、当該方法を実現するためのプログラムを実行するコンピュータを備えた装置によって実現することができる。また、当該方法を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録したプログラムをコンピュータに実行させることによって実現することができる。

本発明では、低コスト・省電力で、デコード時に発生する圧縮歪の時間的な累積を抑制可能な画像再生技術を実現できるので、例えば、安価で、かつ高速、省電力な動画像再生が要求される、デジタルビデオカメラやデジタルスチルカメラ等の撮像機器、デジタルフォトストレージやデジタルフォトフレームなどの画像ビューワ、および携帯電話などのモバイル機器などに有用である。

１，２，４画像再生装置
２可変長復号化部
４逆量子化・逆ＤＣＴ部
５参照画像メモリ
６トラフィック解析部
８参照画像圧縮制御部
９書き込み制御部
１０読み出し制御部
１１動き補償部
１２加算器
２０デコード処理部
５０光学系
５１センサー
５２Ａ／Ｄ変換回路
５３画像処理回路
１００画像再生部
２０２中間バッファメモリ
４０２劣化度合判定部

Claims

画面間予測符号化された動画像ストリームを、参照画像メモリにアクセスしながらデコードする画像再生方法であって、
前記参照画像メモリに対するトラフィックをピクチャ単位で見積もるために、前記動画像ストリームをピクチャ単位でデコードする第１のデコードステップと、
再生画像を生成するために、前記動画像ストリームをピクチャ単位でデコードする第２のデコードステップとを備え、
前記第２のデコードステップにおいて、
デコード対象ピクチャが、デコード後に参照画像として前記参照画像メモリに格納すべきものであるとき、前記第１のデコードステップにおいて見積もられた、当該デコード対象ピクチャを参照するピクチャに係るトラフィックを基にして、当該デコード対象ピクチャを前記参照画像メモリに格納する際の圧縮態様を設定するものである
ことを特徴とする画像再生方法。
請求項１記載の画像再生方法において、
前記第１のデコードステップは、
前記参照画像メモリに対するアクセスを行わないで、前記動画像ストリームに対する可変長復号化によって、トラフィック見積もりに用いる符号化パラメータを抽出するものである
ことを特徴とする画像再生方法。
請求項２記載の画像再生方法において、
前記第１のデコードステップにおいて抽出される符号化パラメータは、マクロブロックの符号化タイプ、予測方向種別、動き補償サイズおよび動きベクトルのうち、少なくとも１つを含む
ことを特徴とする画像再生方法。
請求項２記載の画像再生方法において、
前記第１のデコードステップにおいて、
トラフィックの見積もりは、当該ピクチャ内に存在するインターマクロブロックの個数に基づいて、行われる
ことを特徴とする画像再生方法。
請求項２記載の画像再生方法において、
前記第１のデコードステップにおいて、
トラフィックの見積もりは、当該ピクチャについて抽出された動きベクトルの個数に基づいて、行われる、
ことを特徴とする画像再生方法。
請求項２記載の画像再生方法において、
前記第１のデコードステップにおいて、
トラフィックの見積もりは、当該ピクチャについて抽出された動き補償サイズ毎のマクロブロック数に基づいて、行われる、
ことを特徴とする画像再生方法。
請求項１記載の画像再生方法において、
前記第２のデコードステップにおいて、
当該デコード対象ピクチャを参照するピクチャに係るトラフィックについて、所定の閾値との比較処理を行うことによって、当該デコード対象ピクチャを圧縮するか否かを設定する
ことを特徴とする画像再生方法。
請求項７記載の画像再生方法において、
前記比較処理において、当該デコード対象ピクチャを参照する複数のピクチャに係るトラフィックをそれぞれ、前記所定の閾値と比較する
ことを特徴とする画像再生方法。
請求項７記載の画像再生方法において、
前記比較処理において、当該デコード対象ピクチャを参照する複数のピクチャに係るトラフィックの平均値を、前記所定の閾値と比較する
ことを特徴とする画像再生方法。
請求項７記載の画像再生方法において、
前記所定の閾値は、前記参照画像メモリのバンド幅をピクチャ単位に換算した値である
ことを特徴とする画像再生方法。
請求項７記載の画像再生方法において、
前記参照画像メモリは、前記動画像ストリームの再生とは異なる他の処理にも用いられるものであり、
前記所定の閾値は、前記参照画像メモリのバンド幅をピクチャ単位に換算した値から前記他の処理が必要とするトラフィックを減じて得た値である
ことを特徴とする画像再生方法。
請求項１記載の画像再生方法において、
前記第２のデコードステップにおいて、
当該デコード対象ピクチャを参照するピクチャに係るトラフィックについて、複数の所定の閾値との比較処理を行うことによって、当該デコード対象ピクチャの圧縮率を設定する
ことを特徴とする画像再生方法。
請求項１２記載の画像再生方法において、
当該デコード対象ピクチャについて、輝度成分と色差成分とにそれぞれ独立した圧縮率を設定する
ことを特徴とする画像再生方法。
請求項１記載の画像再生方法において、
前記第２のデコードステップは、
デコード対象ピクチャについて設定された圧縮態様を、一時的に記憶するステップを備え、
前記デコード対象ピクチャを前記参照画像メモリから参照画像として読み出す際に、記憶されている圧縮態様に応じた伸張態様で、読み出しを行う
ことを特徴とする画像再生方法。
請求項１記載の画像再生方法において、
前記第２のデコードステップは、前記第１のデコードステップの開始から、所定数のピクチャ分遅延して開始されるものであり、
前記所定数は、前記動画像ストリームのＧＯＰ（Group of Pictures）においてＩピクチャまたはＰピクチャの現れる周期がＭ（Ｍは正の整数）のとき、（Ｍ×２）以上である
ことを特徴とする画像再生方法。
請求項１または２記載の画像再生方法において、
前記第１のデコードステップは、
デコード処理で得られた中間データを、中間バッファメモリに一時的に格納するものであり、
前記第２のデコードステップは、
前記中間バッファメモリから前記中間データを読み出し、この中間データを用いて再生画像を生成する
ことを特徴とする画像再生方法。
請求項１記載の画像再生方法において、
前記動画像ストリームを再生中に、一時停止が指示されたとき、
一時停止時の再生ピクチャの前にあるＩピクチャに戻り、当該Ｉピクチャから順次、参照画像を圧縮しない設定で再デコードを行い、
一時停止時の再生ピクチャの再デコードが終了したとき、再生画像の差し替えを行う
ことを特徴とする画像再生方法。
請求項１記載の画像再生方法において、
前記動画像ストリームを再生中に、コマ送り再生が指示されたとき、
その後、参照画像を圧縮しない設定で、デコードを行う
ことを特徴とする画像再生方法。
請求項１記載の画像再生方法において、
前記動画像ストリームを再生中に、一時停止が指示されたとき、参照画像圧縮による歪の伝搬に起因した、再生画像の劣化度合を判定し、
劣化度合が相対的に大きいときは、一時停止時の再生ピクチャの前にあるＩピクチャに戻り、当該Ｉピクチャから順次、参照画像を圧縮しない設定で再デコードを行い、一時停止時の再生ピクチャの再デコードが終了したとき、再生画像の差し替えを行う一方、劣化度合が相対的に小さいときは、再生画像の劣化度合を判定した後、参照画像を圧縮しない設定で、デコードを行う
ことを特徴とする画像再生方法。
請求項１９記載の画像再生方法において、
前記劣化度合は、Ｉピクチャから一時停止時の再生ピクチャまでの時間的な距離を用いて判定される
ことを特徴とする画像再生方法。
請求項１９記載の画像再生方法において、
前記劣化度合は、一時停止時の再生ピクチャへの、参照画像圧縮による歪の伝播回数を用いて判定される
ことを特徴とする画像再生方法。
画面間予測符号化された動画像ストリームをデコードする画像再生装置であって、
参照画像を格納するための参照画像メモリと、
前記動画像ストリームについてピクチャ単位で可変長復号化を行い、再生画像を生成するとともに、符号化パラメータを出力するデコード処理部と、
前記デコード処理部から出力された符号化パラメータを基にして、前記参照画像メモリに対するトラフィックをピクチャ単位で見積もるトラフィック解析部と、
前記トラフィック解析部において見積もられたトラフィックを基にして、前記参照画像メモリへの参照画像の格納における圧縮態様を設定する参照画像圧縮制御部と、
前記参照画像圧縮制御部によって設定された圧縮態様に従って、前記デコード処理部から出力された参照画像を前記参照画像メモリに書き込む書き込み制御部と、
前記参照画像圧縮制御部に設定された圧縮態様に応じた伸張態様に従って、前記参照画像メモリから参照画像を読み出し、前記デコード処理部に与える読み出し制御部とを備えた
ことを特徴とする画像再生装置。
請求項２２記載の画像再生装置において、
前記デコード処理部におけるデコード処理で得られた中間データを格納するための中間バッファメモリをさらに備え、
前記デコード処理部は、
トラフィック見積もり用デコードを行うときは、符号化パラメータを抽出するとともに、デコード処理で得られた中間データを前記中間バッファメモリに一時的に格納する一方、再生用デコードを行うときは、前記中間バッファメモリから前記中間データを読み出し、再生画像を生成する
ことを特徴とする画像再生装置。
請求項２３記載の画像再生装置において、
前記動画像ストリームは、二値化処理と算術符号化を組み合わせて可変長符号化されたものであり
前記デコード処理部は、トラフィック見積もり用デコードを行うとき、算術復号化された二値化データを、前記中間データとして前記中間バッファメモリに格納する
ことを特徴とする画像再生装置。
請求項２３記載の画像再生装置において、
前記参照画像メモリと前記中間バッファメモリとが、単一の共有メモリに構成されている
ことを特徴とする画像再生装置。
請求項２２記載の画像再生装置において、
参照画像圧縮による歪の伝搬に起因した、再生画像の劣化度合を判定する劣化度合判定部をさらに備えた
ことを特徴とする画像再生装置。
画面間予測符号化された動画像ストリームを、参照画像メモリにアクセスしながらデコードする画像再生処理をコンピュータに実行させるための画像再生プログラムであって、
前記画像再生処理は、
前記参照画像メモリに対するトラフィックをピクチャ単位で見積もるために、前記動画像ストリームをピクチャ単位でデコードする第１のデコードステップと、
再生画像を生成するために、前記動画像ストリームをピクチャ単位でデコードする第２のデコードステップとを備え、
前記第２のデコードステップにおいて、
デコード対象ピクチャが、デコード後に参照画像として前記参照画像メモリに格納すべきものであるとき、前記第１のデコードステップにおいて見積もられた、当該デコード対象ピクチャを参照するピクチャに係るトラフィックを基にして、当該デコード対象ピクチャを前記参照画像メモリに格納する際の圧縮態様を設定するものである
ことを特徴とする画像再生プログラム。
請求項１〜２１のうちいずれか１項に記載の画像再生方法を実行可能な画像再生部を含み、画像処理を行う画像処理回路と、
入力されたアナログ画像信号をデジタル画像信号に変換して、前記画像処理回路に出力するＡ／Ｄ変換回路とを備えた
ことを特徴とする撮像システム。
請求項２８記載の撮像システムにおいて、
光学系と、
前記光学系によって結像された画像光を受け、この画像光を電気信号に光電変換し、前記Ａ／Ｄ変換回路に前記アナログ画像信号として出力するセンサーとをさらに備えた
ことを特徴とする撮像システム。
請求項１〜２１のうちいずれか１項に記載の画像再生方法を実行可能な画像再生部を含み、画像処理を行う画像処理回路を備えた
ことを特徴とする再生システム。