JP5867050B2 - 画像処理装置 - Google Patents

Description

本発明は，画像処理装置に関する。

画像データの情報を圧縮する情報圧縮技術として，MPEG-2ビデオ(Moving Picture Experts Group)やH.264などの画像圧縮規格が広く知られている。これらの画像圧縮規格による画像処理装置は，イメージセンサ等で取得した原画像データを符号化してストリームデータを生成する符号化装置と，ストリームデータを復号して復号画像データを生成する復号装置とがある。

MPEG規格による動画像の符号化装置については，以下の特許文献に記載されている。

近年のビデオカメラやデジタルカメラは，動画機能の性能が目覚ましく向上し，HDTV(High Definition Television)画像（1920×1080画素）を30フレーム／秒で処理するのが一般的になっている。

符号化装置は，原画像データを入力して一旦フレームメモリに格納し，フレームメモリから原画像データと参照画像データとを読み出し，両者を比較して動きベクトルを求めてインター予測モードの符号化を行う。さらに，インター予測モードとイントラ予測モードのいずれかを決定し，決定した予測モードで生成した予測画像と原画像との差分データを生成し，差分データを圧縮してストリームデータを出力する。また，符号化装置では，ストリームデータで採用した予測モードで復号してローカルデコード画像と呼ばれる復号画像データを生成して，それをフレームメモリに格納し，PピクチャやBピクチャの符号化処理の参照画像データとして利用する。

一方，復号装置は，ストリームデータを入力し，それに含まれている予測モードや動きベクトル等に基づいて復号画像である参照画像データから予測画像データを生成し，予測画像データにストリームデータに含まれている差分データを加算して復号画像データを生成し，復号画像データをフレームメモリに格納する。この復号画像データが復号出力として出力される。

符号化装置も復号装置も，原画像データや復号画像データをモニタ画面に表示するために，それらの画像データをフレームメモリから読み出して，表示装置に出力することが必要になる場合がある。

以下，簡単のために，原画像，予測画像，復号画像らを，原画，予測画，復号画と称する。また，画像処理装置の処理対象は一般にデータであるが，原画像データ，予測画像データ，復号画像データについては，単に原画，予測画，復号画と称する場合がある。

特開平９−２６１０６９号公報

上記の通り，画像データの容量の増大に伴い，フレームメモリには大容量の外部メモリ，例えばSDRAMが使用される。そして，上述のとおり，符号化装置では，原画や参照画をフレームメモリから読み出しながら符号化処理を行うとともに，原画をフレームメモリから読み出して表示装置に出力する。また，復号装置では，参照画をフレームメモリから読み出しながら復号処理を行って復号画を生成するとともに，その復号画をフレームメモリから読み出して表示装置に出力する。

しかしながら，フレームメモリをSDRAMなどの外部メモリで構成した場合，外部メモリからの大容量の画像データの読み出し（または読み込み）動作が頻繁に発生する。したがって，外部メモリであるSDRAMの帯域の増大を招く。さらに，外部メモリは，一般にメインメモリとして使用されて画像データ以外のデータも記憶しているので，符号化装置や復号装置以外からもアクセスもあり，動画像の画像処理装置により，ますますSDRAMの帯域の増大を招く。

SDRAMの帯域の増大は，SDRAMの個数を増加させたり，同期クロックの周波数を高くしたりすることにつながり，マザーボードの大規模化や消費電力の増大といった問題を招く。

そこで，本発明の目的は，フレームメモリの帯域を抑制した画像処理装置を提供することにある。

実施の形態の第１の側面は，フレームメモリにアクセス可能な画像処理装置であって，
原画像データを入力する入力部と，
前記原画像データを符号化処理して符号化データを生成すると共に，前記符号化データを復号処理して復号画像データを生成し前記フレームメモリに格納する符号化処理部と，
前記フレームメモリ内の復号画像データの一部を参照画像データとして格納するプリフェッチメモリと，
前記フェッチメモリ内の参照画像データを出力する出力部とを有し，
前記符号化処理部は，前記出力部の前記参照画像データの出力タイミングに対応して，前記フレームメモリ内の復号画像データの一部を読み出して前記プリフェッチメモリ内の参照画像データを更新しながら，前記原画像データと前記プリフェッチメモリから読み出した参照画像データとに基づいて前記符号化処理を行う。

第１の側面によれば，符号化処理または復号処理の過程でプリフェッチメモリに格納した復号画を出力するので，フレームメモリからの画像データの読み出し頻度が抑制される。

第１の実施の形態における符号化用の画像処理装置の構成図である。 第１の実施の形態におけるプリフェッチメモリに保持される復号画を示す図である。 符号化処理部１０４の構成図である。 第１の実施の形態における原画の入力順とその符号化処理順と復号画の出力順との関係を示す図である。 図１の復号用の画像処理装置の動作タイミングを示す図である。 第１の実施の形態における復号用の画像処理装置の構成図である。 復号処理部３０４の構成図である。 図６の復号用画像処理装置の動作タイミングを示す図である。 第２の実施の形態における符号化用の画像処理装置の構成図である。 第２の実施の形態における原画の入力順とその符号化処理順と復号画の出力順との関係を示す図である。 第２の実施の形態における符号化用の画像処理装置の動作タイミングを示す図である。 第２の実施の形態における復号用の画像処理装置の構成図である。 第２の実施の形態における復号用の画像処理装置の動作タイミングを示す図である。 第３の実施の形態における符号化用の画像処理装置の構成図である。 第３の実施の形態における符号化処理部とバッファメモリとの構成を示す図である。 インループフィルタ処理を説明する図である。 インループフィルタ処理を説明する図である。 第３の実施の形態における復号用の画像処理装置の構成図である。 第３の実施の形態における復号処理部とバッファメモリとの構成を示す図である。 第４の実施の形態における符号化用の画像処理装置の構成図である。

［第１の実施の形態（符号化用画像処理装置）］
図１は，第１の実施の形態における符号化用の画像処理装置の構成図である。画像処理装置１００は，例えばワンチップのLSIで構成され，SDRAMなどの外部メモリ２００にアクセス可能である。また，第１の実施の形態では，画像圧縮されたストリームデータは，時間的に前のピクチャを参照し後のピクチャは参照しないIピクチャとPピクチャを有し，時間的に後のピクチャも参照するBピクチャは有しない例である。

符号化用の画像処理装置１００は，イメージセンサなどで取得した原画の入力信号１０を入力する入力部１０２と，原画を符号化して符号化データであるストリームデータ２０を生成する符号化処理部１０４と，符号化処理中に参照される参照画１６を外部メモリ２００からプリフェッチして格納するプリフェッチメモリ１１０と，LCD等の出力装置用端子や，HDM端子に出力画２８を出力する出力部１０６と，ストリームデータ３０をメモリカード等に出力するストリーム出力部１１２とを有する。

更に、画像処理装置１００は，外部バス１１４を介して外部メモリ２００へのメモリアクセスを制御するメモリコントローラ１０８と，装置内の全体の制御を行う制御部１１１とを有する。画像処理装置１００内のプリフェッチメモリ１１０は，例えば，SRAM等のアクセス時間は高速ではあるが，記憶容量に一定の限りがあるメモリである。従って、符号化処理部１０４は，外部メモリ２００に比較すると，プリフェッチメモリ１１０内の画像データを高速に読み出すことができる。

一方，外部メモリ２００は，SDRAM等の大容量のメモリであり，入力された原画（原画像データ）を格納する原画用フレームメモリと，符号化処理部１０４が生成したIピクチャやPピクチャなどの復号画（復号画像データ）１８を格納する復号画用フレームメモリと，ストリームデータ２０を格納するストリームバッファとを有する。外部メモリ２００は，システム内の他の装置からもアクセスされるので，画像処理装置１００からのアクセス時間はそれほど高速ではない。

画像処理装置１００の概略的な動作は次の通りである。入力部１０２は，入力した原画１２を，メモリコントローラ１０８を介して外部メモリ２００内の原画用フレームメモリに格納する。符号化処理部１０４は，外部メモリ２００内の原画１４をメモリコントローラ１０８経由で読み出して，原画について符号化処理を行い，符号化データであるストリームデータ２０を生成する。この符号化処理は，符号化処理のタイミングに合わせてフレームメモリからプリフェッチメモリ１１０に読み込んでいた復号画１９を，プリフェッチメモリ１１０から参照画１６として読み出しながら，行われる。そして，符号化処理部１０４は，生成したストリームデータを，外部メモリ２００内のストリームバッファに格納する。さらに，ストリーム出力部１１２は，ストリームバッファ内のストリームデータ２２を読み出して，そのストリームデータ３０を外部に出力する。

一方，符号化処理部１０４は，生成した符号化データを復号して復号画を生成し，IピクチャやPピクチャの復号画１８を外部メモリ２００内の復号画用フレームメモリに格納する。この復号画は，ローカルデコード画像と呼ばれるもので，MPEGやH.264の画像圧縮規格で定められている参照画として，他のピクチャの符号化処理で参照される。つまり，復号処理で参照する参照画も復号画であるので，符号化処理でも復号画を参照画として参照している。従って，符号化処理で生成された復号画は，一旦，復号画用フレームメモリ２００に格納され，その後の符号化処理のために，プリフェッチメモリ１１０にプリフェッチされる。つまり，復号画と参照画は同じ画像データである。

そして，符号化処理部１０４は，ピクチャ内の複数のブロック（例えば規格上のマクロブロック）の符号化処理を順番に行う。符号化処理部１０４は，さらに，各ブロックの符号化処理の開始時までに，インター予測モードで動きベクトルを検出するときに参照される参照画として，外部メモリ２００の復号画用フレームメモリ内の復号画をプリフェッチメモリ１１０に読み込む。つまり，符号化処理部１０４は，復号画用フレームメモリから復号画をプリフェッチする。そして，符号化処理部１０４は，各処理ブロックの符号化処理中に，高速のプリフェッチメモリ１１０から復号画を参照画として読み出す。プリフェッチメモリを利用することで，外部メモリへの読み出し動作の頻度を抑制している。

本実施の形態では，符号化処理部１０４は，外部メモリ２００内の復号画フレームメモリからの復号画の読み出しの回数をできるだけ少なくして，外部メモリの帯域を抑制する。望ましくは，後述する方法により，プリフェッチメモリ１１０の容量を最小限にしつつ，１つのピクチャの復号処理中に，復号画の各画素の復号画フレームメモリからプリフェッチメモリへのフェッチ回数を１回に限定する。

更に，第１の実施の形態における符号化用の画像処理装置１１０では，出力部１０６が，原画の代わりに，プリフェッチメモリ１１０内にプリフェッチされている復号画を出力画２４として読み出して，外部のLCDやHDMI等の表示装置に出力する。つまり，出力部１０６による出力画２８の出力の為に，外部メモリ内の原画フレームメモリや復号画フレームメモリから原画または復号画を読み出すことは行わない。その代わりに，符号化処理の過程でプリフェッチメモリにプリフェッチした復号画を出力部が出力する。それにより，外部メモリ２００の帯域の増大を抑制することができる。

したがって，外部メモリ２００からの復号画の読み出しは，プリフェッチメモリ１１０へのプリフェッチの時しか行われず，符号化処理中にプリフェッチメモリ１１０にプリフェッチされる復号画は，符号化処理中に符号化処理部１０４からアクセスされると共に，出力部１０６による出力画の出力中にもアクセスされる。そして，プリフェッチメモリ１１０は，SRAMなどの高速メモリであるので，アクセス頻度が高くても問題は少ない。

上記の通り，符号化処理中にプリフェッチメモリ１１０にプリフェッチされる復号画は，符号化処理中に符号化処理部１０４からアクセスされると共に，出力部１０６による出力画の出力中にもアクセスされる。一方，出力部１０６は，出力先の装置やインターフェイスのタイミングに応じてリアルタイムでプリフェッチメモリ内の復号画を出力しなければならない。そこで，出力部１０６は，出力中の出力画の位置情報２６を符号化処理部１０４に出力し，符号化処理部１０４による符号化処理のタイミングに対応してプリフェッチメモリ１１０にプリフェッチされた復号画の保持状態が，出力部１０６によるプリフェッチメモリ内の復号画の出力のタイミングと整合するようにしている。

図１中の原画１２，１４，参照画１６，復号画１８，１９，ストリーム２０，２２，出力画２４は，いずれもデータバスで転送され，望ましくは専用バスで転送される。さらに，符号化処理部１０４が，外部メモリ２００内の画像データにアクセスするよりも，プリフェッチメモリ１１０に予め読み込まれた画像データにアクセスするほうがより高速である。また，上記のデータバスは，汎用のデータバスで構成されてもよい。そして，符号化処理部１０４は，復号画データを外部メモリ２０からプリフェッチメモリ１１０にプリフェッチするために，例えばDMAC(Direct Memory Access Controller)と同様のアクセス制御機能を有する。

図２は，第１の実施の形態におけるプリフェッチメモリに保持される復号画を示す図である。動画像の符号化では，動き予測処理のために，フレームFMを分割した１ブロックの原画の符号化処理において，１ブロックの画像よりもはるかに多くの参照画像をフレームメモリから読み出す必要がある。

例えば，図２（B）に示されるように，原画の処理対象ブロックと同じ位置のブロックXを中心として５×５ブロックの探索範囲BXの復号画が，探索範囲として必要されるものとする。つまり，探索範囲BXは，処理対象の１ブロックの２５倍のデータ量になる。

１ブロックの処理毎にその２５倍の復号画をフレームメモリから読み出すとすると，１ピクチャの符号化処理のための復号画のアクセスに要する外部メモリの帯域は，１ピクチャの復号画を読み出すのに要する帯域をbとすれば，２５bにもなる。

あるいは，図２（C）に示されるように，ブロックXを符号化処理した後，それと右隣のブロックYを符号化処理する時に，探索範囲はBXからBYに移るので，新たに必要となる探索範囲BYの右端の５ブロックの復号画をフレームメモリから読み出し，それ以外のブロックの復号画はブロックXを処理する時に読み出したものをそのまま使用すると，参照画のアクセスに要する外部メモリの帯域は，５bになる。

復号処理においては以下のような問題が存在する。H.264の動画圧縮規格では，１マクロブロックが１６個の４×４画素のブロックに分割され，動きベクトルが小数をとることができる。H.264のインター予測画像生成では，各４×４画素のブロックの処理のために，最大で９×９画素の参照画が探索範囲になる。その結果，１ピクチャの処理のための参照画をフレームメモリから読み出すのに要する帯域は，最大で(9*9)/(4*4)b=約5bになる。

これらの問題を解決するために，本実施の形態では，符号化用の画像処理装置内に高速のプリフェッチメモリ１１０が設けられ，処理対象ブロックが参照する可能性の或る参照画が，そのブロックの処理開始までに，復号画用フレームメモリからプリフェッチメモリにプリフェッチされる。そして，そのブロックの処理中はプリフェッチメモリ内にその参照画が保持され，符号化処理部（または後述する復号処理部）からの参照画アクセス要求に対する参照画データは，プリフェッチメモリ１１０から読み出される。つまり，外部メモリ内の復号画用フレームメモリからの復号画（即ち参照画）の読み出しは，プリフェッチメモリ１１０への復号画データの充填のみに制限する。

そして，プリフェッチメモリ１１０には，ブロックの処理時間に同期して復号画（参照画）を更新する。しかも，一旦復号画用フレームメモリからプリフェッチした復号画（参照画）は，その後のブロックの処理で参照される可能性がある間はプリフェッチメモリに保持し，新たなブロックの処理で新たに必要になる復号画（参照画）だけをフレームメモリからプリフェッチする。それにより，１つのピクチャの処理において，フレームメモリからプリフェッチメモリへの復号画（参照画）の読み出しの回数は１回に抑えられ，フレームメモリの帯域はbに抑制される。

さらに，出力部１０６は外部装置に復号画をラスタスキャンの順番で出力する。そこで，プリフェッチメモリ内には，符号化処理や復号処理で参照される復号画（参照画）に加えて，処理対象のブロックに対応する復号画のブロックが属する行の全てのブロックの復号画も保持する。このようにすることで，符号化処理または復号処理の処理対象ブロックのブロック行と，出力部が出力する出力対象画素ラインのブロック行とを一致させることができる。したがって，出力部１０６は，符号化や復号処理中に参照されるプリフェッチメモリ内の復号画を，ラスタスキャンの画素の順番で出力することができる。

特に，ピクチャがない場合には，その符号化処理や復号処理の順番と，出力部の出力の順番とが同じであるので，出力部は，符号化処理部がプリフェッチしたプリフェッチメモリ内のIピクチャやPピクチャの復号画を順番に出力することができる。この場合，出力部によるIピクチャやPピクチャの画像の出力の為に，フレームメモリの帯域を消費することはない。

また，プリフェッチメモリが，符号化処理と復号処理の処理単位であるブロックと，出力部によるラスタスキャンの処理単位である画素ラインとの違い（縦方向の画素数の違い）を吸収しているので，出力部のためのバッファメモリを必要としない。

図２（A）は，上記のようにフレームメモリからプリフェッチメモリへの読み出し回数を１回に抑制するためのプリフェッチメモリに保持される復号画の例を示す。フレーム（ピクチャ）FM内の複数のブロックのうち，プリフェッチメモリ１１０内に保持される復号画のブロックは，次の通りである。
A: 処理対象ブロックと同じ位置のブロックXと同じ行の全てのブロックと，
BX: 処理対象ブロックの符号化で参照される可能性のあるブロック（例えば５×５ブロック，以下参照ブロック群と称する）と，
C: 参照ブロックBX内のうちブロックXより上にあるブロック群Uが属する行のブロックで且つブロック群Uより右側の全ブロックと，
D: ブロック群Uが属する行のブロックで且つブロック群Uより左側のブロックのうち，上から処理ブロックの高さ分を除いた領域と，
E: 参照ブロックBX内のうちブロックXより下にあるブロック群Lが属する行のブロックで且つブロック群Lより左側の全ブロックと，
F: ブロック群Lが属する行のブロックで且つブロック群Lより右側のブロックのうち，下から処理ブロックの高さ分を除いた領域と，
である。

そして，処理対象ブロックが行方向右側に移動するたびに，参照される可能性のあるブロックBXも行方向右側に移動し，新たにブロックHがプリフェッチメモリにプリフェッチされ，ブロックGが削除される。さらに，処理対象ブロックの行が下に移動するたびに，参照される可能性のあるブロックBXも下に移動するので，新たにブロックEの下の３つのブロックがプリフェッチメモリにプリフェッチされ，ブロックCの最も右上の３つのブロックが削除される。

ただし，一旦プリフェッチしたブロックA,BX,C,D,E,Fは，その後の符号化処理で参照される可能性があるので，処理対象ブロックが移動してもプリフェッチメモリから削除されず，そのピクチャの処理中にもはや参照される可能性がなくなるまで保持され，参照の可能性がなくなったとき初めてプリフェッチメモリから削除される。つまり，上記の領域A,BX,C,D,E,Fは，外部メモリ２００内の復号画フレームメモリからの読み出しを１回に制限できる最小のプリフェッチメモリの領域である。

但し、隣接する処理ブロック間でのプリフェッチメモリ内のブロックの更新の為に，更新されるブロックHと削除されるブロックGのために，それぞれ少なくとも１ブロックまたは数ブロック分のメモリ領域が，プリフェッチメモリ内に確保されていることが好ましい。プリフェッチメモリ内への必要な参照画のプリフェッチは，処理ブロックの処理開始までに完了しておくことが求められる。したがって，プリフェッチメモリは，現在の処理ブロックの符号化処理で参照中のブロックに加えて，次の処理ブロックの符号化処理のための新たな参照ブロックを読み込むための余分のメモリ領域が必要である。削除の為のブロックも同様である。

図３は，符号化処理部１０４の構成図である。符号化処理部１０４は，符号化制御部１２０と，原画１４と参照画１６とを入力してインター予測モードや動きベクトル４４を生成する動き検出部１２２と，原画からイントラ予測モード４８を決定するイントラ予測決定部１２４とを有する。動き検出部１２２は，原画の処理対象ブロックと最も類似する参照画ブロックを検出し，どのピクチャのどの位置の参照画に決定したかを示す予測モード及び動きベクトル４４と，その場合の圧縮度（コスト）４２を出力する。一方，イントラ予測決定部１２４は，原画の処理対象ブロックを隣接ブロックからの補間演算で求める場合の予測モード４８と，その場合の圧縮度（コスト）４２とを出力する。

符号化制御部１２０は，インター予測モードとイントラ予測モードのコスト（圧縮度）を比較して，より有利なモードを決定する。そして，インター予測部１２３が参照画４６と予測モード及び動きベクトル４４に基づいて生成した予測画と，イントラ予測部１２５が予測モード４８に基づいて生成した予測画のいずれかが，符号化制御部１２０が出力するイントラ／インター切替制御信号５０により選択される。

選択された予測画５４は，減算器１２６により，原画１４との差分を検出され，その差分データが直交変換部１２８により直交変換され，量子化部１３０で量子化され，最後に，量子化された差分データと，予測モード／ベクトル４４又は予測モード４８と，イントラ／インター判定結果やその他のヘッダ情報５２とが，エントロピ符号部１３２で符号化圧縮されストリーム２０が生成される。

また，量子化されたデータは，逆量子化部１３４により逆量子化され，逆直交変換部１３６で逆直交変換されて差分データとなり，加算器１３８で，差分データと予測画５４とが加算され，インループフィルタ部１４０によりフィルタ処理されて，復号画１８が生成される。この復号画１８は，後に符号化される他のピクチャのブロックの符号化処理のときに参照画として参照される。したがって，復号画１８は，フレームメモリ２１０内に格納される。

符号化制御部１２０は，前述したとおり，図１内の出力部１０６から出力位置情報２６を供給され，出力位置のタイミングに整合させて，処理対象ブロックの符号化処理を行うように制御して，出力位置の復号画がプリフェッチメモリ１１０内に保持されるようにする。そして，プリフェッチメモリ１１０内にプリフェッチされた復号画が，出力画２４として出力部１０６に出力される。

図４は，第１の実施の形態における原画の入力順とその符号化処理順と復号画の出力順との関係を示す図である。本実施の形態では，IピクチャとPピクチャだけを有しBピクチャは含まれていない。原画の入力順は，IピクチャI0より時間的に前のPピクチャP-2,P-1，それより時間的に後のPピクチャP1-P6の順番である。

図１で説明したとおり，符号化用の画像処理装置に入力された原画は，一旦原画用フレームメモリに格納される。そして，その原画は，１フレーム時間後または数フレーム時間後に，原画の入力順と同じ順番で符号化処理される。Iピクチャは時間的に前のピクチャを参照することなく符号化され，Pピクチャは時間的に前のPピクチャまたはIピクチャを参照して符号化される。I,Pピクチャの符号化処理で，時間的に後のピクチャを参照されることはない。図４内の処理順に示される矢印は参照先のピクチャの例を示している。

例えば、PピクチャP1の符号化処理中には，時間的に前のIピクチャI0の復号画が参照される。この参照されるIピクチャI0の復号画はプリフェッチメモリ１１０内にプリフェッチされている。つまり，プリフェッチメモリ１１０内には，図２に示したブロックの復号画がフレームメモリからプリフェッチされ保持されている。そこで，出力部１０６は，そのプリフェッチメモリ内に保持されているIピクチャI0の処理対象ブロックと同じ行のブロック群（図２内のブロックA）内の画素データを，ラスタスキャンの順番で出力する。同様に，PピクチャP2の符号化処理中は，プリフェッチメモリ１１０内に保持されているPピクチャP1の復号画の画素データが出力される。

IピクチャとPピクチャを有しBピクチャを有しないので，符号化処理の順番と，復号画の出力の順番とが一致しているので，出力部は，全てのIピクチャとPピクチャについて，プリフェッチメモリからそこに保持されている復号画の画素データを出力することができる。

図５は，図１の符号化用の画像処理装置の動作タイミングを示す図である。横軸が時間に対応し，入力部の入力処理対象，符号化処理部の処理対象とプリフェッチメモリ内の参照画，出力部の出力対象，復号画用フレームメモリ内のプリフェッチメモリへのプリフェッチ対象，符号化処理部から復号画用フレームメモリへの書込み対象のピクチャがそれぞれ示されている。

図４と同様に，入力部１０２の入力処理対象ピクチャは，１フレーム時間F0-F6において，ピクチャI0,P1-P6である。そして，符号化処理部での処理対象ピクチャは，入力処理対象ピクチャより１フレーム時間遅れていて，さらに，プリフェッチメモリにプリフェッチされる参照画は，符号処理対象ピクチャより１フレーム時間遅れている。そして，出力部の出力処理対象のピクチャは，プリフェッチされる参照画のピクチャと同じである。

また，プリフェッチメモリにはフレームメモリのプリフェッチ対象ピクチャがプリフェッチされ，符号化処理部で生成された復号画のピクチャはフレームメモリに書込まれる。そして，プリフェッチメモリ内にプリフェッチされている参照画が，出力部による処理対象ピクチャになる。

［第１の実施の形態（復号用画像処理装置）］
図６は，第１の実施の形態における復号用の画像処理装置の構成図である。第１の実施の形態では，ストリームデータは，IピクチャとPピクチャとで構成され，Bピクチャを有していない。したがって，図４の符号化と同様の順番で，ストリームの入力処理，復号処理，参照画のプリフェッチ処理，プリフェッチ処理内の復号画の出力処理が行われる。

図６の復号用の画像処理装置３００は，フレームメモリとストリームバッファを有する外部メモリ２００に接続可能であり，その構成は，図１の符号化用の画像処理装置１００とは，符号化処理部１０４に代えて復号処理部３０４が設けられている点で異なる。それ以外の入力部３０２，出力部３０６，プリフェッチメモリ３１０，メモリコントローラ３０８などは符号化用の画像処理装置１００と同様である。

復号用の画像処理装置３００の動作は次の通りである。入力部３０２が記録媒体などからのストリームデータ６０を入力し，一旦，その入力したデータ６１を外部メモリ２００内のストリームバッファに書込む。そして，復号処理部３０４は，ストリームバッファからストリームデータ６２を読み出しながら，且つ，参照されるピクチャの復号画を復号画用フレームメモリからプリフェッチメモリ３１０にプリフェッチするとともに，プリフェッチメモリ内の復号画を参照画６３として読み出し，ストリームデータを復号処理する。また，復号処理部３０４は，出力部３０６が供給する出力位置情報６６に対応するブロックの符号化処理を行い，且つ，それに対応する行のブロックの復号画をプリフェッチメモリ３１０内に保持する様にプリフェッチメモリへのプリフェッチ動作を制御する。そして，復号処理部３０４は，復号したI,Pピクチャの復号画６４を外部メモリ２００内の復号画用フレームメモリに格納する。この復号画は，後で復号処理されるブロックを復号するための参照画としてプリフェッチメモリにプリフェッチされ保持される。

さらに，出力部３０６は，プリフェッチメモリ３１０に保持されているピクチャの復号画を，出力画６７，６８として外部の表示装置などに出力する。プリフェッチメモリ内には処理対象ブロックと同じ行の全ブロックの復号画が保持されているので，出力部は，その行の復号画をラスタスキャンで出力する。

図７は，復号処理部３０４の構成図である。復号処理部３０４は，図３の符号化処理部１０４内の符号化処理に必要な動き検出部１２２，イントラ予測モード決定部１２４，減算器１２６，直交変換部１２８，量子化部１３０を除いた構成（図３と同じ引用文献番号）を有する。また，符号化制御部１２０に代えて復号制御部１２１を，エントロピ符号化部１３２に代えてエントロピ復号部１３３をそれぞれ有する。

復号処理部３０４は，符号化されたストリームデータ６０を入力し，エントロピ復号部１３３は，ストリームデータをエントロピ復号し，逆量子化部１３４が逆量子化し，逆直交変換部１３６が逆直交変換して，誤差信号を生成する。一方，エントロピ復号されたストリームデータ内には予測モードと動きベクトル情報４４，４８と，イントラ／インター判定結果５２などが含まれている。復号制御部１２１は，画像処理装置内の制御部からピクチャタイプ情報６７を供給され，イントラ／インター判定結果５２に基づき，イントラ／インター切替制御信号５０により，インター予測部１２３が生成する予測画か，イントラ予測部１２５が生成する予測画かのいずれかを選択する。そして，加算器１３８が，選択された予測画５４と誤差信号とを加算して復号画を生成する。最後にインループフィルタ部１４０によりインループフィルタ処理が行われて，復号画１８が生成され，フレームメモリ２１０に書込まれる。

符号化制御部１２１は，復号対象ピクチャと復号対象ブロックとに応じて，フレームメモリ２１０から参照される可能性のある復号画をプリフェッチメモリ１１０にプリフェッチしながら，インター予測部１２３がプリフェッチメモリ１１０内の復号画から動きベクトルに対応した参照画を読み出して，予測画を生成する。また，イントラ予測部１２５は，復号対象ピクチャの復号対象ブロック内の予測画を，周囲の画素データの補間処理により生成して予測画を生成する。

上記の復号画を生成する処理は，符号化処理部１０４の処理と同様である。

図８は，図６の復号用画像処理装置の動作タイミングを示す図である。横軸が時間に対応し，入力部の入力処理対象，復号処理部の処理対象とプリフェッチメモリ内の参照画，出力部の出力対象，復号画用フレームメモリ内のプリフェッチメモリへのプリフェッチ対象，復号処理部から復号画用フレームメモリへの書込み対象のピクチャがそれぞれ示されている。

図４と同様に，入力部１０２の入力処理対象ピクチャは，１フレーム時間F0-F6において，ピクチャI0,P1-P6である。そして，復号処理部での処理対象ピクチャは，入力処理対象ピクチャより１フレーム時間遅れていて，さらに，プリフェッチメモリにプリフェッチされる参照画は，符号処理対象ピクチャより１フレーム時間遅れている。そして，出力部の出力処理対象のピクチャは，プリフェッチされる参照画のピクチャと同じである。

また，プリフェッチメモリにはフレームメモリのプリフェッチ対象ピクチャの復号画がプリフェッチされ，復号処理部で生成された復号画のピクチャはフレームメモリに書込まれる。そして，プリフェッチメモリ内にプリフェッチされている参照画（復号画）が，出力部による処理対象ピクチャになる。

図６の復号用画像処理装置３００においても，符号化用画像処理装置と同様に，プリフェッチメモリ３１０にプリフェッチされ保持される復号画のブロックは，復号画用フレームメモリからの読み出し回数が１回だけであり，且つ，プリフェッチメモリの容量を最小限にできるように，図２に示されたブロックの復号画がプリフェッチされ保持され，更新される。そして，出力部の出力位置に対応して，復号処理部が復号対象ブロックとプリフェッチメモリ内の復号画を制御することで，出力部は，フレームメモリからではなく，プリフェッチメモリから復号画を出力することができる。これにより，フレームメモリの読み出し回数を抑制し，外部メモリの帯域を抑制することができる。

［第２の実施の形態（符号化用画像処理装置）］
第２の実施の形態では，I,Pピクチャに加えて時間的に後のピクチャを参照するBピクチャを有する符号化モードに対応する。Bピクチャが含まれる場合は，後述するとおり，Bピクチャの符号化処理を時間的に後のI,Pピクチャの処理の後で行うため，符号化処理のピクチャの順番が，表示装置に出力される画像のピクチャ順と異なる。そこで，第２の実施の形態の符号化用画像処理装置は，I,Pピクチャの出力画は，プリフェッチメモリ内の復号画を出力し，Bピクチャの出力画は，符号化処理部が生成する復号画を出力する。このようにすることで，復号画用フレームメモリからの読み出し回数を１回に制限しながら，出力先の表示装置に対応したピクチャ順に復号画を出力することができる。

図９は，第２の実施の形態における符号化用の画像処理装置の構成図である。図１の符号化用の画像処理装置と同じ引用番号が与えられている。図９において，図１の構成と異なる構成は，符号化処理部１０４がBピクチャの符号化処理においてストリームデータを復号してBピクチャの復号画を生成し，出力部１０６が，その生成されるBピクチャの復号画をバッファメモリ１１４を介して外部に出力画として出力することである。また，IピクチャとPピクチャについては，図１と同様に，出力部１０６がプリフェッチメモリ１１０内に保持されている参照画（復号画）を出力する。

このように，出力部１０６は，I,Pピクチャが符号化処理中はプリフェッチメモリ１１０内にプリフェッチされて保持されている参照画（復号画）を出力し，Bピクチャが符号化処理中は符号化処理部１０４が生成するBピクチャの復号画を出力する。したがって，制御部１１１は，符号化処理部１０４に対してどのピクチャタイプを符号化すべきかのピクチャタイプ情報を与えるとともに，スイッチSW1に対してどちらのピクチャタイプの復号画を（プリフェッチメモリ内のI,Pピクチャか，バッファメモリ１１４内のBピクチャか？）出力すべきかのピクチャタイプ情報２８を与える。

また，符号化処理部１０４は，バッファメモリ１１４を有し，符号化処理部１０４が符号化処理の過程で生成するBピクチャの復号画１７は，バッファメモリ１１４を介して出力部１０６から出力される。このバッファメモリ１１４は，出力部１０６のラスタスキャンの出力タイミングと符号化処理部１０４のBピクチャの復号画の生成タイミングとの間をバッファリングする。

それ以外の構成は，図１と同様である。また，符号化処理部１０４は，図３と同じ構成である。

図１０は，第２の実施の形態における原画の入力順とその符号化処理順と復号画の出力順との関係を示す図である。本実施の形態では，IピクチャとPピクチャとBピクチャが含まれている。原画の入力順は，IピクチャI2より時間的に前のBピクチャB0,B1，そしてIピクチャI2,それより時間的に後のBピクチャB3,B4,PピクチャP5，BピクチャB6,B7,そしてPピクチャP8の順番である。

図１と同様に，符号化用の画像処理装置に入力された原画は，一旦原画用フレームメモリに格納される。そして，次の１フレーム時間後に，IピクチャとPピクチャとは原画の入力順と同じ順番で符号化処理が行われるが，Bピクチャは，時間的に後のIピクチャやPピクチャを参照するので，参照する可能性のある時間的に後のI,Pピクチャの処理の後に符号化処理が行われる。図１０内の処理順に示される矢印は参照先のピクチャの例を示している。

例えば，BピクチャB3，B4は時間的に前のIピクチャI2と時間的に後のPピクチャP5を参照している。しかし，処理の順番は，PピクチャP5が符号化された後に，BピクチャB3,B4がIピクチャI2とPピクチャP5とを参照して符号化処理される。

一方，PピクチャP5，P8は，時間的に前のI,PピクチャI2,P5をそれぞれ参照して符号化処理される。

このように，符号化モードにBピクチャが含まれると，符号化処理の順番が画像の出力順とは異なる。そこで，第２の実施の形態では，I,Pピクチャについては，それを参照するI,Pピクチャの符号化処理中に，プリフェッチメモリにプリフェッチされ保持される復号画を出力画として出力し，Bピクチャについては，それの符号化処理中に符号化と同時に生成される復号画を出力画として出力する。なお，本実施の形態では，Bピクチャは参照されることはないので，Bピクチャの復号画はフレームメモリに書込まれない。

図１０の例では，出力順に示されるとおり，IピクチャI2については，PピクチャP5が符号化処理中にプリフェッチメモリ内のプリフェッチされている復号画を出力画とし，次のBピクチャB3,B4については，それらが符号化処理中に生成される復号画を出力画とする。さらに，次のIピクチャP5については，PピクチャP8が符号化処理中にプリフェッチメモリにプリフェッチされている復号画を出力画とする。その結果，出力順I2,B3,B4,P5は，入力順と同じである。

図１１は，第２の実施の形態における符号化用の画像処理装置の動作タイミングを示す図である。図中，入力部による入力対象ピクチャの順番と，符号化処理部の処理対象ピクチャの順番と，出力部の出力対象ピクチャの順番は，図１０と同じである。図１１には，さらに，各ピクチャの符号化処理中に参照されるプリフェッチメモリ内のピクチャ（参照画１，２）と，フレームメモリからプリフェッチメモリへの復号画のプリフェッチ動作（上向き矢印）と，符号化処理部からフレームメモリへの復号画の書込み動作（下向き矢印）と，出力部によるピクチャの出力（下向き矢印）とが示されている。

例えば、１フレーム時間F4において，PピクチャP5が符号化処理対象となるとき，フレームメモリからIピクチャI2の復号画がプリフェッチメモリ（参照画１）にプリフェッチされ，符号化処理で生成されたPピクチャP5の復号画はフレームメモリに書込まれると共に，そのIピクチャI2の復号画が出力対象ピクチャとなる。

次の１フレーム時間F5において，BピクチャB3が符号化処理対象となるとき，フレームメモリからはIピクチャI2とPピクチャP5の復号画が参照画１，２としてプリフェッチメモリにプリフェッチされる。そして，符号化処理されているBピクチャB3が出力対象ピクチャとなり，符号化処理で生成されたBピクチャB3の復号画はバッファメモリ114を経由して出力部から出力される。BピクチャB3の復号画は，後に参照されないので，フレームバッファには書込まれない。

上記のBピクチャB3が符号化処理される１ピクチャ期間F5と，そのBピクチャB3の復号画が出力される１ピクチャ時間F5とは同じである。ただし，符号化処理はブロック順に行われるが，出力処理は画素のラスタスキャン順である。したがって，前述のとおり，それらのタイミングの違いを吸収する為に，バッファメモリ１１４が設けられている。

次の１フレーム時間F6においては，BピクチャB4が符号化処理対象となり，BピクチャB3と同様に処理される。

図示していないが，次の１フレーム時間では，PピクチャP8が符号化処理対象となり，フレームメモリからプリフェッチメモリにプリフェッチされるPピクチャP5が出力対象となる。

以上の通り，第２の実施の形態では，符号化用の画像処理装置において，I,Pピクチャについてはプリフェッチメモリにプリフェッチされる復号画を出力画として出力し，I,Pピクチャの間のBピクチャについては，符号化処理中に生成される復号画を出力画として出力する。それにより，表示装置などの表示の順でI,PピクチャとBピクチャとを出力することができる。しかも，出力部の出力動作のためにフレームメモリから画像データを読み出す必要はなく，符号化処理中に行われるフレームメモリからプリフェッチメモリへの復号画の読み出しを利用して，復号画を出力することができる。その結果，フレームメモリからの読み出し回数を抑制し，外部メモリの帯域を抑制することができる。

［第２の実施の形態（復号用画像処理装置）］
第２の実施の形態では，復号用の画像処理装置も，I,PピクチャとBピクチャの復号処理順と，出力順とが異なるので，I,Pピクチャの出力画として，参照画としてプリフェッチメモリにプリフェッチして保持されている復号画を利用し，Bピクチャの出力画は，復号処理で生成される復号画を利用する。

図１２は，第２の実施の形態における復号用の画像処理装置の構成図である。図６の復号用の画像処理装置と同じ引用番号が与えられている。図１２において，図６の構成と異なる構成は，復号処理部３０４がBピクチャのストリームデータを復号してBピクチャの復号画を生成し，出力部１０６が，その生成されたBピクチャの復号画をバッファメモリ３１４を介して外部に出力画として出力することである。また，IピクチャとPピクチャのストリームデータについては，図６と同様に，出力部３０６が，時間的に後のI,Pピクチャを復号するときにプリフェッチメモリ１１０内に保持されているI,Pピクチャの参照画（復号画）を出力する。

このように，出力部３０６は，I,Pピクチャが復号処理中はプリフェッチメモリ３１０内にプリフェッチされて保持されているI,Pピクチャの参照画（復号画）を出力し，Bピクチャが符号化処理中は復号処理部３０４が生成するBピクチャの復号画を出力する。したがって，制御部３１１は，復号処理部３０４に対してどのピクチャタイプを符号化すべきかのピクチャタイプ情報６７を与えるとともに，スイッチSW3に対してどちらのピクチャタイプの復号画を（プリフェッチメモリ３１０内のI,Pピクチャか，バッファメモリ３１４内のBピクチャか？）出力すべきかのピクチャタイプ情報６８を与える。

それ以外の構成は，図１と同様である。また，復号処理部３０４は，図７と同じ構成である。

復号処理の場合において，入力されるピクチャの順番と，復号処理の順番と，復号処理中の参照先ピクチャと，出力の順番とは，符号化処理について示した図１０と同じである。

図１３は，第２の実施の形態における復号用の画像処理装置の動作タイミングを示す図である。図中，入力部による入力対象ピクチャの順番と，復号処理部の処理対象ピクチャの順番と，出力部の出力対象ピクチャの順番は，図１０と同じである。図１３には，さらに，各ピクチャの復号処理中に参照されるプリフェッチメモリ内のピクチャ（参照画１，２）と，フレームメモリからプリフェッチメモリへのプリフェッチ動作（上向き矢印）と，復号処理部からフレームメモリへの書込み動作（下向き矢印）と，出力部によるピクチャの出力（下向き矢印）とが示されている。

例えば、１フレーム時間F4において，PピクチャP5が復号処理対象となるとき，フレームメモリからIピクチャI2の復号画がプリフェッチメモリ（参照画１）にプリフェッチされ，そのIピクチャI2が出力対象ピクチャとなり，復号処理で生成されたPピクチャP5の復号画はフレームメモリに書込まれる。

次の１フレーム時間F5において，BピクチャB3が符号化処理対象となるとき，フレームメモリ内のIピクチャI2とPピクチャP5の復号画が，参照画１，２としてプリフェッチメモリにプリフェッチされる。そして，復号処理されているBピクチャB3の復号画が出力対象ピクチャとなり，復号処理で生成されたBピクチャB3の復号画はバッファメモリ114を経由して出力部から出力される。BピクチャB3の復号画は，後に参照されないので，フレームバッファには書込まれない。

上記のBピクチャB3が復号処理される１ピクチャ期間F5と，そのBピクチャB3の復号画が出力される１ピクチャ時間F5とは同じである。ただし，復号処理はブロック順に行われるが，出力処理は画素のラスタスキャン順である。したがって，それらのタイミングの違いを吸収する為に，バッファメモリ３１４が設けられている。

次の１フレーム時間F6においては，BピクチャB4が復号処理対象となり，BピクチャB3と同様に処理される。

図示していないが，次の１フレーム時間では，PピクチャP8が復号処理対象となり，フレームメモリからプリフェッチメモリにプリフェッチされるPピクチャP5が出力対象となる。

以上の通り，第２の実施の形態では，復号用の画像処理装置において，I,Pピクチャについてはプリフェッチメモリにプリフェッチされる復号画を出力画として出力し，I,Pピクチャの間のBピクチャについては，復号処理中に生成される復号画を出力画として出力する。それにより，表示装置などの表示の順でI,PピクチャとBピクチャとを出力することができる。しかも，出力部の出力動作のためにフレームメモリから画像データを読み出す必要はなく，復号処理中に行われるフレームメモリからプリフェッチメモリへの復号画の読み出しを利用して，復号画を出力することができる。その結果，フレームメモリからの読み出し回数を抑制し，外部メモリの帯域を抑制することができる。

［第３の実施の形態（インループフィルタ処理を改良した符号化用画像処理装置）］
第３の実施の形態では，符号化処理部が，複数の画素を有するブロックの単位で符号化処理を行い，符号化処理の時に生成した復号画像データのブロックの周縁画素データを隣接するブロックの周縁画素データとでインループフィルタ処理を行う。このインループフィルタ処理を行う理由は，ブロック毎に符号化することで，ブロック毎の符号化の違いに起因するブロックノイズが復号画に生成されるので，それをフィルタ処理により除去するためである。

そこで，第２の実施の形態でBピクチャの復号画をバッファリングするバッファメモリ１１４内に，インループフィルタ処理に使用する隣接ブロックの周縁画素データを一時的に格納し，符号化処理部内のインループフィルタ処理部がバッファメモリ１１４に一時的に格納した隣接ブロックの周縁画素データを読み出してインループフィルタ処理を行う。そして，フィルタ処理で必要がなくなって初めて復号画をフレームメモリに格納する。これにより，フレームメモリからの再読込を行わなくすることができる。

図１４は，第３の実施の形態における符号化用の画像処理装置の構成図である。図９の画像処理装置と異なる構成は，バッファメモリ１１４には，符号化処理部１０４からの書込信号線ｗに加えて読み出し信号線ｒが設けられている点である。それ以外の構成は，図９と同じである。

図１５は，第３の実施の形態における符号化処理部とバッファメモリとの構成を示す図である。図１５において図３の構成と異なる点は，インループフィルタ部１４０とバッファメモリ１１４との間に，書込信号線ｗに加えて読み出し信号線ｒが設けられている点である。それ以外の構成は，図３と同様である。

インループフィルタ部１４０では，加算器１３８が，逆直交変換部１３６が生成する差分信号１３６Ｅと，インター予測部またはイントラ予測部が生成する予測画像５４とを加算して，復号画１３８Ｄを生成する。ただし，この復号画１３８Ｄにはブロックノイズが含まれているので，インループフィルタ部１４０が，復号画１３８Ｄとすでに復号されてバッファメモリ１１４に一時的に格納していた隣接ブロックの復号画１８Ｃを読み出し線ｒ経由で読み出し，フィルタ処理を行う。インループフィルタ部１４０でフィルタ処理された復号画１８のうち，再度フィルタ処理に利用される復号画１８Ｂを除いた復号画１８Ａがフレームメモリ２１０に格納され，再度フィルタ処理に利用される復号画１８Bはバッファメモリ１１４に一時的に格納する。再度フィルタ処理に利用されることがなくなれば，バッファメモリ１１４内の復号画はフレームメモリ２１０に格納される。

図１６，図１７は，H.264におけるインループフィルタ処理を説明する図である。また以降の説明もH.264のインループフィルタ処理についてである。

H.264の１ピクチャに対するインループフィルタ処理は，マクロブロック（縦横各々１６画素の矩形領域）毎に定義された処理をラスタスキャン順に行うものとして定義されている。ラスタスキャン順とは，図１６（Ａ）に示されるとおり，行方向にマクロブロックMBKを０からn-1まで処理し，次に，次の行のマクロブロックMBKをnから2n-1まで処理し，その後の同様の順番で処理順である。

一方，１マクロブロックの処理は，各ブロックエッジに対する処理を規定のブロックエッジ順序で行うものとして定義されている。このブロックエッジ順序を図１７のステップ１〜８で示す。SA,SBに示したステップ１〜４はマクロブロック内の垂直エッジ群（１マクロブロックで６４個）に対する処理であり，太線はそのステップで処理対象となる１６個の垂直エッジを，斜線部はそのステップの処理によって上書きされる画素（横８画素，縦１６画素の領域）を示す。同様にSC,SDに示したステップ５〜８はマクロブロック内の水平エッジ群（１マクロブロックで６４個）に対する処理であり，太線はそのステップで処理対象となる１６個の水平エッジを，斜線部はそのステップの処理によって上書きされる画素（横１６画素，縦８画素の領域）を示す。

図１６（B）は，ある垂直エッジVEに対するフィルタ処理，及び，ある水平エッジHEに対するフィルタ処理をそれぞれ示す。垂直エッジに対するフィルタ処理では，処理対象エッジの左側４画素PX（斜線の画素）と，右側の４画素PX（斜線の画素）を入力としたフィルタ処理が行われ，これらの８画素の値が上書きされる。一方，水平エッジに対するフィルタ処理では，処理対象エッジの上側４画素PX（斜線の画素）と，下側の４画素PX（斜線の画素）を入力としたフィルタ処理が行われ，これらの８画素の値が上書きされる。

このように１マクロブロックにおけるインループフィルタでは処理対象マクロブロックの左に隣接するインループフィルタ処理済みマクロブロックの右端から４画素，高さ１６画素の領域がSAのステップ１で使用され，上側に隣接するインループフィルタ処理済みマクロブロックの下端から４画素，幅１６画素の領域の領域がSCのステップ５で使用される。

つまり，あるマクロブロックに対するインループフィルタ処理後，右端から４画素は，右隣のマクロブロックにおけるインループフィルタ処理で使用される。この領域はデータ量が少なく，かつ次のマクロブロック処理において使用されるためインループフィルタ部内で保持されることが一般的である。

同様に下端から４画素は下隣のマクロブロックにおけるインループフィルタ処理で使用される。この画素を下のマクロブロックで処理されるまで保持する場合，保持される領域の高さは４画素であるが，幅は画面の横幅と等しくなるため大きなデータ量となる。このため，インループフィルタ部では保持されず，バッファメモリ114に保持され，再度インループフィルタ処理で使用される際はバッファメモリからインループフィルタ処理部へ読みだされて使用される。

このように，インループフィルタ部１４０において，フィルタ処理された復号画のうち，再度フィルタ処理で読み出される必要のある復号画18Bはバッファメモリ１１４に格納され，必要のない復号画18Aはフレームメモリ２１０に格納される。そして，後続のフィルタ処理のために，バッファメモリ１１４に一旦格納された復号画18Bが，再度インループフィルタ処理部１４０により読み出され，フィルタ処理に利用される。

［第３の実施の形態（インループフィルタ処理を改良した復号用画像処理装置）］
図１８は，第３の実施の形態における復号用の画像処理装置の構成図である。図１２の画像処理装置と異なる構成は，バッファメモリ３１４には，復号処理部３０４からの書込信号線ｗに加えて読み出し信号線ｒが設けられている点である。それ以外の構成は，図１２と同じである。

図１９は，第３の実施の形態における復号処理部とバッファメモリとの構成を示す図である。図１９において図７の構成と異なる点は，インループフィルタ部１４０とバッファメモリ３１４との間に，書込信号線ｗに加えて読み出し信号線ｒが設けられている点である。それ以外の構成は，図７と同様である。

そして，上記の符号化用の画像処理装置と同様に，この復号用の画像処理装置においても，インループフィルタ部１４０でフィルタ処理された復号画のうち，再度フィルタ処理で読み出される必要のある復号画18Bはバッファメモリ３１４に格納され，必要のない復号画18Aはフレームメモリ２１０に格納される。そして，後続のフィルタ処理のために，バッファメモリ３１４に一旦格納された復号画18Bが，再度インループフィルタ処理部１４０により読み出され，フィルタ処理に利用される。これにより，フレームメモリからの読み出し回数を減らすことができる。

［第４の実施の形態］
図２０は，第４の実施の形態における符号化用の画像処理装置の構成図である。この画像処理装置は，第３の実施の形態の符号化用画像処理装置を例にして，上記の第１，第２，第３の実施の形態の変形例を示している。

図２０の画像処理装置では，プリフェッチメモリ１１０には，参照される全ての参照画を格納するのではなく，参照される可能性の高い領域のブロックと出力部によりラスタスキャンされる処理対象ブロックの属する行ブロックを格納する。したがって，符号化処理部１０４による符号化処理で参照される参照画が必ずしもプリフェッチメモリ１１０内に格納されていない場合が想定され，その場合は，符号化処理部１０４は，メモリコントローラ１０８を介して外部メモリ２００内の復号画のフレームメモリから参照画１７をフェッチする。そのために，図１４の構成と異なり，参照画１７の専用バスを有する。

以上のとおり，本実施の形態の画像処理装置では，出力部から外部に出力する画像をプリフェッチメモリ内に格納され参照画として符号化処理部や復号処理部により参照される復号画から出力することで，出力のために外部メモリ内のフレームメモリへの読み出し動作を抑制することができる。

以上の実施の形態をまとめると，次の付記のとおりである。

（付記１）
フレームメモリにアクセス可能な画像処理装置であって，
原画像データを入力する入力部と，
前記原画像データを符号化処理して符号化データを生成すると共に，前記符号化データを復号処理して復号画像データを生成し前記フレームメモリに格納する符号化処理部と，
前記フレームメモリ内の復号画像データの一部を参照画像データとして格納するプリフェッチメモリと，
前記フェッチメモリ内の参照画像データを出力する出力部とを有し，
前記符号化処理部は，前記出力部の前記参照画像データの出力タイミングに対応して，前記フレームメモリ内の復号画像データの一部を読み出して前記プリフェッチメモリ内の参照画像データを更新しながら，前記原画像データと前記プリフェッチメモリから読み出した参照画像データとに基づいて前記符号化処理を行う画像処理装置。

（付記２）
付記１において，
前記原画像データは，後方参照画像データを参照しないで符号化される第１のピクチャと，前記後方参照画像データを参照して符号化される第２のピクチャとを有し，
前記出力部は，前記第１のピクチャに対応する第１の復号画像データとして前記プリフェッチメモリ内の参照画像データを出力し，前記第２のピクチャに対応する第２の復号画像データとして前記符号化処理部が生成する復号画像データを出力する画像処理装置。

（付記３）
付記２において，
さらに，前記符号化処理部が生成する第２の復号画像データを一時的に格納するバッファメモリを有し，
前記符号化処理部は，前記第２の復号画像データを前記バッファメモリに格納し，前記第１の復号画像データを前記フレームバッファに格納し，
前記出力部は，前記第２の復号画像データを前記バッファメモリから読み出して出力する画像処理装置。

（付記４）
付記３において，
前記符号化処理部は，複数の画素を有するブロックの単位で前記符号化処理を行い，復号画像データのブロックの周縁画素データを隣接するブロックの周縁画素データとでインループフィルタ処理を行い，
前記バッファメモリは，前記第２の復号画像データに加えて，前記インループフィルタ処理の対象となる前記隣接するブロックの復号画像データも格納し，
前記符号化処理部は，前記バッファメモリから前記復号画像データを読み出して，インループフィルタ処理を行う画像処理装置。

（付記５）
フレームメモリにアクセス可能な画像処理装置であって，
原画像データを符号化した符号化データを入力する入力部と，
前記符号化データを復号処理して復号画像データを生成すると共に，前記復号画像データを前記フレームメモリに格納する復号処理部と，
前記フレームメモリ内の復号画像データの一部を参照画像データとして格納するプリフェッチメモリと，
前記フェッチメモリ内の参照画像データを出力する出力部とを有し，
前記復号処理部は，前記出力部の出力タイミングに対応して，前記フレームメモリ内の復号画像データの一部を読み出して前記プリフェッチメモリ内の参照画像データを更新しながら，前記入力した符号化データと前記プリフェッチメモリから読み出した参照画像データとに基づいて前記復号処理を行う画像処理装置。

（付記６）
付記５において，
前記原画像データは，後方参照画像データを参照しないで符号化される第１のピクチャと，前記後方参照画像データを参照して符号化される第２のピクチャとを有し，
前記出力部は，前記第１のピクチャに対応する第１の復号画像データとして前記プリフェッチメモリ内の参照画像データを出力し，前記第２のピクチャに対応する第２の復号画像データとして前記符号化処理部が生成する復号画像データを出力する画像処理装置。

（付記７）
付記６において，
さらに，前記復号処理部が生成する前記第２の復号画像データを一時的に格納するバッファメモリを有し，
前記復号処理部は，前記第２の復号画像データを前記バッファメモリに格納し，前記第１の復号画像データを前記フレームバッファに格納し，
前記出力部は，前記第２の復号画像データを前記バッファメモリから読み出して出力する画像処理装置。

（付記８）
付記７において，
前記復号処理部は，複数の画素を有するブロックの単位で前記復号処理を行い，復号画像データのブロックの周縁画素データを隣接するブロックの周縁画素データとでインループフィルタ処理を行い，
前記バッファメモリは，前記第２の復号画像データに加えて，前記インループフィルタ処理の対象となる復号画像データも格納し，
前記符号化処理部は，前記バッファメモリから復号画像データを読み出して，インループフィルタ処理を行う画像処理装置。

（付記９）
付記２または６において，
前記原画像データは，少なくとも時間的に前後する前方及び後方の前記第１のピクチャと，当該前方及び後方の第１のピクチャの間の時間に位置する前記第２のピクチャとを有し，
前記出力部は，前方の第１のピクチャを参照して前記後方の第１のピクチャを符号化または復号する時に，前記プリフェッチメモリ内の前記前方の第１のピクチャに対応する第１の復号画像データを出力し，その後，前記後方の第１のピクチャを参照して前記第２のピクチャを符号化または復号する時に，前記符号化または復号処理部が生成する前記復号画像データを出力する画像処理装置。

（付記１０）
付記２または６において，
前記符号化または復号処理部は，処理対象ブロック毎に順番に前記符号化処理または復号処理を行い，
前記プリフェッチメモリは，前記処理対象ブロックが前記符号化処理または復号処理されるブロック処理時間中，少なくとも，前記符号化処理または復号処理中に前記処理対象ブロックについて参照される参照ブロックの第１の復号画像データと，フレーム内の前記処理対象ブロックと同じ行内に位置する同行ブロックであって前記出力部により読み出される同行ブロックの第２の復号画像データとを格納し，
前記プリフェッチメモリは，前記ブロック処理時間に同期して，前記参照ブロックの第１の復号画像データと前記同行ブロックの第２の復号画像データとを更新し，
１つのフレーム内の複数の処理対象ブロックが前記符号化処理または復号処理されるフレーム処理時間中に参照される前記プリフェッチメモリ内の参照画像データは，前記フレームメモリから前記プリフェッチメモリへの前記復号画像データのプリフェッチにより，前記プリフェッチメモリに読み込まれる画像処理装置。

（付記１１）
付記１０において，
前記プリフェッチメモリ内に読み込まれた前記第１及び第２の復号画像データは，後続の前記符号化処理または復号処理で参照される間は保持され，参照されなくなると破棄される画像処理装置。

（付記１２）
付記１０において，
前記フレームメモリから前記プリフェッチメモリへの前記復号画像データのプリフェッチは，1フレームの処理時間の間に１回のみ行われる画像処理装置。

14：原画像データ，16：プリフェッチメモリから読み出した参照画像データ
26：参照画像データの出力タイミング，19：フレームメモリ内の復号画像データ
102：入力部，104：符号化処理部，110：プリフェッチメモリ，106：出力部

Claims (10)

1. フレームメモリにアクセス可能な画像処理装置であって，
   原画像データを入力する入力部と，
   前記原画像データを符号化処理して符号化データを生成すると共に，前記符号化データを復号処理して復号画像データを生成し前記フレームメモリに格納する符号化処理部と，
   前記フレームメモリ内の復号画像データの一部を参照画像データとして格納するプリフェッチメモリと，
   前記プリフェッチメモリ内の参照画像データを出力する出力部とを有し，
   前記符号化処理部は，前記出力部が前記プリフェッチメモリ内に格納された前記参照画像データを出力する出力タイミングに対応して，前記フレームメモリ内の復号画像データの一部を読み出して前記プリフェッチメモリ内の参照画像データを更新しながら，前記原画像データと前記プリフェッチメモリから読み出した参照画像データとに基づいて前記符号化処理を行う画像処理装置。
2. 請求項１において，
   前記原画像データは，後方参照画像データを参照しないで符号化される第１のピクチャと，前記後方参照画像データを参照して符号化される第２のピクチャとを有し，
   前記出力部は，前記第１のピクチャに対応する第１の復号画像データとして前記プリフェッチメモリ内の参照画像データを出力し，前記第２のピクチャに対応する第２の復号画像データとして前記符号化処理部が生成する復号画像データを出力する画像処理装置。
3. 請求項２において，
   さらに，前記符号化処理部が生成する第２の復号画像データを一時的に格納するバッファメモリを有し，
   前記符号化処理部は，前記第２の復号画像データを前記バッファメモリに格納し，前記第１の復号画像データを前記フレームメモリに格納し，
   前記出力部は，前記第２の復号画像データを前記バッファメモリから読み出して出力する画像処理装置。
4. 請求項３において，
   前記符号化処理部は，複数の画素を有するブロックの単位で前記符号化処理を行い，復号画像データのブロックの周縁画素データを隣接するブロックの周縁画素データとでインループフィルタ処理を行い，
   前記バッファメモリは，前記第２の復号画像データに加えて，前記インループフィルタ処理の対象となる前記隣接するブロックの復号画像データも格納し，
   前記符号化処理部は，前記バッファメモリから前記復号画像データを読み出して，インループフィルタ処理を行う画像処理装置。
5. フレームメモリにアクセス可能な画像処理装置であって，
   原画像データを符号化した符号化データを入力する入力部と，
   前記符号化データを復号処理して復号画像データを生成すると共に，前記復号画像データを前記フレームメモリに格納する復号処理部と，
   前記フレームメモリ内の復号画像データの一部を参照画像データとして格納するプリフェッチメモリと，
   前記プリフェッチメモリ内の参照画像データを出力する出力部とを有し，
   前記復号処理部は，前記出力部が前記プリフェッチメモリ内に格納された前記参照画像データを出力する出力タイミングに対応して，前記フレームメモリ内の復号画像データの一部を読み出して前記プリフェッチメモリ内の参照画像データを更新しながら，前記入力した符号化データと前記プリフェッチメモリから読み出した参照画像データとに基づいて前記復号処理を行う画像処理装置。
6. 請求項５において，
   前記原画像データは，後方参照画像データを参照しないで符号化される第１のピクチャと，前記後方参照画像データを参照して符号化される第２のピクチャとを有し，
   前記出力部は，前記第１のピクチャに対応する第１の復号画像データとして前記プリフェッチメモリ内の参照画像データを出力し，前記第２のピクチャに対応する第２の復号画像データとして前記復号処理部が生成する復号画像データを出力する画像処理装置。
7. 請求項６において，
   さらに，前記復号処理部が生成する前記第２の復号画像データを一時的に格納するバッファメモリを有し，
   前記復号処理部は，前記第２の復号画像データを前記バッファメモリに格納し，前記第１の復号画像データを前記フレームメモリに格納し，
   前記出力部は，前記第２の復号画像データを前記バッファメモリから読み出して出力する画像処理装置。
8. 請求項７において，
   前記復号処理部は，複数の画素を有するブロックの単位で前記復号処理を行い，復号画像データのブロックの周縁画素データを隣接するブロックの周縁画素データとでインループフィルタ処理を行い，
   前記バッファメモリは，前記第２の復号画像データに加えて，前記インループフィルタ処理の対象となる復号画像データも格納し，
   前記復号処理部は，前記バッファメモリから復号画像データを読み出して，インループフィルタ処理を行う画像処理装置。
9. 請求項２または６において，
   前記原画像データは，少なくとも時間的に前後する前方及び後方の前記第１のピクチャと，当該前方及び後方の第１のピクチャの間の時間に位置する前記第２のピクチャとを有し，
   前記出力部は，前方の第１のピクチャを参照して前記後方の第１のピクチャを符号化または復号する時に，前記プリフェッチメモリ内の前記前方の第１のピクチャに対応する第１の復号画像データを出力し，その後，前記後方の第１のピクチャを参照して前記第２のピクチャを符号化または復号する時に，前記符号化または復号処理部が生成する前記復号画像データを出力する画像処理装置。
10. 請求項２または６において，
    前記符号化または復号処理部は，処理対象ブロック毎に順番に前記符号化処理または復号処理を行い，
    前記プリフェッチメモリは，前記処理対象ブロックが前記符号化処理または復号処理されるブロック処理時間中，少なくとも，前記符号化処理または復号処理中に前記処理対象ブロックについて参照される参照ブロックの第１の復号画像データと，フレーム内の前記処理対象ブロックと同じ行内に位置する同行ブロックであって前記出力部により読み出される同行ブロックの第２の復号画像データとを格納し，
    前記プリフェッチメモリは，前記ブロック処理時間に同期して，前記参照ブロックの第１の復号画像データと前記同行ブロックの第２の復号画像データとを更新し，
    １つのフレーム内の複数の処理対象ブロックが前記符号化処理または復号処理されるフレーム処理時間中に参照される前記プリフェッチメモリ内の参照画像データは，前記フレームメモリから前記プリフェッチメモリへの前記復号画像データのプリフェッチにより，前記プリフェッチメモリに読み込まれる画像処理装置。

Images