JP7416380B2 - 参照画像キャッシュ、削除先決定方法及びコンピュータプログラム - Google Patents

Description

本発明は、参照画像キャッシュ、削除先決定方法及びコンピュータプログラムに関する。

映像符号化の技術には、ＭＰＥＧ（Moving Picture Experts Group）－２、ＭＰＥＧ－４、ＭＰＥＧ－４/ＡＶＣ等の映像符号化方式が多く用いられている。最近では、次世代の映像符号化規格であるＨＥＶＣ（High Efficiency Video Coding）が規格化され、今後の普及が見込まれている。ＨＥＶＣは、従来の映像符号化方式であるＭＰＥＧ－４/ＡＶＣの約２倍の符号化効率を達成する。符号化効率の向上に伴い、４Ｋ（３８４０画素×２１６０ライン）・８Ｋ（７６８０画素×４３２０ライン）といった空間解像度の高い映像についても符号化処理として扱われるようになっている。

ＨＥＶＣ等の符号化規格では、別フレームとの動きを探索・推定し、補償するフレーム間符号化を行うことで符号化効率向上を図っている。フレーム間符号化では、入力画像と参照画像（特定フレームの符号化済画像）との間で、画素単位での差分累積値等が最も小さくなる座標を探索モジュールにおいて探索して動きベクトルを決定する。映像符号化装置では、決定された動きベクトルにしたがって、動きベクトル先の参照画像を用いて現符号化対象ブロックの画像を生成する動き補償処理を実行する。

ＨＥＶＣ等の現符号化方式では、動き補償の参照先フレームとしてＬ０フレーム、Ｌ１フレームの２枚を設定可能であり、それぞれに対して動きベクトルが設定される。設定された動きベクトル先のＬ０フレーム・Ｌ１フレームを用いて作り出されたそれぞれの補償画像を平均化することで、現符号化対象ブロックの画像が生成される。さらに、Ｌ０フレーム・Ｌ１フレームのそれぞれに対して複数枚の参照フレーム候補を持つことが可能である。符号化対象フレームからの時間的に近い順に、Ｌ０・Ｌ１それぞれの参照フレーム候補の中でｒｅｆ番号が０から付与される。符号化時は、エンコーダ側がｒｅｆ最大数を設定し、Ｌ０・Ｌ１それぞれで１つのｒｅｆ番号がシンタックスとして送られる。このため、現符号化方式では、符号化対象フレームごとに(２×ｒｅｆ最大数) 枚の参照候補フレームに対して動き探索を行う必要がある。

動き探索処理や動き補償処理で必要となる参照画像は、過去の符号化済画像群であるため全データサイズが非常に大きい。このため、映像符号化用ＬＳＩ（Large-Scale Integrated circuit；大規模集積回路）の場合、ＬＳＩの内部に全ての参照画像データを格納することはできず、外部のメインメモリにデータを格納する必要がある。一方で、ＬＳＩ演算処理に比べて外部のメインメモリは高速動作性能に劣る。そのため、データリクエスト時のアクセスレイテンシによって符号化演算性能に影響を与えうる。このため、ＬＳＩとメインメモリとの性能差を埋めるべく、キャッシュメモリと呼ばれる小容量の高速動作が可能な一時記憶装置をＬＳＩ内部に実装することが考えられる。

ＬＳＩ内部に参照画像データ専用のキャッシュメモリを実装することで、将来再利用されうる参照画像データを事前にキャッシュメモリに保持し、メモリアクセスレイテンシを隠蔽することが可能となる（例えば、非特許文献１参照）。動き探索処理や動き補償処理等の各機能ブロックが参照画像データを要求する場合、参照画像用のキャッシュメモリ内に要求データがあるか否か判定される。一般的に、参照画像用のキャッシュメモリ内に要求データがある場合にはヒットと呼ばれ、参照画像用のキャッシュメモリ内に要求データがない場合にはミスと呼ばれる。ヒットの場合には、キャッシュメモリから要求データが機能ブロックに転送される。一方で、ミスの場合には、メインメモリから各機能ブロックに転送されるが、この時、キャッシュメモリ内に存在するあるデータブロック（ライン）が要求データで置換される。

キャッシュメモリの構成方式として様々なものが提案されているが、その一つとしてＬＲＵ（Least Recently Used）アルゴリズムを用いたセットアソシアティブキャッシュが知られている。セットアソシアティブキャッシュとは、キャッシュミス時にキャッシュメモリ内のラインを置換する際に、置換先候補をキャッシュ上のｎ通りの候補にのみ限定する方式であり、ｎ－ｗａｙセットアソシアティブキャッシュと呼ばれる。ＬＲＵとは、ｎ通りの置換先候補の中で、アクセスされてから最も長い時間経ったものを置換するアルゴリズムである。同一データは短期間内で再度利用される可能性が高いため、ＬＲＵ置換アルゴリズムはデータの時間的局所性を利用してキャッシュヒット率向上を図っている。

"Cache (computing)"、［online］、［令和１年８月２８日検索］、インターネット<URL: https://en.wikipedia.org/wiki/Cache_(computing) >

しかしながら、従来のＬＲＵ置換を用いたセットアソシアティブキャッシュでは、時間的局所性しか考慮されていないため、利用可能性の高い参照画像データであっても、アクセスされてからある程度期間が空いた場合には置換される可能性が高い。そのため、参照画像データ用キャッシュのヒット率が低下してしまうという問題があった。

上記事情に鑑み、本発明は、参照画像データ用キャッシュのヒット率を向上させることができる技術の提供を目的としている。

本発明の一態様は、符号化対象ブロックが参照する参照領域を示す情報を格納する参照画像キャッシュであって、前記参照画像キャッシュに格納されている前記参照領域の候補である参照領域候補の中から削除する参照領域候補を選択して削除する削除部を有し、前記削除する参照領域候補は、少なくとも、前記符号化対象ブロックの属するフレーム番号と、前記参照領域候補の属するフレーム番号とに基づくフレーム間距離に基づいて決定される、参照画像キャッシュである。

本発明の一態様は、上記の参照画像キャッシュであって、前記削除部は、前記符号化対象ブロックの属するフレーム番号と、前記参照領域候補の属するフレーム番号との差分フレーム数の絶対値をそれぞれ計算することによって複数のフレーム間距離を算出し、前記フレーム間距離と、前記参照領域候補に対するアクセス履歴の順番とを加重平均することによって優先度指標値を算出し、算出した前記優先度指標値が第１の閾値以上となる前記参照領域候補を削除する対象として選択する。

本発明の一態様は、上記の参照画像キャッシュであって、前記削除部は、前記符号化対象ブロックの属するフレーム番号と、前記参照領域候補の属するフレーム番号との差分フレーム数の絶対値をそれぞれ計算することによって複数のフレーム間距離を算出し、算出した前記複数のフレーム間距離においてフレーム間距離が大きい順番に値を割り当て、前記割り当てた値と、前記参照領域候補に対するアクセス履歴の順番とを加重平均することによって優先度指標値を算出し、算出した前記優先度指標値が第１の閾値以上となる前記参照領域候補を削除する対象として選択する。

本発明の一態様は、符号化対象ブロックが参照する参照領域を示す情報を格納する参照画像キャッシュが行う削除先決定方法であって、前記参照画像キャッシュに格納されている前記参照領域の候補である参照領域候補の中から削除する参照領域候補を選択して削除する削除ステップを有し、前記削除する参照領域候補は、少なくとも、前記符号化対象ブロックの属するフレーム番号と、前記参照領域候補の属するフレーム番号とに基づくフレーム間距離に基づいて決定される、削除先決定方法である。

本発明の一態様は、符号化対象ブロックが参照する参照領域を示す情報を格納する参照画像キャッシュとして機能するコンピュータに対し、前記参照画像キャッシュに格納されている前記参照領域の候補である参照領域候補の中から削除する参照領域候補を選択して削除する削除ステップを実行させ、前記削除する参照領域候補は、少なくとも、前記符号化対象ブロックの属するフレーム番号と、前記参照領域候補の属するフレーム番号とに基づくフレーム間距離に基づいて決定される、コンピュータプログラムである。

本発明により、参照画像データ用キャッシュのヒット率を向上させることが可能となる。

第１の実施形態における映像符号化装置の内部構成を表す構成図である。 第１の実施形態におけるメモリ置換制御部の内部構成を示す図である。 あるタイミングにおける置換決定用データ格納部の内部状態を表す図である。 第１の実施形態における各ｗａｙデータのフレーム間の位置関係を表す図である。 更新後の置換決定用データ格納部の内部状態を表す図である。 第１の実施形態における映像符号化装置の流れを示すフローチャートである。 第１の実施形態における置換先ウェイ決定部による置換先決定処理の流れを示すフローチャートである。 第１の実施形態における符号化対象フレームと参照フレームとのフレーム間の位置関係を表す図である。 第２の実施形態における置換先ウェイ決定部による置換先決定処理の流れを示すフローチャートである。 変形例における映像符号化装置の構成を示す図である。 変形例におけるメモリ置換制御部の内部構成を示す図である。

以下、本発明の一実施形態を、図面を参照しながら説明する。
（第１の実施形態）
図１は、第１の実施形態における映像符号化装置１０の内部構成を表す構成図である。以下で用いる「符号化ブロック」については、ＭＰＥＧ－２やＨ.２６４/ＡＶＣ規格ではマクロブロックの事を示し、ＨＥＶＣについてはコーディングユニット（ＣＵ）又はプレディクションユニット（ＰＵ）の事を指し示すものとする。

映像符号化装置１０は、映像符号化ＬＳＩ５０及び外部メモリ９００を備える。映像符号化ＬＳＩ５０と外部メモリ９００とはバスを介して接続される。
映像符号化ＬＳＩ５０は、符号化対象の映像原信号を符号化規格に則って符号化処理を行う。
外部メモリ９００は、映像符号化ＬＳＩ５０において用いられる参照画像データを始めとした各種データを格納する。

映像符号化ＬＳＩ５０は、符号化演算部１００及び参照画像データ用キャッシュメモリ２００を備える。
符号化演算部１００は、動き探索や動き補償等の実際の符号化演算処理を行う。符号化演算部１００は、並列動作する複数のコア（ｃｏｒｅ＿１，…，ｃｏｒｅ＿Ｍ）で構成される。各コアは、少なくとも事前動き探索処理部、動き探索処理部、マージ探索処理部及び動き補償処理部等である。処理中に参照画像データが必要となるコア（以下「参照画像利用コア」という。）の場合、参照画像利用コアは参照画像データ用キャッシュメモリ２００に接続されている。各コアは、必要となる参照画像データに関して、参照先のフレーム番号、参照先の色空間ＹＵＶの指定及び参照先のフレーム内の位置座標等の情報を含む詳細情報を参照画像データ用キャッシュメモリ２００に出力する。

参照画像データ用キャッシュメモリ２００は、データの時間的局所性とフレーム間距離の局所性の両方を利用したデータ置換アルゴリズムを実現するｎ－ｗａｙセットアソシエイティブキャッシュメモリである。ここで、時間的局所性とは、ある時点で参照されたリソースが近い将来にも再び参照される可能性が高いといった性質である。フレーム間距離の局所性とは、複数のフレームが参照対象フレームとして選択されたとき、符号化対象フレームから時間的に近いフレームのデータが参照される可能性が高い、いった性質である。このように、本実施形態における参照画像データ用キャッシュメモリ２００は、従来のように時間的局所性のみを利用するのではなく、時間的局所性とフレーム間距離の局所性の両方を利用したデータ置換を行う。

参照画像データ用キャッシュメモリ２００には、アドレス変換部３００、メモリ部４００、データ決定部５００及びメモリ置換制御部６００が備えられる。
アドレス変換部３００は、要求された参照画像データの詳細情報から、外部メモリ９００のどのアドレスのデータを要求しているかを算出する。アドレス変換部３００は、参照画像データの要求が各コアから並列で出力されるが、参照画像情報からアドレス情報への変換を逐次的に行い、要求データのアドレスを順番に出力する。

メモリ部４００は、データアレイ４１０とタグアレイ４２０とで構成される。データアレイ４１０は、実際のラインデータを格納している。このラインデータは、符号化対象ブロックが参照する参照領域を示す情報である。タグアレイ４２０は、データアレイ４１０内の各ラインデータに対応するタグデータを格納している。データアレイ４１０及びタグアレイ４２０の中の特定のラインを指定するために、インデックスが用いられる。インデックスはアドレスデコーダによって変換され、データアレイ４１０及びタグアレイ４２０内のアドレス指定として用いられる。Ｎ－ｗａｙの場合、同一のインデックスアドレスを持つラインがｎ個存在する。

データ決定部５００は、データ選択部５１０とタグ比較部５２０とで構成される。タグ比較部５２０は、タグアレイ４２０から読み出されたｎ個のタグと、要求アドレスのタグとを比較し、ｎ個の各セット内のどのｗａｙにヒットしたか、あるいは全てミスしたかを示す比較結果をデータ選択部５１０に出力する。要求アドレスは、上位ビットのタグと、下位ビットのインデックスに分離される。インデックスは、メモリ部４００内のどのセットに要求データが存在する可能性があるかを示し、タグはインデックスで示されたある特定のセット（ｎ個のラインデータ）の中に要求データが存在するかどうかを検索するためのキーとして使用される。データ選択部５１０は、タグ比較部５２０から出力された比較結果としてのｗａｙのラインデータを、符号化演算部１００に出力する。データ選択部５１０から出力されたラインデータは要求元のコアへと伝達される。

メモリ置換制御部６００は、キャッシュミスが生じて外部メモリ９００から該当する要求データを転送する際に、データアレイ４１０のどのラインデータを要求データで置換するかを決定する。すなわち、メモリ置換制御部６００は、キャッシュミスが生じて外部メモリ９００から該当する要求データを転送する際に、データアレイ４１０のどのラインデータを削除するのかを決定する。このように、メモリ置換制御部６００は、参照画像データ用キャッシュメモリ２００に格納されている参照領域の候補である参照領域候補の中から削除する参照領域候補を選択して削除する。Ｎ－ｗａｙの場合、メモリ置換制御部６００は、ｎ個の各セット内のどのｗａｙを置換するのかを決定する。メモリ置換制御部６００は、置換先を決定するためのデータを内部に保持しており、ヒット時にはどのｗａｙがヒットしたかの情報をタグ比較部５２０から受け取り、要求アドレスのインデックスも合わせて受け取ることで、内部データ更新を行っていく。

メモリ置換制御部６００は、ミス時には内部データの状況をもとに、特定ルーチンに従ってどのｗａｙを置換すべきかを決定し、置換先ｗａｙ番号をメモリ部４００に出力する。これにより、メモリ部４００は、要求アドレスのインデックスと、メモリ置換制御部６００から出力された置換先ｗａｙ番号とに基づいて、データアレイ４１０及びタグアレイ４２０内の特定のラインを新規データで置換する。

上記のように、参照画像データ用キャッシュメモリ２００は、通常のキャッシュメモリと同様に、要求されるアドレス情報にしたがってデータがメモリ部４００に存在するか否かを判定する。そして、参照画像データ用キャッシュメモリ２００は、ヒットした場合はメモリ部４００内の対象となる参照画像データを符号化演算部１００の各コアに出力する。一方で、ミスした場合には外部メモリ９００から各機能ブロックへと要求データの転送がなされるが、その際にメモリ部４００内のあるデータブロックが要求データによって置換される。

図２は、第１の実施形態におけるメモリ置換制御部６００の内部構成を示す図である。メモリ置換制御部６００は、置換決定用データ格納部６１０と、置換先ウェイ決定部６２０を備える。
置換決定用データ格納部６１０は、キャッシュミス時に置換先のｗａｙ番号を決定するための内部データを格納する。
置換先ウェイ決定部６２０は、置換決定用データ格納部６１０を用いて具体的な置換先ｗａｙ番号を決定する。

置換決定用データ格納部６１０は、使用履歴順データ格納部６１１と参照フレーム番号データ格納部６１２を持つ。使用履歴順データ格納部６１１には、あるインデックスに相当するｎ個のラインデータが、過去どの順番で使用されたかを示すアクセス履歴の順番が記述される。インデックス毎に０～（ｎ－１）の値が振られる。参照フレーム番号データ格納部６１２は、メモリ部４００に格納された参照画像データの各ラインにおいて、所属する参照画像のフレーム番号が記述されている。

メモリ置換制御部６００は、アドレス変換部３００との間で、要求された参照画像データのフレーム内座標位置を出力する信号線と、要求した各コアで符号化中の符号化対象ブロックク（以下「現符号化対象ブロック」という。）のフレーム内座標位置を出力する信号線とを介して接続されている。キャッシュがヒットした際は、ヒットしたｗａｙ番号を使用履歴順データ格納部６１１が受け取り、使用履歴順データ格納部６１１は指定インデックスにおけるアクセス履歴の順番を表す内部データを更新する。キャッシュミスした場合は、指定インデックスにおけるそれぞれｎ個の使用履歴順データ及びフレーム番号データを、置換決定用データ格納部６１０は置換先ウェイ決定部６２０に対して出力する。

置換先ウェイ決定部６２０は、置換決定用データ格納部６１０から受信した使用履歴順データ及びフレーム番号データと、アドレス変換部３００から受信した現符号化対象ブロックのフレーム番号データをもとに置換先のｗａｙを決定する。そして、置換先ウェイ決定部６２０が、ｗａｙ番号をメモリ部４００に出力することにより、外部メモリ９００からのデータによるメモリ部４００の更新が行われる。キャッシュミスにより置換が行われる際には、置換先ｗａｙ番号は同時に参照フレーム番号データ格納部６１２にも出力され、該当インデックス・該当ｗａｙ番号に対して、アドレス変換部３００から受信した要求参照画像データのフレーム番号のデータで書き換える。

一例として、４-ｗａｙの場合における処理を説明する。図３は、あるタイミングにおける置換決定用データ格納部６１０の内部状態を表す図である。該当インデックスにおいて、各ｗａｙ０，１，２，３は過去にｗａｙ２→ｗａｙ１→ｗａｙ０→ｗａｙ３の順に直近で使用されたため、使用履歴順データ格納部６１１にはそれぞれｗａｙ０，１，２，３には２，１，０，３の値が格納されている。参照フレーム番号データ格納部６１２には、格納された参照画像データのフレーム番号が記述されている。図３の参照フレーム番号データ格納部６１２のような値となっている場合、各ｗａｙデータのフレーム内位置関係は図４のようになる。

図３及び図４の状態でデータリクエストを受け、該当インデックスのあるｗａｙがキャッシュヒットした場合には、メモリ置換制御部６００は使用履歴順データ格納部６１１だけを更新する。一例としてｗａｙ０がヒットした場合には、置換決定用データ格納部６１０の内部状態は図５のように更新される。図５に示すように、ｗａｙ０，１，２，３に格納されていたアクセス順を表す値（２，１，０，３）が、ｗａｙ０，１，２，３の順に０，２，１，３と更新されている。また、上記の例では参照画像座標データ格納部６１２にフレーム番号そのままの値を格納しているが、参照画像座標データ格納部６１２のメモリ削減、および下記のデータ置換処理の演算量削減のため、フレーム番号をある整数で割った剰余値を参照フレーム番号データ格納部６１２に格納することが現実的である。ｉｎｔｒａフレーム等では、時間的に前後に位置するフレーム間で動き補償がされることはなくフレーム間相関が分断されるため、フレーム番号をｉｎｔｒａフレーム間隔の値で割ることが考えられる。

図６は、第１の実施形態における映像符号化装置１０の流れを示すフローチャートである。
アドレス変換部３００は、符号化演算部１００から要求された参照画像データの詳細情報から、外部メモリ９００のどのアドレスのデータを要求しているかを算出する（ステップＳ１０１）。タグ比較部５２０は、要求されたデータが、メモリ部４００内に存在する否かを判定する（ステップＳ１０２）。要求されたデータがメモリ部４００内に存在する場合（ステップＳ１０２－ＹＥＳ）、データ選択部５１０は要求されたデータをメモリ部４００から読み出し、符号化演算部１００のコアに出力する（ステップＳ１０３）その後、メモリ置換制御部６００は、使用履歴順データ格納部６１１を更新する（ステップＳ１０４）。

一方、要求されたデータがメモリ部４００内に存在しない場合（ステップＳ１０２－ＮＯ）、データ選択部５１０は要求されたデータを外部メモリ９００から読み出し、符号化演算部１００のコアに出力する（ステップＳ１０５）。その後、置換先ウェイ決定部６２０は、置換先決定処理を行う（ステップＳ１０６）。置換先決定処理は、外部メモリ９００から読み出されたデータで、メモリ部４００内のデータを置換する際の置換先を決定する処理である。メモリ部４００は、置換先ウェイ決定部６２０において決定された置換先のデータを外部メモリ９００から読み出されたデータで置換する（ステップＳ１０７）。

図７は、第１の実施形態における置換先ウェイ決定部６２０による置換先決定処理の流れを示すフローチャートである。
置換先ウェイ決定部６２０は、参照フレーム番号データ格納部６１２における各フレーム番号と現符号化対象ブロックのフレーム番号とに基づいて差分絶対値を計算することによって各ｗａｙにおけるフレーム間距離を算出する（ステップＳ２０１）。一例として、図３及び図４の状態でキャッシュミスが発生した場合を考える。ミス発生時に置換先ウェイ決定部６２０に入力された自ブロックのフレーム番号が８であった場合、相対的位置関係は図８のようになる。このとき、自ブロックと参照画像ブロックのフレーム間距離は、ｗａｙ０，１，２，３それぞれで、６,３,４,１となる。

置換先ウェイ決定部６２０は、使用履歴順データ格納部６１１に格納された使用履歴順と、算出したフレーム間距離とを加重平均することで置換優先度指標値を算出する（ステップＳ２０２）。置換先ウェイ決定部６２０は、置換優先度指標値が閾値以上となるｗａｙを、置換先ｗａｙ番号と決定する（ステップＳ２０３）。例えば、置換先ウェイ決定部６２０は、置換優先度指標値が最大のｗａｙを、置換先ｗａｙ番号と決定する。一例として、（置換優先度指標値)＝（使用履歴順)＞＞１＋（フレーム間距離）という加重計算式の場合、ｗａｙ０，１，２，３それぞれの置換優先度指標値は、１０,５,４,７となる。置換先ｗａｙ番号は、置換優先度指標値が最大であるｗａｙ０となる。このような処理フローとすることで、使用履歴の順序だけでなく自ブロックからの時間的距離・フレーム間距離を加味したデータ置換を行うことができる。置換先ウェイ決定部６２０は、決定した結果を、メモリ部４００に出力する。

以上のように構成された第１の実施形態における映像符号化装置１０によれば、参照画像データ用キャッシュのヒット率を向上させることが可能になる。具体的には、上記の例では、通常のＬＲＵでは使用履歴が最も古いｗａｙ３が新規データにより置換されるが、ｗａｙ３は自ブロックとのフレーム間距離が近いため本処理フローでは置換優先度指標値が最大にはならず、置換されない。映像符号化処理においては、自ブロックとのフレーム間距離が近い参照画像データは再利用率が高い傾向にあるため、本実施形態における映像符号化装置１０では、ＬＲＵによるデータ置換アルゴリズムに、参照フレーム番号データ格納部６１２におけるフレーム番号と現符号化対象ブロックのフレーム番号との相対的位置関係を反映させることで、置換対象となるメモリ部４００内の参照画像を決定する。これにより、フレーム間距離の近い参照画像データが置換されにくくなる。そのため、幾何学的空間局所性の活用によるキャッシュヒット率を向上させることが可能になる。

（第２の実施形態）
第２の実施形態では、置換先ウェイ決定部６２０による置換先決定処理が第１の実施形態と異なる。第２の実施形態の基本的構成は第１の実施形態と同様である。そのため、以下の説明では、第１の実施形態との相違点についてのみ説明する。

図９は、第２の実施形態における置換先ウェイ決定部６２０による置換先決定処理の流れを示すフローチャートである。図９において、図７と同様の処理については図７と同様の符号を付して説明を省略する。
ステップＳ２０１の処理において、置換先ウェイ決定部６２０は、参照フレーム番号データ格納部６１２における各フレーム番号と現符号化対象ブロックのフレーム番号から、各ｗａｙにおけるフレーム間距離を算出する。その後、置換先ウェイ決定部６２０は、フレーム間距離の大きさの順番に、ｎ個のｗａｙに０から（ｎ－１）までの整数値をフレーム間距離順として決定する（ステップＳ３０１）。図８に示す例では、ｗａｙ０，１，２，３それぞれのフレーム間距離は６,３,４,１なため，幾何学的距離順はそれぞれ３，１，２，０となる。

置換先ウェイ決定部６２０は、決定したフレーム間距離順と、使用履歴順データ格納部６１１に格納された使用履歴順とを加重平均することで置換優先度指標値を算出する（ステップＳ３０２）。その後、置換先ウェイ決定部６２０は、置換優先度指標値の最大のｗａｙを、置換先ｗａｙ番号と決定する（ステップＳ３０３）。一例として、(置換優先度指標値)＝（使用履歴順）＋（フレーム間距離順）という単純和の場合、ｗａｙ０，１，２，３それぞれの置換優先度指標値は、５,２,２,３となる。置換先ｗａｙ番号は、置換優先度指標値が最大であるｗａｙ０となる。置換先ウェイ決定部６２０は、決定した結果を、メモリ部４００に出力する。

以上のように、第１の実施形態では、フレーム間距離順が０から（ｎ－１）の等間隔の整数値であるのに対しフレーム間距離の値自体は様々な値をとりうる。このため、ｌｏｎｇ ｔｅｒｍ参照のようにフレーム間距離が他のｗａｙに対して非常に大きい特定のｗａｙが存在する場合、使用履歴順や他のｗａｙのフレーム間距離の値にかかわらず、前記特定のｗａｙが置換対象として選択されてしまうことが考えられる。それに対して第２の本実地形態では、フレーム間距離を０から（ｎ－１）の等間隔の整数値であるフレーム間距離順に変換した上で加重平均している。したがって、時間的局所性とフレーム間距離の局所性を同一の指標で考慮可能なキャッシュ置換アルゴリズムとなっている。そのため、キャッシュヒット率を向上させることが可能になる。

以下、第１の実施形態及び第２の実施形態に共通する変形例について説明する。
第１の実施形態及び第２の実施形態では、アドレス変換部３００が要求された参照画像データのフレーム番号をメモリ置換制御部６００に出力し、メモリ置換制御部６００内の置換決定用データ格納部６１０にフレーム番号を保持している。これに対し、外部メモリ９００上のアドレスがわかれば一意にフレーム番号へ逆変換できるため、逆変換を行う場合には参照フレーム番号データ格納部を不要としてもよい。以下、このように構成される場合の映像符号化装置１０の構成について説明する。

図１３は、変形例における映像符号化装置１０ａの構成を示す図である。映像符号化装置１０ａは、参照画像データ用キャッシュメモリ２００ａが、アドレス変換部３００及びメモリ置換制御部６００に代えてアドレス変換部３００ａ及びメモリ置換制御部６００ａを備える点で映像符号化装置１０と構成が異なる。映像符号化装置１０ａのその他の構成については、映像符号化装置１０と同様である。そのため、映像符号化装置１０ａ全体の説明は省略してアドレス変換部３００ａ及びメモリ置換制御部６００ａについて説明する。

アドレス変換部３００ａは、要求された参照画像データの詳細情報から、外部メモリ９００のどのアドレスのデータを要求しているかを算出する。アドレス変換部３００ａは、自ブロックのフレーム番号の情報をメモリ置換制御部６００ａに出力する。
メモリ置換制御部６００ａは、キャッシュミスが生じて外部メモリ９００から該当する要求データを転送する際に、データアレイ４１０のどのラインデータを要求データで置換するかを決定する。図１４は、変形例におけるメモリ置換制御部６００ａの内部構成を示す図である。図１４に示すように、メモリ置換制御部６００ａは置換決定用データ格納部６１０ａとして使用履歴順データ格納部６１１のみを備える。

キャッシュミスの場合は、置換先ウェイ決定部６２０は、使用履歴順データ格納部６１１から指定インデックスにおけるｎ個の使用履歴順データを受け取るとともに、タグアレイ４２０から指定インデックスにおけるｎ個のタグを受け取る。続いて置換先ウェイ決定部６２０は、指定インデックスとｎ個のタグからｎ個の外部メモリ９００上アドレスを復元した上で、アドレス変換部３００の逆変換を行い、ｎ個の外部メモリ９００上アドレスをｎ個のフレーム番号へと逆変換する。置換先ウェイ決定部６２０は、ｎ個の使用履歴順データと、逆変換で算出したｎ個のフレーム番号と、アドレス変換部３００から受け取る自ブロックのフレーム番号を用いて、上記第１の実施形態又は第２の実施形態のいずれかと同様の方法で置換先ウェイ番号を決定する。このような処理とした場合、参照フレーム番号データ格納部６１２が不要となるためデータ格納用メモリの削減を行えるが、一方で、キャッシュミス時に逆変換処理が必要となるため、レイテンシ増大の可能性がある。
上述の実施形態のような処理フローとすることで，データアクセスの時間的局所性とフレーム間距離の局所性の両方を考慮したキャッシュメモリを構成し，参照画像データ用キャッシュのヒット率の向上が可能である。

上述の実施形態のような処理フローとすることで、画像データの時間的局所性とレーム間距離の局所性の両方を加味した参照画像データ用キャッシュメモリ２００を構成し、参照画像データ用キャッシュのヒット率を向上させることができる。

上述した実施形態における映像符号化装置１０、１０ａ、参照画像データ用キャッシュメモリ２００及び２００ａをコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、映像符号化における参照画像データを格納するキャッシュに適用可能である。

１０…映像符号化装置， ５０…映像符号化ＬＳＩ， １００…符号化演算部， ２００、２００ａ…参照画像データ用キャッシュメモリ（参照画像キャッシュ）， ３００、３００ａ…アドレス変換部， ４００…メモリ部， ４１０…データアレイ， ４２０…タグアレイ， ５００…データ決定部， ５１０…データ選択部， ５２０…タグ比較部， ６００、６００ａ…メモリ置換制御部（削除部）， ６１０…置換決定用データ格納部， ６１１…使用履歴順データ格納部， ６１２…参照フレーム番号データ格納部， ６２０…置換先ウェイ決定部， ９００…外部メモリ

Claims (5)

1. 符号化対象ブロックが参照する参照領域を示す情報を格納する参照画像キャッシュであって、
   前記参照画像キャッシュに格納されている前記参照領域の候補である参照領域候補の中から削除する参照領域候補を選択して削除する削除部を有し、
   前記削除部は、前記符号化対象ブロックの属するフレーム番号と、前記参照領域候補の属するフレーム番号とのフレーム間の時間的近さを算出し、前記フレーム間の時間的近さと、前記参照領域候補に対するアクセス履歴の順番とによって優先度指標値を算出し、算出した前記優先度指標値に基づいて、削除対象の前記参照領域候補を選択する、参照画像キャッシュ。
2. 前記削除部は、前記符号化対象ブロックの属するフレーム番号と、前記参照領域候補の属するフレーム番号との差分フレーム数の絶対値を計算し、計算した前記絶対値を前記フレーム間の時間的近さとする、請求項１に記載の参照画像キャッシュ。
3. 前記削除部は、前記符号化対象ブロックの属するフレーム番号と、前記参照領域候補の属するフレーム番号との差分フレーム数の絶対値を計算し、計算した前記絶対値の大きさの順に値を割り当て、前記割り当てた値を前記フレーム間の時間的近さとする、請求項１に記載の参照画像キャッシュ。
4. 符号化対象ブロックが参照する参照領域を示す情報を格納する参照画像キャッシュが行う削除先決定方法であって、
   前記参照画像キャッシュに格納されている前記参照領域の候補である参照領域候補の中から削除する参照領域候補を選択して削除する削除ステップを有し、
   前記削除ステップにおいて、前記符号化対象ブロックの属するフレーム番号と、前記参照領域候補の属するフレーム番号とのフレーム間の時間的近さを算出し、前記フレーム間の時間的近さと、前記参照領域候補に対するアクセス履歴の順番とによって優先度指標値を算出し、算出した前記優先度指標値に基づいて、削除対象の前記参照領域候補を選択する、削除先決定方法。
5. 符号化対象ブロックが参照する参照領域を示す情報を格納する参照画像キャッシュとして機能するコンピュータに対し、
   前記参照画像キャッシュに格納されている前記参照領域の候補である参照領域候補の中から削除する参照領域候補を選択して削除する削除ステップを実行させ、
   前記削除ステップにおいて、前記符号化対象ブロックの属するフレーム番号と、前記参照領域候補の属するフレーム番号とのフレーム間の時間的近さを算出し、前記フレーム間の時間的近さと、前記参照領域候補に対するアクセス履歴の順番とによって優先度指標値を算出し、算出した前記優先度指標値に基づいて、削除対象の前記参照領域候補を選択する、コンピュータプログラム。

Images