JP7416380B2 - 参照画像キャッシュ、削除先決定方法及びコンピュータプログラム - Google Patents
参照画像キャッシュ、削除先決定方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP7416380B2 JP7416380B2 JP2020078790A JP2020078790A JP7416380B2 JP 7416380 B2 JP7416380 B2 JP 7416380B2 JP 2020078790 A JP2020078790 A JP 2020078790A JP 2020078790 A JP2020078790 A JP 2020078790A JP 7416380 B2 JP7416380 B2 JP 7416380B2
- Authority
- JP
- Japan
- Prior art keywords
- reference area
- reference image
- data
- frame number
- replacement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012217 deletion Methods 0.000 title claims description 23
- 230000037430 deletion Effects 0.000 title claims description 23
- 238000000034 method Methods 0.000 title claims description 22
- 238000004590 computer program Methods 0.000 title claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 5
- 230000015654 memory Effects 0.000 description 99
- 238000013500 data storage Methods 0.000 description 39
- 238000012545 processing Methods 0.000 description 27
- 238000006243 chemical reaction Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 238000012935 Averaging Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
(第1の実施形態)
図1は、第1の実施形態における映像符号化装置10の内部構成を表す構成図である。以下で用いる「符号化ブロック」については、MPEG-2やH.264/AVC規格ではマクロブロックの事を示し、HEVCについてはコーディングユニット(CU)又はプレディクションユニット(PU)の事を指し示すものとする。
映像符号化LSI50は、符号化対象の映像原信号を符号化規格に則って符号化処理を行う。
外部メモリ900は、映像符号化LSI50において用いられる参照画像データを始めとした各種データを格納する。
符号化演算部100は、動き探索や動き補償等の実際の符号化演算処理を行う。符号化演算部100は、並列動作する複数のコア(core_1,…,core_M)で構成される。各コアは、少なくとも事前動き探索処理部、動き探索処理部、マージ探索処理部及び動き補償処理部等である。処理中に参照画像データが必要となるコア(以下「参照画像利用コア」という。)の場合、参照画像利用コアは参照画像データ用キャッシュメモリ200に接続されている。各コアは、必要となる参照画像データに関して、参照先のフレーム番号、参照先の色空間YUVの指定及び参照先のフレーム内の位置座標等の情報を含む詳細情報を参照画像データ用キャッシュメモリ200に出力する。
アドレス変換部300は、要求された参照画像データの詳細情報から、外部メモリ900のどのアドレスのデータを要求しているかを算出する。アドレス変換部300は、参照画像データの要求が各コアから並列で出力されるが、参照画像情報からアドレス情報への変換を逐次的に行い、要求データのアドレスを順番に出力する。
置換決定用データ格納部610は、キャッシュミス時に置換先のway番号を決定するための内部データを格納する。
置換先ウェイ決定部620は、置換決定用データ格納部610を用いて具体的な置換先way番号を決定する。
アドレス変換部300は、符号化演算部100から要求された参照画像データの詳細情報から、外部メモリ900のどのアドレスのデータを要求しているかを算出する(ステップS101)。タグ比較部520は、要求されたデータが、メモリ部400内に存在する否かを判定する(ステップS102)。要求されたデータがメモリ部400内に存在する場合(ステップS102-YES)、データ選択部510は要求されたデータをメモリ部400から読み出し、符号化演算部100のコアに出力する(ステップS103)その後、メモリ置換制御部600は、使用履歴順データ格納部611を更新する(ステップS104)。
置換先ウェイ決定部620は、参照フレーム番号データ格納部612における各フレーム番号と現符号化対象ブロックのフレーム番号とに基づいて差分絶対値を計算することによって各wayにおけるフレーム間距離を算出する(ステップS201)。一例として、図3及び図4の状態でキャッシュミスが発生した場合を考える。ミス発生時に置換先ウェイ決定部620に入力された自ブロックのフレーム番号が8であった場合、相対的位置関係は図8のようになる。このとき、自ブロックと参照画像ブロックのフレーム間距離は、way0,1,2,3それぞれで、6,3,4,1となる。
第2の実施形態では、置換先ウェイ決定部620による置換先決定処理が第1の実施形態と異なる。第2の実施形態の基本的構成は第1の実施形態と同様である。そのため、以下の説明では、第1の実施形態との相違点についてのみ説明する。
ステップS201の処理において、置換先ウェイ決定部620は、参照フレーム番号データ格納部612における各フレーム番号と現符号化対象ブロックのフレーム番号から、各wayにおけるフレーム間距離を算出する。その後、置換先ウェイ決定部620は、フレーム間距離の大きさの順番に、n個のwayに0から(n-1)までの整数値をフレーム間距離順として決定する(ステップS301)。図8に示す例では、way0,1,2,3それぞれのフレーム間距離は6,3,4,1なため,幾何学的距離順はそれぞれ3,1,2,0となる。
第1の実施形態及び第2の実施形態では、アドレス変換部300が要求された参照画像データのフレーム番号をメモリ置換制御部600に出力し、メモリ置換制御部600内の置換決定用データ格納部610にフレーム番号を保持している。これに対し、外部メモリ900上のアドレスがわかれば一意にフレーム番号へ逆変換できるため、逆変換を行う場合には参照フレーム番号データ格納部を不要としてもよい。以下、このように構成される場合の映像符号化装置10の構成について説明する。
メモリ置換制御部600aは、キャッシュミスが生じて外部メモリ900から該当する要求データを転送する際に、データアレイ410のどのラインデータを要求データで置換するかを決定する。図14は、変形例におけるメモリ置換制御部600aの内部構成を示す図である。図14に示すように、メモリ置換制御部600aは置換決定用データ格納部610aとして使用履歴順データ格納部611のみを備える。
上述の実施形態のような処理フローとすることで,データアクセスの時間的局所性とフレーム間距離の局所性の両方を考慮したキャッシュメモリを構成し,参照画像データ用キャッシュのヒット率の向上が可能である。
Claims (5)
- 符号化対象ブロックが参照する参照領域を示す情報を格納する参照画像キャッシュであって、
前記参照画像キャッシュに格納されている前記参照領域の候補である参照領域候補の中から削除する参照領域候補を選択して削除する削除部を有し、
前記削除部は、前記符号化対象ブロックの属するフレーム番号と、前記参照領域候補の属するフレーム番号とのフレーム間の時間的近さを算出し、前記フレーム間の時間的近さと、前記参照領域候補に対するアクセス履歴の順番とによって優先度指標値を算出し、算出した前記優先度指標値に基づいて、削除対象の前記参照領域候補を選択する、参照画像キャッシュ。 - 前記削除部は、前記符号化対象ブロックの属するフレーム番号と、前記参照領域候補の属するフレーム番号との差分フレーム数の絶対値を計算し、計算した前記絶対値を前記フレーム間の時間的近さとする、請求項1に記載の参照画像キャッシュ。
- 前記削除部は、前記符号化対象ブロックの属するフレーム番号と、前記参照領域候補の属するフレーム番号との差分フレーム数の絶対値を計算し、計算した前記絶対値の大きさの順に値を割り当て、前記割り当てた値を前記フレーム間の時間的近さとする、請求項1に記載の参照画像キャッシュ。
- 符号化対象ブロックが参照する参照領域を示す情報を格納する参照画像キャッシュが行う削除先決定方法であって、
前記参照画像キャッシュに格納されている前記参照領域の候補である参照領域候補の中から削除する参照領域候補を選択して削除する削除ステップを有し、
前記削除ステップにおいて、前記符号化対象ブロックの属するフレーム番号と、前記参照領域候補の属するフレーム番号とのフレーム間の時間的近さを算出し、前記フレーム間の時間的近さと、前記参照領域候補に対するアクセス履歴の順番とによって優先度指標値を算出し、算出した前記優先度指標値に基づいて、削除対象の前記参照領域候補を選択する、削除先決定方法。 - 符号化対象ブロックが参照する参照領域を示す情報を格納する参照画像キャッシュとして機能するコンピュータに対し、
前記参照画像キャッシュに格納されている前記参照領域の候補である参照領域候補の中から削除する参照領域候補を選択して削除する削除ステップを実行させ、
前記削除ステップにおいて、前記符号化対象ブロックの属するフレーム番号と、前記参照領域候補の属するフレーム番号とのフレーム間の時間的近さを算出し、前記フレーム間の時間的近さと、前記参照領域候補に対するアクセス履歴の順番とによって優先度指標値を算出し、算出した前記優先度指標値に基づいて、削除対象の前記参照領域候補を選択する、コンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020078790A JP7416380B2 (ja) | 2020-04-28 | 2020-04-28 | 参照画像キャッシュ、削除先決定方法及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020078790A JP7416380B2 (ja) | 2020-04-28 | 2020-04-28 | 参照画像キャッシュ、削除先決定方法及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021175119A JP2021175119A (ja) | 2021-11-01 |
JP7416380B2 true JP7416380B2 (ja) | 2024-01-17 |
Family
ID=78280028
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020078790A Active JP7416380B2 (ja) | 2020-04-28 | 2020-04-28 | 参照画像キャッシュ、削除先決定方法及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7416380B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008278423A (ja) | 2007-05-07 | 2008-11-13 | Matsushita Electric Ind Co Ltd | 動画像復号化集積回路、動画像復号化方法、動画像復号化装置及び動画像復号化プログラム |
JP2012239098A (ja) | 2011-05-13 | 2012-12-06 | Panasonic Corp | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法、動画像復号化プログラム、録画装置、および再生装置 |
JP2014523712A (ja) | 2011-07-01 | 2014-09-11 | アップル インコーポレイテッド | カメラおよび背景の動きに基づく、参照フレームバッファの適応的設定 |
-
2020
- 2020-04-28 JP JP2020078790A patent/JP7416380B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008278423A (ja) | 2007-05-07 | 2008-11-13 | Matsushita Electric Ind Co Ltd | 動画像復号化集積回路、動画像復号化方法、動画像復号化装置及び動画像復号化プログラム |
JP2012239098A (ja) | 2011-05-13 | 2012-12-06 | Panasonic Corp | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法、動画像復号化プログラム、録画装置、および再生装置 |
JP2014523712A (ja) | 2011-07-01 | 2014-09-11 | アップル インコーポレイテッド | カメラおよび背景の動きに基づく、参照フレームバッファの適応的設定 |
Also Published As
Publication number | Publication date |
---|---|
JP2021175119A (ja) | 2021-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107846597B (zh) | 用于视频解码器的数据缓存方法和装置 | |
US20230196503A1 (en) | Upscaling Lower Resolution Image Data for Processing | |
KR100907843B1 (ko) | 비디오 모션 보상용 캐싱 방법 및 장치 | |
US8565308B2 (en) | Interframe prediction processor with address management mechanism for motion vector storage | |
US11206422B2 (en) | Video image processing method and device | |
US7965773B1 (en) | Macroblock cache | |
KR101520027B1 (ko) | 움직임 추정 방법 및 장치 | |
JP6263538B2 (ja) | マルチメディアデータ処理のための方法及びシステム | |
JP4764807B2 (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
WO2020140915A1 (zh) | 视频处理方法和装置 | |
US20090300320A1 (en) | Processing system with linked-list based prefetch buffer and methods for use therewith | |
US20120230594A1 (en) | Adaptive picture rotation | |
US20130028324A1 (en) | Method and device for decoding a scalable video signal utilizing an inter-layer prediction | |
CN103533366B (zh) | 用于视频运动补偿的缓存方法与装置 | |
US20220360814A1 (en) | Enhanced motion vector prediction | |
JP2006270683A (ja) | 符号化装置と方法 | |
US9363524B2 (en) | Method and apparatus for motion compensation reference data caching | |
JP7416380B2 (ja) | 参照画像キャッシュ、削除先決定方法及びコンピュータプログラム | |
JP7406206B2 (ja) | 参照画像キャッシュ、削除先決定方法及びコンピュータプログラム | |
JP7425446B2 (ja) | 参照画像キャッシュメモリ、データ要求方法及びコンピュータプログラム | |
US20110080959A1 (en) | Video reference frame retrieval | |
JPH11328369A (ja) | キャッシュシステム | |
JP7054007B2 (ja) | 符号化装置及びプログラム | |
JP6728870B2 (ja) | 画像圧縮装置、画像圧縮方法、及び画像圧縮プログラム | |
Zuo et al. | A Cache Hardware design for H. 264 encoder |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200430 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220728 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230816 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231027 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7416380 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |