JP7406206B2 - 参照画像キャッシュ、削除先決定方法及びコンピュータプログラム - Google Patents
参照画像キャッシュ、削除先決定方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP7406206B2 JP7406206B2 JP2020078789A JP2020078789A JP7406206B2 JP 7406206 B2 JP7406206 B2 JP 7406206B2 JP 2020078789 A JP2020078789 A JP 2020078789A JP 2020078789 A JP2020078789 A JP 2020078789A JP 7406206 B2 JP7406206 B2 JP 7406206B2
- Authority
- JP
- Japan
- Prior art keywords
- reference area
- reference image
- encoding target
- data
- area candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012217 deletion Methods 0.000 title claims description 27
- 230000037430 deletion Effects 0.000 title claims description 27
- 238000000034 method Methods 0.000 title claims description 20
- 238000004590 computer program Methods 0.000 title description 2
- 238000012935 Averaging Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 230000015654 memory Effects 0.000 description 101
- 238000013500 data storage Methods 0.000 description 40
- 238000012545 processing Methods 0.000 description 30
- 238000006243 chemical reaction Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
(第1の実施形態)
図1は、第1の実施形態における映像符号化装置10の内部構成を表す構成図である。以下で用いる「符号化対象ブロック」については、MPEG-2やH.264/AVC規格ではマクロブロックの事を示し、HEVCについてはコーディングユニット(CU)又はプレディクションユニット(PU)の事を指し示すものとする。
映像符号化LSI50は、符号化対象の映像原信号を符号化規格に則って符号化処理を行う。
外部メモリ900は、映像符号化LSI50において用いられる参照画像データを始めとした各種データを格納する。
符号化演算部100は、動き探索や動き補償等の実際の符号化演算処理を行う。符号化演算部100は、並列動作する複数のコア(core_1,…,core_M)で構成される。各コアは、少なくとも事前動き探索処理部、動き探索処理部、マージ探索処理部及び動き補償処理部等である。処理中に参照画像データが必要となるコア(以下「参照画像利用コア」という。)の場合、参照画像利用コアは参照画像データ用キャッシュメモリ200に接続されている。各コアは、必要となる参照画像データに関して、参照先のフレーム番号、参照先の色空間YUVの指定及び参照先のフレーム内の位置座標等の情報を含む詳細情報を参照画像データ用キャッシュメモリ200に出力する。
アドレス変換部300は、要求された参照画像データの詳細情報から、外部メモリ900のどのアドレスのデータを要求しているかを算出する。アドレス変換部300は、参照画像データの要求が各コアから並列で出力されるが、参照画像情報からアドレス情報への変換を逐次的に行い、要求データのアドレスを順番に出力する。
置換決定用データ格納部610は、キャッシュミス時に置換先のway番号を決定するための内部データを格納する。
置換先ウェイ決定部620は、置換決定用データ格納部610を用いて具体的な置換先way番号を決定する。
アドレス変換部300は、符号化演算部100から要求された参照画像データの詳細情報から、外部メモリ900のどのアドレスのデータを要求しているかを算出する(ステップS101)。タグ比較部520は、要求されたデータが、メモリ部400内に存在する否かを判定する(ステップS102)。要求されたデータがメモリ部400内に存在する場合(ステップS102-YES)、データ選択部510は要求されたデータをメモリ部400から読み出し、符号化演算部100のコアに出力する(ステップS103)その後、メモリ置換制御部600は、使用履歴順データ格納部611を更新する(ステップS104)。
置換先ウェイ決定部620は、参照画像座標データ格納部612における各座標データと現符号化対象ブロックの座標データから、各wayにおける幾何学的距離長を算出する(ステップS201)。一例として、図3及び図4の状態でキャッシュミスが発生した場合を考える。ミス発生時に置換先ウェイ決定部620に入力された自ブロック中心座標が(288、160)であった場合、相対的位置関係は図8のようになる。ここで、相対的位置関係とは、符号化対象画像における符号化対象ブロックの座標をそのまま参照画像にマップし、マップされた符号化対象ブロックの座標と、各wayに格納されている座標との位置関係を表す。より具体的には、相対的位置関係とは、図8に示す例では、参照画像上で4つのway0、way1、way2、way3に含まれる4つのデータに相当する4つの二次元座標位置と、原画像(=符号化対象画像)上の現符号化対象ブロックの二次元座標位置を同時にマッピングした位置関係を表す。このとき、自ブロックに対する参照画像ブロックの位置ベクトルは、way0,1,2,3それぞれで(144,-112),(-144,-48),(16,176),(80,16)となる。幾何学的距離長は、位置ベクトルのL1ノルムやL2ノルムを利用できる。L1ノルムを幾何学的距離長とした場合、way0,1,2,3それぞれの幾何学的距離長は、256,192,208,96となる。
第2の実施形態では、置換先ウェイ決定部620による置換先決定処理が第1の実施形態と異なる。第2の実施形態の基本的構成は第1の実施形態と同様である。そのため、以下の説明では、第1の実施形態との相違点についてのみ説明する。
ステップS201の処理において、置換先ウェイ決定部620は、参照画像座標データ格納部612における各座標データと現符号化対象ブロックの座標データから、各wayにおける幾何学的距離長をL1ノルムやL2ノルムにより算出する。その後、置換先ウェイ決定部620は、幾何学的距離長の大きさの順番に、n個のwayに0から(n-1)までの整数値を幾何学的距離順として決定する(ステップS301)。図10に示す例では、way0,1,2,3それぞれの幾何学的距離長が256,192,208,96であるため、幾何学的距離順はそれぞれ3,1,2,0となる。
第3の実施形態では、置換先ウェイ決定部620による置換先決定処理が第1の実施形態及び第2の実施形態と異なる。第3の実施形態の基本的構成は第1の実施形態及び第2の実施形態と同様である。そのため、以下の説明では、第1の実施形態及び第2の実施形態との相違点についてのみ説明する。
ステップS201の処理において、置換先ウェイ決定部620は、参照画像座標データ格納部612における各座標データと現符号化対象ブロックの座標データから、各wayにおける幾何学的距離長をL1ノルムやL2ノルムにより算出する。その後、置換先ウェイ決定部620は、算出された幾何学的距離長と、事前に設定された距離長閾値との、大小を比較する(ステップS401)。例として、図10において距離長閾値が128の場合は、図12のような位置関係になる。way0,1,2の幾何学的距離長は距離長閾値よりも大きく、way3の幾何学的距離長は距離長閾値よりも小さい。
第1の実施形態から第3の実施形態では、アドレス変換部300が要求された参照画像データのフレーム内座標位置をメモリ置換制御部600に出力し、メモリ置換制御部600内の置換決定用データ格納部610に座標データを保持している。これに対し、外部メモリ900上のアドレスがわかれば一意に座標位置へ逆変換できるため、逆変換を行う場合には参照画像座標データ格納部612を不要としてもよい。以下、このように構成される場合の映像符号化装置10の構成について説明する。
メモリ置換制御部600aは、キャッシュミスが生じて外部メモリ900から該当する要求データを転送する際に、データアレイ410のどのラインデータを要求データで置換するかを決定する。図14は、変形例におけるメモリ置換制御部600aの内部構成を示す図である。図14に示すように、メモリ置換制御部600aは置換決定用データ格納部610aとして使用履歴順データ格納部611のみを備える。
Claims (6)
- 符号化対象ブロックが参照する参照領域を示す情報を格納する参照画像キャッシュであって、
前記参照画像キャッシュに格納されている前記参照領域の候補である参照領域候補の中から削除する参照領域候補を選択して削除する削除部を有し、
前記削除する参照領域候補は、少なくとも、前記符号化対象ブロックの符号化対象画像における位置と、前記参照領域候補の参照画像における位置とに基づいて決定され、
前記削除部は、前記符号化対象ブロックの符号化対象画像における位置と、前記参照領域候補の前記参照画像における位置と、の距離が大きい前記参照領域候補ほど削除する対象として選択する、参照画像キャッシュ。 - 前記削除部は、前記符号化対象ブロックの符号化対象画像における位置と、前記参照領域候補の前記参照画像における位置とのノルムをそれぞれ計算することによって複数の幾何学的距離長を算出し、前記幾何学的距離長と、前記参照領域候補に対するアクセス履歴の順番とを加重平均することによって優先度指標値を算出し、算出した前記優先度指標値が第1の閾値以上となる前記参照領域候補を削除する対象として選択する、請求項1に記載の参照画像キャッシュ。
- 前記削除部は、前記符号化対象ブロックの符号化対象画像における位置と、前記参照領域候補の前記参照画像における位置とのノルムをそれぞれ計算することによって複数の幾何学的距離長を算出し、算出した前記複数の幾何学的距離長において幾何学的距離長が大きい順番に値を割り当て、前記割り当てた値と、前記参照領域候補に対するアクセス履歴の順番とを加重平均することによって優先度指標値を算出し、算出した前記優先度指標値が第1の閾値以上となる前記参照領域候補を削除する対象として選択する、請求項1に記載の参照画像キャッシュ。
- 前記削除部は、前記符号化対象ブロックの符号化対象画像における位置と、前記参照領域候補の前記参照画像における位置とのノルムをそれぞれ計算することによって複数の幾何学的距離長を算出し、指定された第2の閾値よりも大きい前記幾何学的距離長が存在しない場合には、前記参照領域候補に対するアクセス履歴の順番が第3の閾値以上となる前記参照領域候補を削除する対象として選択し、指定された前記第2の閾値よりも大きい前記幾何学的距離長が存在する場合には、前記第2の閾値よりも幾何学的距離長が大きく、かつ、前記参照領域候補に対するアクセス履歴の順番が前記第3の閾値以上となる前記参照領域候補を削除する対象として選択する、請求項1に記載の参照画像キャッシュ。
- 符号化対象ブロックが参照する参照領域を示す情報を格納する参照画像キャッシュが行う削除先決定方法であって、
前記参照画像キャッシュに格納されている前記参照領域の候補である参照領域候補の中から削除する参照領域候補を選択して削除する削除ステップを有し、
前記削除する参照領域候補は、少なくとも、前記符号化対象ブロックの符号化対象画像における位置と、前記参照領域候補の参照画像における位置とに基づいて決定され、
前記削除ステップにおいて、前記符号化対象ブロックの符号化対象画像における位置と、前記参照領域候補の前記参照画像における位置と、の距離が大きい前記参照領域候補ほど削除する対象として選択する、削除先決定方法。 - 符号化対象ブロックが参照する参照領域を示す情報を格納する参照画像キャッシュとして機能するコンピュータに対し、
前記参照画像キャッシュに格納されている前記参照領域の候補である参照領域候補の中から削除する参照領域候補を選択して削除する削除ステップを実行させ、
前記削除する参照領域候補は、少なくとも、前記符号化対象ブロックの符号化対象画像における位置と、前記参照領域候補の参照画像における位置とに基づいて決定され、
前記削除ステップにおいて、前記符号化対象ブロックの符号化対象画像における位置と、前記参照領域候補の前記参照画像における位置と、の距離が大きい前記参照領域候補ほど削除する対象として選択する、コンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020078789A JP7406206B2 (ja) | 2020-04-28 | 2020-04-28 | 参照画像キャッシュ、削除先決定方法及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020078789A JP7406206B2 (ja) | 2020-04-28 | 2020-04-28 | 参照画像キャッシュ、削除先決定方法及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021175118A JP2021175118A (ja) | 2021-11-01 |
JP7406206B2 true JP7406206B2 (ja) | 2023-12-27 |
Family
ID=78280026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020078789A Active JP7406206B2 (ja) | 2020-04-28 | 2020-04-28 | 参照画像キャッシュ、削除先決定方法及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7406206B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000347941A (ja) | 1999-06-02 | 2000-12-15 | Fujitsu Ltd | キャッシュメモリ装置 |
JP2008512967A (ja) | 2004-09-09 | 2008-04-24 | クゥアルコム・インコーポレイテッド | 動画像の動き補償のためのキャッシング方法および装置 |
JP2011097198A (ja) | 2009-10-27 | 2011-05-12 | Yamaha Corp | メモリアクセス制御装置 |
JP2012015686A (ja) | 2010-06-30 | 2012-01-19 | Jvc Kenwood Corp | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法および画像復号プログラム |
JP2014513883A (ja) | 2011-03-07 | 2014-06-05 | 日本テキサス・インスツルメンツ株式会社 | ビデオ符号化のためのキャッシュ方法およびシステム |
-
2020
- 2020-04-28 JP JP2020078789A patent/JP7406206B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000347941A (ja) | 1999-06-02 | 2000-12-15 | Fujitsu Ltd | キャッシュメモリ装置 |
JP2008512967A (ja) | 2004-09-09 | 2008-04-24 | クゥアルコム・インコーポレイテッド | 動画像の動き補償のためのキャッシング方法および装置 |
JP2011097198A (ja) | 2009-10-27 | 2011-05-12 | Yamaha Corp | メモリアクセス制御装置 |
JP2012015686A (ja) | 2010-06-30 | 2012-01-19 | Jvc Kenwood Corp | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法および画像復号プログラム |
JP2014513883A (ja) | 2011-03-07 | 2014-06-05 | 日本テキサス・インスツルメンツ株式会社 | ビデオ符号化のためのキャッシュ方法およびシステム |
Also Published As
Publication number | Publication date |
---|---|
JP2021175118A (ja) | 2021-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107846597B (zh) | 用于视频解码器的数据缓存方法和装置 | |
US20230196503A1 (en) | Upscaling Lower Resolution Image Data for Processing | |
TWI684099B (zh) | 剖析快取替代 | |
KR100907843B1 (ko) | 비디오 모션 보상용 캐싱 방법 및 장치 | |
US7427990B2 (en) | Data replacement method and circuit for motion prediction cache | |
JP4451717B2 (ja) | 情報処理装置および情報処理方法 | |
JP6263538B2 (ja) | マルチメディアデータ処理のための方法及びシステム | |
KR101520027B1 (ko) | 움직임 추정 방법 및 장치 | |
WO2014111059A1 (en) | Method and apparatus using software engine and hardware engine collaborated with each other to achieve hybrid video encoding | |
WO2010055494A1 (en) | A cache management policy and corresponding device | |
US20230342300A1 (en) | Data eviction method and apparatus, cache node, and cache system | |
JP2006270683A (ja) | 符号化装置と方法 | |
US9363524B2 (en) | Method and apparatus for motion compensation reference data caching | |
JP7406206B2 (ja) | 参照画像キャッシュ、削除先決定方法及びコンピュータプログラム | |
US20090327611A1 (en) | Domain-based cache management, including domain event based priority demotion | |
CN107450860B (zh) | 一种基于分布式存储的地图文件预读方法 | |
JP7416380B2 (ja) | 参照画像キャッシュ、削除先決定方法及びコンピュータプログラム | |
JP7425446B2 (ja) | 参照画像キャッシュメモリ、データ要求方法及びコンピュータプログラム | |
US8660173B2 (en) | Video reference frame retrieval | |
JPH11328369A (ja) | キャッシュシステム | |
JP7054007B2 (ja) | 符号化装置及びプログラム | |
CN113791989A (zh) | 基于cache的缓存数据处理方法、存储介质及芯片 | |
JP5120327B2 (ja) | 動きベクトル検出装置 | |
JP6728870B2 (ja) | 画像圧縮装置、画像圧縮方法、及び画像圧縮プログラム | |
Li et al. | A cache-based bandwidth optimized motion compensation architecture for video decoder |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200430 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220728 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230919 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7406206 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |