JP4744510B2 - データ値の多次元アレイへのパラレルなアクセスを提供するデータ処理装置 - Google Patents

データ値の多次元アレイへのパラレルなアクセスを提供するデータ処理装置 Download PDF

Info

Publication number
JP4744510B2
JP4744510B2 JP2007509048A JP2007509048A JP4744510B2 JP 4744510 B2 JP4744510 B2 JP 4744510B2 JP 2007509048 A JP2007509048 A JP 2007509048A JP 2007509048 A JP2007509048 A JP 2007509048A JP 4744510 B2 JP4744510 B2 JP 4744510B2
Authority
JP
Japan
Prior art keywords
cache
address
block
data
data values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007509048A
Other languages
English (en)
Other versions
JP2007534077A (ja
Inventor
セトゥラマン,ラマナサン
ベリック,アレクサンダル
ピント,カルロス アー アルバ
イェー アー エム ペテルス,ハルム
ペー エー ミューウィセン,パトリク
スリニヴァサン,バラクリシュナン
フェルドマン,ヘラルド
Original Assignee
シリコン ハイブ ビー・ヴィー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シリコン ハイブ ビー・ヴィー filed Critical シリコン ハイブ ビー・ヴィー
Publication of JP2007534077A publication Critical patent/JP2007534077A/ja
Application granted granted Critical
Publication of JP4744510B2 publication Critical patent/JP4744510B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • H04N19/433Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0862Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with prefetch
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12Replacement control
    • G06F12/121Replacement control using replacement algorithms
    • G06F12/126Replacement control using replacement algorithms with special data handling, e.g. priority of data or instructions, handling errors or pinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/45Caching of specific data in cache memory
    • G06F2212/455Image or video data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/60Details of cache memory
    • G06F2212/6022Using a prefetch buffer or dedicated prefetch cache
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/60Details of cache memory
    • G06F2212/6024History based prefetching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Image Input (AREA)

Description

本発明は、データ処理装置に関し、より詳細には映像データ処理装置に関する。
米国特許第5,530,481号は、MPEGエンコーダを記載している。MPEGでは、いくつかの画像が、隣接画像からの画素ベクトルブロックを更新画像の選択された一に配置することによって、隣接画像に対する更新として符号化される。MPEG符号化は、ブロックの当初の位置から選択された位置への移動の距離及び方法を記述する動きベクトルの選択を伴う。
MPEG符号化は、典型的には、更新により復号化される画像内の異なるブロックの画素コンテンツを隣接画像内のあるブロックのコンテンツと比較することによって、有用な動きベクトルを検索する。このため、これらの画像の少なくとも1つを格納するのに画像メモリが必要とされる。
米国特許第5,530,481号は、動きベクトルの検索を高速化するのにどのようにバッファメモリが利用可能であるかを記載している。バッファメモリは、ゼロの動きベクトルに対応するブロックを含み、包囲する画素領域についての画素データを格納する。適切な動きベクトルが選択されると、典型的には以前の領域の大部分と重複する新たな領域が処理され、それに対して、この新たな領域の境界部分の画素データのみがバッファメモリにフェッチされる必要がある。同様の形式の領域ベースのアクセスが、パターンマッチング処理のフィルタリングなど他の画像処理に必要とされる。
米国特許第6,125,432号は、同様の動きベクトル推定を、この目的のためのキャッシュメモリを利用して実行する。当該特許には詳細には記載されていないが、データをフェッチするのに利用可能なアドレスに対応して、メインメモリからのデータを格納するキャッシュメモリ位置を有するキャッシュメモリは周知である。データがキャッシュメモリ位置に格納されるアドレスは変更可能である。典型的には、データがキャッシュメモリに格納されていない新たなアドレスがアドレス指定されると、当該データはメインメモリからフェッチされ、古いアドレスに対して使用されたキャッシュメモリ位置が、この新たなアドレスと対応するデータについて再利用される。
このタイプの画像処理のパフォーマンス特性は、領域からの画素データのためのメモリの構成によって大きな影響を受ける。動きベクトルの検索中に必要とされる領域のすべての画素を格納するための容量を備えた大きなキャッシュバッファメモリを利用し、当該領域が変更される毎にすべての新しい画素を予めフェッチすることは、キャッシュミスが回避されるという効果を有する。このアプローチの問題点は、より大きな検索領域が必要とされるとき、より大きなバッファメモリが必要となるということである。他には、領域からの画素の一部のみが格納され、他の画素が、当該他の画素が動きベクトルの検索中にアドレス指定されるとき、キャッシュされている画素を置換するのに利用される小さなキャッシュメモリを使用するというものがある。この代替は、キャッシュメモリサイズを低減するが、キャッシュミスによる電力消費と遅延を増大させる。
本発明の課題は、画像処理装置を提供することであり、より一般には、より効率的なキャッシュの使用をサポートする2次元アレイとして構成されるデータを処理する装置を提供することである。
本発明によるデータ処理装置は、請求項1に記載される。データ処理ユニットは、データ値のアレイを処理し、当該アレイのスライドする位置領域を規定する。この領域は、連続的な時間のインターバルにおける連続的な位置を想定する。各時間インターバル中、処理ユニットは、当該時間インターバルにおいて想定される領域内及びその周囲の位置からのデータ値を利用する。データ値をキャッシュするのにキャッシュメモリユニットが設けられる。キャッシュメモリユニットは、処理されるデータアレイにおけるアドレスに適応的に関連付けされたキャッシュ位置を有する。キャッシュ管理は、アドレスの置換による関連付けされたアドレスの変更を可能にする。各時間インターバル中、異なる処理が、当該時間インターバルに想定された領域からのデータ値と、当該領域周辺からのデータ値とに与えられる。当該領域からのデータ値を格納するキャッシュ位置はキャッシュ置換から免除される(exempted)一方、当該領域の周囲からのデータ値を格納するキャッシュ位置はキャッシュ置換される。
キャッシュサイズは、一般には、当該領域が想定される時間インターバル中に当該領域の周囲の位置からプロセッサが必要とするすべての位置のデータ値をキャッシュするのに必要なものより小さい。従って、当該領域の周辺の位置のデータ値は、一般には処理中に置換される。処理ユニットによって使用されるアドレッシングシーケンスに応じて、特定位置のデータ値をリロードすることさえ必要になるかもしれない。このように、キャッシュ位置が効率的に使用され、領域内の頻繁に使用されるデータ値の免除はキャッシュミスを減少させ、領域外のキャッシュ置換の使用は必要とされるキャッシュサイズを低減する。
典型的には、領域のサイズは、例えば、動きベクトルの推定のため一致するマクロブロックの検索中など、処理ユニットがアクセス単位として利用するブロック(すなわち、ブロック及び複数のブロックを含むマクロブロック)のサイズを超える。一例では、当該領域は、中心のマクロブロックと、この中心のマクロブロックの上下左右の隣接するマクロブロックの半分を含む。従って、各マクロブロックがキャッシュミスのリスクなくアドレス指定可能な互いに重複する複数のマクロブロックが領域に適合する一方、中心のマクロブロックからより遠くにあるマクロブロックは部分的にキャッシュミスのリスクがあり、さらに遠くにあるマクロブロックは、完全にキャッシュミスのリスクがある。好ましくは、キャッシュメモリユニットが、アドレス指定されたブロック(又はより一般にはマクロブロック)から複数のデータ値をパラレルに出力するよう構成される。アドレス指定されたブロックが重複しているとき、データ値の境界部分の領域は免除されたキャッシュ位置からのものであるかもしれず、一部は免除されていないキャッシュ位置からのものであるかもしれない。
好ましくは、予測される以降の領域からのデータ値が、メインメモリから免除されるキャッシュ位置に予めフェッチされる。より好ましくは、ウィンドウが移動する際、免除されているキャッシュ位置へのコピー前に予めフェッチされたデータ値を格納するためのプリフェッチバッファが設けられる。
好ましくは、所定のキャッシュ位置セットを利用して、現在領域のデータ値を格納する。この結果、これらのキャッシュ位置の構成は、領域外の位置に対する他のキャッシュ位置の構成とは異なるものになるかもしれず、当該キャッシュ位置が置換を免除されているという知識を利用して、例えば、領域外のデータを格納するキャッシュ位置に対するものよい、領域内のデータを格納するキャッシュ位置に対するより大きなキャッシュメモリ位置(より多くの位置からのデータ値に対する)を利用することによって、領域内のデータに対するキャッシュ位置の構成を最適化する。
一実施例では、所定の位置に対して使用されるキャッシュメモリが、各々がパラレルな異なるy−アドレスの第1の個数のラインセグメントに対するデータ値を生成するよう構成される。残りのキャッシュ要素について、1つのy−アドレスの1つのみのラインセグメント又は第1の個数より少ない第2の個数のy−アドレスの第2の個数のラインセグメントに対するデータ値を生成可能な他のタイプのキャッシュメモリが使用される。所定の位置にデータ値が格納されているウィンドウの完全な範囲内の位置のブロックがアドレス指定されると、データプロセッサは、第1の個数のラインからのデータ値がパラレルに受付される第1モードにスイッチする(「受け付ける」とは、例えば、パラレルな参照値と比較して、又はそうでない場合には、パラレルに処理されることを意味する)。当該ブロックがウィンドウの境界を超えて延伸したり、又はウィンドウの完全に範囲外にあるとき、プロセッサは1つのラインのみのデータ値をパラレルに受け付け、又は第2の個数のラインのみをパラレルに受け付ける第2モードにスイッチする。従って、高度な並列化がウィンドウ内の最も頻繁に出現するブロックについて実現され、より低いレベルの並列化が遠くにあるブロックについて実現される。
ある実施例では、高度な並列化を実現するため、中心のウィンドウからのデータを格納する所定のキャッシュ位置は、例えば、各々が異なるラインに対する複数のラインユニットセットとして、又は他のラインユニットのセットとインタリーブされるラインセットとして構成されるかもしれない。この実施例では、各ラインユニットは、あるラインのデータ値をパラレルに出力するための複数のメモリバンクを有するようにしてもよく、バンクの個数は、いくつかのデータ値をパラレルに出力するのに十分なものであって、アドレス指定されるブロックの幅Bxのデータ値の個数以上である。さらなる実施例では、W個の連続するx−アドレスに対するデータ値が、あるラインセグメントからのデータ値が、W個の位置内に適合するラインセグメントの何れかのx−位置においてパラレルに読むことが可能となるように、上記バンク上に循環的に分散されるようにしてもよい。好ましくは、各メモリバンクの各メモリ位置は、連続するx−位置におけるG個のデータ値のグループを格納するよう構成され(例えば、G=4など)、あるラインユニットのバンクの個数Sは、S*Gが当該ブロックのラインセグメントの幅Bxを超えるくらいに大きなものである。これは、Bxのデータ値の指定されたラインセグメントの出力が、Bx/Gが整数である場合にはBx/G個のメモリバンクを、そうでない場合には、Bx/Gを超える次に大きな整数個のメモリバンクを要求するように、グループ内のラインセグメントのスタートアドレスを指定することを可能にする。S*G>Bxとなるように、ラインユニットにおいて十分大きなバンクの個数Sを使用することによって、十分なグループからのデータ値がメモリバンクから常にパラレルに出力することが可能となることが保証される。好ましくは、メモリバンクからのデータ値の後の選択が、アドレス指定されたブロックのみのラインセグメントに対するデータ値に出力を揃えさせる。このタイプのキャッシュメモリはまた、自ら、すなわち、他のタイプのキャッシュメモリとの組み合わせでなく、又は通常のメモリとして(キャッシュメモリでなく)利用されてもよい。このように、アクセスされた「ウィンドウ」(又は領域)がデータアレイにおいて移動する場合、ほとんど負担なく高いレベルの並列化を実現することが可能である。
その他のキャッシュ位置は、より低い並列化を可能にするよりシンプルな構成とされてもよい。しかしながらあるいは、画像メモリ又は画像キャッシュ全体が、このより複雑な構成を有するようにしてもよい。
本発明の上記及び他の課題及び効果が、以下の図面を用いて非限定的な具体例により説明される。
図1は、処理ユニット10と、メインメモリ12と、キャッシュメモリユニット14とを有する画像処理システムを示す。処理ユニット10は、キャッシュメモリユニット14に接続されるアドレス出力とデータ入力とを有する。キャッシュメモリユニット14は、メインメモリ12とのデータ及びアドレス接続を有する。動作について、処理ユニット10は、画像処理演算、すなわち、xアドレス及びyアドレスの組み合わせによりアドレス指定可能な画素データを利用する演算を実行する。処理ユニット10は、このタイプの組み合わせを表すアドレスをキャッシュメモリユニット14に供給し、キャッシュメモリユニット14は、アドレス指定された画素データを返す。このアドレス指定された画素データがキャッシュメモリユニット14に格納されると、キャッシュメモリユニット14は、データを直接返す。そうでない場合には、キャッシュメモリユニット14はまず、メインメモリ12の画素データをフェッチする。
図2aは、画像のある領域におけるブロックを示す。この領域は、x方向に10個のブロックとy方向に6個のブロックである。各ブロックは、例えば、8つの水平方向に連続する画素の8つの垂直方向に連続する行を含む。一実施例では、アドレス指定の単位はブロックである。本実施例では、アドレスは、xブロックアドレスとyブロックアドレスの組み合わせを含みさえすればよい(例えば、x画素アドレスとy画素アドレスから3つの最下位ビットを省略している)。
キャッシュメモリ14は、各キャッシュ位置に対するいくつかのキャッシュ要素142と、キャッシュコントローラ140と、出力セレクタ144とを有する。各キャッシュ要素142は、x−y画素アドレスに係るx−yブロックに対する画素データ、又はキャッシュされているブロックのx−yブロックアドレスをキャッシュするよう構成される。経時的に、関連付けされたx−yアドレスが変更されるように、異なるブロックがキャッシュ要素142にキャッシュされる。処理ユニット10がキャッシュ要素142の何れにも格納されていないブロックにおける画素又は画素ブロックをアドレス指定すると、キャッシュメモリユニット14は、キャッシュ要素142の1つを選択し、当該キャッシュ要素142に格納されているブロックを新たにアドレス指定されたブロックと置換する(メインメモリ12から当該新たにアドレス指定されたブロックをフェッチした後)。その後、キャッシュ要素142は、新たにフェッチされたブロックのx−yアドレスをキャッシュされたデータと関連付ける。
キャッシュコントローラ140は、本来的には、キャッシュ要素142を管理するプログラムと、キャッシュ要素142に格納されるブロックのxy−アドレスを表すメモリを備えた小さなプロセッサとして実現可能である。キャッシュコントローラ140は、新たにフェッチされたブロックが格納されるキャッシュ要素142の選択を制御する。例えば、最も以前に使用されたキャッシュ要素のデータを置換するLRUなどの何れかの選択アルゴリズムが利用されてもよい。しかしながら、キャッシュコントローラ140は、x−yアドレスの2次元領域からx−yアドレスを有する画素ブロックを格納するキャッシュ要素142に特別な処理を与える。図2aの斜線部分20により示される当該領域は、x方向とy方向のそれぞれに複数のブロック行及び列まで拡張される。この領域20は、処理ユニット10により選択され、処理ユニット10が当該領域が移動すべきであると通知すると、当該領域を繰り返し右方向に移動する(当該領域の最も低いブロックのxアドレスを増大させる)などの処理中に、定期的に更新される。
キャッシュコントローラ140は、領域20からのブロックをキャッシュするキャッシュ要素142を通常の置換(すなわち、領域20の移動することなく行われる置換)から免除する。キャッシュ要素142が領域20を移動させることなく新たにアドレス指定されたブロックを格納するよう選択される必要があるとき、キャッシュコントローラ140は、免除されたキャッシュ要素142の何れも含まないキャッシュ要素142の一部から当該キャッシュ要素142を選択する。通常の置換中の免除は、例えば、キャッシュ置換中に免除される所定のキャッシュ要素142に領域20からのブロックを格納することによって、又は、領域20からのブロックを格納するキャッシュ要素142に対するロックフラグを設定することによって、又は領域20のx−yアドレス境界と各キャッシュ要素142に係るx−yアドレスとを比較することによってなど何れか便利な方法により実現可能である。
処理ユニット10がキャッシュコントローラ140に領域20がある方向(所定の方向又は処理ユニット10によって選択及び指示される方向)に移動しなければならないことを通知すると、キャッシュコントローラ140は、キャッシュ置換から免除されたブロックセットを変更する。所定のキャッシュ要素142が通常の置換中に免除される実施例では、この変更は、新しい領域には含まれるが、古い領域には含まれないブロックに対する画素データを、古い領域には含まれるが、新しい領域には含まれないキャッシュされているブロックのキャッシュ要素142に移動することによって実現される。例えば、水平方向の移動の場合、これは、同一のxアドレスで異なるyアドレスを有するブロックの列を格納するキャッシュ要素142に関係する。キャッシュ要素142がロックフラグにより通常の置換中に免除される実施例では、ロックフラグは、新しい領域に含まれるが、古い領域には含まれないブロックに対して設定され、古い領域に含まれるが、新しい領域には含まれないキャッシュブロックのキャッシュ要素142に対してクリアされる。この実施例では、関連するブロックがキャッシュ要素142にロードされると、フラグが設定されるかもしれない。
好ましくは、キャッシュコントローラ140は、領域20が移動すると、領域20に新たに含まれるブロックを予めフェッチするよう構成される。当該実施例では、当該領域が所定の方向に毎に、キャッシュコントローラ140は、領域の前の動きをトリガーする信号に応答して予めフェッチすることを開始するかもしれない。処理ユニット10が方向を選択する実施例では、処理ユニット10が好ましくはまず送信し、キャッシュコントローラ140が、好ましくは、まず、当該領域を移動するための信号の送信前に、予めのフェッチ処理をイネーブルにする方向信号を受信する。
図2bは、予めのフェッチ処理を示す。この図では、図2aの領域20を2ブロックの幅だけ右方向に移動することによって取得される斜線領域22が示される。この場合、領域22の16個のブロックの内の8つが(当初の領域に属しないブロック)、予めフェッチされる必要がある。
所定のキャッシュ要素142が通常の置換中に置換を免除される実施例では、これら所定の免除されたキャッシュ要素142は、好ましくは、現在領域20からのすべてのブロックを格納するのに十分なキャッシュ要素と、予めフェッチされたブロック、すなわち、図2aの例の24個のブロックを格納するための追加的なキャッシュ要素142を加えてものを有する。ロックフラグが使用される実施例では、キャッシュコントローラ140は、当該領域が移動される前に予めフェッチされたブロックをロックする。
好ましくは、キャッシュメモリユニット14は、処理ユニット10とパラレルにあるブロックからの複数の画素位置に対する画素値(好ましくは、当該ブロックのある行からのすべての画素値)を出力し、当該ブロックの他の連続する複数の画素(例えば、連続的な行など)を連続的に出力する。キャッシュ要素142は、好ましくは、キャッシュ要素142があるブロックからの画素データをキャッシュするとき、キャッシュ要素142が当該ブロックからのすべての画素値をキャッシュするように、その全体のブロックをキャッシュするよう構成される。この場合、1つのx−yブロックアドレスは、当該ブロックに対するすべての画素値をキャッシュするキャッシュ要素142を識別するのに利用されるかもしれない。1つのx−yブロックアドレスに応答して、キャッシュ要素142は、その後に、同じx−アドレスであって、連続する他のy−アドレスの画素値の出力に続いて、異なるx−アドレスと1つのy−アドレスに対する画素値を同時にパラレルに出力するかもしれない。
さらなる実施例では、処理ユニット10は、マクロブロック、すなわち、n=m=2などによるn×m個のブロックからなる矩形状などの複数のブロックを含むブロックを利用する。この実施例では、各ブロックをマクロブロックに格納するn個のキャッシュ要素142が、好ましくは、画素値をパラレルに出力するよう構成される。典型的には、マクロブロックは、領域20又は免除されたブロックのサイズより小さい。例えば、4×4のブロック領域と、2×2のブロックマクロブロックが利用されてもよい。
図3は、このためのキャッシュ要素の実現形態の一例を示す。キャッシュ要素は、アドレスタグメモリ30と、アドレス入力31と、複数のアドレス比較器32と、データメモリ34とを有する。さらに、複数のキャッシュ要素により共有可能なラインカウンタ36が示される。動作について、データメモリ34は、あるブロックからの画素データを格納する。アドレスタグメモリは、そこからデータが格納されるブロックのx−yブロックアドレスを格納する処理ユニット10(図示せず)は、あるマクロブロックのx−yアドレスをアドレス入力31に適用する。比較器32は、処理ユニット10(図示せず)からのx−yアドレスとアドレスタグメモリ30からのアドレスとを比較し、これにより、各比較器32は、アドレスタグメモリ30がアドレスマクロブロックに含まれるある行のブロックの各ブロックを含むかチェックする。すなわち、第1比較器は、アドレスタグメモリ30からのアドレスA=(Ax,Ay)が、処理ユニット10からのマクロブロックのアドレスB=(Bx,By)に等しいかチェックする。第2比較器は、AxがBx+dとAy=Byに等しいか(ただし、dはブロックのxの幅である)チェックする。あるマクロブロックがn×m個のブロックを含むとき、AxがBx+i*dに等しいかチェックするn個の比較器がある。ここでは、各比較器が、0からn−1までの各整数iの値についてチェックする。
比較器32は、選択器144(図示せず)に接続される出力を有する。選択器144は、n個のキャッシュ要素のデータメモリ34からの画素データをパラレルに出力するよう構成される。選択器144は、このためにn個の出力を有する。各比較器32は、各出力に対応し、比較器32がアドレスの一致を検出する場合、対応する出力においてデータメモリ34からのデータを選択器に出力させる。ラインカウンタ36は、処理ユニット10のアドレス指定処理により開始され、y−アドレスをカウントアップする。ラインカウンタ36は、これらy−アドレスをデータメモリ34に供給し、マクロブロックアドレスに応答して、データメモリに選択器144を介し当該ブロックの連続するラインに対する画素データを連続的に処理ユニット10に出力させる。
n×mのマクロブロックの高さmが1より大きい場合、y−アドレスはカウント中にブロック境界とクロスする。この場合、ラインカウンタ36はまた、好ましくは、ブロックのy−アドレスのサブマクロブロック部分を供給するため、比較器32に接続される出力を有する。ラインアドレスがブロック境界をクロスするとき、異なるキャッシュ要素が選択され、垂直方向に連続するブロックからの画素データが選択器144を介し出力される。マクロブロック内の各ブロックのアドレス指定中、通常の置換を免除されているブロックから免除されていないブロックに、又はその反対のアドレス指定がクロスする可能性があるということが理解されるべきである。これは、同時にパラレルに出力される所与のyアドレス値に対する画素データのライン内、又は1つのy−アドレス値の1つのラインから他のラインへの遷移中に行われるかもしれない。これは、マクロブロックに対するキャッシュミス又は部分的なキャッシュミスを引き起こすかもしれない。選択器144の出力に対応する比較器の何れもが応答しないとき、このことがキャッシュコントローラ140に通知される。これは、あるマクロブロック内のブロックがキャッシュメモリに存在しないことを示す。キャッシュコントローラ140は、メインメモリ12から関連するブロックをフェッチし、キャッシュ要素142(免除されているマクロブロック内のブロックを格納するキャッシュ要素)を選択し、当該ブロックの画素データを選択されたキャッシュ要素142のデータメモリ34に、そしてそれのx−yブロックアドレスを当該キャッシュ要素142のアドレスタグメモリ30に書き込むことによって応答する。必要に応じて、キャッシュコントローラ140は、このようにして複数のブロックをフェッチする。キャッシュコントローラ140は、処理ユニット10にすべての必要なブロックが利用可能になるまで待機させる。
予めのフェッチ処理が、免除された領域20のロックされたブロックについて用いられる場合、当該ブロックにはキャッシュミスは発生しない。しかしながら、マクロブロックが当該領域からのブロックを含む場合であっても、マクロブロックが領域20の境界を超える場合、キャッシュミスが発生するかもしれない。
さらなる実施例では、キャッシュコントローラは、アドレス指定されたマクロブロック内のより大きなyアドレスに対するブロックがキャッシュ要素において利用可能であるか予めチェックするよう構成される。そうでない場合、より小さいy−アドレスのブロックからの画素データが処理ユニット10に出力されている間、キャッシュコントローラ140は任意的に上記ブロックを予めフェッチする。
効果的には、通常の置換を免除されるブロックが連続しているという知識が利用される(当該領域外のキャッシュされているブロックは、連続している必要はない)。一実施例では、所定のキャッシュ要素142のセットが、領域20からのブロックを格納するのに利用される。
図4は、アクティブ領域のブロックに対するコアキャッシュ40と、当該領域外のブロックに対する周辺キャッシュ42の2つのキャッシュメモリ40と42がこのために利用される実施例を示す。アクティブ領域20からのブロックがシステマティックにコアキャッシュ40に維持されることが保証されているため、それらはまたシステマティックに格納されてもよい。この結果、コアキャッシュ40の構成を簡単化することができる。アクティブ領域20のブロック列毎に1つのキャッシュ要素で十分である。すなわち、連続するy値によるブロックに対する個々のキャッシュ要素は必要でない。当該領域がhの高さのブロックである場合、コアキャッシュ40のキャッシュ要素のデータメモリ34は、コアキャッシュ40内の各y−アドレスに対してh倍以下の画素値のラインしか有しない。このことは、より少ないアドレス比較器で十分であることを意味する。
図5は、このためのキャッシュ要素を示す。本実施例では、アドレス入力は、1つのライン内のブロックを選択するため、処理ユニット10からのy−アドレスのブロックアドレス部分の一部をデータメモリ34へのアドレスとして適用するための部分50を有する。好ましくは、領域20からの各ラインが、それのyアドレスのデータメモリのライン数の法(modulo)の最下位の剰余に対応するデータメモリのyアドレスに格納される。すなわち、領域20の位置に応じて、当該領域の先頭に関する所与のy−オフセットにあるラインが、常にそれらの絶対y−アドレスに従って異なるメモリ位置に格納されるかもしれない。
アドレス比較の回数は、領域20からのブロック列のキャッシュ要素142への所定の循環的割当てを利用することによって、さらに減らすことができる。この場合、1回のみの比較(マクロブロックが領域と重複しているか検出するため)と減算(当該ブロックのxアドレスを循環的割当てにおけるある列のキャッシュ要素のアドレスに変換するため)が、コアキャッシュ40のキャッシュ要素の何れがブロックをアドレス指定するのに利用されるべきか判断するのに必要とされる。
上述されたように、別個のコアキャッシュ40と周辺キャッシュ42の利用は、新たな領域からのブロックが、処理ユニット10が当該領域を移動するよう通知した後、コアキャッシュ40に存在する必要があることを意味する。これらのブロックは、可能な限り周辺キャッシュ42からコピーされてもよいが、好ましくは、当該ブロックが周辺キャッシュ42に存在するか否かに関係なく、コアキャッシュ40に存在しない新たな領域からのすべてのブロックがメインメモリ12からフェッチされる。好ましくは、これらのブロックが予めフェッチされる。この場合、キャッシュ管理ユニット140は、次の領域22がどのようなものとなるか予測し、あるいは、処理ユニット10は、新たな領域への移動を実際に通知する前に、新たな領域22がどのようなものになるか予め通知する。所定のステップだけ水平方向にスライドする領域の場合、この予測はシンプルであるが、もちろん、より複雑な移動パターンが使用されてもよい。
図6は、プリフェッチバッファ60がコアキャッシュ40とメインメモリ12との間に(キャッシュコントローラ140を介し)も受けられる実施例を示す。本実施例では、キャッシュコントローラは、メインメモリ12から予測された以降の領域22の新たなブロックを予めフェッチし、これらのブロックをプリフェッチバッファ60に格納するよう構成される。処理ユニット10からウィンドウを移動するための信号を受信すると、キャッシュコントローラ140は、予めフェッチされたブロックをプリフェッチバッファ60からコアキャッシュ40の選択されたキャッシュ位置にコピーさせる。本実施例は、予めのフェッチ処理が通常のキャッシュ処理との干渉を引き起こさないという効果を有する。
他の実施例では、領域20について厳密に必要なものより多くのキャッシュ位置が、コアキャッシュ40に設けられる。本実施例では、以降の領域22の新たなブロックが、現在領域20については使用されないキャッシュ位置に直接的に予めフェッチされる。ある実施例では、キャッシュコントローラ140は、これらのブロックがコアキャッシュの残りから予めフェッチされるキャッシュ要素を分離し、これにより、当該キャッシュ要素への書き込みは、メイン処理ユニット10による読み出しとは独立に進行することが可能である。
予めフェッチが行われないとき、周辺キャッシュ42にある新たな領域20からのこれらのブロックは、好ましくは、コアキャッシュ40に移動され、任意的にはそれらがメイン処理ユニット10によりアドレス指定されるときに限って、その他のブロックがメインメモリ12からフェッチされる。
ある実施例では、コアキャッシュ40と周辺キャッシュ42は、位置のブロックに対するデータ値の出力中、異なるレベルの並列化をサポートするよう構成されるかもしれない。
図6aは、コアキャッシュ40がブロックの異なるy−アドレスを有する複数のラインセグメントに対するデータ値をパラレルに出力するよう構成されるこのタイプの実施例の一例を示す。対照的に、周辺キャッシュ42は、1つのラインセグメントが一度にアドレス指定されることを可能にするキャッシュ要素を含む。コアキャッシュ40は、パラレルにデータ処理ユニット10に接続される第1出力を有する。コアキャッシュ40と周辺キャッシュ42の組み合わせがまた、処理ユニット10に接続される。
動作について、領域20の内部に完全にあるブロックがアドレス指定されると、コアキャッシュは、当該ブロックのライン上の位置に対するデータ値を処理ユニットにパラレルに出力する。領域20の境界を超えて延長するブロック、又は当該領域20の外部にあるブロックがアドレス指定されると、データ処理ユニット10は、データ処理ユニットが当該ブロックからの1つのラインの位置に対するものであって、少なくとも部分的に周辺キャッシュ42からのデータ値を一度に受け付けるモードにスイッチする(ここで使用される受付とは、データ値と参照値のパラレルな比較や他の処理演算のパラレルな実行などに関するものである)。これは、大部分の時間において発生する、コアキャッシュ40内のブロックがアドレス指定されるとき、高速のパラレル処理が利用可能であるという効果を有する。周辺ブロックがアドレス指定されると、低速モードが利用される。ブロックアドレスとキャッシュされた領域20との比較の結果として、又は遠くの動きベクトルが検討される場合の動きベクトルの検索中など、処理ユニット10により内部的に、モード切替がアドレッシングユニット(図7)によりトリガーすることが可能である。
画像処理中、当該ブロックが領域20の内部にあるとき、処理ユニット10は画素ブロック単位によりデータ値を読み込む。各画素ブロックは複数のラインセグメントを有し、連続するラインセグメントは、「By」個の連続するy−アドレスを有し、各ラインセグメントは連続するx−アドレスを有する「Bx」個の位置を有する。処理を高速化するため、アドレス指定されたブロックからの複数の位置に対するデータ値を処理ユニット10にパラレルに出力するため、好ましくは、画像メモリ14が構成される。好ましくは、画像メモリが、連続するyアドレスを有する複数のラインセグメントの位置からのすべてのデータ値をパラレルに出力するよう構成される。これは、大量のパラレルアクセスを意味する。例えば、16×16の位置ブロックが使用され、4つのラインがパラレルに出力される必要がある場合、64のデータ値がパラレルに出力される必要がある。
図7は、この大量並列化をサポートするメモリ構成を示す。メモリは、アドレッシングユニット70と、複数のラインユニット72と、出力スイッチ74とを有する。アドレッシングユニット70は、処理ユニット10(図示せず)に接続されるアドレス入力71を有する。出力スイッチ74は、それぞれが画像の画素ブロックのラインセグメントに対応する位置からのBxのデータ値のパラレルな出力のための複数のラインセグメント出力76を有する。各ラインユニット72(1つのみがより詳細に示される)は、複数のメモリバンク720とバンクスイッチ722とを有する。バンク720は、アドレッシングユニット70に接続されるアドレス入力を有する。バンクスイッチ722は、メモリバンク720のデータ出力に接続されるデータ入力と、アドレッシングユニット70に接続される制御入力とを有する。出力スイッチ74は、ラインユニット72のバンクスイッチ722のデータ出力に接続されるデータ入力と、アドレッシング回路70に接続される制御入力とを有する。
各メモリバンク720は、複数のアドレス指定可能な位置を有し、各位置は、画像の異なる画素位置に対する複数のG個のデータ値(G=4など、G>1)を格納するよう構成される。各ラインユニット72は複数のS個のバンク(S>1)を有し、これにより、これらのバンクは一緒になって、異なる画素に対するG*S個のデータ値を出力する。ラインスイッチ722が、アドレッシング回路の制御の下、メモリバンク720からのG*Sのデータ値から選択されたBx(Bx=あるラインセグメントの画素位置数)個のデータ値(Bx<G*S)を出力するよう構成される。出力スイッチ74は、ラインスイッチ722からのデータ値をラインセグメント出力76に出力するよう構成され、アドレッシングユニット70は、何れのラインスイッチ722が何れのラインセグメント出力76に接続されるか制御する。ラインユニット72はN個ある(N=4など)。典型的には、ラインユニットの個数Nは、セグメント出力76の個数に等しい。
処理中、キャッシュコントローラ140は、ラインユニット72のメモリバンク720にデータ値を書き込むか、あるいは、アドレッシングユニット70がこのためにキャッシュ管理ユニットとして利用される。書き込みは、初期的に、又は領域20の位置が変更されると行われる。この場合、キャッシュ管理ユニットとして動作するアドレッシングユニット70は、メインメモリ12からデータ値をフェッチし、フェッチされたデータ値をメモリバンク720の選択されたアドレスと共に、選択されたラインユニット72の選択されたメモリバンク720に適用する。
キャッシュコントローラ140又はアドレッシングユニット70によるキャッシュ管理は、各ラインユニット72がそれのメモリバンク720に格納され、各y−アドレス又はy−アドレスセットを有する位置に対するデータ値は、当該ラインユニット72に一意的であり、いくつかの連続するy−アドレスに対するデータ値がラインユニットの組み合わせに格納されるように構成される。すなわち、例えば、第1ラインユニット72は、yアドレスがyとなる位置に対するデータ値を格納し、第2ラインユニット72は、yアドレスがy+1となる位置に対するデータ値を格納するなどである。各ラインユニットがy−アドレスセットに対するデータ値を格納する場合、当該セットは、あるセット内のyの値の間の距離が各セットに対して同一となり、ラインユニット72の個数Nの整数倍に等しくなるようにインタリーブされる。例えば、第1ラインユニット72は、yアドレスがy、y+N、y+2N等となる位置に対するデータ値を格納し、第2ラインユニット72は、y−アドレスがy+1、y+N+1、y+2N+1等となる位置に対するデータ値を格納するなどである。
各y−アドレスについて、ラインユニット72は、「w」個の連続するx−アドレスによる複数の位置に対するデータ値を格納する。ただし、連続するxアドレスの個数wは、画素ブロックのラインセグメントサイズBxを超え(w>Bx)、またラインユニット72のバンクがパラレルに出力可能な個数G*Sを超える(w>G*S)。テーブルIは、異なるx−アドレスを有するデータ値のラインユニット72のメモリバンク720への割当ての一例を示す。この例では、ラインユニット72のメモリバンク720の個数Sは5とされ(S=5)、メモリバンク720の各位置のデータ値の個数Gは4とされる(G=4)。データ値が格納された連続するx−アドレスの個数wは、本例では32とされる(w=32)。テーブルの各列は、メモリバンク720に対応する。テーブルの各フィールド(第1行のフィールドを除いて)は、当該フィールドの列に対応するメモリバンクの1つのメモリ位置に格納されているx−アドレスを表す。
Figure 0004744510
x−アドレスの割当ては静的なものではない。処理ユニット10が処理中に画像のあるラインに沿って右方向に進捗すると、以前のアドレスの右側に新たなx−アドレスに対するデータ値がロードされ、左側のデータ値を以前に格納したバンクに格納される。テーブルIIは、異なるx−アドレスを有するデータ値のメモリバンク720への割当てが経時的にどのように進化するかの一例を示す。
Figure 0004744510
バンク0の1つのメモリ位置に対するデータ値(当初は、x−アドレスx、x+1、x+2、x+3に対する)が、新たなx−アドレス(x−アドレスx+32、x+33、x+34、x+35)、すなわち、当初のxアドレスよりw(w=32など)だけ大きなx−アドレスに対するデータ値と置換されたことに留意すべきである。同様のことがバンク1の1つのメモリ位置についてなされるが、その他のバンクは不変とされる。処理がラインに沿って進められると、データ値がバンク2と3において置換され、その後にバンク4と0などのように循環的に行われる。データ値が占有するバンクのメモリ位置は常に同一に維持されるが、格納されているデータ値の画素位置のアドレスは変更される。
テーブルIIIは、複数のy−アドレスのセットが各メモリバンク720に格納される実施例を示す。
Figure 0004744510
バンク0は、yアドレスy、y+N、y+2Nなどに対するデータ値を格納することに留意すべきである。バンク1は、y−アドレスy+1、y+N+1、y+2N+1などに対するデータ値を格納する。各y−アドレスに対して、連続する異なるx−アドレスに対するデータ値が、前述の表に示されるように、メモリバンク720に循環的に分散される。
テーブルIとIIの場合と同様に、メモリ位置のデータ値のアドレスは静的ではない。このことは、テーブルIVに示されている。
Figure 0004744510
本実施例では、所与のy−アドレスを有するデータ値に対して用いられる位置セットは、同じままであり、あるx−アドレスとyアドレスを有する位置に対する各データ値は、同一のy−アドレスとxアドレスx−wを有するデータ値を置換する。さらに、テーブルIII及びIVの実施例に示されるように、異なるYアドレスを有する位置に対するデータ値のセットの間にはギャップはない。本実施例のメモリバンク720では、xyアドレスx,y+Nを有する位置に対するデータ値が、多数のxアドレスに対するデータ値がメモリバンク720に同時に存在する場合、xyアドレスx+w,yを有する位置に対するデータ値により占有される位置に格納される。
この格納スキームは、大量のパラレルアクセスと画素位置のウィンドウに対するデータ値の回転する置換の組み合わせを容易にするよう構成される。ウィンドウが移動すると、ウィンドウの外側の画素位置に対するデータ値は、ウィンドウの内側の画素位置に対するデータ値により置換される。
アドレッシングユニット70は、画像内の画素位置のブロックからのデータ値が、処理ユニット10(図示せず)にパラレルに出力されることを保証する。ブロックのxy−アドレスを受け取ると、アドレッシングユニット70は、当該ブロックのラインセグメントに対するデータ値が、異なるメモリバンク720から読み込まれるメモリバンク内アドレスを計算する。アドレッシングユニット70は、これらのアドレスをメモリバンク720に適用する。さらに、アドレッシングユニット70は、メモリバンク720の何れがブロックなのラインセグメントの何れの位置からのデータ値を格納するか計算する。アドレッシングユニット70は、ラインスイッチの出力の各部分が、受け付けた当該ブロックのxy−アドレスに対して、各自の所定のx−オフセットにおける位置に対するデータ値を出力することを保証するため、対応する制御信号をラインスイッチ722に供給する。最終的に、アドレッシングユニット70は、何れのラインユニット72が何れのラインセグメントを出力するか計算する。アドレッシングユニット70は、各セグメント出力76が受け付けたブロックのxy−アドレスに対して、各自の所定のy−オフセットにおけるラインセグメントに対するデータ値を出力することを保証するため、対応する制御信号を出力スイッチ74に供給する。
アドレス指定の実施例のより詳細な具体例が説明される。本例では、アドレッシングユニット70に供給されるxy−アドレスは、Ax Ayにより示される。ここで、Axはx−アドレス部分であり、Ayはy−アドレス部分である。本実施例では、ウィンドウコーナーアドレスWx、Wyからスタートし、水平方向にw個の画素位置だけ連続する画素位置のウィンドウに対するデータ値を格納する。アドレッシングユニット70は、ウィンドウのコーナーアドレスのデータ値が格納されるメモリバンク720のメモリ位置MとバンクBを示すオフセットカウンタ値B,Mを維持する。さらに、アドレッシングユニットは、ウィンドウの連続するラインの最も左の位置からのデータ値を格納するメモリバンク720のメモリ位置のアドレスZ間のオフセットであるDに関する情報を表す(ここで、Zは複合アドレスZ=q+r*Sであり、qはメモリ位置を含むメモリバンク720のシーケンス番号であり、rは当該バンクのアドレスである)。テーブルIIとIVの例では、D=8となる。
この情報から、アドレッシングユニット20は、(a)アドレス指定されたブロックの左上のコーナーに対するデータ値が格納されるメモリバンク720のメモリ位置内の位置Iと、(b)アドレス指定されたブロックの左上のコーナーに対するデータ値が格納されるバンクのシーケンス番号Cと、(c)アドレス指定されたブロックの左上のコーナーに対するデータ値が格納されるメモリバンク720内のアドレスRとを計算する。I、C及びRは、アドレス指定されたブロックの左上のコーナーに対するデータ値が格納されるメモリバンク720内のアドレスとメモリバンク720を示す位置の値Pに関して表すことが可能である。
P=B+Ax−Wx+D*(Ay−Wy)
位置の値Pは、
I=P mod G
に従って、メモリバンク720のメモリ位置内の位置Iを規定するのに利用可能である。(ここで、「mod」は、モジュロ(法)関数を示し、すなわち、Gで除した後のPの剰余である。)同様に、メモリバンク720のシーケンス番号Cは、
C=[(P−I)/G]mod S
に従って規定することができる。
メモリバンク720内のアドレスRは、
R=[(P−C*G−I)/(S*G)]
に従って規定することができる。
アドレッシングユニット70は、この情報を以下のように利用する。各ラインユニット72において、アドレッシングユニットは、通常、C以上のシーケンス番号を有するメモリバンク720をアドレスRによりアドレス指定し、(存在する場合)C未満のシーケンス番号を有するメモリバンクをアドレスR+1によりアドレス指定する。アドレッシングユニットは、入力から出力までデータ値の割当てをG*C+Iだけ回転するようラインスイッチ722を制御する。すなわち、出力にシーケンス番号j=0,1,...,Bx−1が割り当てられる場合、ラインスイッチ722は、シーケンス番号jによるそれの出力に、
K=(I+j)mod G
に従ってメモリバンク720内の位置Kからのデータ値を出力させる。メモリバンク720は、
L=(I+j−K)/G
に従ってシーケンス番号Lによりデータ値が選択されるメモリバンクである。
最後に、アドレッシングユニット70は、何れのラインユニット72が何れのラインセグメント出力76に接続されるか判断するため、出力スイッチ74を制御する。ラインセグメント出力76にシーケンス番号i=0,1,...,N−1が割り当てられ、ラインユニット72にシーケンス番号i’=0,...,N−1が割り当てられる場合、出力スイッチ722は、シーケンス番号iを有するそれのラインセグメント出力に、
i’=[i+Ay−Wy]mod N
に従ってシーケンス番号i’を有するラインユニット72からのラインセグメントを出力させる。
N個のセグメント出力76が、少なくとも垂直ブロックサイズByに等しい場合(N≧By)、位置ブロックのすべてのデータ値がパラレルに出力される。垂直ブロックサイズがより大きい場合(By>N)、いくつかの連続する時間サイクルが当該ブロックの連続する部分に対するデータ値を連続的に出力するのに必要とされる。この場合、アドレッシングユニット70は、連続するサブブロックから読み出し、N*Bx個の位置のサブブロックを効果的に出力し、連続するサブブロックがxy−アドレス(Ax,Ay)、(Ax,Ay+N),(Ax,Ay+2N)などにおいてスタートすることにより、あるアドレスに応答する。
ここまで、メモリの構成が、ブロックアドレスに応答して画像内の画素位置の2次元ブロックから大量のデータ値をパラレルに出力し、同時にウィンドウがスライドするとき、データ値の過剰なロード処理なしに画素位置のスライドするウィンドウからのデータ値の格納を受け入れることを可能にする。このブロックアドレスは、何れかの画素位置に配置することが可能である。
データ値がパラレルに出力されるラインセグメントと少なくとも同程度のラインユニット72(N個のラインユニット)が存在することに留意することが重要である。この結果、異なるy−アドレスを有するN個のラインセグメントからのデータ値は、パラレルに出力されるかもしれない。
各ラインユニットは、パラレルに出力されるラインセグメントからのデータ値の個数を出力するのに厳密に必要なものより、少なくとも1だけ多いメモリバンク720を有する((S+1)*G≧Bx)。これは、メモリバンク720の各メモリ位置のデータ値の個数Gの整数倍となるx−アドレスを有する位置だけでなく、任意の画素位置においてラインセグメントをスタートさせることを可能にする。ラインセグメントのスタートx−アドレスがこのような整数倍である場合、これらのメモリバンク720のBx/Gのみがラインユニット72において読み出されるだけでよく、しかしながら、アドレスが揃っていない場合、1+Bx/G個のメモリバンク720がラインユニット72において読み出される必要がある。これらのメモリバンク720の2つからのデータ値のみが、部分的に処理ユニット10に出力される。
各ラインユニット72は、好ましくは、N(ラインユニット72の個数)アドレスだけ離れたy−アドレスの自らのラインセットからのデータ値を格納する。連続するラインユニットは、連続する中間のラインからのデータ値を格納する。これは、固定されたy−アドレス値又はいあるベース距離の倍数だけでなく、任意のy−アドレス値Wyを有するブロックを抽出することを可能にする。
画像メモリの実施例が説明されたが、多数の代替が可能であるということに留意すべきである。例えば、一実施例では、メモリバンクの異なるラインセグメントに対するデータ値の間にギャップが存在するかもしれない。言い換えると、本例ではオフセットDは、データ値が格納されているウィンドウのx−アドレスの個数wに等しくされているが、いくつかの実施例では、D>wとなってもよい。他の例として、異なるy−アドレスのラインセグメントが、メモリバンク720の任意の位置に格納されてもよく、何れかのアドレス変換機構(キャッシュメモリにおいて使用されるタイプのものなど)が、所望の位置をアドレス指定するのに利用される。
他の例として、本実施例では、データ値がパラレルに出力される各ラインセグメントの位置の個数Mが、水平方向のブロックサイズBxに等しくされるが、他の実施例では、この数Mは、Bx((S+1)*G≧M)より小さくてもよく、ブロックのラインセグメントの一部のみがパラレルに出力されるということが理解されるであろう。この場合、より少ない個数Sのバンクは、各ラインユニット72において利用されてもよいが、もちろん、複数のラインセグメント部分が、処理ユニット10がブロック全体からのデータ値を必要とする場合には、連続的に出力される必要がある。
さらなる他の例として、ラインS’ユニット72のグループが同じアドレス値について使用されてもよく、それぞれが、連続するセグメントがより大きなセグメントを一緒になって構成するように、連続するx−アドレスのセグメントに対するデータ値を格納する。このような実施例の構成は、図7の構成と類似している。相違点は、ラインユニットのメモリバンク720がグループに構成され、バンクシーケンス番号が各グループにおいて包み込んでいるということである。この場合、さらなる出力スイッチが、異なるグループからの各位置にわたるラインセグメントに対するデータ値を構成するよう追加されてもよい。テーブルVは、このことを示す。
Figure 0004744510
簡単化のため、小さなグループと少数のグループが使用されたが、実際には、より多くのより大きなグループが利用可能であるということは理解されるであろう。本実施例では、ラインスイッチ722は、2つのグループからブロックアドレスに応じてグループ上に拡がるx−アドレスの範囲を有する位置に拡がるラインセグメントになど、様々なグループからのデータ値を合成するよう構成される。
あるいは、これは、図7に示されるような複数のメモリユニットをパラレルに設け、出力スイッチ74と処理ユニット10との間にさらなるスイッチを挿入することによって実現されるかもしれない。本実施例では、各メモリユニットは、ある範囲のx−アドレス(範囲(x..x+w−1),(x+w..x+2w−1),...など)に対するデータ値を格納する。さらなるスイッチは、異なるメモリユニットからのデータ値を異なるメモリユニットの出力からの連続するx−アドレスのラインセグメントに対するデータ値に合成する。
さらに、異なるx−アドレスとある特定のy−アドレスを有する位置に対するデータ値がメモリバンク720の同一のメモリ位置のセットを占有し続ける実施例が説明されたが、他の実施例では、異なるy−アドレスに対するメモリ位置が循環するようにしてもよい。これは、テーブルIIIから進化したものであるが、テーブルIVと比較して異なるアドレス指定スキームによるテーブルVIに示される。
Figure 0004744510
テーブルIIIと比較することによりわかるように、最終ラインセグメントの新たなx−アドレスに対するデータ値が(y−アドレスy+HからH個の下方のライン)、ここで最初の2つのメモリバンクの第1メモリ位置に格納される。第1ラインセグメント(y−アドレスy)の新たなx−アドレスに対するデータ値が、次のライン(y−アドレスy+1)などの古いx−アドレスについて使用された位置に格納される。
本実施例では、アドレスブロックの第1のx−アドレスを含むバンクのシーケンス番号とバンク内の位置のアドレスを計算するための異なる方法が必要とされる。
さらに、本例は正のx−方向への8つの画素位置のステップによるウィンドウの移動について説明されたが、任意のサイズ及び任意の方向の移動が利用されてもよいということは理解されるであろう。例えば、正のx−方向へのより大きなステップ又はより小さなステップは、単により多く又はより少ないメモリバンク720にデータ値を上書きすることを要求するにすぎない。負のx方向へのステップは、テーブルVIに示されるように、最後の位置に対するデータ値の置換を要求する。
Figure 0004744510
y方向へのウィンドウの移動ステップは、古いy−アドレスに対するデータの置換を伴う。正のy方向への1ラインのステップの場合、これは、最も小さなyの値に対するデータ値を格納する1つのラインユニット72のメモリバンク720におけるデータ値との置換を伴う。
テーブルVIIIは、y方向の移動の例に対するこのタイプの置換を示す。本例では、まずHは、メモリバンクに格納されるウィンドウのライン数である。
Figure 0004744510
より大きなステップについては、古いy−アドレスに対するデータ値が、より多くのラインユニット72において置換される。可能な移動ステップは、xとy方向へのステップに限定されるものではない。斜めのステップが、xとyステップの組み合わせとして実現可能である。
これらのデータ値は、典型的には、画像全体を格納するメインメモリ12(図示せず)からフェッチされる。このため、ラインユニットには、ラインユニットに格納される必要のあるラインセグメントのアドレスに与えられる関連するデータ値をフェッチするためのメインメモリとの接続が設けられるかもしれない。ある実施例では、メインメモリはまた、各々がNラインだけ離れた各y−アドレスセットに対するラインを格納する複数のユニットに構成される。この場合、各ラインユニット72は、メインメモリの各ユニットに接続されるかもしれない。
図7の画像メモリは、様々な方法により図1のキャッシュ構成と組み合わされるかもしれないということが理解されるべきである。最もシンプルな実現形態では、図7のメモリユニットが、図7に示されるタイプである必要はないが、領域20のコアキャッシュ及び領域20を包囲する位置に対する任意のタイプの周辺キャッシュメモリとして利用される。この周辺キャッシュメモリが複数のラインセグメントに対するデータ値をパラレルに出力することができないタイプのものである場合、コアキャッシュのパフォーマンスは、アドレスブロックがコアキャッシュと周辺キャッシュの両方の位置に拡がる場合、コアキャッシュから1回に1つのラインを利用することによって、単に劣化される。
他の実施例では、バンク内のアドレスは、適応可能なx及び/又はyアドレスと関連付けされるかもしれない。本実施例では、メモリユニット(アドレッシングユニット70又はメモリバンク720など)は、受け付けた各アドレスを利用して、何れかの関連付けされたアドレスにおいて、当該アドレスに対するデータ値がメモリバンク720に格納されるかチェックする。ミスの場合、データ値はメインメモリ12からフェッチされ、そうでない場合には、データ値は関連付けされたアドレスからフェッチされる。これは、例えば、異なるラインユニット72に対して独立に、又は同じラインユニット72の中の異なるメモリバンク720に対して独立に、データのy−アドレス部分にのみ適用されてもよい。この場合、ラインユニット72に格納されているラインセグメントのy−アドレス間より大きなギャップが存在するかもしれないということに留意すべきである。典型的には、このギャップはNの整数倍であるが、他のギャップもまた利用可能である。このタイプのキャッシュ処理は、メモリバンク720の異なる位置が異なるラインセグメント(x−アドレスの異なる範囲)に対するデータ値を格納するようx−アドレスに適用されてもよい。
他の実施例では、図7に示されるようないくつかのメモリ構成がキャッシュ要素としてパラレルに利用され、その後、さらなる出力スイッチが、メモリ構成のそれぞれからの信号からのラインセグメントを結合する。本実施例では、メモリ構成は、キャッシュメモリに対する従来のアソシエイティブマッピング(associative mapping)技術を利用して、画像内の各サブウィンドウと関連付けされてもよい。あるブロックがアドレス指定されると、関連するデータを格納するこれらのメモリ構成が起動され、当該ブロックに対するデータ値が、起動されたメモリ構成からパラレルに出力される。
これら複数のメモリ構成にないデータ値を有するブロックがアドレス指定されると、ミスしたデータ値がメインメモリ12からフェッチされ、これらの構成の1つに格納され、以前のデータ値を置換する。本実施例では、アクティブ領域20からのデータ値を格納する選択されたメモリ構成が、好ましくは、置換から免除される。
他の実施例では、図1のすべてのキャッシュ要素が、各ラインユニット72として実現される。本実施例のラインユニットでは、テーブルVに示されるタイプのデータ値分散スキームが利用可能であり、ラインユニット72には、共通のラインスイッチ722に接続されるそれらの出力を有するラインユニットのグループにアソシエイティブに割り当てされるかもしれない。好ましくは、ラインユニット72の第1のサブセットが、アクティブ領域20に対するすべてのデータ値を格納し、ラインユニット72の第2のサブセットが、アクティブ領域20の周囲の選択されたサブウィンドウに対するデータ値を格納する。第2のサブセットのサブウィンドウのアドレスは、図1に関して説明されるように置換が行われる。この結果、異なるラインユニットに格納されるサブウィンドウは、所定の空間的関係を有しない。
図1は、画像処理装置を示す。 図2は、位置アレイの一部を示す。 図3は、キャッシュ要素を示す。 図4は、画像処理装置を示す。 図5は、キャッシュ要素を示す。 図6は、画像処理装置を示す。 図6aは、画像処理装置を示す。 図7は、メモリ構成を示す。

Claims (13)

  1. 少なくとも2次元のデータ値アレイを処理するデータ処理装置であって、
    前記アレイからのデータ値を格納するメインメモリと、
    前記アレイにおける複数の個別にアドレス指定可能な位置上に前記アレイの少なくとも2つの次元に沿って拡がるスライド領域の領域移動を通知し、領域移動の通知の間に、前記アレイの位置を示すアドレスを出力するよう構成される処理ユニットと、
    前記処理ユニットと前記メインメモリとの間に接続され、複数のキャッシュ位置に関連付けされるアドレスによってアドレス指定されるデータ値をキャッシュする複数のキャッシュ位置を有し、キャッシュ置換を適用し、キャッシュミスの場合には前記関連付けされたアドレスと対応するキャッシュされているデータを変更し、アドレス指定時に適用される前記スライド領域の位置に対するデータ値を格納する所定のサブセットのキャッシュ位置を置換から選択的に免除するよう構成されるキャッシュメモリユニットと、
    を有し、
    前記所定のサブセットのキャッシュ位置は、前記アレイの位置ブロックのアドレスに応答して、前記アレイの複数の第1の個数のラインからのデータ値を前記処理ユニットにパラレルに出力するよう構成され、
    前記所定のサブセットの外部のキャッシュメモリ位置の残りからのキャッシュ位置は、前記ブロックのアドレスに応答して、一度に1つのラインからのデータ値を出力するか、又は前記第1の個数より少ない第2の個数のラインからのデータ値をパラレルに出力するよう構成され、
    前記処理ユニットは、前記処理ユニットが複数の前記第1の個数のラインからのデータ値をパラレルに入力する第1モードと、前記処理ユニットが1つのライン又は前記第2の個数のラインからパラレルにデータ値を入力する第2モードとの間を、前記アドレス指定されたブロックが前記領域内にあるか否かに応じてスイッチするよう構成されることを特徴とする装置。
  2. 請求項1記載のデータ処理装置であって、
    予測される以降の領域のデータ値を前記所定のサブセットのキャッシュ位置に予めフェッチするプリフェッチユニットを有することを特徴とする装置。
  3. 請求項2記載のデータ処理装置であって、
    前記プリフェッチユニットは、前記メインメモリから前記予測される以降の領域のデータ値を予めフェッチするよう構成され、前記処理ユニットが前記スライドウィンドウの移動を通知するまで、前記予めフェッチされたデータユニットをバッファするバッファメモリを有することを特徴とする装置。
  4. 請求項1記載のデータ処理装置であって、
    前記所定のサブセットの各アドレスに関連付けされるキャッシュ位置のサイズは、前記所定のサブセットの外部のキャッシュメモリ位置の残りからのキャッシュ位置のサイズより大きいことを特徴とする装置。
  5. 請求項1記載のデータ処理装置であって、
    前記キャッシュメモリユニットは、各キャッシュ位置に関連付けされ、各々が前記アレイにおける位置の少なくとも2つの次元を指定するいくつかのアドレスアイテムを格納するアドレス位置を有し、前記アドレスアイテムとアドレスを比較することにより、前記キャッシュ位置をアドレス指定するよう構成され、各キャッシュ位置は、前記アドレスアイテムに係る位置のブロックに対するデータ値を格納するよう構成され、
    各ブロックは、前記アレイの第1次元に沿った連続する位置の第1のラインセグメントと、前記アレイの第2次元に沿った位置の第2のラインセグメントとを有し、各第2のラインセグメントは、前記第1のラインセグメントからの各自の位置を有することを特徴とする装置。
  6. 請求項記載のデータ処理装置であって、
    前記処理ユニットは、複数のブロックを有するマクロブロックのマクロブロックアドレスを発行するよう構成され、前記キャッシュメモリユニットは、アドレス指定されたマクロブロックからのブロックを格納する各自のキャッシュ位置から前記マクロブロックアドレスに応答して、前記複数のブロックにおける位置からのデータ値をパラレルに出力するよう構成され、マクロブロック粒度以下の前記各キャッシュ位置のキャッシュ置換をブロック粒度により管理することを特徴とする装置。
  7. 請求項1記載のデータ処理装置であって、
    前記処理ユニットは、前記アレイの位置のブロックのブロックアドレスを発行するよう構成され、前記キャッシュメモリユニットは、前記ブロックアドレスに応答して、前記ブロックにおける位置のセットに対するデータ値を出力し、前記位置のセットが前記領域の境界を超えるようにアドレスを受け付けるよう構成されることを特徴とする装置。
  8. 請求項記載のデータ処理装置であって、
    前記キャッシュメモリユニットは、前記ブロックアドレスに応答して、前記領域の境界を超える位置のセットからのデータ値を同時にパラレルに出力するよう構成されることを特徴とする装置。
  9. 請求項記載のデータ処理装置であって、
    前記キャッシュメモリユニットは、前記ブロックアドレスの同じ受け付けに応答して、両方の外部のデータ値と連続的に前記領域内の位置に対するデータ値を出力するよう構成されることを特徴とする装置。
  10. 請求項記載のデータ処理装置であって、
    前記処理ユニットは、前記キャッシュメモリユニットからフェッチされたデータ値のセットをデータ値の参照セットと比較することによって、画像処理演算における動きベクトル検索を実行するようプログラムされることを特徴とする装置。
  11. 請求項記載のデータ処理装置であって、
    前記領域のサイズは、前記アレイの次元の少なくとも1つに沿った前記ブロックのサイズより大きいことを特徴とする装置。
  12. 画像処理方法であって、
    画素値の画像をメインメモリに格納するステップと、
    前記画素値を利用して、複数の個別にアドレス指定可能な画素位置上に前記画像の2つの次元に沿って拡がる前記画像における位置の領域の移動の時点を規定し、アクセス時に適用される前記領域の内部及び外部からの画素値にアクセスする処理演算を実行するステップと、
    キャッシュ時に適用される前記領域の内部及び外部からの画素値をキャッシュするステップと、
    少なくとも前記領域の外部からの画素値に対するキャッシュミスに応答して、前記領域の外部の前記画像における位置に対する画素データを格納するキャッシュ位置におけるデータの置換を可能にするため、該置換時に適用される前記領域の内部の前記画像における画素データ位置を格納する所定のサブセットのキャッシュ位置を置換から選択的に免除するキャッシュ置換を管理するステップと、
    を有し、
    前記所定のサブセットのキャッシュ位置は、前記アレイの位置ブロックのアドレスに応答して、前記アレイの複数の第1の個数のラインからのデータ値を前記処理ユニットにパラレルに出力するよう構成され、
    前記所定のサブセットの外部のキャッシュメモリ位置の残りからのキャッシュ位置は、前記ブロックのアドレスに応答して、一度に1つのラインからのデータ値を出力するか、又は前記第1の個数より少ない第2の個数のラインからのデータ値をパラレルに出力するよう構成され、
    処理対象のデータ値が複数の前記第1の個数のラインからパラレルに入力される第1モードと、処理対象のデータ値が1つのライン又は前記第2の個数のラインからパラレルに入力される第2モードとの間を、前記アドレス指定されたブロックが前記領域内にあるか否かに応じてスイッチするステップをさらに有することを特徴とする方法。
  13. 請求項12記載の画像処理方法であって、
    2次元の位置のブロックが一度にアドレス指定され、前記領域は、前記ブロックの1つのサイズより大きなサイズを有することを特徴とする方法。
JP2007509048A 2004-04-22 2005-04-21 データ値の多次元アレイへのパラレルなアクセスを提供するデータ処理装置 Expired - Fee Related JP4744510B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP04101677.5 2004-04-22
EP04101677 2004-04-22
PCT/IB2005/051308 WO2005104027A2 (en) 2004-04-22 2005-04-21 Data processing apparatus that provides parallel access to multi-dimensional array of data values

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011066486A Division JP5291138B2 (ja) 2004-04-22 2011-03-24 データ値の多次元アレイへのパラレルなアクセスを提供するデータ処理装置

Publications (2)

Publication Number Publication Date
JP2007534077A JP2007534077A (ja) 2007-11-22
JP4744510B2 true JP4744510B2 (ja) 2011-08-10

Family

ID=34965976

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2007509048A Expired - Fee Related JP4744510B2 (ja) 2004-04-22 2005-04-21 データ値の多次元アレイへのパラレルなアクセスを提供するデータ処理装置
JP2011066486A Expired - Fee Related JP5291138B2 (ja) 2004-04-22 2011-03-24 データ値の多次元アレイへのパラレルなアクセスを提供するデータ処理装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2011066486A Expired - Fee Related JP5291138B2 (ja) 2004-04-22 2011-03-24 データ値の多次元アレイへのパラレルなアクセスを提供するデータ処理装置

Country Status (5)

Country Link
US (1) US7694078B2 (ja)
EP (1) EP1741296A2 (ja)
JP (2) JP4744510B2 (ja)
CN (1) CN1947424A (ja)
WO (1) WO2005104027A2 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100675010B1 (ko) * 2006-02-03 2007-01-29 삼성전자주식회사 하이브리드 하드디스크 드라이브의 캐시 제어 방법, 이에적합한 기록 매체 그리고 이에 적합한 장치
JP4182442B2 (ja) * 2006-04-27 2008-11-19 ソニー株式会社 画像データの処理装置、画像データの処理方法、画像データの処理方法のプログラム及び画像データの処理方法のプログラムを記録した記録媒体
EP2024928B1 (en) 2006-05-09 2013-07-24 Silicon Hive B.V. Programmable data processing circuit
JP4983160B2 (ja) * 2006-09-04 2012-07-25 富士通株式会社 動画像処理装置
JP4535047B2 (ja) 2006-09-06 2010-09-01 ソニー株式会社 画像データ処理方法、画像データ処理方法のプログラム、画像データ処理方法のプログラムを記録した記録媒体及び画像データ処理装置
WO2008038204A2 (en) * 2006-09-26 2008-04-03 Koninklijke Philips Electronics N.V. Data processing with a plurality of memory banks
US8514237B2 (en) * 2007-05-22 2013-08-20 International Business Machines Corporation Two dimensional memory caching apparatus for high definition video
JP4695124B2 (ja) * 2007-09-13 2011-06-08 日本電信電話株式会社 動画像符号化における動き探索装置
KR101566250B1 (ko) * 2009-01-13 2015-11-05 삼성전자주식회사 휴대용 단말기에서 멀티미디어 파일 스트리밍을 위한 장치 및 방법
JP5552692B2 (ja) 2009-02-20 2014-07-16 インテル・コーポレーション マルチモードアクセス可能な記憶装置
US8587598B2 (en) 2009-10-29 2013-11-19 Mediatek Inc. Memory address mapping method for controlling storage of images in memory device and memory address mapping circuit thereof
US9507593B2 (en) 2011-12-23 2016-11-29 Intel Corporation Instruction for element offset calculation in a multi-dimensional array
WO2013095659A1 (en) 2011-12-23 2013-06-27 Intel Corporation Multi-element instruction with different read and write masks
US9329834B2 (en) 2012-01-10 2016-05-03 Intel Corporation Intelligent parametric scratchap memory architecture
JP6155859B2 (ja) * 2013-06-05 2017-07-05 富士通株式会社 画像キャッシュメモリ装置および半導体集積回路
US9996350B2 (en) * 2014-12-27 2018-06-12 Intel Corporation Hardware apparatuses and methods to prefetch a multidimensional block of elements from a multidimensional array
JP6438777B2 (ja) * 2015-01-30 2018-12-19 ルネサスエレクトロニクス株式会社 画像処理装置および半導体装置
US10402196B2 (en) 2015-05-11 2019-09-03 Ceva D.S.P. Ltd. Multi-dimensional sliding window operation for a vector processor, including dividing a filter into a plurality of patterns for selecting data elements from a plurality of input registers and performing calculations in parallel using groups of the data elements and coefficients
JP2017097066A (ja) * 2015-11-19 2017-06-01 ルネサスエレクトロニクス株式会社 画像処理装置及び画像処理方法
US10296464B2 (en) * 2016-12-09 2019-05-21 Intel Corporation System, apparatus and method for dynamic profiling in a processor
DE102016225349A1 (de) * 2016-12-16 2018-06-21 Robert Bosch Gmbh Verfahren zum Überprüfen einer Gültigkeit von Bilddaten
WO2018205117A1 (zh) * 2017-05-08 2018-11-15 华为技术有限公司 一种多核系统内存访问方法、相关装置、系统及存储介质
US11151146B2 (en) 2018-05-22 2021-10-19 Pelatro Pte Ltd. System and method for multi-dimensional real time vector search and heuristics backed insight engine

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02101589A (ja) * 1988-10-11 1990-04-13 Toshiba Corp 画像処理装置
JPH07219847A (ja) * 1994-01-31 1995-08-18 Fujitsu Ltd 情報処理装置
JPH09319657A (ja) * 1996-05-31 1997-12-12 Hitachi Ltd 命令読み込み用バッファを備えたプロセッサ
JPH1188866A (ja) * 1997-07-18 1999-03-30 Pfu Ltd 高精細画像表示装置及びそのプログラム記憶媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0451373A (ja) * 1990-06-20 1992-02-19 Fujitsu Ltd 画像処理方式
JPH0676051A (ja) * 1992-08-26 1994-03-18 Olympus Optical Co Ltd 並列画像処理装置
FR2719398B1 (fr) * 1994-04-27 1996-07-19 Sgs Thomson Microelectronics Dispositif et procédé d'adressage d'une mémoire cache d'un circuit de compression d'images mobiles.
US6163576A (en) * 1998-04-13 2000-12-19 Lsi Logic Corporation Video encoder having reduced memory bandwidth requirements
JP4440477B2 (ja) * 1998-12-22 2010-03-24 エヌエックスピー ビー ヴィ 可動な二次元窓中でアクセスするキャッシュ方法
US6161576A (en) * 1999-06-23 2000-12-19 Mks Instruments, Inc. Integrated turbo pump and control valve system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02101589A (ja) * 1988-10-11 1990-04-13 Toshiba Corp 画像処理装置
JPH07219847A (ja) * 1994-01-31 1995-08-18 Fujitsu Ltd 情報処理装置
JPH09319657A (ja) * 1996-05-31 1997-12-12 Hitachi Ltd 命令読み込み用バッファを備えたプロセッサ
JPH1188866A (ja) * 1997-07-18 1999-03-30 Pfu Ltd 高精細画像表示装置及びそのプログラム記憶媒体

Also Published As

Publication number Publication date
CN1947424A (zh) 2007-04-11
US7694078B2 (en) 2010-04-06
JP2011154709A (ja) 2011-08-11
JP5291138B2 (ja) 2013-09-18
EP1741296A2 (en) 2007-01-10
US20080282038A1 (en) 2008-11-13
WO2005104027A3 (en) 2006-03-02
WO2005104027A2 (en) 2005-11-03
JP2007534077A (ja) 2007-11-22

Similar Documents

Publication Publication Date Title
JP4744510B2 (ja) データ値の多次元アレイへのパラレルなアクセスを提供するデータ処理装置
US7797493B2 (en) Enhancing performance of a memory unit of a data processing device by separating reading and fetching functionalities
US9762919B2 (en) Chroma cache architecture in block processing pipelines
US9351003B2 (en) Context re-mapping in CABAC encoder
US20080285652A1 (en) Apparatus and methods for optimization of image and motion picture memory access
JP5266096B2 (ja) 画像データストリームを生成するための方法及び装置、画像データストリームから現在の画像を再構成するための方法及び装置
TWI596570B (zh) 像素緩衝
JP2010505158A (ja) 複数のメモリーバンクを有するデータ処理
KR20080085189A (ko) 병렬 프로세싱 시스템에서 멀티미디어 데이터의 알고리즘단계들을 프로세싱하기 위한 방법 및 장치
CN101156450A (zh) 利用区域的动态高宽比的基于区域的3drs运动估计
JP2008061156A (ja) 動画像処理装置
WO2008029550A1 (en) Image data processing method, program for image data processing method, recording medium with recorded program for image data processing method and image data processing device
KR101412392B1 (ko) 다중-모드 액세스가능 저장 시설
JP4695124B2 (ja) 動画像符号化における動き探索装置
JP2008060836A (ja) 動きベクトル探索方法及び装置
JP2009514479A (ja) データ処理システムおよびビデオデータの処理方法
Kim et al. Merge mode estimation for a hardware-based HEVC encoder
Kim et al. Cache organizations for H. 264/AVC motion compensation
JPH11328369A (ja) キャッシュシステム
Huang et al. Three-level pipelined multi-resolution integer motion estimation engine with optimized reference data sharing search for AVS
JP2008278442A (ja) 画像処理装置
AU2008255265A1 (en) Prediction region memory access reduction
JP2009003632A (ja) 画像処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080418

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101026

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110125

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110201

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110203

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110203

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110426

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110510

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140520

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4744510

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees