JP4003529B2 - 動きベクトル検出回路と動きベクトル検出方法 - Google Patents
動きベクトル検出回路と動きベクトル検出方法 Download PDFInfo
- Publication number
- JP4003529B2 JP4003529B2 JP2002128766A JP2002128766A JP4003529B2 JP 4003529 B2 JP4003529 B2 JP 4003529B2 JP 2002128766 A JP2002128766 A JP 2002128766A JP 2002128766 A JP2002128766 A JP 2002128766A JP 4003529 B2 JP4003529 B2 JP 4003529B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- pixel
- pixel data
- data
- data buffer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Analysis (AREA)
- Dram (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、動きベクトル検出回路と動きベクトル検出方法に関する。詳しくは、カラム方向に延びると共にロウ方向に配列された各ワード線に対応したメモリセルの並びに、探索フレームの探索範囲に対応して水平方向に並ぶ、第１の行の各画素ブロックの複数の画素データを格納するものとし、上記探索範囲から候補ブロックを選択して、該候補ブロックを構成する画素データを含む上記第１の行の画素ブロックに対応するワード線を活性化するとともに、活性化されたワード線に対応する画素ブロックを構成する画素データのうち、上記候補ブロックを構成する画素データをデータバッファに取り込むものとし、順次選択される上記候補ブロックを構成する上記データバッファに取り込まれた複数の画素データおよび入力される参照フレームの参照ブロックの複数の画素データに基づいたブロックマッチング処理により、上記参照ブロックに最もマッチする上記候補ブロックの、上記参照ブロックに対する相対位置に基づいて、動きベクトルを求めるものである。
【０００４】
【従来の技術】
従来、動画像の処理として、動きベクトル、すなわち時間的に異なる画像中の物体の動き方向と大きさを用いるものがある。例えば画像の高能率符号化における動き補償予測符号化に動きベクトルが用いられる。
【０００５】
動きベクトルを検出する方法の一つとしてブロックマッチング法がある。これは、探索フレームの候補ブロックを所定の探索範囲内で移動し、参照フレームの参照ブロックと最も合致している候補ブロックを検出することにより、動きベクトルを求めるものである。
【０００６】
図１３は、今注目しているフレームを参照フレームとし、このフレームから例えば１フレームだけ前のフレームである探索フレームに向かった動きベクトルを求める様子を示している。
【０００７】
まず、参照フレームの画素データを、いくつかの画素ブロックに分割する。分割したそれぞれの画素ブロックの大きさは全て等しいものとする。ここでは、画素ブロックの大きさを４画素×４画素とする。
【０００８】
今、画素ブロックのうち一つの画素ブロックに注目し、これを参照ブロックとする。この参照ブロックについての動きベクトルを求める方法を示す。探索フレームの画素データにおいて、参照フレームの参照ブロックと同じ位置を中心としてある広さの領域を探索範囲として設定する。探索範囲内に参照ブロックと同じ大きさの画素ブロックを取り、これを候補ブロックとする。
【０００９】
参照フレームの参照ブロックを構成する複数の画素データ（４画素×４画素）と、探索フレームの探索範囲内の候補ブロックを構成する複数の画素データ（４画素×４画素）とから、それぞれ対応する位置にある画素データの差分絶対値を求め、差分絶対値の和をこの候補ブロックについての差分絶対値和とする。
【００１０】
探索範囲内には複数の候補ブロックが存在する。探索範囲内で取りうる全ての候補ブロックに関して、参照ブロックとの差分絶対値和を計算する。探索範囲を１２画素×１２画素とすると、取りうる候補ブロックの数は、９×９＝８１となる。１つの参照ブロックについて８１の差分絶対値和を計算する。こうして求めた差分絶対値和の中で最も小さな値を提供する候補ブロックの参照ブロックに対する相対位置を、当該参照ブロックの動きベクトルとする。
【００１１】
【発明が解決しようとする課題】
このようにブロックマッチング法では、候補ブロックを構成する画素データを連続的に読み出す必要がある。一般的に、メモリからの読み出し速度は、その他のロジック回路の動作速度と比較して遅いので、ブロックマッチング処理において、メモリアクセスの速度が演算処理の速度を規制してしまっている。
【００１２】
この発明の目的は、動きベクトルを求めるための処理時間の短縮化を図ることができる動きベクトル検出回路等を提供することにある。
【００１３】
【課題を解決するための手段】
この発明に係る動きベクトル検出回路は、少なくとも第１のメモリバンクを備え、第１のメモリバンクは、カラム方向に延びると共にロウ方向に配列された各ワード線に対応したメモリセルの並びに、探索フレームの探索範囲に対応して水平方向に並ぶ、第１の行の各画素ブロックの複数の画素データを格納するメモリセルアレイと、メモリセルアレイより活性化されたワード線に対応して読み出される所定画素ブロックの複数の画素データの各ビット信号を増幅するセンスアンプと、センスアンプより出力される複数の画素データを格納するデータバッファと、センスアンプとデータバッファとの間に挿入され、センスアンプより出力される複数の画素データのそれぞれをデータバッファに選択的に取り込むためのスイッチと、探索範囲から候補ブロックを選択し、候補ブロックを構成する画素データを含む第１の行の画素ブロックに対応するワード線を活性化するとともに、活性化されたワード線に対応する画素ブロックを構成する画素データのうち候補ブロックを構成する画素データをデータバッファに取り込むようにスイッチのオンオフ動作を制御する制御回路と、制御回路により順次選択される候補ブロックの複数の画素データおよび入力される参照フレームの参照ブロックの複数の画素データに基づいたブロックマッチング処理により、参照ブロックに最もマッチする候補ブロックの、参照ブロックに対する相対位置に基づいて、動きベクトルを求めるマッチング回路とを有するものである。
【００１４】
また、第２のメモリバンクをさらに備え、第２のメモリバンクは、カラム方向に延びると共にロウ方向に配列された各ワード線に対応したメモリセルの並びに、探索フレームの探索範囲に対応して水平方向に並ぶ、第１の行に隣接する第２の行の各画素ブロックの複数の画素データを格納するメモリセルアレイと、メモリセルアレイより活性化されたワード線に対応して読み出される所定画素ブロックの複数の画素データの各ビット信号を増幅するセンスアンプと、センスアンプより出力される複数の画素データを格納するデータバッファと、センスアンプとデータバッファとの間に挿入され、センスアンプより出力される複数の画素データのそれぞれをデータバッファに選択的に取り込むためのスイッチと、候補ブロックを構成する画素データを含む第２の行の画素ブロックに対応するワード線の活性化するとともに、活性化されたワード線に対応する画素ブロックを構成する画素データのうち候補ブロックを構成する画素データをデータバッファに取り込むようにスイッチのオンオフ動作を制御する制御回路とを有し、第１のメモリバンクは、制御回路により制御され、第１のメモリバンクのデータバッファに格納された複数の画素データおよび第２のメモリバンクのデータバッファに格納された複数の画素データから、候補ブロックを構成する複数の画素データを取り出すセレクタをさらに有し、第１のメモリバンクのマッチング回路は、制御回路により制御されるセレクタにより順次取り出された候補ブロックの複数の画素データおよび入力される参照フレームの参照ブロックの複数の画素データに基づいたブロックマッチング処理により動きベクトルを求めるものである。
【００１７】
この発明においては、第１のメモリバンクのメモリセルアレイには、カラム方向に延びると共にロウ方向に配列された各ワード線に対応したメモリセルの並びに、それぞれ、探索フレームの探索範囲に対応して水平方向に並ぶ第１の行の各画素ブロックの複数の画素データが格納されている。ここで、メモリセルアレイのカラム方向には、例えば１画素ブロック分の複数の画素データを格納するために必要なだけの個数のメモリセルが配列されている。
【００１８】
このメモリセルアレイより、活性化された所定のワード線に対応して読み出される所定画素ブロックの複数の画素データは、センスアンプおよびスイッチを介してデータバッファに選択的に取り込まれる。このスイッチおよびデータバッファは例えばＤフリップフロップで構成される。
【００１９】
この場合、ある画素ブロックの複数の画素データのみがデータバッファに取り込まれた状態から、この画素ブロックに対して水平方向に隣接する画素ブロックの複数の画素データのみがデータバッファに取り込まれた状態となるまでの各段階の状態は、あるワード線を活性化してある画素ブロックの複数の画素データを読み出し、これをデータバッファに取り込んだ後、隣接するワード線を活性化させて水平方向に隣接する画素ブロックの複数の画素データを読み出し、この複数の画素データをスイッチを用いてデータバッファに順次取り込んでいくことのみで実現される。
【００２０】
一方、第２のメモリバンクのメモリセルアレイには、カラム方向に延びると共にロウ方向に配列された各ワード線に対応したメモリセルの並びに、それぞれ、探索フレームの探索範囲に対応して水平方向に並ぶ、第１の行に隣接する第２の行の各画素ブロックの複数の画素データが格納されている。ここで、メモリセルアレイのカラム方向には、例えば１画素ブロック分の複数の画素データを格納するために必要なだけの個数のメモリセルが配列されている。
【００２１】
このメモリセルアレイより、活性化された所定のワード線に対応して読み出される所定画素ブロックの複数の画素データは、センスアンプおよびスイッチを介してデータバッファに選択的に取り込まれる。このスイッチおよびデータバッファは例えばＤフリップフロップで構成される。
【００２２】
この場合、ある画素ブロックの複数の画素データのみがデータバッファに取り込まれた状態から、この画素ブロックに対して水平方向に隣接する画素ブロックの複数の画素データのみがデータバッファに取り込まれた状態となるまでの各段階の状態は、あるワード線を活性化してある画素ブロックの複数の画素データを読み出し、これをデータバッファに取り込んだ後、隣接するワード線を活性化させて水平方向に隣接する画素ブロックの複数の画素データを読み出し、この複数の画素データをスイッチを用いてデータバッファに順次取り込んでいくことのみで実現される。
【００２３】
第１のメモリバンクのメモリセルアレイには、各ワード線に対応したメモリセルの並びに、それぞれ、第１の行の各画素ブロックの複数の画素データが格納されている。これに対して第２のメモリセルアレイには、各ワード線に対応したメモリセルの並びに、それぞれ、第１の行に隣接する第２の行の各画素ブロックの複数の画素データが格納されている。そのため、第１のメモリバンクのメモリセルアレイから所定の画素ブロックの複数の画素データを読み出すとき、第２のメモリバンクからその所定の画素ブロックに対して垂直方向に隣接した画素ブロックの画素データを読み出すことが可能となる。
【００２４】
第１のメモリバンクのデータバッファに格納された複数の画素データ、あるいは第１のメモリバンクのデータバッファに格納された複数の画素データおよび第２のメモリバンクのデータバッファに格納された複数の画素データに基づいて、セレクタにより候補ブロックを構成する複数の画素データが取り出される。
【００２５】
この場合、候補ブロックを構成する複数の画素データが、１つの画素ブロックあるいは水平方向に隣接する２つの画素ブロックの画素データからなる場合には、第１のメモリバンクのデータバッファに格納された複数の画素データのみ、あるいは第２のメモリバンクのデータバッファに格納された複数の画素データのみを用いて候補ブロックを構成する複数の画素データが取り出される。
【００２６】
一方、候補ブロックを構成する複数の画素データが、垂直方向に隣接する２つの画素ブロックあるいは水平垂直に隣接する４つの画素ブロックの画素データからなる場合には、第１のメモリバンクのデータバッファに格納された複数の画素データおよび第２のメモリバンクのデータバッファに格納された複数の画素データを用いて、候補ブロックを構成する複数の画素データが取り出される。
【００２７】
そして、セレクタで順次取り出された候補ブロックの複数の画素データおよび入力される参照フレームの参照ブロックの複数の画素データに基づいて、ブロックマッチング処理により、参照ブロックに係る動きベクトルが求められる。
【００２８】
上述したように、第１のメモリバンクおよび第２のメモリバンクにおいて、ある画素ブロックの複数の画素データのみがデータバッファに取り込まれた状態から、この画素ブロックに対して水平方向に隣接する画素ブロックの複数の画素データのみがデータバッファに取り込まれた状態となるまでの各段階の状態は、あるワード線を活性化してある画素ブロックの複数の画素データを読み出し、これをデータバッファに取り込んだ後、隣接するワード線を活性化させて水平方向に隣接する画素ブロックの複数の画素データを読み出し、この複数の画素データをスイッチを用いてデータバッファに順次取り込んでいくことのみで実現される。したがって、メモリセルアレイへのアクセス回数を少なくでき、動きベクトルを求めるための処理時間の短縮化を図ることができる。
【００３３】
また、この発明に係る動きベクトル検出方法は、入力される参照フレームの参照ブロックの複数の画素データおよび探索フレームの探索範囲から選択される候補ブロックの複数の画素データに基づいたブロックマッチング処理により動きベクトルを求める動きベクトル検出方法であって、カラム方向に延びると共にロウ方向に配列された各ワード線に対応したメモリセルの並びに、探索フレームの探索範囲に対応して水平方向に並ぶ、第１の行の各画素ブロックの複数の画素データを格納するステップと、探索範囲から候補ブロックを選択して、該候補ブロックを構成する画素データを含む第１の行の画素ブロックに対応するワード線を活性化するとともに、活性化されたワード線に対応する画素ブロックを構成する画素データのうち、候補ブロックを構成する画素データをデータバッファに取り込むステップと、順次選択される候補ブロックを構成するデータバッファに取り込まれた複数の画素データおよび参照フレームの参照ブロックの複数の画素データに基づいたブロックマッチング処理により、参照ブロックに最もマッチする候補ブロックの、参照ブロックに対する相対位置に基づいて、動きベクトルを求めるステップを設けたものである。
【００３５】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。
図１は、実施の形態としての動き補償予測符号化装置１００の構成を示している。
この符号化装置１００は、画像データ（動画像を構成するフレームデータ）Ｄｉを入力する入力端子１０１と、この入力端子１０１に供給される画像データＤｉと後述する動き補償回路１１０から供給される予測画像データとの差分を演算する減算器１０２と、この減算器１０２で得られる差分データに対してＤＣＴ（Discrete Cosine Transform：離散コサイン変換）を行うＤＣＴ回路１０３と、このＤＣＴ回路１０３で得られるＤＣＴ係数に対して量子化を行う量子化回路１０４と、この量子化回路１０４で得られた符号化データＤｏを出力する出力端子１０５とを有している。
【００３６】
また、符号化装置１００は、量子化回路１０４で得られた符号化データＤｏに対して逆量子化を行う逆量子化回路１０６と、この逆量子化回路１０６の出力データに対して逆ＤＣＴを行って差分データを得る逆ＤＣＴ回路１０７と、この逆ＤＣＴ回路１０７で得られる差分データと動き補償回路１１０で得られる予測画像データとを加算して元の画像データを復元する加算器１０８と、この加算器１０８で復元された画像データを記憶するフレームメモリ１０９とを有している。
【００３７】
また、符号化装置１００は、フレームメモリ１０９に記憶された画像データを読み込み、後述する動きベクトル検出部１１１からの動きベクトルＭＶに基づいて動き補償をした後、上述したように減算器１０２および加算器１０８に予測画像データとして供給する動き補償回路１１０と、入力端子１０１に供給される画像データＤｉの動きベクトルＭＶを検出して動き補償回路１１０に供給する動きベクトル検出部１１１とを有している。
【００３８】
図１に示す動き補償予測符号化装置１００の動作を説明する。
入力端子１０１に入力される画像データＤｉは、減算器１０２および動きベクトル検出部１１１に供給される。減算器１０２では、この画像データＤｉと動き補償回路１１０から供給される予測画像データとの差分が演算される。
【００３９】
減算器１０２で得られる差分データはＤＣＴ回路１０３に供給されて離散コサイン変換される。このＤＣＴ回路１０３で得られるＤＣＴ係数は量子化回路１０４に供給されて量子化される。そして、この量子化回路１０４で得られた符号化データＤｏが出力端子１０５に出力される。
【００４０】
また、量子化回路１０４で得られる符号化データＤｏが逆量子化回路１０６に供給されて逆量子化され、さらにこの逆量子化回路１０６の出力データが逆ＤＣＴ回路１０７に供給されて逆ＤＣＴされ、差分データが復元される。この差分データと動き補償回路１１０からの予測データとが加算器１０８で加算されて元の画像データが復元され、この復元された画像データがフレームメモリ１０９に記憶される。
【００４１】
動き補償回路１１０では、あるフレームにおいては、その前のフレームにフレームメモリ１０９に記憶された画像データの読み込みが行われて、動きベクトル検出部１１１からの動きベクトルＭＶに基づいて動き補償されて、予測画像データが得られる。この予測画像データは、上述したように、差分データを得るために減算器１０２に供給されると共に、画像データを復元するために加算器１０８に供給される。
【００４２】
次に、動きベクトル検出部１１１の詳細を説明する。この動きベクトル検出部１１１では、ブロックマッチング法により動きベクトルが検出される。図２は、動きベクトル検出部１１１の構成を示している。
【００４３】
この動きベクトル検出部１１１は、検出部全体の動作を制御する制御部１２１と、入力される参照フレームの画像データＤｉを、所定サイズ、本実施の形態においては４画素×４画素のサイズで順次ブロック化するブロック化回路１２２とを有している。
【００４４】
また、動きベクトル検出部１１１は、ブロック化回路１２２より順次出力される画素ブロックの複数の画素データを、次のフレームで探索フレームの画素データとして用いるために格納しておくフレームメモリ１２３と、ブロック化回路１２２より順次出力される画素ブロックの複数の画素データを参照ブロックの画素データとして入力し、各参照ブロックに対応した探索範囲の複数の画素データをフレームメモリ１２３から読み出して入力し、各参照ブロックに係る動きベクトルＭＶを求める動きベクトル検出回路１２４とを有している。
【００４５】
図２に示す動きベクトル検出部１１１の動作を説明する。入力される参照フレームの画像データＤｉはブロック化回路１２２に入力される。このブロック化回路１２２では、画像データＤｉが、４画素×４画素のサイズで順次ブロック化される。
【００４６】
このブロック化回路１２２より順次出力される画素ブロックの複数の画素データは、フレームメモリ１２３に供給され、次のフレームで探索フレームの画素データとして用いるために格納される。
【００４７】
また、ブロック化回路１２２より順次出力される画素ブロックの複数の画素データは動きベクトル検出回路１２４に参照ブロックの画素データとして入力される。また、この動きベクトル検出回路１２４には、各参照ブロックの画素データの入力に合わせて、それぞれ対応した探索範囲の複数の画素データがフレームメモリ１２３から読み出されて入力される。そして、動きベクトル検出回路１２４では、それぞれの参照ブロック毎に、ブロックマッチング処理が行われ、動きベクトルＭＶが生成される。
【００４８】
次に、動きベクトル検出回路１２４の詳細を説明する。図３は、動きベクトル検出回路１２４の構成を示している。
この動きベクトル検出回路１２４は、第１のメモリバンク１５０と第２のメモリバンク１７０とから構成されている。
【００４９】
第２のメモリバンク１７０について説明する。この第２のメモリバンク１７０は、バンク内の各回路の動作を制御入力に基づいて制御する制御回路１７１と、複数のメモリセルがマトリックス状に配されたメモリセルアレイ１７２と、記憶データ入力用のデータバッファ１７３と、ロウアドレスデコーダ１７４とを有している。
【００５０】
メモリセルアレイ１７２を構成するメモリセルＭＣは、例えばＤＲＡＭセルである。図４はＤＲＡＭセルの一例の構成を示している。
【００５１】
キャパシタＣ１，Ｃ２が直列に接続され、互いの中点ＰにはＶcc／２（Ｖccは電源電圧）が与えられている。キャパシタＣ１の中点とは反対側が記憶ノードＮ１とされ、この記憶ノードＮ１はワード線ＷＬにゲートが接続されたアクセストランジスタＱ７を介してビット線ＢＬに接続されている。また、キャパシタＣ２の中点とは反対側が記憶ノードＮ２とされ、この記憶ノードＮ２はワード線ＷＬにゲートが接続されたアクセストランジスタＱ８を介してビット線／ＢＬ（／ＢＬはＢＬバーを表している）に接続されている。
【００５２】
このような構成のＤＲＡＭセルにおいて、一対のキャパシタＣ１，Ｃ２で構成されるメモリセル部１４に“１”または“０”のデータが記憶される。そして、このメモリセル部１４とビット線ＢＬ，／ＢＬとの間で、アクセストランジスタＱ７，Ｑ８を介して、読み出しおよび書き込みのデータ転送が行われる。
【００５３】
図３に戻って、メモリセルアレイ１７２には、カラム方向に延びると共にロウ方向に配列された各ワード線ＷＬに対応したメモリセルＭＣの並びに、それぞれ、探索フレームの探索範囲に対応して水平方向に並ぶ第１の行の各画素ブロックの複数の画素データが格納される。
【００５４】
本実施の形態において、探索範囲は参照ブロックに対応した画素ブロックを中心とした３画素ブロック×３画素ブロックとされる。その場合、メモリセルアレイ１７２の連続する３本のワード線に対応したメモリセルＭＣの並びに、それぞれ、２番目の行の水平方向に並ぶ３画素ブロックの複数の画素データが格納される。
【００５５】
このようにメモリセルアレイ１７２の各ワード線に対応したメモリセルＭＣの並びに１画素ブロック分の複数の画素データが格納されるものである。そこで、本実施の形態において、メモリセルアレイ１７２のカラム方向には、１画素ブロック分の複数の画素データを格納するために必要なだけの個数のメモリセルＭＣが配列されている。
【００５６】
このメモリセルアレイ１７２の各ワード線に対応したメモリセルＭＣの並びに格納される探索範囲の画素ブロックの複数の画素データは、上述したフレームメモリ１２３（図２参照）から読み出されてデータバッファ１７３に一時的に格納される。そして、このデータバッファ１７３に１画素ブロック分の複数の画素データが揃った後に、この１画素ブロック分の複数の画素データを構成する各ビット信号が後述するセンスアンプを介してメモリセルアレイ１７２の各ビット線ＢＬ，／ＢＬに供給される。
【００５７】
この状態で、メモリセルアレイ１７２の所定のワード線が活性化されると、当該所定のワード線に対応したメモリセルＭＣの並びに、１画素ブロック分の複数の画素データが同時に記憶される。このように、メモリセルアレイ１７２には、画素ブロック単位で画素データの書き込みを行うことができ、画素データの書き込みを効率よく行うことができる。
【００５８】
また、ロウアドレスデコーダ１７４には、アドレスバッファ１７４ａを介してロウアドレスが入力される。ロウアドレスデコーダ１７４は、アドレスバッファ１７４ａを介して供給されるロウアドレスに対応して、メモリセルアレイ１７２の所定のワード線を活性化し、当該所定のワード線に対応したメモリセルＭＣの並びに、記憶データの書き込み、読み出しが可能となるようにする。
【００５９】
また、第２のメモリバンク１７０は、メモリセルアレイ１７２より活性化された所定のワード線に対応して読み出される所定画素ブロックの複数の画素データの各ビット信号を増幅するセンスアンプ１７５と、このセンスアンプ１７５より出力される複数の画素データを格納するデータバッファ１７７と、センスアンプ１７５とデータバッファ１７７との間に挿入され、センスアンプ１７５より出力される複数の画素データのそれぞれをデータバッファ１７７に選択的に取り込むためのスイッチ１７６とを有している。
【００６０】
メモリセルアレイ１７２より活性化された所定のワード線に対応して読み出される１画素ブロックの複数の画素データを構成する全ビット信号の数をｎとするとき、センスアンプ１７５はｎ個のアンプ部からなっており、スイッチ１７６はｎ個のスイッチ部１７６-1〜１７６-nからなっており、データバッファ１７７はｎ個の記憶部からなっている。
【００６１】
この場合、メモリセルアレイ１７２より活性化された所定のワード線に対応して所定画素ブロックの複数の画素データが読み出されるとき、この複数の画素データの各ビット信号が増幅されてセンスアンプ１７５の出力側に得られた状態となる。この状態で、スイッチ１７６の所定のスイッチ部をオンとすることで、当該所定のスイッチ部に対応したセンスアンプ１７５のアンプ部の出力ビット信号を、当該所定のスイッチ部に対応したデータバッファ１７７の記憶部に取り込むことができる。
【００６２】
そのため、ある画素ブロックの複数の画素データのみがデータバッファ１７７に取り込まれた状態から、この画素ブロックに対して水平方向に隣接する画素ブロックの複数の画素データのみがデータバッファ１７７に取り込まれた状態となるまでの各段階の状態を、以下のようにメモリセルアレイ１７２への２回のアクセスのみで達成できる。
【００６３】
まず、あるワード線を活性化してある画素ブロックの複数の画素データを読み出し、これをセンスアンプ１７５およびスイッチ１７６を介してデータバッファ１７７に取り込む。次に、隣接するワード線を活性化させて水平方向に隣接する画素ブロックの複数の画素データを読み出し、この複数の画素データがセンスアンプ１７５の出力側に得られた状態とする。この状態で、スイッチ１７６のスイッチ部１７６-1〜１７６-nを選択的にオンとして、センスアンプ１７５の出力側に得られた複数の画素データをデータバッファ１７７に順次取り込んでいく。
【００６４】
なお、スイッチ１７６およびデータバッファ１７７は、例えば図５に示すように、Ｄフリップフロップ１７８-1〜１７８-nを用いて構成される。これらＤフリップフロップ１７８-1〜１７８-nのクロック端子には制御回路１７１からスイッチ制御信号ＳＷＣが供給される。
【００６５】
第１のメモリバンク１５０について説明する。この第１のメモリバンク１５０は、バンク内の各回路の動作を制御入力に基づいて制御する制御回路１５１と、複数のメモリセルがマトリックス状に配されたメモリセルアレイ１５２と、記憶データ入力用のデータバッファ１５３と、ロウアドレスデコーダ１５４とを有している。
【００６６】
メモリセルアレイ１５２を構成するメモリセルＭＣは、上述の第２のメモリバンク１７０を構成するメモリセルＭＣと同様に、例えばＤＲＡＭセルである。このメモリセルアレイ１５２には、カラム方向に延びると共にロウ方向に配列された各ワード線ＷＬに対応したメモリセルＭＣの並びに、それぞれ、探索フレームの探索範囲に対応して水平方向に並ぶ第２の行の各画素ブロックの複数の画素データが格納される。この第２の行の各画素ブロックは、上述の第２のメモリバンク１７０におけるメモリセルアレイ１７２の部分で説明した第１の行に隣接した行である。
【００６７】
本実施の形態において、上述したように探索範囲は参照ブロックに対応した画素ブロックを中心とした３画素ブロック×３画素ブロックとされる。その場合、メモリセルアレイ１５２の連続する３本のワード線に対応したメモリセルＭＣの並びに、それぞれ、１番目または３番目の行の水平方向に並ぶ３画素ブロックの複数の画素データが格納される。
【００６８】
この場合、最初は、第１のメモリバンク１５０のメモリセルアレイ１５２には１番目の行の水平方向に並ぶ３画素ブロックの複数の画素データを格納し、上述したように第２のメモリバンク１７０のメモリセルアレイ１７２には２番目の行の水平方向に並ぶ３画素ブロックの複数の画素データを格納する。そして、メモリセルアレイ１５２，１７２に格納されている１番目および２番目の行の６個の画素ブロックの画素データを用いた候補ブロックを順次生成していく。
【００６９】
次に、第１のメモリバンク１５０のメモリセルアレイ１５２には３番目の行の水平方向に並ぶ３画素ブロックの複数の画素データを格納する。そして、メモリセルアレイ１５２，１７２に格納されている３番目および２番目の行の６個の画素ブロックの画素データを用いた候補ブロックを順次生成していく。これにより、探索フレームの探索範囲内における全ての候補ブロックが順次生成される。
【００７０】
上述したようにメモリセルアレイ１５２の各ワード線に対応したメモリセルＭＣの並びに１画素ブロック分の複数の画素データが格納されるものである。そこで、本実施の形態において、メモリセルアレイ１５２のカラム方向には、上述した第２のメモリバンク１７０のメモリセルアレイ１７２と同様に、１画素ブロック分の複数の画素データを格納するために必要なだけの個数のメモリセルＭＣが配列されている。
【００７１】
このメモリセルアレイ１５２の各ワード線に対応したメモリセルＭＣの並びに格納される探索範囲の画素ブロックの複数の画素データは、上述したフレームメモリ１２３（図２参照）から読み出されてデータバッファ１５３に一時的に格納される。そして、このデータバッファ１５３に１画素ブロック分の複数の画素データが揃った後に、この１画素ブロック分の複数の画素データを構成する各ビット信号が後述するセンスアンプを介してメモリセルアレイ１５２の各ビット線ＢＬ，／ＢＬに供給される。
【００７２】
この状態で、メモリセルアレイ１５２の所定のワード線が活性化されると、当該所定のワード線に対応したメモリセルＭＣの並びに、１画素ブロック分の複数の画素データが同時に記憶される。このように、メモリセルアレイ１５２には、画素ブロック単位で画素データの書き込みを行うことができ、画素データの書き込みを効率よく行うことができる。
【００７３】
また、ロウアドレスデコーダ１５４には、アドレスバッファ１５４ａを介してロウアドレスが入力される。ロウアドレスデコーダ１５４は、アドレスバッファ１５４ａを介して供給されるロウアドレスに対応して、メモリセルアレイ１５２の所定のワード線を活性化し、当該所定のワード線に対応したメモリセルＭＣの並びに、記憶データの書き込み、読み出しが可能となるようにする。
【００７４】
また、第１のメモリバンク１５０は、メモリセルアレイ１５２より活性化された所定のワード線に対応して読み出される所定画素ブロックの複数の画素データの各ビット信号を増幅するセンスアンプ１５５と、このセンスアンプ１５５より出力される複数の画素データを格納するデータバッファ１５７と、センスアンプ１５５とデータバッファ１５７との間に挿入され、センスアンプ１５５より出力される複数の画素データのそれぞれをデータバッファ１５７に選択的に取り込むためのスイッチ１５６とを有している。
【００７５】
メモリセルアレイ１５２より活性化された所定のワード線に対応して読み出される１画素ブロックの複数の画素データを構成する全ビット信号の数をｎとするとき、センスアンプ１５５はｎ個のアンプ部からなっており、スイッチ１５６はｎ個のスイッチ部１５６-1〜１５６-nからなっており、データバッファ１５７はｎ個の記憶部からなっている。
【００７６】
この場合、メモリセルアレイ１５２より活性化された所定のワード線に対応して所定画素ブロックの複数の画素データが読み出されるとき、この複数の画素データの各ビット信号が増幅されてセンスアンプ１５５の出力側に得られた状態となる。この状態で、スイッチ１５６の所定のスイッチ部をオンとすることで、当該所定のスイッチ部に対応したセンスアンプ１５５のアンプ部の出力ビット信号を、当該所定のスイッチ部に対応したデータバッファ１５７の記憶部に取り込むことができる。
【００７７】
そのため、ある画素ブロックの複数の画素データのみがデータバッファ１７７に取り込まれた状態から、この画素ブロックに対して水平方向に隣接する画素ブロックの複数の画素データのみがデータバッファ１５７に取り込まれた状態となるまでの各段階の状態を、以下のようにメモリセルアレイ１５２への２回のアクセスのみで達成できる。
【００７８】
まず、あるワード線を活性化してある画素ブロックの複数の画素データを読み出し、これをセンスアンプ１５５およびスイッチ１５６を介してデータバッファ１５７に取り込む。次に、隣接するワード線を活性化させて水平方向に隣接する画素ブロックの複数の画素データを読み出し、この複数の画素データがセンスアンプ１５５の出力側に得られた状態とする。この状態で、スイッチ１５６のスイッチ部１５６-1〜１５６-nを選択的にオンとして、センスアンプ１５５の出力側に得られた複数の画素データをデータバッファ１５７に順次取り込んでいく。
【００７９】
なお、スイッチ１５６およびデータバッファ１５７は、上述の第２のメモリバンク１７０のスイッチ１７６およびデータバッファ１７７と同様に、Ｄフリップフロップを用いて構成される（図５参照）。
【００８０】
また、第１のメモリバンク１５０は、データバッファ１５７に格納された複数の画素データおよび上述の第２のメモリバンク１７０のデータバッファ１７７に格納された複数の画素データに基づいて、候補ブロックを構成する複数の画素データを取り出すセレクタ１５８を有している。このセレクタ１５８には、制御回路１５１より選択制御信号ＳＥＬが供給される。
【００８１】
この場合、候補ブロックを構成する複数の画素データが、１つの画素ブロックあるいは水平方向に隣接する２つの画素ブロックの画素データからなる場合には、第１のメモリバンク１５０のデータバッファ１５７に格納された複数の画素データのみ、あるいは第２のメモリバンク１７０のデータバッファ１７７に格納された複数の画素データのみを用いて、候補ブロックを構成する複数の画素データが取り出される。
【００８２】
一方、候補ブロックを構成する複数の画素データが、垂直方向に隣接する２つの画素ブロックあるいは水平垂直に隣接する４つの画素ブロックの画素データからなる場合には、第１のメモリバンク１５０のデータバッファ１５７に格納された複数の画素データおよび第２のメモリバンク１７０のデータバッファ１７７に格納された複数の画素データを用いて、候補ブロックを構成する複数の画素データが取り出される。
【００８３】
また、第１のメモリバンク１５０は、参照ブロックの画素データ入力用のデータバッファ１５９とを有している。上述したブロック化回路１２２（図２参照）より順次出力される各画素ブロックの複数の画素データは、それぞれ参照ブロックの複数の画素データとして、データバッファ１５９に一時的に格納される。
【００８４】
また、第１のメモリバンク１５０は、マッチング回路１６０を有している。このマッチング回路１６０は、データバッファ１５９に格納された所定の参照ブロックの複数の画素データと、この所定の参照ブロックに対応してセレクタ１５８より順次取り出される所定個数、本実施の形態においては８１個の候補ブロックの複数の画素データに基づいて、ブロックマッチング処理により、当該所定の参照ブロックに係る動きベクトルＭＶを求める。
【００８５】
この場合、参照ブロックを構成する複数の画素データ（４画素×４画素）と候補ブロックを構成する複数の画素データ（４画素×４画素）とから、それぞれ対応する位置にある画素データの差分絶対値を求め、差分絶対値の和をこの候補ブロックについての差分絶対値和とする。８１個の候補ブロックの全てについて、参照ブロックとの差分絶対値和を計算する。こうして求めた差分絶対値和の中で最も小さな値を提供する候補ブロックの参照ブロックに対する相対位置を、当該参照ブロックの動きベクトルＭＶとする。
【００８６】
次に、図３に示す動きベクトル検出回路１２４の動作を説明する。参照フレームの所定の参照ブロック（以下、「注目参照ブロック」という）の動きベクトルＭＶを得る場合について説明する。
この場合、図６に示すように、探索フレームの探索範囲として、注目参照ブロックに対応した画素ブロックを中心とした３画素ブロック×３画素ブロックの範囲が決定される。
【００８７】
そこでまず、第１のメモリバンク１５０のメモリセルアレイ１５２には、１番目の行の水平方向に並ぶ３画素ブロック（画素ブロック１〜３）の複数の画素データが格納される。
【００８８】
この場合、画素ブロック１の複数の画素データはフレームメモリ１２３（図２参照）から読み出されてデータバッファ１５３に一時的に格納される。そして、この画素ブロック１の複数の画素データを構成する各ビット信号はセンスアンプ１５５を介してメモリセルアレイ１５２の各ビット線ＢＬ，／ＢＬに供給される。この状態で、メモリセルアレイ１５２のワード線ＷＬiが活性化され、このワード線ＷＬiに対応したメモリセルＭＣの並びに、画素ブロック１の複数の画素データが同時に書き込まれる。画素ブロック２，３のそれぞれの複数の画素データも、同様にして、メモリセルアレイ１５２のワード線ＷＬi+1，ＷＬi+2にそれぞれ対応したメモリセルＭＣの並びに同時に書き込まれる。
【００８９】
また、第２のメモリバンク１７０のメモリセルアレイ１７２には、２番目の行の水平方向に並ぶ３画素ブロック（画素ブロック４〜６）の複数の画素データが格納される。
【００９０】
この場合、画素ブロック４の複数の画素データはフレームメモリ１２３（図２参照）から読み出されてデータバッファ１７３に一時的に格納される。そして、この画素ブロック４の複数の画素データを構成する各ビット信号はセンスアンプ１７５を介してメモリセルアレイ１７２の各ビット線ＢＬ，／ＢＬに供給される。この状態で、メモリセルアレイ１７２のワード線ＷＬiが活性化され、このワード線ＷＬiに対応したメモリセルＭＣの並びに、画素ブロック４の複数の画素データが同時に書き込まれる。画素ブロック５，６のそれぞれの複数の画素データも、同様にして、メモリセルアレイ１７２のワード線ＷＬi+1，ＷＬi+2にそれぞれ対応したメモリセルＭＣの並びに同時に書き込まれる。
【００９１】
次に、このようにメモリセルアレイ１５２，１７２に６画素ブロック分の画素データが格納された状態で、図７Ｂに示すように、メモリセルアレイ１５２のワード線ＷＬiが活性化されて、このワード線ＷＬi対応したメモリセルＭＣの並びに格納されていた画素ブロック１の複数の画素データが同時に読み出される。
【００９２】
この画素ブロック１の複数の画素データの各ビット信号はセンスアンプ１５５で増幅されて、このセンスアンプ１５５の出力側に得られる。この状態で、スイッチ１５６の各スイッチ部を全てオンとすると、センスアンプ１５５の出力側に得られていた画素ブロック１の複数の画素データの全部が、データバッファ１５７に取り込まれる。
【００９３】
このように、データバッファ１５７に格納された画素ブロック１の複数の画素データは、図７Ａに示すように、探索範囲内の候補ブロック１の複数の画素データとして、セレクタ１５８で取り出されてマッチング回路１６０に供給される。マッチング回路１６０には、データバッファ１５９を介して注目参照ブロックの複数の画素データＤＴが供給される。マッチング回路１６０では、注目参照ブロックを構成する複数の画素データ（４画素×４画素）と候補ブロック１を構成する複数の画素データ（４画素×４画素）とを用いて、それぞれ対応する位置にある画素データの差分絶対値が求められ、各差分絶対値の和が取られて当該候補ブロック１の差分絶対値和が求められる。
【００９４】
次に、図８Ｂに示すように、メモリセルアレイ１５２のワード線ＷＬi+1が活性化されて、このワード線ＷＬi+1に対応したメモリセルＭＣの並びに格納されていた画素ブロック２の複数の画素データが同時に読み出される。
【００９５】
この画素ブロック２の複数の画素データの各ビット信号はセンスアンプ１５５で増幅されて、このセンスアンプ１５５の出力側に得られる。この状態で、スイッチ１５６の各スイッチ部のうち、左端から１列目の４画素に対応した全てのスイッチ部がオンとされる。これにより、センスアンプ１５５の出力側に得られていた画素ブロック２の左端から１列目の４画素の画素データが、データバッファ１５７に新たに取り込まれる。
【００９６】
これにより、データバッファ１５７に格納されている１画素ブロック分の画素データは、図８Ａに示すように、候補ブロック１に対して右方向に１画素ずれた位置にある候補ブロック２を構成する複数の画素データとなる。この候補ブロック２を構成する複数の画素データは、セレクタ１５８で取り出されてマッチング回路１６０に供給される。そして、マッチング回路１６０では、上述した候補ブロック１の場合と同様にして、当該候補ブロック２の差分絶対値和が求められる。
【００９７】
次に、スイッチ１５６の各スイッチ部のうち、左端から２列目の４画素に対応した全てのスイッチ部がオンとされる。これにより、図９Ｂに示すように、センスアンプ１５５の出力側に得られていた画素ブロック２の左端から２列目の４画素の画素データが、データバッファ１５７に新たに取り込まれる。これにより、データバッファ１５７に格納されている１画素ブロック分の画素データは、図９Ａに示すように、候補ブロック１に対して右方向に２画素ずれた位置にある候補ブロック３を構成する複数の画素データとなる。この候補ブロック３を構成する複数の画素データは、セレクタ１５８で取り出されてマッチング回路１６０に供給される。そして、マッチング回路１６０では、上述した候補ブロック１の場合と同様にして、当該候補ブロック３の差分絶対値和が求められる。
【００９８】
次に、スイッチ１５６の各スイッチ部のうち、左端から３列目の４画素に対応した全てのスイッチ部がオンとされる。これにより、センスアンプ１５５の出力側に得られていた画素ブロック２の左端から３列目の４画素の画素データが、データバッファ１５７に新たに取り込まれる。これにより、データバッファ１５７に格納されている１画素ブロック分の画素データは、候補ブロック１に対して右方向に３画素ずれた位置にある候補ブロック４（図示せず）を構成する複数の画素データとなる。この候補ブロック４を構成する複数の画素データは、セレクタ１５８で取り出されてマッチング回路１６０に供給される。そして、マッチング回路１６０では、上述した候補ブロック１の場合と同様にして、当該候補ブロック４の差分絶対値和が求められる。
【００９９】
次に、スイッチ１５６の各スイッチ部のうち、左端から４列目の４画素に対応した全てのスイッチ部がオンとされる。これにより、図１０Ｂに示すように、センスアンプ１５５の出力側に得られていた画素ブロック２の左端から４列目の４画素の画素データが、データバッファ１５７に新たに取り込まれる。これにより、データバッファ１５７に格納されている１画素ブロック分の画素データは、画素ブロック２の複数の画素データそのものとなる。
【０１００】
このように、データバッファ１５７に格納された画素ブロック２の複数の画素データは、図１０Ａに示すように、候補ブロック１に対して右方向に４画素ずれた位置にある候補ブロック５の複数の画素データとして、セレクタ１５８で取り出されてマッチング回路１６０に供給される。マッチング回路１６０では、上述した候補ブロック１の場合と同様にして、当該候補ブロック５の差分絶対値和が求められる。
【０１０１】
次に、図１１Ｂに示すように、メモリセルアレイ１５２のワード線ＷＬi+2が活性化されて、このワード線ＷＬi+2に対応したメモリセルＭＣの並びに格納されていた画素ブロック３の複数の画素データが同時に読み出される。
【０１０２】
この画素ブロック３の複数の画素データの各ビット信号はセンスアンプ１５５で増幅されて、このセンスアンプ１５５の出力側に得られる。この状態で、スイッチ１５６の各スイッチ部のうち、左端から１列目の４画素に対応した全てのスイッチ部がオンとされる。これにより、センスアンプ１５５の出力側に得られていた画素ブロック３の左端から１列目の４画素の画素データが、データバッファ１５７に新たに取り込まれる。
【０１０３】
これにより、データバッファ１５７に格納されている１画素ブロック分の画素データは、図１１Ａに示すように、候補ブロック１に対して右方向に５画素ずれた位置にある候補ブロック６を構成する複数の画素データとなる。この候補ブロック６を構成する複数の画素データは、セレクタ１５８で取り出されてマッチング回路１６０に供給される。そして、マッチング回路１６０では、上述した候補ブロック１の場合と同様にして、当該候補ブロック６の差分絶対値和が求められる。
【０１０４】
以下、上述した候補ブロック３〜５の場合と同様にして、スイッチ１５６の各スイッチ部が選択的にオンとされていき、データバッファ１５７には、候補ブロック１に対して右方向に６画素ずれた位置にある候補ブロック７、候補ブロック１に対して右方向に７画素ずれた位置にある候補ブロック８、さらには候補ブロック１に対して右方向に８画素ずれた位置（画素ブロック３と同じ位置）にある候補ブロック９を構成する複数の画素データが格納された状態が得られる。そして、マッチング回路１６０では、それぞれ候補ブロック７〜９の差分絶対値和が求められる。
【０１０５】
次に、図１２Ｂに示すように、第２のメモリバンク１７０のメモリセルアレイ１７２のワード線ＷＬi+2が活性化されて、このワード線ＷＬi+2に対応したメモリセルＭＣの並びに格納されていた画素ブロック６の複数の画素データが同時に読み出される。
【０１０６】
この画素ブロック６の複数の画素データの各ビット信号はセンスアンプ１７５で増幅されて、このセンスアンプ１５５の出力側に得られる。この状態で、スイッチ１７６の各スイッチ部を全てオンとすると、センスアンプ１７５の出力側に得られていた画素ブロック６の複数の画素データの全部が、データバッファ１７７に取り込まれる。
【０１０７】
このようにデータバッファ１７７に格納された画素ブロック６の複数の画素データは、第１のメモリバンク１５０のセレクタ１５８に供給される。このセレクタ１５８には、データバッファ１５７に格納された画素ブロック３の複数の画素データも供給されている。
【０１０８】
この状態で、セレクタ１５８では、画素ブロック３の上端から２〜４行目の１２画素の画素データが取り出されると共に、画素ブロック６の上端から１行目の４画素の画素データが取り出される。このようにセレクタ１５８で取り出される１画素ブロック分の画素データは、図１２Ａに示すように、候補ブロック９（画素ブロック３）に対して下方向に１画素ずれた位置にある候補ブロック１０を構成する複数の画素データとなる。
【０１０９】
この候補ブロック１０を構成する複数の画素データは、マッチング回路１６０に供給される。マッチング回路１６０では、上述した候補ブロック１の場合と同様にして、当該候補ブロック１０の差分絶対値和が求められる。
【０１１０】
以下、図示せずも、第１のメモリバンク１５０は、順に、画素ブロック３に対して左方向に１画素〜８画素ずれた位置の画素ブロックの複数の画素データがデータバッファ１５７に格納された状態とされる。またこれに伴って、第２のメモリバンク１７０は、順に、画素ブロック６に対して左方向に１画素〜８画素ずれた位置の画素ブロックの複数の画素データがデータバッファ１７７に格納された状態とされる。
【０１１１】
そして、セレクタ１５８では、データバッファ１５７，１７７にそれぞれ対応して格納された各２画素ブロックの複数の画素データから、上述の候補ブロック１０に対して左方向に１画素〜８画素ずれた位置の候補ブロック１１〜１８を構成する複数の画素データが順次取り出される。そして、マッチング回路１６０では、それら候補ブロック１１〜１８の差分絶対値和が順次求められる。
【０１１２】
以下、上述したと同様の動作により、第１のメモリバンク１５０のセレクタ１５８より、上述した候補ブロック１〜９に対して、それぞれ下方向に２画素ずれた候補ブロック１９〜２７、それぞれ下方向に３画素ずれた候補ブロック３６〜２８、それぞれ下方向に４画素ずれた候補ブロック３７〜４５を構成する複数の画素データが順次取り出され、マッチング回路１６０では、それら候補ブロック１９〜４５の差分絶対値和が順次求められる。
【０１１３】
次に、セレクタ１５８より、上述した候補ブロック１〜９に対して、それぞれ下方向に５画素ずれた候補ブロック５４〜４６、それぞれ下方向に６画素ずれた候補ブロック５５〜６３、それぞれ下方向に７画素ずれた候補ブロック７２〜６４、それぞれ下方向に８画素ずれた候補ブロック７３〜８１を構成する複数の画素データを取り出す必要がある。
【０１１４】
そのために、第１のメモリバンク１５０のメモリセルアレイ１５２には、１番目の行の水平方向に並ぶ３画素ブロック（画素ブロック１〜３）の複数の画素データの代わりに、３番目の行の水平方向に並ぶ３画素ブロック（画素ブロック７〜９）の複数の画素データが格納される。そして、以下は、上述したと同様の動作により、第１のメモリバンク１５０のセレクタ１５８より、候補ブロック４６〜８１を構成する複数の画素データが順次取り出され、マッチング回路１６０では、それら候補ブロック４６〜８１の差分絶対値和が順次求められる。
【０１１５】
このように、第１のメモリバンク１５０のマッチング回路１６０では、上述したように、注目参照ブロックに対応した８１個の候補ブロック１〜８１の差分絶対値和が順次求められる。そして、このマッチング回路１６０は、それらの差分絶対値和の中で最も小さな値を提供する候補ブロックの参照ブロックに対する相対位置を、当該注目参照ブロックの動きベクトルＭＶとして出力する。
【０１１６】
以上説明したように本実施の形態においては、第１のメモリバンク１５０および第２のメモリバンク１７０において、ある画素ブロックの複数の画素データのみがデータバッファ１５７，１７７に取り込まれた状態から、この画素ブロックに対して水平方向に隣接する画素ブロックの複数の画素データのみがデータバッファ１５７，１７７に取り込まれた状態となるまでの各段階の状態、例えば候補ブロック１〜候補ブロック５を構成する複数の画素データをデータバッファ１５７に得る状態（図７〜図１０参照）は、あるワード線を活性化してある画素ブロックの複数の画素データを読み出し、これをデータバッファ１５７，１７７に取り込んだ後、隣接するワード線を活性化させて水平方向に隣接する画素ブロックの複数の画素データを読み出し、この複数の画素データをスイッチ１５６，１７６を用いてデータバッファ１５７，１７７に順次取り込んでいくことのみで実現される。したがって、メモリセルアレイ１５２，１７２へのアクセス回数を少なくでき、動きベクトルＭＶを求めるための処理時間の短縮化を図ることができる。
【０１１７】
また、本実施の形態においては、メモリセルアレイ１５２，１７２に、カラム方向に延びるとともにロウ方向に配列された各ワード線に対応したメモリセルＭＣの並びに、それぞれ、探索フレームの探索範囲内に水平方向に並ぶ各画素ブロックの複数の画素データを格納するものである。したがって、各画素ブロックの複数の画素データを、対応する１本のワード線ＷＬを活性化するのみで、容易に書き込みおよび読み出しを行うことができる。
【０１１８】
なお、上述実施の形態においては、動きベクトル検出回路１２４が、図３に示すように第１のメモリバンク１５０および第２のメモリバンク１７０により構成されるものを示したが、さらに多くのメモリバンクを使用して構成することもできる。例えば、さらに第３のメモリバンクを設け、この第３のメモリバンクの構成は第２のメモリバンク１７０の構成と同様とし、そのメモリセルアレイに、探索範囲の３番目の行の水平方向に並ぶ３画素ブロック（画素ブロック７〜９）の複数の画素データを格納し、そのデータバッファに得られる１画素ブロックの複数の画素データを第１のメモリバンク１５０のセレクタ１５８に供給するように構成すればよい。
【０１１９】
また、上述実施の形態においては、画素ブロックの大きさが４画素×４画素であって、探索範囲が参照ブロックに対応する画素ブロックを中心とする３画素ブロック×３画素ブロックの範囲としたものであるが、この発明の適用はこれに限定されるものではない。
【０１２０】
また、上述実施の形態においては、この発明のメモリブロックを動き検出回路１２４に適用したものであるが、ある複数のデータのみが得られた状態から他の複数のデータのみが得られた状態となるまでの各段階の状態を得る必要があるその他の回路にも同様に適用できることは勿論である。
【０１２１】
また、上述実施の形態においては、画素データを取り扱うものを示したが、オーディオデータ等のその他のデータを取り扱うものにも、この発明のメモリブロックを適用することができる。
【０１２２】
【発明の効果】
この発明によれば、第１のメモリバンクでは、探索フレームの探索範囲に対応して水平方向に並ぶ第１の行の各画素ブロックの複数の画素データを格納するメモリセルアレイより活性化された所定ワード線に対応して読み出される所定画素ブロックの複数の画素データをセンスアンプおよびスイッチを介してデータバッファに選択的に取り込み、このデータバッファに格納された複数の画素データに基づいて、候補ブロックを構成する複数の画素データを取り出し、順次取り出された候補ブロックの複数の画素データおよび参照フレームの参照ブロックの複数の画素データに基づいて、ブロックマッチング処理により参照ブロックに係る動きベクトルを求めるものである。したがって、この発明によれば、メモリセルアレイへのアクセス回数を大幅に減らすことができ、動きベクトルを求めるための処理時間の短縮化を図ることができる。
【図面の簡単な説明】
【図１】実施の形態としての動き補償予測符号化装置の構成を示すブロック図である。
【図２】動きベクトル検出部の構成を示すブロック図である。
【図３】動きベクトル検出回路１２４の構成を示すブロック図である。
【図４】ＤＲＡＭセルの構成の一例を示す図である。
【図５】スイッチとデータバッファの実際の構成を説明するための図である。
【図６】第１、第２のメモリバンクのメモリセルアレイへの書き込みを説明するための図である。
【図７】候補ブロックの生成動作を説明するための図である。
【図８】候補ブロックの生成動作を説明するための図である。
【図９】候補ブロックの生成動作を説明するための図である。
【図１０】候補ブロックの生成動作を説明するための図である。
【図１１】候補ブロックの生成動作を説明するための図である。
【図１２】候補ブロックの生成動作を説明するための図である。
【図１３】動き検出のためのブロックマッチング法を説明するための図である。
【符号の説明】
１００・・・動き補償予測符号化装置、１１１・・・動きベクトル検出部、１２１・・・制御部、１２２・・・ブロック化回路、１２３・・・フレームメモリ、１２４・・・動きベクトル検出回路、１５０・・・第１のメモリバンク、１５１，１７１・・・制御回路、１５２，１７２・・・メモリセルアレイ、１５３，１７３・・・記憶データ入力用のデータバッファ、１５４，１７４・・・ロウアドレスデコーダ、１５５，１７５・・・センスアンプ、１５６，１７６・・・スイッチ、１５７，１７７・・・データバッファ、１５８・・・セレクタ、１５９・・・参照ブロックの画素データ入力用のデータバッファ、１６０・・・マッチング回路、１７０・・・第２のメモリバンク
【発明の属する技術分野】
この発明は、動きベクトル検出回路と動きベクトル検出方法に関する。詳しくは、カラム方向に延びると共にロウ方向に配列された各ワード線に対応したメモリセルの並びに、探索フレームの探索範囲に対応して水平方向に並ぶ、第１の行の各画素ブロックの複数の画素データを格納するものとし、上記探索範囲から候補ブロックを選択して、該候補ブロックを構成する画素データを含む上記第１の行の画素ブロックに対応するワード線を活性化するとともに、活性化されたワード線に対応する画素ブロックを構成する画素データのうち、上記候補ブロックを構成する画素データをデータバッファに取り込むものとし、順次選択される上記候補ブロックを構成する上記データバッファに取り込まれた複数の画素データおよび入力される参照フレームの参照ブロックの複数の画素データに基づいたブロックマッチング処理により、上記参照ブロックに最もマッチする上記候補ブロックの、上記参照ブロックに対する相対位置に基づいて、動きベクトルを求めるものである。
【０００４】
【従来の技術】
従来、動画像の処理として、動きベクトル、すなわち時間的に異なる画像中の物体の動き方向と大きさを用いるものがある。例えば画像の高能率符号化における動き補償予測符号化に動きベクトルが用いられる。
【０００５】
動きベクトルを検出する方法の一つとしてブロックマッチング法がある。これは、探索フレームの候補ブロックを所定の探索範囲内で移動し、参照フレームの参照ブロックと最も合致している候補ブロックを検出することにより、動きベクトルを求めるものである。
【０００６】
図１３は、今注目しているフレームを参照フレームとし、このフレームから例えば１フレームだけ前のフレームである探索フレームに向かった動きベクトルを求める様子を示している。
【０００７】
まず、参照フレームの画素データを、いくつかの画素ブロックに分割する。分割したそれぞれの画素ブロックの大きさは全て等しいものとする。ここでは、画素ブロックの大きさを４画素×４画素とする。
【０００８】
今、画素ブロックのうち一つの画素ブロックに注目し、これを参照ブロックとする。この参照ブロックについての動きベクトルを求める方法を示す。探索フレームの画素データにおいて、参照フレームの参照ブロックと同じ位置を中心としてある広さの領域を探索範囲として設定する。探索範囲内に参照ブロックと同じ大きさの画素ブロックを取り、これを候補ブロックとする。
【０００９】
参照フレームの参照ブロックを構成する複数の画素データ（４画素×４画素）と、探索フレームの探索範囲内の候補ブロックを構成する複数の画素データ（４画素×４画素）とから、それぞれ対応する位置にある画素データの差分絶対値を求め、差分絶対値の和をこの候補ブロックについての差分絶対値和とする。
【００１０】
探索範囲内には複数の候補ブロックが存在する。探索範囲内で取りうる全ての候補ブロックに関して、参照ブロックとの差分絶対値和を計算する。探索範囲を１２画素×１２画素とすると、取りうる候補ブロックの数は、９×９＝８１となる。１つの参照ブロックについて８１の差分絶対値和を計算する。こうして求めた差分絶対値和の中で最も小さな値を提供する候補ブロックの参照ブロックに対する相対位置を、当該参照ブロックの動きベクトルとする。
【００１１】
【発明が解決しようとする課題】
このようにブロックマッチング法では、候補ブロックを構成する画素データを連続的に読み出す必要がある。一般的に、メモリからの読み出し速度は、その他のロジック回路の動作速度と比較して遅いので、ブロックマッチング処理において、メモリアクセスの速度が演算処理の速度を規制してしまっている。
【００１２】
この発明の目的は、動きベクトルを求めるための処理時間の短縮化を図ることができる動きベクトル検出回路等を提供することにある。
【００１３】
【課題を解決するための手段】
この発明に係る動きベクトル検出回路は、少なくとも第１のメモリバンクを備え、第１のメモリバンクは、カラム方向に延びると共にロウ方向に配列された各ワード線に対応したメモリセルの並びに、探索フレームの探索範囲に対応して水平方向に並ぶ、第１の行の各画素ブロックの複数の画素データを格納するメモリセルアレイと、メモリセルアレイより活性化されたワード線に対応して読み出される所定画素ブロックの複数の画素データの各ビット信号を増幅するセンスアンプと、センスアンプより出力される複数の画素データを格納するデータバッファと、センスアンプとデータバッファとの間に挿入され、センスアンプより出力される複数の画素データのそれぞれをデータバッファに選択的に取り込むためのスイッチと、探索範囲から候補ブロックを選択し、候補ブロックを構成する画素データを含む第１の行の画素ブロックに対応するワード線を活性化するとともに、活性化されたワード線に対応する画素ブロックを構成する画素データのうち候補ブロックを構成する画素データをデータバッファに取り込むようにスイッチのオンオフ動作を制御する制御回路と、制御回路により順次選択される候補ブロックの複数の画素データおよび入力される参照フレームの参照ブロックの複数の画素データに基づいたブロックマッチング処理により、参照ブロックに最もマッチする候補ブロックの、参照ブロックに対する相対位置に基づいて、動きベクトルを求めるマッチング回路とを有するものである。
【００１４】
また、第２のメモリバンクをさらに備え、第２のメモリバンクは、カラム方向に延びると共にロウ方向に配列された各ワード線に対応したメモリセルの並びに、探索フレームの探索範囲に対応して水平方向に並ぶ、第１の行に隣接する第２の行の各画素ブロックの複数の画素データを格納するメモリセルアレイと、メモリセルアレイより活性化されたワード線に対応して読み出される所定画素ブロックの複数の画素データの各ビット信号を増幅するセンスアンプと、センスアンプより出力される複数の画素データを格納するデータバッファと、センスアンプとデータバッファとの間に挿入され、センスアンプより出力される複数の画素データのそれぞれをデータバッファに選択的に取り込むためのスイッチと、候補ブロックを構成する画素データを含む第２の行の画素ブロックに対応するワード線の活性化するとともに、活性化されたワード線に対応する画素ブロックを構成する画素データのうち候補ブロックを構成する画素データをデータバッファに取り込むようにスイッチのオンオフ動作を制御する制御回路とを有し、第１のメモリバンクは、制御回路により制御され、第１のメモリバンクのデータバッファに格納された複数の画素データおよび第２のメモリバンクのデータバッファに格納された複数の画素データから、候補ブロックを構成する複数の画素データを取り出すセレクタをさらに有し、第１のメモリバンクのマッチング回路は、制御回路により制御されるセレクタにより順次取り出された候補ブロックの複数の画素データおよび入力される参照フレームの参照ブロックの複数の画素データに基づいたブロックマッチング処理により動きベクトルを求めるものである。
【００１７】
この発明においては、第１のメモリバンクのメモリセルアレイには、カラム方向に延びると共にロウ方向に配列された各ワード線に対応したメモリセルの並びに、それぞれ、探索フレームの探索範囲に対応して水平方向に並ぶ第１の行の各画素ブロックの複数の画素データが格納されている。ここで、メモリセルアレイのカラム方向には、例えば１画素ブロック分の複数の画素データを格納するために必要なだけの個数のメモリセルが配列されている。
【００１８】
このメモリセルアレイより、活性化された所定のワード線に対応して読み出される所定画素ブロックの複数の画素データは、センスアンプおよびスイッチを介してデータバッファに選択的に取り込まれる。このスイッチおよびデータバッファは例えばＤフリップフロップで構成される。
【００１９】
この場合、ある画素ブロックの複数の画素データのみがデータバッファに取り込まれた状態から、この画素ブロックに対して水平方向に隣接する画素ブロックの複数の画素データのみがデータバッファに取り込まれた状態となるまでの各段階の状態は、あるワード線を活性化してある画素ブロックの複数の画素データを読み出し、これをデータバッファに取り込んだ後、隣接するワード線を活性化させて水平方向に隣接する画素ブロックの複数の画素データを読み出し、この複数の画素データをスイッチを用いてデータバッファに順次取り込んでいくことのみで実現される。
【００２０】
一方、第２のメモリバンクのメモリセルアレイには、カラム方向に延びると共にロウ方向に配列された各ワード線に対応したメモリセルの並びに、それぞれ、探索フレームの探索範囲に対応して水平方向に並ぶ、第１の行に隣接する第２の行の各画素ブロックの複数の画素データが格納されている。ここで、メモリセルアレイのカラム方向には、例えば１画素ブロック分の複数の画素データを格納するために必要なだけの個数のメモリセルが配列されている。
【００２１】
このメモリセルアレイより、活性化された所定のワード線に対応して読み出される所定画素ブロックの複数の画素データは、センスアンプおよびスイッチを介してデータバッファに選択的に取り込まれる。このスイッチおよびデータバッファは例えばＤフリップフロップで構成される。
【００２２】
この場合、ある画素ブロックの複数の画素データのみがデータバッファに取り込まれた状態から、この画素ブロックに対して水平方向に隣接する画素ブロックの複数の画素データのみがデータバッファに取り込まれた状態となるまでの各段階の状態は、あるワード線を活性化してある画素ブロックの複数の画素データを読み出し、これをデータバッファに取り込んだ後、隣接するワード線を活性化させて水平方向に隣接する画素ブロックの複数の画素データを読み出し、この複数の画素データをスイッチを用いてデータバッファに順次取り込んでいくことのみで実現される。
【００２３】
第１のメモリバンクのメモリセルアレイには、各ワード線に対応したメモリセルの並びに、それぞれ、第１の行の各画素ブロックの複数の画素データが格納されている。これに対して第２のメモリセルアレイには、各ワード線に対応したメモリセルの並びに、それぞれ、第１の行に隣接する第２の行の各画素ブロックの複数の画素データが格納されている。そのため、第１のメモリバンクのメモリセルアレイから所定の画素ブロックの複数の画素データを読み出すとき、第２のメモリバンクからその所定の画素ブロックに対して垂直方向に隣接した画素ブロックの画素データを読み出すことが可能となる。
【００２４】
第１のメモリバンクのデータバッファに格納された複数の画素データ、あるいは第１のメモリバンクのデータバッファに格納された複数の画素データおよび第２のメモリバンクのデータバッファに格納された複数の画素データに基づいて、セレクタにより候補ブロックを構成する複数の画素データが取り出される。
【００２５】
この場合、候補ブロックを構成する複数の画素データが、１つの画素ブロックあるいは水平方向に隣接する２つの画素ブロックの画素データからなる場合には、第１のメモリバンクのデータバッファに格納された複数の画素データのみ、あるいは第２のメモリバンクのデータバッファに格納された複数の画素データのみを用いて候補ブロックを構成する複数の画素データが取り出される。
【００２６】
一方、候補ブロックを構成する複数の画素データが、垂直方向に隣接する２つの画素ブロックあるいは水平垂直に隣接する４つの画素ブロックの画素データからなる場合には、第１のメモリバンクのデータバッファに格納された複数の画素データおよび第２のメモリバンクのデータバッファに格納された複数の画素データを用いて、候補ブロックを構成する複数の画素データが取り出される。
【００２７】
そして、セレクタで順次取り出された候補ブロックの複数の画素データおよび入力される参照フレームの参照ブロックの複数の画素データに基づいて、ブロックマッチング処理により、参照ブロックに係る動きベクトルが求められる。
【００２８】
上述したように、第１のメモリバンクおよび第２のメモリバンクにおいて、ある画素ブロックの複数の画素データのみがデータバッファに取り込まれた状態から、この画素ブロックに対して水平方向に隣接する画素ブロックの複数の画素データのみがデータバッファに取り込まれた状態となるまでの各段階の状態は、あるワード線を活性化してある画素ブロックの複数の画素データを読み出し、これをデータバッファに取り込んだ後、隣接するワード線を活性化させて水平方向に隣接する画素ブロックの複数の画素データを読み出し、この複数の画素データをスイッチを用いてデータバッファに順次取り込んでいくことのみで実現される。したがって、メモリセルアレイへのアクセス回数を少なくでき、動きベクトルを求めるための処理時間の短縮化を図ることができる。
【００３３】
また、この発明に係る動きベクトル検出方法は、入力される参照フレームの参照ブロックの複数の画素データおよび探索フレームの探索範囲から選択される候補ブロックの複数の画素データに基づいたブロックマッチング処理により動きベクトルを求める動きベクトル検出方法であって、カラム方向に延びると共にロウ方向に配列された各ワード線に対応したメモリセルの並びに、探索フレームの探索範囲に対応して水平方向に並ぶ、第１の行の各画素ブロックの複数の画素データを格納するステップと、探索範囲から候補ブロックを選択して、該候補ブロックを構成する画素データを含む第１の行の画素ブロックに対応するワード線を活性化するとともに、活性化されたワード線に対応する画素ブロックを構成する画素データのうち、候補ブロックを構成する画素データをデータバッファに取り込むステップと、順次選択される候補ブロックを構成するデータバッファに取り込まれた複数の画素データおよび参照フレームの参照ブロックの複数の画素データに基づいたブロックマッチング処理により、参照ブロックに最もマッチする候補ブロックの、参照ブロックに対する相対位置に基づいて、動きベクトルを求めるステップを設けたものである。
【００３５】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。
図１は、実施の形態としての動き補償予測符号化装置１００の構成を示している。
この符号化装置１００は、画像データ（動画像を構成するフレームデータ）Ｄｉを入力する入力端子１０１と、この入力端子１０１に供給される画像データＤｉと後述する動き補償回路１１０から供給される予測画像データとの差分を演算する減算器１０２と、この減算器１０２で得られる差分データに対してＤＣＴ（Discrete Cosine Transform：離散コサイン変換）を行うＤＣＴ回路１０３と、このＤＣＴ回路１０３で得られるＤＣＴ係数に対して量子化を行う量子化回路１０４と、この量子化回路１０４で得られた符号化データＤｏを出力する出力端子１０５とを有している。
【００３６】
また、符号化装置１００は、量子化回路１０４で得られた符号化データＤｏに対して逆量子化を行う逆量子化回路１０６と、この逆量子化回路１０６の出力データに対して逆ＤＣＴを行って差分データを得る逆ＤＣＴ回路１０７と、この逆ＤＣＴ回路１０７で得られる差分データと動き補償回路１１０で得られる予測画像データとを加算して元の画像データを復元する加算器１０８と、この加算器１０８で復元された画像データを記憶するフレームメモリ１０９とを有している。
【００３７】
また、符号化装置１００は、フレームメモリ１０９に記憶された画像データを読み込み、後述する動きベクトル検出部１１１からの動きベクトルＭＶに基づいて動き補償をした後、上述したように減算器１０２および加算器１０８に予測画像データとして供給する動き補償回路１１０と、入力端子１０１に供給される画像データＤｉの動きベクトルＭＶを検出して動き補償回路１１０に供給する動きベクトル検出部１１１とを有している。
【００３８】
図１に示す動き補償予測符号化装置１００の動作を説明する。
入力端子１０１に入力される画像データＤｉは、減算器１０２および動きベクトル検出部１１１に供給される。減算器１０２では、この画像データＤｉと動き補償回路１１０から供給される予測画像データとの差分が演算される。
【００３９】
減算器１０２で得られる差分データはＤＣＴ回路１０３に供給されて離散コサイン変換される。このＤＣＴ回路１０３で得られるＤＣＴ係数は量子化回路１０４に供給されて量子化される。そして、この量子化回路１０４で得られた符号化データＤｏが出力端子１０５に出力される。
【００４０】
また、量子化回路１０４で得られる符号化データＤｏが逆量子化回路１０６に供給されて逆量子化され、さらにこの逆量子化回路１０６の出力データが逆ＤＣＴ回路１０７に供給されて逆ＤＣＴされ、差分データが復元される。この差分データと動き補償回路１１０からの予測データとが加算器１０８で加算されて元の画像データが復元され、この復元された画像データがフレームメモリ１０９に記憶される。
【００４１】
動き補償回路１１０では、あるフレームにおいては、その前のフレームにフレームメモリ１０９に記憶された画像データの読み込みが行われて、動きベクトル検出部１１１からの動きベクトルＭＶに基づいて動き補償されて、予測画像データが得られる。この予測画像データは、上述したように、差分データを得るために減算器１０２に供給されると共に、画像データを復元するために加算器１０８に供給される。
【００４２】
次に、動きベクトル検出部１１１の詳細を説明する。この動きベクトル検出部１１１では、ブロックマッチング法により動きベクトルが検出される。図２は、動きベクトル検出部１１１の構成を示している。
【００４３】
この動きベクトル検出部１１１は、検出部全体の動作を制御する制御部１２１と、入力される参照フレームの画像データＤｉを、所定サイズ、本実施の形態においては４画素×４画素のサイズで順次ブロック化するブロック化回路１２２とを有している。
【００４４】
また、動きベクトル検出部１１１は、ブロック化回路１２２より順次出力される画素ブロックの複数の画素データを、次のフレームで探索フレームの画素データとして用いるために格納しておくフレームメモリ１２３と、ブロック化回路１２２より順次出力される画素ブロックの複数の画素データを参照ブロックの画素データとして入力し、各参照ブロックに対応した探索範囲の複数の画素データをフレームメモリ１２３から読み出して入力し、各参照ブロックに係る動きベクトルＭＶを求める動きベクトル検出回路１２４とを有している。
【００４５】
図２に示す動きベクトル検出部１１１の動作を説明する。入力される参照フレームの画像データＤｉはブロック化回路１２２に入力される。このブロック化回路１２２では、画像データＤｉが、４画素×４画素のサイズで順次ブロック化される。
【００４６】
このブロック化回路１２２より順次出力される画素ブロックの複数の画素データは、フレームメモリ１２３に供給され、次のフレームで探索フレームの画素データとして用いるために格納される。
【００４７】
また、ブロック化回路１２２より順次出力される画素ブロックの複数の画素データは動きベクトル検出回路１２４に参照ブロックの画素データとして入力される。また、この動きベクトル検出回路１２４には、各参照ブロックの画素データの入力に合わせて、それぞれ対応した探索範囲の複数の画素データがフレームメモリ１２３から読み出されて入力される。そして、動きベクトル検出回路１２４では、それぞれの参照ブロック毎に、ブロックマッチング処理が行われ、動きベクトルＭＶが生成される。
【００４８】
次に、動きベクトル検出回路１２４の詳細を説明する。図３は、動きベクトル検出回路１２４の構成を示している。
この動きベクトル検出回路１２４は、第１のメモリバンク１５０と第２のメモリバンク１７０とから構成されている。
【００４９】
第２のメモリバンク１７０について説明する。この第２のメモリバンク１７０は、バンク内の各回路の動作を制御入力に基づいて制御する制御回路１７１と、複数のメモリセルがマトリックス状に配されたメモリセルアレイ１７２と、記憶データ入力用のデータバッファ１７３と、ロウアドレスデコーダ１７４とを有している。
【００５０】
メモリセルアレイ１７２を構成するメモリセルＭＣは、例えばＤＲＡＭセルである。図４はＤＲＡＭセルの一例の構成を示している。
【００５１】
キャパシタＣ１，Ｃ２が直列に接続され、互いの中点ＰにはＶcc／２（Ｖccは電源電圧）が与えられている。キャパシタＣ１の中点とは反対側が記憶ノードＮ１とされ、この記憶ノードＮ１はワード線ＷＬにゲートが接続されたアクセストランジスタＱ７を介してビット線ＢＬに接続されている。また、キャパシタＣ２の中点とは反対側が記憶ノードＮ２とされ、この記憶ノードＮ２はワード線ＷＬにゲートが接続されたアクセストランジスタＱ８を介してビット線／ＢＬ（／ＢＬはＢＬバーを表している）に接続されている。
【００５２】
このような構成のＤＲＡＭセルにおいて、一対のキャパシタＣ１，Ｃ２で構成されるメモリセル部１４に“１”または“０”のデータが記憶される。そして、このメモリセル部１４とビット線ＢＬ，／ＢＬとの間で、アクセストランジスタＱ７，Ｑ８を介して、読み出しおよび書き込みのデータ転送が行われる。
【００５３】
図３に戻って、メモリセルアレイ１７２には、カラム方向に延びると共にロウ方向に配列された各ワード線ＷＬに対応したメモリセルＭＣの並びに、それぞれ、探索フレームの探索範囲に対応して水平方向に並ぶ第１の行の各画素ブロックの複数の画素データが格納される。
【００５４】
本実施の形態において、探索範囲は参照ブロックに対応した画素ブロックを中心とした３画素ブロック×３画素ブロックとされる。その場合、メモリセルアレイ１７２の連続する３本のワード線に対応したメモリセルＭＣの並びに、それぞれ、２番目の行の水平方向に並ぶ３画素ブロックの複数の画素データが格納される。
【００５５】
このようにメモリセルアレイ１７２の各ワード線に対応したメモリセルＭＣの並びに１画素ブロック分の複数の画素データが格納されるものである。そこで、本実施の形態において、メモリセルアレイ１７２のカラム方向には、１画素ブロック分の複数の画素データを格納するために必要なだけの個数のメモリセルＭＣが配列されている。
【００５６】
このメモリセルアレイ１７２の各ワード線に対応したメモリセルＭＣの並びに格納される探索範囲の画素ブロックの複数の画素データは、上述したフレームメモリ１２３（図２参照）から読み出されてデータバッファ１７３に一時的に格納される。そして、このデータバッファ１７３に１画素ブロック分の複数の画素データが揃った後に、この１画素ブロック分の複数の画素データを構成する各ビット信号が後述するセンスアンプを介してメモリセルアレイ１７２の各ビット線ＢＬ，／ＢＬに供給される。
【００５７】
この状態で、メモリセルアレイ１７２の所定のワード線が活性化されると、当該所定のワード線に対応したメモリセルＭＣの並びに、１画素ブロック分の複数の画素データが同時に記憶される。このように、メモリセルアレイ１７２には、画素ブロック単位で画素データの書き込みを行うことができ、画素データの書き込みを効率よく行うことができる。
【００５８】
また、ロウアドレスデコーダ１７４には、アドレスバッファ１７４ａを介してロウアドレスが入力される。ロウアドレスデコーダ１７４は、アドレスバッファ１７４ａを介して供給されるロウアドレスに対応して、メモリセルアレイ１７２の所定のワード線を活性化し、当該所定のワード線に対応したメモリセルＭＣの並びに、記憶データの書き込み、読み出しが可能となるようにする。
【００５９】
また、第２のメモリバンク１７０は、メモリセルアレイ１７２より活性化された所定のワード線に対応して読み出される所定画素ブロックの複数の画素データの各ビット信号を増幅するセンスアンプ１７５と、このセンスアンプ１７５より出力される複数の画素データを格納するデータバッファ１７７と、センスアンプ１７５とデータバッファ１７７との間に挿入され、センスアンプ１７５より出力される複数の画素データのそれぞれをデータバッファ１７７に選択的に取り込むためのスイッチ１７６とを有している。
【００６０】
メモリセルアレイ１７２より活性化された所定のワード線に対応して読み出される１画素ブロックの複数の画素データを構成する全ビット信号の数をｎとするとき、センスアンプ１７５はｎ個のアンプ部からなっており、スイッチ１７６はｎ個のスイッチ部１７６-1〜１７６-nからなっており、データバッファ１７７はｎ個の記憶部からなっている。
【００６１】
この場合、メモリセルアレイ１７２より活性化された所定のワード線に対応して所定画素ブロックの複数の画素データが読み出されるとき、この複数の画素データの各ビット信号が増幅されてセンスアンプ１７５の出力側に得られた状態となる。この状態で、スイッチ１７６の所定のスイッチ部をオンとすることで、当該所定のスイッチ部に対応したセンスアンプ１７５のアンプ部の出力ビット信号を、当該所定のスイッチ部に対応したデータバッファ１７７の記憶部に取り込むことができる。
【００６２】
そのため、ある画素ブロックの複数の画素データのみがデータバッファ１７７に取り込まれた状態から、この画素ブロックに対して水平方向に隣接する画素ブロックの複数の画素データのみがデータバッファ１７７に取り込まれた状態となるまでの各段階の状態を、以下のようにメモリセルアレイ１７２への２回のアクセスのみで達成できる。
【００６３】
まず、あるワード線を活性化してある画素ブロックの複数の画素データを読み出し、これをセンスアンプ１７５およびスイッチ１７６を介してデータバッファ１７７に取り込む。次に、隣接するワード線を活性化させて水平方向に隣接する画素ブロックの複数の画素データを読み出し、この複数の画素データがセンスアンプ１７５の出力側に得られた状態とする。この状態で、スイッチ１７６のスイッチ部１７６-1〜１７６-nを選択的にオンとして、センスアンプ１７５の出力側に得られた複数の画素データをデータバッファ１７７に順次取り込んでいく。
【００６４】
なお、スイッチ１７６およびデータバッファ１７７は、例えば図５に示すように、Ｄフリップフロップ１７８-1〜１７８-nを用いて構成される。これらＤフリップフロップ１７８-1〜１７８-nのクロック端子には制御回路１７１からスイッチ制御信号ＳＷＣが供給される。
【００６５】
第１のメモリバンク１５０について説明する。この第１のメモリバンク１５０は、バンク内の各回路の動作を制御入力に基づいて制御する制御回路１５１と、複数のメモリセルがマトリックス状に配されたメモリセルアレイ１５２と、記憶データ入力用のデータバッファ１５３と、ロウアドレスデコーダ１５４とを有している。
【００６６】
メモリセルアレイ１５２を構成するメモリセルＭＣは、上述の第２のメモリバンク１７０を構成するメモリセルＭＣと同様に、例えばＤＲＡＭセルである。このメモリセルアレイ１５２には、カラム方向に延びると共にロウ方向に配列された各ワード線ＷＬに対応したメモリセルＭＣの並びに、それぞれ、探索フレームの探索範囲に対応して水平方向に並ぶ第２の行の各画素ブロックの複数の画素データが格納される。この第２の行の各画素ブロックは、上述の第２のメモリバンク１７０におけるメモリセルアレイ１７２の部分で説明した第１の行に隣接した行である。
【００６７】
本実施の形態において、上述したように探索範囲は参照ブロックに対応した画素ブロックを中心とした３画素ブロック×３画素ブロックとされる。その場合、メモリセルアレイ１５２の連続する３本のワード線に対応したメモリセルＭＣの並びに、それぞれ、１番目または３番目の行の水平方向に並ぶ３画素ブロックの複数の画素データが格納される。
【００６８】
この場合、最初は、第１のメモリバンク１５０のメモリセルアレイ１５２には１番目の行の水平方向に並ぶ３画素ブロックの複数の画素データを格納し、上述したように第２のメモリバンク１７０のメモリセルアレイ１７２には２番目の行の水平方向に並ぶ３画素ブロックの複数の画素データを格納する。そして、メモリセルアレイ１５２，１７２に格納されている１番目および２番目の行の６個の画素ブロックの画素データを用いた候補ブロックを順次生成していく。
【００６９】
次に、第１のメモリバンク１５０のメモリセルアレイ１５２には３番目の行の水平方向に並ぶ３画素ブロックの複数の画素データを格納する。そして、メモリセルアレイ１５２，１７２に格納されている３番目および２番目の行の６個の画素ブロックの画素データを用いた候補ブロックを順次生成していく。これにより、探索フレームの探索範囲内における全ての候補ブロックが順次生成される。
【００７０】
上述したようにメモリセルアレイ１５２の各ワード線に対応したメモリセルＭＣの並びに１画素ブロック分の複数の画素データが格納されるものである。そこで、本実施の形態において、メモリセルアレイ１５２のカラム方向には、上述した第２のメモリバンク１７０のメモリセルアレイ１７２と同様に、１画素ブロック分の複数の画素データを格納するために必要なだけの個数のメモリセルＭＣが配列されている。
【００７１】
このメモリセルアレイ１５２の各ワード線に対応したメモリセルＭＣの並びに格納される探索範囲の画素ブロックの複数の画素データは、上述したフレームメモリ１２３（図２参照）から読み出されてデータバッファ１５３に一時的に格納される。そして、このデータバッファ１５３に１画素ブロック分の複数の画素データが揃った後に、この１画素ブロック分の複数の画素データを構成する各ビット信号が後述するセンスアンプを介してメモリセルアレイ１５２の各ビット線ＢＬ，／ＢＬに供給される。
【００７２】
この状態で、メモリセルアレイ１５２の所定のワード線が活性化されると、当該所定のワード線に対応したメモリセルＭＣの並びに、１画素ブロック分の複数の画素データが同時に記憶される。このように、メモリセルアレイ１５２には、画素ブロック単位で画素データの書き込みを行うことができ、画素データの書き込みを効率よく行うことができる。
【００７３】
また、ロウアドレスデコーダ１５４には、アドレスバッファ１５４ａを介してロウアドレスが入力される。ロウアドレスデコーダ１５４は、アドレスバッファ１５４ａを介して供給されるロウアドレスに対応して、メモリセルアレイ１５２の所定のワード線を活性化し、当該所定のワード線に対応したメモリセルＭＣの並びに、記憶データの書き込み、読み出しが可能となるようにする。
【００７４】
また、第１のメモリバンク１５０は、メモリセルアレイ１５２より活性化された所定のワード線に対応して読み出される所定画素ブロックの複数の画素データの各ビット信号を増幅するセンスアンプ１５５と、このセンスアンプ１５５より出力される複数の画素データを格納するデータバッファ１５７と、センスアンプ１５５とデータバッファ１５７との間に挿入され、センスアンプ１５５より出力される複数の画素データのそれぞれをデータバッファ１５７に選択的に取り込むためのスイッチ１５６とを有している。
【００７５】
メモリセルアレイ１５２より活性化された所定のワード線に対応して読み出される１画素ブロックの複数の画素データを構成する全ビット信号の数をｎとするとき、センスアンプ１５５はｎ個のアンプ部からなっており、スイッチ１５６はｎ個のスイッチ部１５６-1〜１５６-nからなっており、データバッファ１５７はｎ個の記憶部からなっている。
【００７６】
この場合、メモリセルアレイ１５２より活性化された所定のワード線に対応して所定画素ブロックの複数の画素データが読み出されるとき、この複数の画素データの各ビット信号が増幅されてセンスアンプ１５５の出力側に得られた状態となる。この状態で、スイッチ１５６の所定のスイッチ部をオンとすることで、当該所定のスイッチ部に対応したセンスアンプ１５５のアンプ部の出力ビット信号を、当該所定のスイッチ部に対応したデータバッファ１５７の記憶部に取り込むことができる。
【００７７】
そのため、ある画素ブロックの複数の画素データのみがデータバッファ１７７に取り込まれた状態から、この画素ブロックに対して水平方向に隣接する画素ブロックの複数の画素データのみがデータバッファ１５７に取り込まれた状態となるまでの各段階の状態を、以下のようにメモリセルアレイ１５２への２回のアクセスのみで達成できる。
【００７８】
まず、あるワード線を活性化してある画素ブロックの複数の画素データを読み出し、これをセンスアンプ１５５およびスイッチ１５６を介してデータバッファ１５７に取り込む。次に、隣接するワード線を活性化させて水平方向に隣接する画素ブロックの複数の画素データを読み出し、この複数の画素データがセンスアンプ１５５の出力側に得られた状態とする。この状態で、スイッチ１５６のスイッチ部１５６-1〜１５６-nを選択的にオンとして、センスアンプ１５５の出力側に得られた複数の画素データをデータバッファ１５７に順次取り込んでいく。
【００７９】
なお、スイッチ１５６およびデータバッファ１５７は、上述の第２のメモリバンク１７０のスイッチ１７６およびデータバッファ１７７と同様に、Ｄフリップフロップを用いて構成される（図５参照）。
【００８０】
また、第１のメモリバンク１５０は、データバッファ１５７に格納された複数の画素データおよび上述の第２のメモリバンク１７０のデータバッファ１７７に格納された複数の画素データに基づいて、候補ブロックを構成する複数の画素データを取り出すセレクタ１５８を有している。このセレクタ１５８には、制御回路１５１より選択制御信号ＳＥＬが供給される。
【００８１】
この場合、候補ブロックを構成する複数の画素データが、１つの画素ブロックあるいは水平方向に隣接する２つの画素ブロックの画素データからなる場合には、第１のメモリバンク１５０のデータバッファ１５７に格納された複数の画素データのみ、あるいは第２のメモリバンク１７０のデータバッファ１７７に格納された複数の画素データのみを用いて、候補ブロックを構成する複数の画素データが取り出される。
【００８２】
一方、候補ブロックを構成する複数の画素データが、垂直方向に隣接する２つの画素ブロックあるいは水平垂直に隣接する４つの画素ブロックの画素データからなる場合には、第１のメモリバンク１５０のデータバッファ１５７に格納された複数の画素データおよび第２のメモリバンク１７０のデータバッファ１７７に格納された複数の画素データを用いて、候補ブロックを構成する複数の画素データが取り出される。
【００８３】
また、第１のメモリバンク１５０は、参照ブロックの画素データ入力用のデータバッファ１５９とを有している。上述したブロック化回路１２２（図２参照）より順次出力される各画素ブロックの複数の画素データは、それぞれ参照ブロックの複数の画素データとして、データバッファ１５９に一時的に格納される。
【００８４】
また、第１のメモリバンク１５０は、マッチング回路１６０を有している。このマッチング回路１６０は、データバッファ１５９に格納された所定の参照ブロックの複数の画素データと、この所定の参照ブロックに対応してセレクタ１５８より順次取り出される所定個数、本実施の形態においては８１個の候補ブロックの複数の画素データに基づいて、ブロックマッチング処理により、当該所定の参照ブロックに係る動きベクトルＭＶを求める。
【００８５】
この場合、参照ブロックを構成する複数の画素データ（４画素×４画素）と候補ブロックを構成する複数の画素データ（４画素×４画素）とから、それぞれ対応する位置にある画素データの差分絶対値を求め、差分絶対値の和をこの候補ブロックについての差分絶対値和とする。８１個の候補ブロックの全てについて、参照ブロックとの差分絶対値和を計算する。こうして求めた差分絶対値和の中で最も小さな値を提供する候補ブロックの参照ブロックに対する相対位置を、当該参照ブロックの動きベクトルＭＶとする。
【００８６】
次に、図３に示す動きベクトル検出回路１２４の動作を説明する。参照フレームの所定の参照ブロック（以下、「注目参照ブロック」という）の動きベクトルＭＶを得る場合について説明する。
この場合、図６に示すように、探索フレームの探索範囲として、注目参照ブロックに対応した画素ブロックを中心とした３画素ブロック×３画素ブロックの範囲が決定される。
【００８７】
そこでまず、第１のメモリバンク１５０のメモリセルアレイ１５２には、１番目の行の水平方向に並ぶ３画素ブロック（画素ブロック１〜３）の複数の画素データが格納される。
【００８８】
この場合、画素ブロック１の複数の画素データはフレームメモリ１２３（図２参照）から読み出されてデータバッファ１５３に一時的に格納される。そして、この画素ブロック１の複数の画素データを構成する各ビット信号はセンスアンプ１５５を介してメモリセルアレイ１５２の各ビット線ＢＬ，／ＢＬに供給される。この状態で、メモリセルアレイ１５２のワード線ＷＬiが活性化され、このワード線ＷＬiに対応したメモリセルＭＣの並びに、画素ブロック１の複数の画素データが同時に書き込まれる。画素ブロック２，３のそれぞれの複数の画素データも、同様にして、メモリセルアレイ１５２のワード線ＷＬi+1，ＷＬi+2にそれぞれ対応したメモリセルＭＣの並びに同時に書き込まれる。
【００８９】
また、第２のメモリバンク１７０のメモリセルアレイ１７２には、２番目の行の水平方向に並ぶ３画素ブロック（画素ブロック４〜６）の複数の画素データが格納される。
【００９０】
この場合、画素ブロック４の複数の画素データはフレームメモリ１２３（図２参照）から読み出されてデータバッファ１７３に一時的に格納される。そして、この画素ブロック４の複数の画素データを構成する各ビット信号はセンスアンプ１７５を介してメモリセルアレイ１７２の各ビット線ＢＬ，／ＢＬに供給される。この状態で、メモリセルアレイ１７２のワード線ＷＬiが活性化され、このワード線ＷＬiに対応したメモリセルＭＣの並びに、画素ブロック４の複数の画素データが同時に書き込まれる。画素ブロック５，６のそれぞれの複数の画素データも、同様にして、メモリセルアレイ１７２のワード線ＷＬi+1，ＷＬi+2にそれぞれ対応したメモリセルＭＣの並びに同時に書き込まれる。
【００９１】
次に、このようにメモリセルアレイ１５２，１７２に６画素ブロック分の画素データが格納された状態で、図７Ｂに示すように、メモリセルアレイ１５２のワード線ＷＬiが活性化されて、このワード線ＷＬi対応したメモリセルＭＣの並びに格納されていた画素ブロック１の複数の画素データが同時に読み出される。
【００９２】
この画素ブロック１の複数の画素データの各ビット信号はセンスアンプ１５５で増幅されて、このセンスアンプ１５５の出力側に得られる。この状態で、スイッチ１５６の各スイッチ部を全てオンとすると、センスアンプ１５５の出力側に得られていた画素ブロック１の複数の画素データの全部が、データバッファ１５７に取り込まれる。
【００９３】
このように、データバッファ１５７に格納された画素ブロック１の複数の画素データは、図７Ａに示すように、探索範囲内の候補ブロック１の複数の画素データとして、セレクタ１５８で取り出されてマッチング回路１６０に供給される。マッチング回路１６０には、データバッファ１５９を介して注目参照ブロックの複数の画素データＤＴが供給される。マッチング回路１６０では、注目参照ブロックを構成する複数の画素データ（４画素×４画素）と候補ブロック１を構成する複数の画素データ（４画素×４画素）とを用いて、それぞれ対応する位置にある画素データの差分絶対値が求められ、各差分絶対値の和が取られて当該候補ブロック１の差分絶対値和が求められる。
【００９４】
次に、図８Ｂに示すように、メモリセルアレイ１５２のワード線ＷＬi+1が活性化されて、このワード線ＷＬi+1に対応したメモリセルＭＣの並びに格納されていた画素ブロック２の複数の画素データが同時に読み出される。
【００９５】
この画素ブロック２の複数の画素データの各ビット信号はセンスアンプ１５５で増幅されて、このセンスアンプ１５５の出力側に得られる。この状態で、スイッチ１５６の各スイッチ部のうち、左端から１列目の４画素に対応した全てのスイッチ部がオンとされる。これにより、センスアンプ１５５の出力側に得られていた画素ブロック２の左端から１列目の４画素の画素データが、データバッファ１５７に新たに取り込まれる。
【００９６】
これにより、データバッファ１５７に格納されている１画素ブロック分の画素データは、図８Ａに示すように、候補ブロック１に対して右方向に１画素ずれた位置にある候補ブロック２を構成する複数の画素データとなる。この候補ブロック２を構成する複数の画素データは、セレクタ１５８で取り出されてマッチング回路１６０に供給される。そして、マッチング回路１６０では、上述した候補ブロック１の場合と同様にして、当該候補ブロック２の差分絶対値和が求められる。
【００９７】
次に、スイッチ１５６の各スイッチ部のうち、左端から２列目の４画素に対応した全てのスイッチ部がオンとされる。これにより、図９Ｂに示すように、センスアンプ１５５の出力側に得られていた画素ブロック２の左端から２列目の４画素の画素データが、データバッファ１５７に新たに取り込まれる。これにより、データバッファ１５７に格納されている１画素ブロック分の画素データは、図９Ａに示すように、候補ブロック１に対して右方向に２画素ずれた位置にある候補ブロック３を構成する複数の画素データとなる。この候補ブロック３を構成する複数の画素データは、セレクタ１５８で取り出されてマッチング回路１６０に供給される。そして、マッチング回路１６０では、上述した候補ブロック１の場合と同様にして、当該候補ブロック３の差分絶対値和が求められる。
【００９８】
次に、スイッチ１５６の各スイッチ部のうち、左端から３列目の４画素に対応した全てのスイッチ部がオンとされる。これにより、センスアンプ１５５の出力側に得られていた画素ブロック２の左端から３列目の４画素の画素データが、データバッファ１５７に新たに取り込まれる。これにより、データバッファ１５７に格納されている１画素ブロック分の画素データは、候補ブロック１に対して右方向に３画素ずれた位置にある候補ブロック４（図示せず）を構成する複数の画素データとなる。この候補ブロック４を構成する複数の画素データは、セレクタ１５８で取り出されてマッチング回路１６０に供給される。そして、マッチング回路１６０では、上述した候補ブロック１の場合と同様にして、当該候補ブロック４の差分絶対値和が求められる。
【００９９】
次に、スイッチ１５６の各スイッチ部のうち、左端から４列目の４画素に対応した全てのスイッチ部がオンとされる。これにより、図１０Ｂに示すように、センスアンプ１５５の出力側に得られていた画素ブロック２の左端から４列目の４画素の画素データが、データバッファ１５７に新たに取り込まれる。これにより、データバッファ１５７に格納されている１画素ブロック分の画素データは、画素ブロック２の複数の画素データそのものとなる。
【０１００】
このように、データバッファ１５７に格納された画素ブロック２の複数の画素データは、図１０Ａに示すように、候補ブロック１に対して右方向に４画素ずれた位置にある候補ブロック５の複数の画素データとして、セレクタ１５８で取り出されてマッチング回路１６０に供給される。マッチング回路１６０では、上述した候補ブロック１の場合と同様にして、当該候補ブロック５の差分絶対値和が求められる。
【０１０１】
次に、図１１Ｂに示すように、メモリセルアレイ１５２のワード線ＷＬi+2が活性化されて、このワード線ＷＬi+2に対応したメモリセルＭＣの並びに格納されていた画素ブロック３の複数の画素データが同時に読み出される。
【０１０２】
この画素ブロック３の複数の画素データの各ビット信号はセンスアンプ１５５で増幅されて、このセンスアンプ１５５の出力側に得られる。この状態で、スイッチ１５６の各スイッチ部のうち、左端から１列目の４画素に対応した全てのスイッチ部がオンとされる。これにより、センスアンプ１５５の出力側に得られていた画素ブロック３の左端から１列目の４画素の画素データが、データバッファ１５７に新たに取り込まれる。
【０１０３】
これにより、データバッファ１５７に格納されている１画素ブロック分の画素データは、図１１Ａに示すように、候補ブロック１に対して右方向に５画素ずれた位置にある候補ブロック６を構成する複数の画素データとなる。この候補ブロック６を構成する複数の画素データは、セレクタ１５８で取り出されてマッチング回路１６０に供給される。そして、マッチング回路１６０では、上述した候補ブロック１の場合と同様にして、当該候補ブロック６の差分絶対値和が求められる。
【０１０４】
以下、上述した候補ブロック３〜５の場合と同様にして、スイッチ１５６の各スイッチ部が選択的にオンとされていき、データバッファ１５７には、候補ブロック１に対して右方向に６画素ずれた位置にある候補ブロック７、候補ブロック１に対して右方向に７画素ずれた位置にある候補ブロック８、さらには候補ブロック１に対して右方向に８画素ずれた位置（画素ブロック３と同じ位置）にある候補ブロック９を構成する複数の画素データが格納された状態が得られる。そして、マッチング回路１６０では、それぞれ候補ブロック７〜９の差分絶対値和が求められる。
【０１０５】
次に、図１２Ｂに示すように、第２のメモリバンク１７０のメモリセルアレイ１７２のワード線ＷＬi+2が活性化されて、このワード線ＷＬi+2に対応したメモリセルＭＣの並びに格納されていた画素ブロック６の複数の画素データが同時に読み出される。
【０１０６】
この画素ブロック６の複数の画素データの各ビット信号はセンスアンプ１７５で増幅されて、このセンスアンプ１５５の出力側に得られる。この状態で、スイッチ１７６の各スイッチ部を全てオンとすると、センスアンプ１７５の出力側に得られていた画素ブロック６の複数の画素データの全部が、データバッファ１７７に取り込まれる。
【０１０７】
このようにデータバッファ１７７に格納された画素ブロック６の複数の画素データは、第１のメモリバンク１５０のセレクタ１５８に供給される。このセレクタ１５８には、データバッファ１５７に格納された画素ブロック３の複数の画素データも供給されている。
【０１０８】
この状態で、セレクタ１５８では、画素ブロック３の上端から２〜４行目の１２画素の画素データが取り出されると共に、画素ブロック６の上端から１行目の４画素の画素データが取り出される。このようにセレクタ１５８で取り出される１画素ブロック分の画素データは、図１２Ａに示すように、候補ブロック９（画素ブロック３）に対して下方向に１画素ずれた位置にある候補ブロック１０を構成する複数の画素データとなる。
【０１０９】
この候補ブロック１０を構成する複数の画素データは、マッチング回路１６０に供給される。マッチング回路１６０では、上述した候補ブロック１の場合と同様にして、当該候補ブロック１０の差分絶対値和が求められる。
【０１１０】
以下、図示せずも、第１のメモリバンク１５０は、順に、画素ブロック３に対して左方向に１画素〜８画素ずれた位置の画素ブロックの複数の画素データがデータバッファ１５７に格納された状態とされる。またこれに伴って、第２のメモリバンク１７０は、順に、画素ブロック６に対して左方向に１画素〜８画素ずれた位置の画素ブロックの複数の画素データがデータバッファ１７７に格納された状態とされる。
【０１１１】
そして、セレクタ１５８では、データバッファ１５７，１７７にそれぞれ対応して格納された各２画素ブロックの複数の画素データから、上述の候補ブロック１０に対して左方向に１画素〜８画素ずれた位置の候補ブロック１１〜１８を構成する複数の画素データが順次取り出される。そして、マッチング回路１６０では、それら候補ブロック１１〜１８の差分絶対値和が順次求められる。
【０１１２】
以下、上述したと同様の動作により、第１のメモリバンク１５０のセレクタ１５８より、上述した候補ブロック１〜９に対して、それぞれ下方向に２画素ずれた候補ブロック１９〜２７、それぞれ下方向に３画素ずれた候補ブロック３６〜２８、それぞれ下方向に４画素ずれた候補ブロック３７〜４５を構成する複数の画素データが順次取り出され、マッチング回路１６０では、それら候補ブロック１９〜４５の差分絶対値和が順次求められる。
【０１１３】
次に、セレクタ１５８より、上述した候補ブロック１〜９に対して、それぞれ下方向に５画素ずれた候補ブロック５４〜４６、それぞれ下方向に６画素ずれた候補ブロック５５〜６３、それぞれ下方向に７画素ずれた候補ブロック７２〜６４、それぞれ下方向に８画素ずれた候補ブロック７３〜８１を構成する複数の画素データを取り出す必要がある。
【０１１４】
そのために、第１のメモリバンク１５０のメモリセルアレイ１５２には、１番目の行の水平方向に並ぶ３画素ブロック（画素ブロック１〜３）の複数の画素データの代わりに、３番目の行の水平方向に並ぶ３画素ブロック（画素ブロック７〜９）の複数の画素データが格納される。そして、以下は、上述したと同様の動作により、第１のメモリバンク１５０のセレクタ１５８より、候補ブロック４６〜８１を構成する複数の画素データが順次取り出され、マッチング回路１６０では、それら候補ブロック４６〜８１の差分絶対値和が順次求められる。
【０１１５】
このように、第１のメモリバンク１５０のマッチング回路１６０では、上述したように、注目参照ブロックに対応した８１個の候補ブロック１〜８１の差分絶対値和が順次求められる。そして、このマッチング回路１６０は、それらの差分絶対値和の中で最も小さな値を提供する候補ブロックの参照ブロックに対する相対位置を、当該注目参照ブロックの動きベクトルＭＶとして出力する。
【０１１６】
以上説明したように本実施の形態においては、第１のメモリバンク１５０および第２のメモリバンク１７０において、ある画素ブロックの複数の画素データのみがデータバッファ１５７，１７７に取り込まれた状態から、この画素ブロックに対して水平方向に隣接する画素ブロックの複数の画素データのみがデータバッファ１５７，１７７に取り込まれた状態となるまでの各段階の状態、例えば候補ブロック１〜候補ブロック５を構成する複数の画素データをデータバッファ１５７に得る状態（図７〜図１０参照）は、あるワード線を活性化してある画素ブロックの複数の画素データを読み出し、これをデータバッファ１５７，１７７に取り込んだ後、隣接するワード線を活性化させて水平方向に隣接する画素ブロックの複数の画素データを読み出し、この複数の画素データをスイッチ１５６，１７６を用いてデータバッファ１５７，１７７に順次取り込んでいくことのみで実現される。したがって、メモリセルアレイ１５２，１７２へのアクセス回数を少なくでき、動きベクトルＭＶを求めるための処理時間の短縮化を図ることができる。
【０１１７】
また、本実施の形態においては、メモリセルアレイ１５２，１７２に、カラム方向に延びるとともにロウ方向に配列された各ワード線に対応したメモリセルＭＣの並びに、それぞれ、探索フレームの探索範囲内に水平方向に並ぶ各画素ブロックの複数の画素データを格納するものである。したがって、各画素ブロックの複数の画素データを、対応する１本のワード線ＷＬを活性化するのみで、容易に書き込みおよび読み出しを行うことができる。
【０１１８】
なお、上述実施の形態においては、動きベクトル検出回路１２４が、図３に示すように第１のメモリバンク１５０および第２のメモリバンク１７０により構成されるものを示したが、さらに多くのメモリバンクを使用して構成することもできる。例えば、さらに第３のメモリバンクを設け、この第３のメモリバンクの構成は第２のメモリバンク１７０の構成と同様とし、そのメモリセルアレイに、探索範囲の３番目の行の水平方向に並ぶ３画素ブロック（画素ブロック７〜９）の複数の画素データを格納し、そのデータバッファに得られる１画素ブロックの複数の画素データを第１のメモリバンク１５０のセレクタ１５８に供給するように構成すればよい。
【０１１９】
また、上述実施の形態においては、画素ブロックの大きさが４画素×４画素であって、探索範囲が参照ブロックに対応する画素ブロックを中心とする３画素ブロック×３画素ブロックの範囲としたものであるが、この発明の適用はこれに限定されるものではない。
【０１２０】
また、上述実施の形態においては、この発明のメモリブロックを動き検出回路１２４に適用したものであるが、ある複数のデータのみが得られた状態から他の複数のデータのみが得られた状態となるまでの各段階の状態を得る必要があるその他の回路にも同様に適用できることは勿論である。
【０１２１】
また、上述実施の形態においては、画素データを取り扱うものを示したが、オーディオデータ等のその他のデータを取り扱うものにも、この発明のメモリブロックを適用することができる。
【０１２２】
【発明の効果】
この発明によれば、第１のメモリバンクでは、探索フレームの探索範囲に対応して水平方向に並ぶ第１の行の各画素ブロックの複数の画素データを格納するメモリセルアレイより活性化された所定ワード線に対応して読み出される所定画素ブロックの複数の画素データをセンスアンプおよびスイッチを介してデータバッファに選択的に取り込み、このデータバッファに格納された複数の画素データに基づいて、候補ブロックを構成する複数の画素データを取り出し、順次取り出された候補ブロックの複数の画素データおよび参照フレームの参照ブロックの複数の画素データに基づいて、ブロックマッチング処理により参照ブロックに係る動きベクトルを求めるものである。したがって、この発明によれば、メモリセルアレイへのアクセス回数を大幅に減らすことができ、動きベクトルを求めるための処理時間の短縮化を図ることができる。
【図面の簡単な説明】
【図１】実施の形態としての動き補償予測符号化装置の構成を示すブロック図である。
【図２】動きベクトル検出部の構成を示すブロック図である。
【図３】動きベクトル検出回路１２４の構成を示すブロック図である。
【図４】ＤＲＡＭセルの構成の一例を示す図である。
【図５】スイッチとデータバッファの実際の構成を説明するための図である。
【図６】第１、第２のメモリバンクのメモリセルアレイへの書き込みを説明するための図である。
【図７】候補ブロックの生成動作を説明するための図である。
【図８】候補ブロックの生成動作を説明するための図である。
【図９】候補ブロックの生成動作を説明するための図である。
【図１０】候補ブロックの生成動作を説明するための図である。
【図１１】候補ブロックの生成動作を説明するための図である。
【図１２】候補ブロックの生成動作を説明するための図である。
【図１３】動き検出のためのブロックマッチング法を説明するための図である。
【符号の説明】
１００・・・動き補償予測符号化装置、１１１・・・動きベクトル検出部、１２１・・・制御部、１２２・・・ブロック化回路、１２３・・・フレームメモリ、１２４・・・動きベクトル検出回路、１５０・・・第１のメモリバンク、１５１，１７１・・・制御回路、１５２，１７２・・・メモリセルアレイ、１５３，１７３・・・記憶データ入力用のデータバッファ、１５４，１７４・・・ロウアドレスデコーダ、１５５，１７５・・・センスアンプ、１５６，１７６・・・スイッチ、１５７，１７７・・・データバッファ、１５８・・・セレクタ、１５９・・・参照ブロックの画素データ入力用のデータバッファ、１６０・・・マッチング回路、１７０・・・第２のメモリバンク
Claims (5)
- 少なくとも第１のメモリバンクを備え、
上記第１のメモリバンクは、
カラム方向に延びると共にロウ方向に配列された各ワード線に対応したメモリセルの並びに、探索フレームの探索範囲に対応して水平方向に並ぶ、第１の行の各画素ブロックの複数の画素データを格納するメモリセルアレイと、
上記メモリセルアレイより活性化されたワード線に対応して読み出される所定画素ブロックの複数の画素データの各ビット信号を増幅するセンスアンプと、
上記センスアンプより出力される複数の画素データを格納するデータバッファと、
上記センスアンプと上記データバッファとの間に挿入され、上記センスアンプより出力される複数の画素データのそれぞれを上記データバッファに選択的に取り込むためのスイッチと、
上記探索範囲から候補ブロックを選択し、上記候補ブロックを構成する画素データを含む上記第１の行の画素ブロックに対応するワード線を活性化するとともに、活性化されたワード線に対応する画素ブロックを構成する画素データのうち上記候補ブロックを構成する画素データを上記データバッファに取り込むように上記スイッチのオンオフ動作を制御する制御回路と、
上記制御回路により順次選択される上記候補ブロックの複数の画素データおよび入力される参照フレームの参照ブロックの複数の画素データに基づいたブロックマッチング処理により、上記参照ブロックに最もマッチする上記候補ブロックの、上記参照ブロックに対する相対位置に基づいて、動きベクトルを求めるマッチング回路とを有する
ことを特徴とする動きベクトル検出回路。 - 第２のメモリバンクをさらに備え、
上記第２のメモリバンクは、
カラム方向に延びると共にロウ方向に配列された各ワード線に対応したメモリセルの並びに、探索フレームの探索範囲に対応して水平方向に並ぶ、上記第１の行に隣接する第２の行の各画素ブロックの複数の画素データを格納するメモリセルアレイと、
上記メモリセルアレイより活性化されたワード線に対応して読み出される所定画素ブロックの複数の画素データの各ビット信号を増幅するセンスアンプと、
上記センスアンプより出力される複数の画素データを格納するデータバッファと、
上記センスアンプと上記データバッファとの間に挿入され、上記センスアンプより出力される複数の画素データのそれぞれを上記データバッファに選択的に取り込むためのスイッチと、
上記候補ブロックを構成する画素データを含む上記第２の行の画素ブロックに対応するワード線の活性化するとともに、活性化されたワード線に対応する画素ブロックを構成する画素データのうち上記候補ブロックを構成する画素データを上記データバッファに取り込むように上記スイッチのオンオフ動作を制御する制御回路とを有し、
上記第１のメモリバンクは、
上記制御回路により制御され、上記第１のメモリバンクのデータバッファに格納された複数の画素データおよび上記第２のメモリバンクのデータバッファに格納された複数の画素データから、上記候補ブロックを構成する複数の画素データを取り出すセレクタをさらに有し、
上記第１のメモリバンクのマッチング回路は、上記制御回路により制御される上記セレクタにより順次取り出された上記候補ブロックの複数の画素データおよび入力される参照フレームの参照ブロックの複数の画素データに基づいたブロックマッチング処理により動きベクトルを求める
ことを特徴とする請求項１に記載の動きベクトル検出回路。 - 上記第１のメモリバンクのスイッチおよびデータバッファはＤフリップフロップで構成され、上記第２のメモリバンクのスイッチおよびデータバッファはＤフリップフロップで構成される
ことを特徴とする請求項２に記載の動きベクトル検出回路。 - 上記第１のメモリバンクおよび上記第２のメモリバンクにおける上記メモリセルアレイのカラム方向には、１画素ブロック分の複数の画素データを格納するために必要なだけの個数のメモリセルが配列されている
ことを特徴とする請求項２に記載の動きベクトル検出回路。 - 入力される参照フレームの参照ブロックの複数の画素データおよび探索フレームの探索範囲から選択される候補ブロックの複数の画素データに基づいたブロックマッチング処理により動きベクトルを求める動きベクトル検出方法であって、
カラム方向に延びると共にロウ方向に配列された各ワード線に対応したメモリセルの並びに、探索フレームの探索範囲に対応して水平方向に並ぶ、第１の行の各画素ブロックの複数の画素データを格納するステップと、
上記探索範囲から候補ブロックを選択して、該候補ブロックを構成する画素データを含む上記第１の行の画素ブロックに対応するワード線を活性化するとともに、活性化されたワード線に対応する画素ブロックを構成する画素データのうち、上記候補ブロックを構成する画素データをデータバッファに取り込むステップと、
順次選択される上記候補ブロックを構成する上記データバッファに取り込まれた複数の画素データおよび上記参照フレームの参照ブロックの複数の画素データに基づいたブロックマッチング処理により、上記参照ブロックに最もマッチする上記候補ブロックの、上記参照ブロックに対する相対位置に基づいて、動きベクトルを求めるステップを設けた
ことを特徴とする動きベクトル検出方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002128766A JP4003529B2 (ja) | 2002-04-30 | 2002-04-30 | 動きベクトル検出回路と動きベクトル検出方法 |
| US10/425,449 US6901027B2 (en) | 2002-04-30 | 2003-04-29 | Apparatus for processing data, memory bank used therefor, semiconductor device, and method for reading out pixel data |
| US10/979,480 US7072240B2 (en) | 2002-04-30 | 2004-11-02 | Apparatus for processing data, memory bank used therefor, semiconductor device, and memory for reading out pixel data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002128766A JP4003529B2 (ja) | 2002-04-30 | 2002-04-30 | 動きベクトル検出回路と動きベクトル検出方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003324741A JP2003324741A (ja) | 2003-11-14 |
| JP2003324741A5 JP2003324741A5 (ja) | 2005-01-06 |
| JP4003529B2 true JP4003529B2 (ja) | 2007-11-07 |
Family
ID=29542411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002128766A Expired - Fee Related JP4003529B2 (ja) | 2002-04-30 | 2002-04-30 | 動きベクトル検出回路と動きベクトル検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4003529B2 (ja) |
-
2002
- 2002-04-30 JP JP2002128766A patent/JP4003529B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003324741A (ja) | 2003-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7626847B2 (en) | Memory device, motion vector detection device, and detection method | |
| US20090154566A1 (en) | Memory cell circuit, memory device, motion vector detector, and motion compensation predictive encoder | |
| CN101151884A (zh) | 用于图像传感器的具有共享模拟-数字转换器和ram存储器的读出电路 | |
| KR100803188B1 (ko) | 반도체 기억 장치와 이것을 이용한 반도체 집적 회로시스템 및 반도체 기억 장치의 제어 방법 | |
| KR0174774B1 (ko) | 반도체 메모리와 그 사용 방법, 컬럼 디코더 및 화상 프로세서 | |
| KR100653562B1 (ko) | 메모리 디바이스와, 기록 방법 및 판독 방법 | |
| US20070092008A1 (en) | Context-aware frame memory scheme for motion compensation in video decoding | |
| US8064523B2 (en) | Motion vector search apparatus | |
| JP4932273B2 (ja) | 強誘電体キャパシタを用いた演算処理回路および演算方法 | |
| JP4003529B2 (ja) | 動きベクトル検出回路と動きベクトル検出方法 | |
| US7072240B2 (en) | Apparatus for processing data, memory bank used therefor, semiconductor device, and memory for reading out pixel data | |
| JP4165070B2 (ja) | 半導体メモリ装置、動きベクトル検出装置および動き補償予測符号化装置 | |
| JP4122774B2 (ja) | 半導体メモリ装置、動きベクトル検出装置および動き補償予測符号化装置 | |
| JP5261694B2 (ja) | 画像処理用メモリ | |
| JP4536310B2 (ja) | 動きベクトル検出装置および動き補償予測符号化装置 | |
| TWI786857B (zh) | 資料處理裝置 | |
| JP2003208789A5 (ja) | ||
| KR102105644B1 (ko) | Mlc stt-mram에 영상을 저장하는 메모리 제어 장치 및 방법 | |
| US6493277B2 (en) | Data generation circuit and method for data generating | |
| JP4345301B2 (ja) | 動きベクトル検出回路 | |
| JP4689659B2 (ja) | 半導体メモリ及び信号処理装置 | |
| JP3988522B2 (ja) | データ処理装置及び半導体装置 | |
| JP2003257183A (ja) | メモリセル回路、メモリ装置および動きベクトル検出装置 | |
| JP2003289545A (ja) | 半導体装置 | |
| Poikonen et al. | Interconnect-efficient reference data shift for optimized analog motion estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060426 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070403 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070604 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070731 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070813 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100831 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130831 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |