JP4273695B2 - 動きベクトル検出装置 - Google Patents
動きベクトル検出装置 Download PDFInfo
- Publication number
- JP4273695B2 JP4273695B2 JP2002052022A JP2002052022A JP4273695B2 JP 4273695 B2 JP4273695 B2 JP 4273695B2 JP 2002052022 A JP2002052022 A JP 2002052022A JP 2002052022 A JP2002052022 A JP 2002052022A JP 4273695 B2 JP4273695 B2 JP 4273695B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- motion vector
- hierarchy
- memory cell
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、動きベクトル検出装置に関する。
【０００３】
また、詳しくは、入力画像データより解像度の異なる複数階層の画像データを形成し、この複数階層の画像データを使用して入力画像の所定位置の動きベクトルを検出するものにあって、複数階層の画像データを記憶するメモリ部として上述の記憶装置を使用し、複数階層の画像データのうち最下位階層の画像データを第２のメモリセルに記憶し、複数階層の画像データのうち最下位階層以外の階層の画像データを第１のメモリセルに記憶する構成とすることによって、メモリ部に対して各階層の画像データを独立して書き込み読み出しを行い得るようにし、動きベクトルの検出処理の効率を上げるようにした動きベクトル検出装置に係るものである。
【０００４】
【従来の技術】
従来、動画像の処理として、動きベクトル、すなわち時間的に異なる画像中の物体の動き方向と大きさを用いるものがある。例えば画像の高能率符号化における動き補償予測符号化に動きベクトルが用いられる。
【０００５】
この画像の動き量を求める動き量検出方法として、演算量を低減するために、入力画像データより解像度の異なる複数階層の画像データを形成し、この複数階層の画像データを使用して入力画像の所定位置の動きベクトルを検出する方法が提案されている（特開平７−２２２１５７号参照）。
【０００６】
この動きベクトル検出方法では、まず入力画像データ（階層１の画像データ）を、平均化やローパスフィルタ処理等で平均値階層化して、画素数を低減した画像データ（階層２の画像データ）を作成する。次に作成した階層２の画像データで大まかな動きベクトルを検出し、その動きベクトルに基づいて階層１の画像データについて細かな動きベクトルの検出を行うことにより、少ない演算量で動きベクトルを検出し得るようになされている。
【０００７】
なおここでの階層数は２階層に限らず、順次平均値階層化を繰り返すことにより、さらに画素数を低減した階層３、階層４、……の画像データを作成し、上述したと同様にして動きベクトルを検出することもできる。
【０００８】
【発明が解決しようとする課題】
この場合、各階層の画像データを同一のメモリ部に記憶する場合、各階層の書き込み、読み出しを独立して行うことができれば効率的である。
この発明の目的は、各階層の画像データを用いて動きベクトルを検出するものにあって、当該各階層の画像データをメモリ部に対して独立して書き込み、読み出しを行い得るようにして、動きベクトルの検出処理の効率を上げるようにした動きベクトル検出装置を提供することにある。
【００１７】
またこの発明に係る動きベクトル検出装置は、入力画像データより解像度の異なる複数階層の画像データを形成する画像階層化手段と、この画像階層化手段で形成された複数階層の画像データに基づいて、入力画像の所定位置の動きベクトルを、ブロックマッチング処理を用いて検出する動きベクトル検出手段とを備える動きベクトル検出装置であって、複数階層の画像データを記憶するメモリ部として上述の記憶装置を有し、複数階層の画像データのうち最下位階層の画像データは第２のメモリセルに記憶され、複数階層の画像データのうち最下位階層以外の階層の画像データは第１のメモリセルに記憶されるものである。
【００１８】
この発明においては、入力画像データより解像度の異なる複数階層の画像データが形成され、この複数階層の画像データに基づいて、入力画像の所定位置の動きベクトルが、ブロックマッチング処理を用いて検出される。
【００１９】
そして、複数階層の画像データのうち最下位階層の画像データは、第１のワード線のみに接続された第２のメモリセルに記憶される。一方、複数階層の画像データのうち最下位階層以外の階層の画像データは、第１のワード線および第２のワード線にそれぞれ接続された第１のメモリセルに記憶される。
【００２０】
そのため、複数階層の画像データのうち最下位階層の画像データは、第１のワード線によって第２のメモリセルを活性化して、書き込み読み出しが行われる。一方、複数階層の画像データのうち最下位階層以外の階層の画像データは、第２のワード線によって第１のメモリセルを活性化して、最下位階層の画像データとは独立して、書き込み読み出しが行われる。これにより、動きベクトルの検出処理を効率よく行うことができる。
【００２１】
ここで、階段状パターンをそれぞれ異にする複数の第２のワード線が併存し、この複数の第２のワード線にそれぞれ接続される第１のメモリセルは異なり、この複数の第２のワード線にそれぞれ接続される第１のメモリセルにはそれぞれ異なる階層の画像データが記憶されることで、各第２のワード線で第１のメモリセルを活性化して、それぞれ階層を異にする画像データの書き込み読み出しを行うことができる。
【００２２】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。
図１は、実施の形態としての動き補償予測符号化装置１００の構成を示している。
この符号化装置１００は、画像データ（動画像を構成するフレームデータ）Ｄｉを入力する入力端子１０１と、この入力端子１０１に供給される画像データＤｉと後述する動き補償回路１１０から供給される予測画像データとの差分を演算する減算器１０２と、この減算器１０２で得られる差分データに対してＤＣＴ（Discrete Cosine Transform：離散コサイン変換）を行うＤＣＴ回路１０３と、このＤＣＴ回路１０３で得られるＤＣＴ係数に対して量子化を行う量子化回路１０４と、この量子化回路１０４で得られた符号化データＤｏを出力する出力端子１０５とを有している。
【００２３】
また、符号化装置１００は、量子化回路１０４で得られた符号化データＤｏに対して逆量子化を行う逆量子化回路１０６と、この逆量子化回路１０６の出力データに対して逆ＤＣＴを行って差分データを得る逆ＤＣＴ回路１０７と、この逆ＤＣＴ回路１０７で得られる差分データと動き補償回路１１０で得られる予測画像データとを加算して元の画像データを復元する加算器１０８と、この加算器１０８で復元された画像データを記憶するフレームメモリ１０９とを有している。
【００２４】
また、符号化装置１００は、フレームメモリ１０９に記憶された画像データを読み込み、後述する動きベクトル検出部１１１からの動きベクトルＭＶに基づいて動き補償をした後、上述したように減算器１０２および加算器１０８に予測画像データとして供給する動き補償回路１１０と、入力端子１０１に供給される画像データＤｉの動きベクトルＭＶを検出して動き補償回路１１０に供給する動きベクトル検出部１１１とを有している。
【００２５】
図１に示す動き補償予測符号化装置１００の動作を説明する。
入力端子１０１に入力される画像データＤｉは、減算器１０２および動きベクトル検出部１１１に供給される。減算器１０２では、この画像データＤｉと動き補償回路１１０から供給される予測画像データとの差分が演算される。
【００２６】
減算器１０２で得られる差分データはＤＣＴ回路１０３に供給されて離散コサイン変換される。このＤＣＴ回路１０３で得られるＤＣＴ係数は量子化回路１０４に供給されて量子化される。そして、この量子化回路１０４で得られた符号化データＤｏが出力端子１０５に出力される。
【００２７】
また、量子化回路１０４で得られる符号化データＤｏが逆量子化回路１０６に供給されて逆量子化され、さらにこの逆量子化回路１０６の出力データが逆ＤＣＴ回路１０７に供給されて逆ＤＣＴされ、差分データが復元される。この差分データと動き補償回路１１０からの予測データとが加算器１０８で加算されて元の画像データが復元され、この復元された画像データがフレームメモリ１０９に記憶される。
【００２８】
動き補償回路１１０では、あるフレームにおいては、その前のフレームにフレームメモリ１０９に記憶された画像データの読み込みが行われて、動きベクトル検出部１１１からの動きベクトルＭＶに基づいて動き補償されて、予測画像データが得られる。この予測画像データは、上述したように、差分データを得るために減算器１０２に供給されると共に、画像データを復元するために加算器１０８に供給される。
【００２９】
次に、動きベクトル検出部１１１の詳細を説明する。
この動きベクトル検出部１１１では、ブロックマッチング法により動きベクトルが検出される。これは、図２に示すように、探索フレームの候補ブロックを所定の探索範囲内で移動し、参照フレームの参照ブロックと最も合致している候補ブロックを検出することにより、動きベクトルを求めるものである。
【００３０】
ブロックマッチング法では、図３Ａに示すように、１枚の画像、例えば水平Ｈ画素、垂直Ｖラインの１フレームの画像が図４Ｂに示すように、Ｐ画素×Ｑラインのブロックに細分化される。図３Ｂの例では、Ｐ＝５、Ｑ＝５の例である。ｃがブロックの中心画素位置である。
【００３１】
図４Ａ〜Ｃは、ｃを中心画素とする参照ブロックとｃ´を中心とする候補ブロックの位置関係を示している。ｃを中心画素とする参照ブロックは、参照フレームの注目しているある参照ブロックであり、それと一致する探索フレームの候補ブロックが探索フレームにおいてｃ´を中心とするブロックの位置にあるものとしている。ブロックマッチング法では、探索範囲内において、参照ブロックと最も合致する候補ブロックを見出すことによって、動きベクトルを検出する。
【００３２】
図４Ａの場合では、水平方向に＋１画素、垂直方向に＋１ライン、すなわち、（＋１，＋１）の動きベクトルが検出される。図４Ｂでは、（＋３，＋３）の動きベクトルＭＶが検出され、図４Ｃでは、（＋２，−１）の動きベクトルが検出される。動きベクトルは、参照フレームの参照ブロック毎に求められる。
【００３３】
動きベクトルを探索する範囲を水平方向で±Ｓ画素、垂直方向で±Ｔラインとすると、参照ブロックは、その中心ｃに対して、水平に±Ｓ、垂直に±Ｔずれたところに中心ｃ´を有する候補ブロックと比較される必要がある。
【００３４】
図５は、参照フレームのある参照ブロックの中心ｃの位置をＲとする時に、比較すべき探索フレームの（２Ｓ＋１）×（２Ｔ＋１）個の候補ブロックとの比較が必要なことを示している。すなわち、この図５のます目の位置にｃ´が存在する候補ブロックの全てが比較対象である。図５は、Ｓ＝４，Ｔ＝３とした例である。
【００３５】
探索範囲内の比較で得られた評価値（すなわち、フレーム差の絶対値和、このフレーム差の二乗和、あるいはフレーム差の絶対値のｎ乗和等）の中で、最小値を検出することによって、動きベクトルが検出される。図５の探索範囲は、候補ブロックの中心が位置する領域であり、候補ブロックの全体が含まれる探索範囲の大きさは、（２Ｓ＋Ｐ）×（２Ｔ＋Ｑ）となる。
【００３６】
また、動きベクトル検出部１１１では、入力画像データについて平均値階層化の手法によつて複数階層の画像データを形成すると共に、各階層の高周波成分（以下、「アクティビティ」と呼ぶ）を表すデータについても階層化（以下、「アクティビティ階層化」と呼ぶ）してアクティビティデータを形成し、階層毎にこれらを用いて動きベクトル（動き量）を検出する。
【００３７】
実際上それぞれ階層化された画像データとアクティビティデータについては、上位階層から順にブロックマッチング法で評価値を求め、これらを総合判断することにより、その階層の動きベクトルを求める。この動きベクトルに基づいて順次下位階層の評価値を求める際に動き補償して参照することにより、入力画像の動きベクトルを検出する。
【００３８】
図６は、階層化された画像データを生成する例を示している。図６（Ａ）は入力画像データについて３階層に階層化された画像データを生成する場合である。階層１は入力画像データそのものである。この場合、階層ｎ（ｎ＝２，３）の画像データＭn（ｘ，ｙ）は、（１）式のように平均値化によって求めることができる。ここで、階層ｎのブロックサイズは、階層ｎ−１と比べて水平方向および垂直方向のそれぞれに１／２となる。このように生成された階層１〜階層３の画像データはそれぞれ解像度が異なるものとなる。
【００３９】
【数１】
【００４０】
また、図６（Ｂ）に示すように、平均値階層化された画像データについてアクティビティ階層化してアクティビティデータを生成する。階層２のアクティビティデータをΔ2（ｘ，ｙ）とすると、このアクティビティデータΔ2（ｘ，ｙ）は、（２）式に示すように、階層２の画像データと入力画像データ（階層１の画像データ）との対応する画素の差分の絶対値和によって求められる。
【００４１】
【数２】
【００４２】
同様に、階層３のアクティビティデータをΔ3（ｘ，ｙ）とすると、このアクティビティデータΔ3（ｘ，ｙ）は、（３）式に示すように、階層３の画像データと入力画像データ（階層１の画像データ）との対応する画素の差分の絶対値和によって求められる。
【００４３】
【数３】
【００４４】
（２）式、（３）式に示すように、アクティビティデータΔ2（ｘ，ｙ），Δ3（ｘ，ｙ）をいずれも入力画像データを基底にして求めるようにしたことにより、アクティビティデータとして入力画像データに忠実な高周波成分を抽出できる。
【００４５】
このようにしてアクティビティデータを求めると、その階層構造は図６（Ｂ）に示すようになり、最下位階層以外での階層プレーンを持つことになる。このアクティビティデータは、平均値階層化したときに画像データ中で欠落する特徴量を反映していることになる。
【００４６】
ここで、例えば図７に示すような入力画像データ（階層１の画像データ）中の４×４の画素ｘ１，ｘ２，・・・，ｘ15，ｘ16でなるブロックに対して階層化する場合、平均値階層化の階層２の画像データ中の画素ｙ１、ｙ２、ｙ３、ｙ４は、（１）式に基づいて、それぞれ（４）式により求められる。
ｙ１＝（ｘ１＋ｘ２＋ｘ３＋ｘ４）／４
ｙ２＝（ｘ５＋ｘ６＋ｘ７＋ｘ８）／４
ｙ３＝（ｘ９＋ｘ10＋ｘ11＋ｘ12）／４
ｙ４＝（ｘ13＋ｘ14＋ｘ15＋ｘ16）／４ ・・・（４）
【００４７】
さらに、この階層２の２×２の画素ｙ１，ｙ２，ｙ３，ｙ４に対して階層化する場合、平均値階層化の階層３の画像データ中の画素ｚ１は、（１）式に基づいて、（５）式により求められる。
ｚ１＝（ｙ１＋ｙ２＋ｙ３＋ｙ４）／４ ・・・（５）
【００４８】
また同様にして、アクティビティ階層化してなる階層２のアクティビティデータは、平均値階層化された階層２の画像データの画素ｙ１，ｙ２，ｙ３，ｙ４と階層１の画像データの画素ｘ１，ｘ２，……，ｘ15，ｘ16を用いて、（２）式に基づいて、（６）式により求められる。
ａ１＝（｜ｘ１−ｙ１｜＋｜ｘ２−ｙ１｜＋｜ｘ３−ｙ１｜＋｜ｘ４−ｙ１｜）／４
ａ２＝（｜ｘ５−ｙ２｜＋｜ｘ６−ｙ２｜＋｜ｘ７−ｙ２｜＋｜ｘ８−ｙ２｜）／４
ａ３＝（｜ｘ９−ｙ３｜＋｜ｘ10−ｙ３｜＋｜ｘ11−ｙ３｜＋｜ｘ12−ｙ３｜）／４
ａ４＝（｜ｘ13−ｙ４｜＋｜ｘ14−ｙ４｜＋｜ｘ15−ｙ４｜＋｜ｘ16−ｙ４｜）／４
・・・（６）
【００４９】
さらに、アクティビティ階層化してなる階層３のアクティビティデータは、平均値階層化された階層３の画像データの画素ｚ１と階層１の画像データの画素ｘ１、ｘ２、……、ｘ15、ｘ16を用いて、（３）式に基づいて、（７）式により求められる。
ｂ１＝（｜ｘ１−ｚ１｜＋｜ｘ２−ｚ１｜＋｜ｘ３−ｚ１｜
＋｜ｘ４−ｚ１｜＋｜ｘ５−ｚ１｜＋｜ｘ６−ｚ１｜
＋｜ｘ７−ｚ１｜＋｜ｘ８−ｚ１｜＋｜ｘ９−ｚ１｜
＋｜ｘ10−ｚ１｜＋｜ｘ11−ｚ１｜＋｜ｘ12−ｚ１｜
＋｜ｘ13−ｚ１｜＋｜ｘ14−ｚ１｜＋｜ｘ15−ｚ１｜
＋｜ｘ16−ｚ１｜）／１６ ・・・（７）
【００５０】
上述のようにして求めた平均値階層化した画像データとアクティビティ階層化したアクティビティデータを用いて、各階層でブロックマッチング法による動きベクトル検出を行う。すなわち、ブロックマッチングの評価関数は、現フイールドをｔで表すと、（８）式で求められる。ただし、（ｕn、ｖn）は、階層ｎでの動きベクトルを示している。
【００５１】
【数４】
【００５２】
この評価関数Ｅ（Ｙ）n の最小を与えるＶ′n ＝（ｕn、ｖn）を、求める動きベクトルとする。現在の階層における動きベクトルＶnは、（９）式の関係に基づいて、求めることができる。
Ｖn＝Ｖ′n＋２Ｖn+1 ・・・（９）
本実施の形態においては、図６（Ｂ）のアクティビティデータについても、（８）式と同様に、（１０）式により評価関数を求める。
【００５３】
【数５】
【００５４】
そして、新たな評価関数Ｅ（Ｇ）nを、（１１）式とする。ただし、ｗ1、ｗ2は重み係数である。そして評価関数Ｅ（Ｇ）nの最小を与える動きベクトルを求める。なお、最下位階層ではアクティビティデータが存在しないため、（８）式の評価関数Ｅ（Ｙ）nのみによる評価を行う。
Ｅ（Ｇ）n＝ｗ1・Ｅ（Ｙ）n＋ｗ2・Ｅ（Ｄ）n ・・・（１１）
【００５５】
このように平均値階層化された画像データとアクティビティ階層化されたアクティビティデータの両者を用いて評価することにより、一方の階層の最適評価値が誤検出であっても、もう一方の評価値で正しい検出ができるようになり、各階層における動きベクトル検出の精度が向上する。このように各階層における動きベクトル検出精度が向上すると、（９）式で求める最終的な動きベクトルも検出精度が向上する。
【００５６】
図８のフローチャートは、ある参照ブロック（例えば１６×１６のブロックサイズ）における動きベクトル検出処理の手順を示している。
まず、ステップＳＰ１において、入力画像データから動きベクトルを検出すべき参照ブロックを得る。次に、ステップＳＰ２で、参照ブロックの画像データを、（１）式に従つて平均値階層化すると共に、（２）式および（３）式に従つてアクティビティ階層化して、例えば階層１、階層２および階層３の画像データと、階層２および階層３のアクティビティデータを生成する。
【００５７】
次に、ステップＳＰ３で、現在処理済みの階層が最下位階層（階層１）か否か判断する。現在処理済みの階層が最下位階層でないときは、ステップＳＰ４で、全サーチ領域について探索終了か否かを判断する。ここで、探索終了でないときは、ステップＳＰ５で、画像データおよびアクティビティデータの現在および過去のデータ（過去のデータはメモリに蓄積されている）を用いて、（８）式および（１０）式に基づいて評価関数Ｅ（Ｙ）n ，Ｅ（Ｄ）n による評価値を求め、ステップＳＰ４に戻る。
【００５８】
一方、ステップＳＰ４で、探索終了であるときは、ステップＳＰ６で、画像データおよびアクティビティデータについて求めた評価関数Ｅ（Ｙ）nおよびＥ（Ｄ）nを用いて、（１１）式より得られる新たな評価関数Ｅ（Ｇ）nによる評価を行って最適評価値を求め、その後にステップＳＰ７に移る。
【００５９】
ステップＳＰ７では、最適評価値より動きベクトルＶ′nを決定する。そして、次に、ステップＳＰ８で、（９）式に基づいて、上位階層で決定された動きベクトルＶn+1を２倍して加算し、現在処理している階層における動きベクトルＶnを求める。その後に、ステップＳＰ３に戻る。
ステップＳＰ３で、現在処理済みの階層が最下位階層であるときは、ステップＳＰ９で、当該参照ブロックの動きベクトルの検出処理を終了する。
【００６０】
図９は、動きベクトル検出部１１１の構成を示している。この動きベクトル検出部１１１においては、入力画像データＤｉがブロック回路２に入力され、所定のサイズ（例えば16×16のブロックサイズ）で順次ブロック化される。ブロック回路２から順次出力される参照ブロックの画像データは、それぞれ階層１のフレームメモリ３および評価値算出回路４、階層２の平均値階層化回路５、アクティビティ階層化回路６、階層３のアクティビティ階層化回路７に入力される。
【００６１】
階層２の平均値階層化回路５では、ブロック回路２より順次出力される参照ブロックの階層１の画像データについて、（１）式の演算による平均値階層化処理を実行して参照ブロックの階層２の画像データを求める。この結果得られる階層２の画像データは、階層２のフレームメモリ９、アクティビティ階層化回路６および評価値算出回路２６、階層３の平均値階層化回路１０に入力される。
【００６２】
階層２のアクティビティ階層化回路６では、ブロック回路２より順次出力される参照ブロックの階層１の画像データと、平均値階層化回路５より出力される当該参照ブロックの階層２の画像データとを用いて、（２）式の演算によるアクティビティ階層化処理を実行して、参照ブロックの階層２のアクティビティデータを求める。この結果得られる階層２のアクティビティデータは、それぞれ階層２のフレームメモリ１２および評価値算出回路２７に入力される。
【００６３】
階層３の平均値階層化回路１０では、平均値階層化回路５より順次出力される参照ブロックの画像データについて、（１）式の演算による平均値階層化処理を実行して参照ブロックの階層３の画像データを求める。この結果得られる階層３の画像データは、階層３のフレームメモリ１４、アクティビティ階層化回路７および評価値算出回路１９に入力される。
【００６４】
階層３のアクティビティ階層化回路７では、ブロック回路２より順次出力される参照ブロックの画像データと、平均値階層化回路１０より出力される当該参照ブロックの階層３の画像データとを用いて、（３）式の演算によるアクティビティ階層化処理を実行して、参照ブロックの階層３のアクティビティデータを求める。この結果得られる階層３のアクティビティデータは、階層３のフレームメモリ１６および評価値算出回路２０に入力される。
【００６５】
この動きベクトル検出部１１１では、ブロック回路２より順次出力される参照ブロックの画像データが、図６（Ａ），（Ｂ）に示すように、階層１、階層２および階層３の画像データとして平均値階層化されると共に、階層２および階層３のアクティビティデータとしてアクティビティ階層化される。
【００６６】
そして、各参照ブロックのそれぞれの動きベクトルの検出においては、まず最上位階層である階層３における動きベクトルの検出が行われる。フレームメモリ１４に格納されている、１フレーム前のフレーム（探索フレーム）における階層３の画像データより、サーチブロック回路１７で、サーチ領域（探索範囲）内の各候補ブロックに対応した階層３の画像データが順次読み出されて評価値算出回路１９に供給される。
【００６７】
評価値算出回路１９では、平均値階層化回路１０からの参照ブロックの階層３の画像データと、サーチブロック１７からの各候補ブロックの階層３の画像データとを用いて、（８）式の評価関数Ｅ（Ｙ）3に基づいて、各候補ブロックの評価値を求める。
【００６８】
また、フレームメモリ１６に格納されている、１フレーム前のフレーム（探索フレーム）における階層３のアクティビティデータより、サーチブロック回路１８で、サーチ領域（探索範囲）内の各候補ブロックに対応した階層３のアクティビティデータが順次読み出されて評価値算出回路２０に供給される。
【００６９】
評価値算出回路２０では、アクティビティ階層化回路７からの参照ブロックの階層３のアクティビティデータと、サーチブロック１８からの各候補ブロックの階層３のアクティビティデータとを用いて、（１０）式の評価関数Ｅ（Ｄ）3に基づいて、各候補ブロックの評価値を求める。
【００７０】
評価値算出回路１９，２０でそれぞれ求められ各候補ブロックの評価値は、加算回路２１で、（１１）式に基づいて重み付け加算される。この結果得られる新たな評価関数Ｅ（Ｇ）3に基づく各候補ブロックの評価値は動きベクトル検出回路２２に入力される。
【００７１】
本実施の形態において、評価値算出回路４０（１９，２０）は、図１０に示すように構成されている。すなわち、評価値算出回路４０においては、参照ブロックメモリ４１と候補ブロックメモリ４２とを有している。参照ブロックメモリ４１は、平均値階層化回路１０からの参照ブロックの階層３の画像データ、あるいはアクティビティ階層化回路７からの参照ブロックの階層３のアクティビティデータを格納する。候補ブロックメモリ４２は、サーチブロック回路１７からの候補ブロックの階層３の画像データ、あるいはサーチブロック回路１８からの候補ブロックの階層３のアクティビティデータを格納する。
【００７２】
この参照ブロックメモリ４１および候補ブロックメモリ４２の内容が、メモリコントローラ４３で指定されたアドレスの順に読み出され、それぞれレジスタ４４およびレジスタ４５を通じて減算回路４６で減算される。この結果得られる差分データは絶対値化回路４７で絶対値化され、加算回路４８およびレジスタ４９で累積加算される。この累積加算結果は、当該候補ブロックの評価値となる。評価値算出回路４０で順次算出される各候補ブロックの評価値は、評価値メモリ５０に、評価値メモリコントローラ５１より指定されたアドレスの順に従つて入力される。
【００７３】
なお、実際には、階層２および階層３における処理では、平均値階層化された画像データについての評価値と、アクティビティ階層化されたアクティビティデータについての評価値が、重み付け加算されて評価値メモリ５０に記憶される。
【００７４】
本実施の形態において、動きベクトル検出回路６０（２２）は、図１１に示すように構成されている。すなわち、動きベクトル検出回路６０では、各候補ブロックの評価値が、評価値メモリ５０より、順次評価値メモリコントローラ５１より指定されたアドレスに従って読み出され、比較器６１およびレジスタ６２に入力される。比較器６１は他方の入力と評価値メモリ５０より読み出された評価値を順次比較し、このうち評価値メモリ５０より読み出された評価値が小さいとき、レジスタ６２およびレジスタ６３の内容を更新する信号を送出する。
【００７５】
レジスタ６３には、評価値メモリ５０を読み出すアドレスが順次設定される。このようにして評価値メモリ５０に記憶された評価値が順次評価され、そのうちの評価値の最小を与えるアドレスがレジスタ６３より送出され、これが動きベクトル検出回路６０の出力、すなわち動きベクトルＭＶとして出力される。
【００７６】
次に、階層２における動きベクトルの検出が行われる。この場合、上述したように階層３の動きベクトル検出回路２２で得られる階層３の動きベクトルは、階層２のフレームメモリ９，１２に供給され、この動きベクトルによつてサーチ領域が動き補償される。
【００７７】
そして、フレームメモリ９に格納されている、１フレーム前のフレーム（探索フレーム）における階層２の画像データより、サーチブロック回路２４で、サーチ領域（探索範囲）内の各候補ブロックに対応した階層２の画像データが順次読み出されて評価値算出回路２６に供給される。この階層２におけるサーチ領域は、上述した階層３におけるサーチ領域より狭くされる。
【００７８】
評価値算出回路２６では、平均値階層化回路５からの参照ブロックの階層２の画像データと、サーチブロック２４からの各候補ブロックの階層２の画像データとを用いて、（８）式の評価関数Ｅ（Ｙ）2に基づいて、各候補ブロックの評価値を求める。
【００７９】
また、フレームメモリ１２に格納されている、１フレーム前のフレーム（探索フレーム）における階層２のアクティビティデータより、サーチブロック回路２５で、サーチ領域（探索範囲）内の各候補ブロックに対応した階層２のアクティビティデータが順次読み出されて評価値算出回路２７に供給される。
【００８０】
評価値算出回路２７では、アクティビティ階層化回路６からの参照ブロックの階層２のアクティビティデータと、サーチブロック２５からの各候補ブロックの階層２のアクティビティデータとを用いて、（１０）式の評価関数Ｅ（Ｄ）2に基づいて、各候補ブロックの評価値を求める。
【００８１】
評価値算出回路２６，２７でそれぞれ求められ各候補ブロックの評価値は、加算回路２８で、（１１）式に基づいて重み付け加算される。この結果得られる新たな評価関数Ｅ（Ｇ）2に基づく各候補ブロックの評価値は動きベクトル検出回路２９に入力される。そして、動きベクトル検出回路２９では、各候補ブロックの評価値が順次評価され、動きベクトルが得られる。
【００８２】
この動きベクトル検出回路２９で得られる動きベクトルは、加算回路２３で、（９）式に示すように、階層３の動きベクトルと加算され、階層２の動きベクトルとなる。なお、この評価値算出回路２６，２７および動きベクトル検出回路２９も、上述した評価値算出回路４０（図１０）および動きベクトル検出回路６０（図１１）と同様に構成されている。
【００８３】
次に、階層１における動きベクトルの検出が行われる。この場合、上述したように加算回路２３で得られる階層２の動きベクトルは、階層１のフレームメモリ３に供給され、この動きベクトルによつてサーチ領域が動き補償される。
【００８４】
そして、フレームメモリ３に格納されている、１フレーム前のフレーム（探索フレーム）における階層１の画像データより、サーチブロック回路３１で、サーチ領域（探索範囲）内の各候補ブロックに対応した階層１の画像データが順次読み出されて評価値算出回路４に供給される。この階層１におけるサーチ領域は、上述した階層２におけるサーチ領域よりさらに狭くされる。
【００８５】
評価値算出回路４では、ブロック回路２からの参照ブロックの階層１の画像データと、サーチブロック３１からの各候補ブロックの階層１の画像データとを用いて、（８）式の評価関数Ｅ（Ｙ）1に基づいて、各候補ブロックの評価値を求める。
【００８６】
評価値算出回路４で求められ各候補ブロックの評価値は、動きベクトル検出回路３２に入力される。この動きベクトル検出回路３２では、各候補ブロックの評価値が順次評価され、動きベクトルが得られる。この動きベクトルは、加算回路３０で、（９）式に示すように、階層２の動きベクトルと加算され、階層１の動きベクトル、つまり求めるべき参照ブロックの動きベクトルＭＶとして出力される。なお、評価値算出回路４および動きベクトル検出回路３２も、上述した評価値算出回路４０（図１０）および動きベクトル検出回路６０（図１１）と同様に構成されている。
【００８７】
このようにして、画像を複数の解像度で階層化し、この階層画像を用いてブロックマッチング法で動きベクトルを検出する際、アクティビティ階層化したアクティビティデータについて求めた評価値を階層毎の評価の対象とするようにしたので、少ない計算量で動き量を高い精度で検出できる。
【００８８】
また、本実施の形態において、階層１，２，３の画像データがそれぞれ記憶されるフレームメモリ３，９，１４は、同一のメモリブロック１５０によって構成されている。
【００８９】
図１２は、このメモリブロック１５０内のメモリセルアレイ１６０の一部１６０ａの構成を示している。この一部１６０ａには、階層１の１６画素の画像データ（図７（Ａ）の画素ｘ１〜ｘ16に相当）、それより得られる階層２の４画素の画像データ（図７（Ａ）の画素ｙ１〜ｙ４に相当）、それより得られる階層３の１画素の画像データ（図７（Ａ）の画素ｚ１に相当）が記憶される。なお、各画素の画像データはそれぞれ８ビットのデータである。
【００９０】
この一部１６０ａには、カラム方向（列方向）に２１個、ロウ方向（行方向）に８個のメモリセル１６１がマトリックス状に配されている。各行の２１個のメモリセル１６１は、５個の第１のメモリセル１６１ａと、１６個の第２のメモリセル１６１ｂとからなっている。１６個の第２のメモリセル１６１ｂには、階層１の２画素分の画像データ（１６ビット）が記憶される。５個の第１のメモリセル１６１ａには、階層２の画像データの４ビットおよび階層３の画像データの１ビットが記憶される。
【００９１】
第１のメモリセル１６１ａおよび第２のメモリセル１６１ｂは、それぞれ第１のワード線としてのワード線ＷＬ１に接続される。また、第１のメモリセル１６１ａは、第２のワード線としてのワード線ＷＬ２，ＷＬ３に接続される。ワード線ＷＬ１_i〜ＷＬ１_i+7は、それぞれカラム方向に延在し、このカラム方向に並ぶ２１個のメモリセル１６１（１６１ａ，１６１ｂ）に接続される。
【００９２】
また、ワード線ＷＬ２_k，ＷＬ２_k+1は、それぞれ４行にわたる階段状パターンで配され、各行の４個の第１のメモリセル１６１ａに接続される。同様に、ワード線ＷＬ３_jは、８行にわたる階段状パターンで配され、各行の１個の第１メモリセル１６１ａに接続される。このように、ワード線ＷＬ２_k，ＷＬ２_k+1が接続される第１のメモリセル１６１ａとワード線ＷＬ３_jが接続される第１のメモリセル１６１ａとは異なっている。
【００９３】
なお、以上の説明は、階層１〜３のそれぞれ１６画素、４画素、１画素の画像データを記憶するメモリセルアレイ１６０の一部１６０ａについてであるが、その他の対応する部分も同様に構成されている。したがって、ワード線ＷＬ２，ＷＬ３の階段状パターンは、カラム方向には、２１個のメモリセル単位で繰り返されている。
【００９４】
図１２に示すようなメモリセルアレイ１６０の一部１６０ａでは、ワード線ＷＬ１により、カラム方向に延在する２１個のメモリセル１６１（１６１ａ，１６１ｂ）が同時に活性化され、これらのメモリセル１６１に対して、画像データの書き込み、読み出しが可能となる。
【００９５】
また、この一部１６０ａでは、ワード線ＷＬ２により、４行にわたって階段状パターンに配された１６個の第１のメモリセル１６１ａが同時に活性化され、これらの第１のメモリセル１６１ａに対して、画像データの書き込み、読み出しが可能となる。また、この一部１６０ａでは、ワード線ＷＬ３により、８行にわたって階段状パターンに配された８個の第１のメモリセル１６１ａが同時に活性化され、これらの第１のメモリセル１６１ａに対して、画像データの書き込み、読み出しが可能となる。
【００９６】
そのため、本実施の形態において、階層１の画像データは、ワード線ＷＬ１によって第２のメモリセル１６１ｂを活性化して、書き込み読み出しを行うことができる。また、階層２の画像データは、ワード線ＷＬ２によって第１のメモリセル１６１ａを活性化して、書き込み読み出しを行うことができる。さらに、階層３の画像データは、ワード線ＷＬ３によって第１のメモリセル１６１ａを活性化して、書き込み読み出しを行うことができる。
【００９７】
このように、階層１〜階層３の画像データは同一のメモリブロック１５０に記憶されると共に、階層２、階層３の画像データをそれぞれ階層１の画像データとは独立して書き込み読み出しを行うことができ、動きベクトルの検出処理を効率よく行うことができる。
【００９８】
次に、第１のメモリセル１６１ａについて説明する。図１３は、第１のメモリセル１６１ａの構成例を示している。負荷素子であるＰ型ＭＯＳトランジスタＱ１とＮ型ＭＯＳトランジスタＱ３とが電源と接地との間に直列に接続されてＣＭＯＳインバータ１７１が形成されていると共に、負荷素子であるＰ型ＭＯＳトランジスタＱ２とＮ型ＭＯＳトランジスタＱ４とが電源と接地との間に直列に接続されてＣＭＯＳインバータ１７２が形成されている。そして、これらＣＭＯＳインバータ１７１，１７２の各出力、すなわち記憶ノードＮ１，Ｎ２の各電位が互いに他のＣＭＯＳインバータ１７２，１７１の入力、すなわちＮ型ＭＯＳトランジスタＱ４，Ｑ３の各ゲート入力となっている。
【００９９】
ＣＭＯＳインバータ１７１の記憶ノードＮ１は、ワード線ＷＬ１にゲートが接続されたアクセストランジスタＱ５、およびワード線ＷＬ２またはワード線ＷＬ３にゲートが接続されたアクセストランジスタＱ６の双方を介してビット線ＢＬに接続されている。ここで、アクセストランジスタＱ５，Ｑ６は並列接続されている。
【０１００】
一方、ＣＭＯＳインバータ１７２の記憶ノードＮ２は、ワード線ＷＬ１にゲートが接続されたアクセストランジスタＱ７、およびワード線ＷＬ２またはワード線ＷＬ３にゲートが接続されたアクセストランジスタＱ８の双方を介してビット線ビット線/ＢＬ（/ＢＬはＢＬバーを表している）に接続されている。ここで、アクセストランジスタＱ７，Ｑ８は並列接続されている。
【０１０１】
このような構成の第１のメモリセル１６１ａにおいて、一対のＣＭＯＳインバータ１７１，１７２で構成されるメモリセル部１７３には、“１”または“０”のデータが記憶される。そして、このメモリセル部１７３とビット線ＢＬ，/ＢＬとの間で、アクセストランジスタＱ５，Ｑ７、あるいはアクセストランジスタＱ６，Ｑ８を介して、読み出しおよび書き込みのデータ転送が行われる。つまり、メモリセル部１７３の選択を、ワード線ＷＬ１、あるいはワード線ＷＬ２，ＷＬ３のいずれかにより行うことができる。
【０１０２】
なお、図１３に示す第１のメモリセル１６１ａは、通常のＳＲＡＭ (Static Random Access Memory)セルをベースにしたものであるが、高抵抗負荷型やＴＦＴ負荷型などの他のタイプのＳＲＡＭセルをベースにしたものであってもよく、あるいはＤＲＡＭ (Dynamic Random Access Memory)セル等のその他のタイプのメモリセルをベースにしたものであってもよい。
【０１０３】
次に、第２のメモリセル１６１ｂについて説明する。図１４は、第２のメモリセル１６１ｂの構成例を示している。この図１４において、図１３と対応する部分には同一符号を付して示している。
【０１０４】
負荷素子であるＰ型ＭＯＳトランジスタＱ１とＮ型ＭＯＳトランジスタＱ３とが電源と接地との間に直列に接続されてＣＭＯＳインバータ１７１が形成されていると共に、負荷素子であるＰ型ＭＯＳトランジスタＱ２とＮ型ＭＯＳトランジスタＱ４とが電源と接地との間に直列に接続されてＣＭＯＳインバータ１７２が形成されている。そして、これらＣＭＯＳインバータ１７１，１７２の各出力、すなわち記憶ノードＮ１，Ｎ２の各電位が互いに他のＣＭＯＳインバータ１７２，１７１の入力、すなわちＮ型ＭＯＳトランジスタＱ４，Ｑ３の各ゲート入力となっている。
【０１０５】
ＣＭＯＳインバータ１７１の記憶ノードＮ１は、ワード線ＷＬ１にゲートが接続されたアクセストランジスタＱ５を介してビット線ＢＬに接続されている。一方、ＣＭＯＳインバータ１７２の記憶ノードＮ２は、ワード線ＷＬ１にゲートが接続されたアクセストランジスタＱ７を介してビット線ビット線/ＢＬに接続されている。
【０１０６】
このような構成の第２のメモリセル１６１ｂにおいて、一対のＣＭＯＳインバータ１７１，１７２で構成されるメモリセル部１７３には、“１”または“０”のデータが記憶される。そして、このメモリセル部１７３とビット線ＢＬ，/ＢＬとの間で、アクセストランジスタＱ５，Ｑ７を介して、読み出しおよび書き込みのデータ転送が行われる。つまり、メモリセル部１７３の選択を、ワード線ＷＬ１により行うことができる。
【０１０７】
なお、図１４に示す第２のメモリセル１６１ｂは、通常のＳＲＡＭセルであるが、高抵抗負荷型やＴＦＴ負荷型などの他のタイプのＳＲＡＭセルであってもよく、あるいはＤＲＡＭセル等のその他のタイプのメモリセルであってもよい。
【０１０８】
次に、フレームメモリ３，９，１４を構成するメモリブロック１５０について説明する。図１５は、メモリブロック１５０の構成を示している。
メモリブロック１５０は、複数のメモリセルがマトリックス状に配されたメモリセルアレイ１６０と、記憶データ入出力用ポート１６２と、第１〜第３の記憶データ用ロウアドレスデコーダ１６３〜１６５と、制御回路１６６とを有している。
【０１０９】
記憶データ入出力用ポート１６２は、記憶データ用カラムアドレスデコーダ１６２ａ、アドレスバッファ１６２ｂおよびＩ／Ｏバッファ１６２ｃで構成されている。カラムアドレスデコーダ１６２ａには、Ｉ／Ｏゲート（カラム・スイッチ）やセンスアンプ等が含まれている。カラムアドレスデコーダ１６２ａには、アドレスバッファ１６２ｂを介してカラムアドレスが入力される。
【０１１０】
カラムアドレスデコーダ１６２ａは、アドレスバッファ１６２ｂを介して供給されるカラムアドレスに対応して、メモリセルアレイ１６０のカラム方向の所定の複数のメモリセル１６１に接続される複数のビット線ＢＬ，/ＢＬとの接続を確保し、Ｉ／Ｏバッファ１６２ｃおよびカラム・アドレス・デコーダ１６２ａを通じて、当該カラム方向の所定のメモリセルに対する、記憶データの書き込み、読み出しが可能となるようにする。
【０１１１】
また、第１の記憶データ用ロウアドレスデコーダ１６３には、アドレスバッファ１６３ａを介してロウアドレスが入力される。ロウアドレスデコーダ１６３は、アドレスバッファ１６３ａを介して供給されるロウアドレスに対応して、メモリセルアレイ１６０のロウ方向の所定のメモリセル１６１に接続されるワード線ＷＬ１を活性化し、Ｉ／Ｏバッファ１６２ｃおよびカラムアドレスデコーダ１６２ａを通じて、当該ロウ方向の所定のメモリセル１６１（１６１ａ，１６１ｂ）に対する、記憶データの書き込み、読み出しが可能となるようにする。
【０１１２】
また、第２の記憶データ用ロウアドレスデコーダ１６４には、アドレスバッファ１６４ａを介してロウアドレスが入力される。ロウアドレスデコーダ１６４は、アドレスバッファ１６４ａを介して供給されるロウアドレスに対応して、メモリセルアレイ１６０のロウ方向の所定のメモリセル１６１に接続されるワード線ＷＬ２を活性化し、Ｉ／Ｏバッファ１６２ｃおよびカラムアドレスデコーダ１６２ａを通じて、当該ロウ方向の所定のメモリセル１６１（１６１ａ）に対する、記憶データの書き込み、読み出しが可能となるようにする。
【０１１３】
また、第３の記憶データ用ロウアドレスデコーダ１６５には、アドレスバッファ１６５ａを介してロウアドレスが入力される。ロウアドレスデコーダ１６５は、アドレスバッファ１６５ａを介して供給されるロウアドレスに対応して、メモリセルアレイ１６０のロウ方向の所定のメモリセル１６１に接続されるワード線ＷＬ３を活性化し、Ｉ／Ｏバッファ１６２ｃおよびカラムアドレスデコーダ１６２ａを通じて、当該ロウ方向の所定のメモリセル１６１（１６１ａ）に対する、記憶データの書き込み、読み出しが可能となるようにする。
また、制御回路１６６は、メモリブロック１５０の上述した各回路の動作を、制御入力に基づいて制御する。
【０１１４】
以上説明したように、本実施の形態においては、動きベクトル検出部１１１（図９参照）のフレームメモリ３，９，１４は同一のメモリブロック１５０（図１５参照）で構成される。そして、階層１〜階層３の画像データは同一のメモリブロック１５０に記憶されると共に、階層２、階層３の画像データをそれぞれ階層１の画像データとは独立して書き込み読み出しを行うことができる。したがって、動きベクトルの検出処理を効率よく行うことができる。
【０１１５】
なお、上述実施の形態においては、画像データを３階層に階層化して動きベクトルＭＶを検出する例を示したが、画像データを２階層または４階層以上に階層化して動きベクトルを検出するものにもこの発明を同様に適用することができる。この場合、同一のメモリブロックに各階層の画像データが記憶されることとなる。
【０１１６】
すなわち、メモリセルアレイは、上述実施の形態と同様に、第１のメモリセル１６１ａと、第２のメモリセル１６１ｂとが混在してマトリックス状に配されて構成される。第１のメモリセル１６１ａは、マトリックスの列方向に延在するように配された第１のワード線およびマトリックスの複数の行にわたる階段状パターンで配された第２のワード線にそれぞれ接続される。第２のメモリセル１６１ｂは、第１のワード線のみに接続される。
【０１１７】
第２のワード線が接続される第１のメモリセル１６１ａには、最下位階層（階層１）以外の階層の画像データが記憶される。４階層以上に階層化する場合、上述実施の形態と同様に、階段状パターンを異にする複数の第２のワード線が存在し、複数の第２のワード線にそれぞれ接続される第１のメモリセル１６１ａは異なるものとされ、それぞれに階層の異なる画像データが記憶されるようになされる。
【０１１８】
また、上述実施の形態においては、図１２に示すように、カラム方向に２１個、ロウ方向に８個のメモリセル１６１がマトリックス状に配されたメモリセルアレイ１６０の一部１６０ａに、階層１〜３の対応する画像データを記憶するように説明したが、各階層の対応する画像データを、それぞれ別個のマトリックス状に配されたメモリセルアレイ１６０の一部１６０ａに記憶するようにしてもよい。
【０１１９】
また、上述実施の形態における、第１のメモリセル１６１ａは、図１３に示すように、２個のアクセストランジスタが並列に接続されたものを示したが、３個以上のアクセストランジスタが並列に接続されるものも同様に構成できる。その場合、この３個以上のアクセストランジスタのそれぞれに接続されるワード線のいずれかを用いて、メモリセル部の選択を行うことができる。
【０１２０】
また、上述実施の形態においては、メモリセルアレイ１６０の第２のメモリセル１６１ｂには最下位階層（階層１）の画像データが記憶され、第１のメモリセル１６１ａには順次平均値階層化された最下位階層以外の階層の画像データが記憶されるものであるが、一般的には第２のメモリセル１６１ｂに記憶される画像データに対し、これを処理して得られた画像データなどを第１のメモリセル１６１ａに記憶することができる。また、このようなメモリ装置は、画像データ以外のデータを記憶する場合にも使用できることは勿論である。
【０１２３】
また、この発明に係る動きベクトル検出装置は、入力画像データより解像度の異なる複数階層の画像データを形成し、この複数階層の画像データを使用して入力画像の所定位置の動きベクトルを検出するものにあって、複数階層の画像データを記憶するメモリ部として上述の記憶装置を使用し、複数階層の画像データのうち最下位階層の画像データを第２のメモリセルに記憶し、複数階層の画像データのうち最下位階層以外の階層の画像データを第１のメモリセルに記憶する構成とするものであり、メモリ部に対して各階層の画像データを独立して書き込み読み出しを行うことができ、動きベクトルの検出処理の効率を上げることができる。
【図面の簡単な説明】
【図１】実施の形態としての動き補償予測符号化装置の構成を示すブロック図である。
【図２】動き検出のためのブロックマッチング法を説明するための図である。
【図３】動き検出のためのブロックマッチング法を説明するための図である。
【図４】動き検出のためのブロックマッチング法を説明するための図である。
【図５】動き検出のためのブロックマッチング法を説明するための図である。
【図６】階層構造を説明するための図である。
【図７】階層構造を説明するための図である。
【図８】動きベクトル検出処理の手順を示すフローチャートである。
【図９】動きベクトル検出部の構成を示すブロック図である。
【図１０】評価値算出回路の構成を示すブロック図である。
【図１１】動きベクトル検出回路の構成を示すブロック図である。
【図１２】メモリブロック内のメモリセルアレイの一部を示す図である。
【図１３】第１のメモリセルの構成例を示す接続図である。
【図１４】第２のメモリセルの構成例を示す接続図である。
【図１５】メモリブロックの構成例を示すブロック図である。
【符号の説明】
２・・・ブロック回路、３，９，１２，１４，１６・・・フレームメモリ、４，１９，２０，２６，２７・・・評価値算出回路、５，１０・・・平均値階層化回路、６，７・・・アクティビティ階層化回路、１７，１８，２４，２５，３１・・・サーチブロック回路、２１，２３，２８，３０・・・加算回路、２２，２９，３２・・・動きベクトル検出回路、１００・・・符号化装置、１０２・・・減算器、１０３・・・ＤＣＴ回路、１０４・・・量子化回路、１０５・・・出力端子、１０６・・・逆量子化回路、１０７・・・逆ＤＣＴ回路、１０８・・・加算器、１０９・・・フレームメモリ、１１０・・・動き補償回路、１１１・・・動きベクトル検出部、１５０・・・メモリブロック、１６０・・・メモリセルアレイ、１６１・・・メモリセル、１６０ａ・・・一部、１６１ａ・・・第１のメモリセル、１６１ｂ・・・第２のメモリセル
【発明の属する技術分野】
この発明は、動きベクトル検出装置に関する。
【０００３】
また、詳しくは、入力画像データより解像度の異なる複数階層の画像データを形成し、この複数階層の画像データを使用して入力画像の所定位置の動きベクトルを検出するものにあって、複数階層の画像データを記憶するメモリ部として上述の記憶装置を使用し、複数階層の画像データのうち最下位階層の画像データを第２のメモリセルに記憶し、複数階層の画像データのうち最下位階層以外の階層の画像データを第１のメモリセルに記憶する構成とすることによって、メモリ部に対して各階層の画像データを独立して書き込み読み出しを行い得るようにし、動きベクトルの検出処理の効率を上げるようにした動きベクトル検出装置に係るものである。
【０００４】
【従来の技術】
従来、動画像の処理として、動きベクトル、すなわち時間的に異なる画像中の物体の動き方向と大きさを用いるものがある。例えば画像の高能率符号化における動き補償予測符号化に動きベクトルが用いられる。
【０００５】
この画像の動き量を求める動き量検出方法として、演算量を低減するために、入力画像データより解像度の異なる複数階層の画像データを形成し、この複数階層の画像データを使用して入力画像の所定位置の動きベクトルを検出する方法が提案されている（特開平７−２２２１５７号参照）。
【０００６】
この動きベクトル検出方法では、まず入力画像データ（階層１の画像データ）を、平均化やローパスフィルタ処理等で平均値階層化して、画素数を低減した画像データ（階層２の画像データ）を作成する。次に作成した階層２の画像データで大まかな動きベクトルを検出し、その動きベクトルに基づいて階層１の画像データについて細かな動きベクトルの検出を行うことにより、少ない演算量で動きベクトルを検出し得るようになされている。
【０００７】
なおここでの階層数は２階層に限らず、順次平均値階層化を繰り返すことにより、さらに画素数を低減した階層３、階層４、……の画像データを作成し、上述したと同様にして動きベクトルを検出することもできる。
【０００８】
【発明が解決しようとする課題】
この場合、各階層の画像データを同一のメモリ部に記憶する場合、各階層の書き込み、読み出しを独立して行うことができれば効率的である。
この発明の目的は、各階層の画像データを用いて動きベクトルを検出するものにあって、当該各階層の画像データをメモリ部に対して独立して書き込み、読み出しを行い得るようにして、動きベクトルの検出処理の効率を上げるようにした動きベクトル検出装置を提供することにある。
【００１７】
またこの発明に係る動きベクトル検出装置は、入力画像データより解像度の異なる複数階層の画像データを形成する画像階層化手段と、この画像階層化手段で形成された複数階層の画像データに基づいて、入力画像の所定位置の動きベクトルを、ブロックマッチング処理を用いて検出する動きベクトル検出手段とを備える動きベクトル検出装置であって、複数階層の画像データを記憶するメモリ部として上述の記憶装置を有し、複数階層の画像データのうち最下位階層の画像データは第２のメモリセルに記憶され、複数階層の画像データのうち最下位階層以外の階層の画像データは第１のメモリセルに記憶されるものである。
【００１８】
この発明においては、入力画像データより解像度の異なる複数階層の画像データが形成され、この複数階層の画像データに基づいて、入力画像の所定位置の動きベクトルが、ブロックマッチング処理を用いて検出される。
【００１９】
そして、複数階層の画像データのうち最下位階層の画像データは、第１のワード線のみに接続された第２のメモリセルに記憶される。一方、複数階層の画像データのうち最下位階層以外の階層の画像データは、第１のワード線および第２のワード線にそれぞれ接続された第１のメモリセルに記憶される。
【００２０】
そのため、複数階層の画像データのうち最下位階層の画像データは、第１のワード線によって第２のメモリセルを活性化して、書き込み読み出しが行われる。一方、複数階層の画像データのうち最下位階層以外の階層の画像データは、第２のワード線によって第１のメモリセルを活性化して、最下位階層の画像データとは独立して、書き込み読み出しが行われる。これにより、動きベクトルの検出処理を効率よく行うことができる。
【００２１】
ここで、階段状パターンをそれぞれ異にする複数の第２のワード線が併存し、この複数の第２のワード線にそれぞれ接続される第１のメモリセルは異なり、この複数の第２のワード線にそれぞれ接続される第１のメモリセルにはそれぞれ異なる階層の画像データが記憶されることで、各第２のワード線で第１のメモリセルを活性化して、それぞれ階層を異にする画像データの書き込み読み出しを行うことができる。
【００２２】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。
図１は、実施の形態としての動き補償予測符号化装置１００の構成を示している。
この符号化装置１００は、画像データ（動画像を構成するフレームデータ）Ｄｉを入力する入力端子１０１と、この入力端子１０１に供給される画像データＤｉと後述する動き補償回路１１０から供給される予測画像データとの差分を演算する減算器１０２と、この減算器１０２で得られる差分データに対してＤＣＴ（Discrete Cosine Transform：離散コサイン変換）を行うＤＣＴ回路１０３と、このＤＣＴ回路１０３で得られるＤＣＴ係数に対して量子化を行う量子化回路１０４と、この量子化回路１０４で得られた符号化データＤｏを出力する出力端子１０５とを有している。
【００２３】
また、符号化装置１００は、量子化回路１０４で得られた符号化データＤｏに対して逆量子化を行う逆量子化回路１０６と、この逆量子化回路１０６の出力データに対して逆ＤＣＴを行って差分データを得る逆ＤＣＴ回路１０７と、この逆ＤＣＴ回路１０７で得られる差分データと動き補償回路１１０で得られる予測画像データとを加算して元の画像データを復元する加算器１０８と、この加算器１０８で復元された画像データを記憶するフレームメモリ１０９とを有している。
【００２４】
また、符号化装置１００は、フレームメモリ１０９に記憶された画像データを読み込み、後述する動きベクトル検出部１１１からの動きベクトルＭＶに基づいて動き補償をした後、上述したように減算器１０２および加算器１０８に予測画像データとして供給する動き補償回路１１０と、入力端子１０１に供給される画像データＤｉの動きベクトルＭＶを検出して動き補償回路１１０に供給する動きベクトル検出部１１１とを有している。
【００２５】
図１に示す動き補償予測符号化装置１００の動作を説明する。
入力端子１０１に入力される画像データＤｉは、減算器１０２および動きベクトル検出部１１１に供給される。減算器１０２では、この画像データＤｉと動き補償回路１１０から供給される予測画像データとの差分が演算される。
【００２６】
減算器１０２で得られる差分データはＤＣＴ回路１０３に供給されて離散コサイン変換される。このＤＣＴ回路１０３で得られるＤＣＴ係数は量子化回路１０４に供給されて量子化される。そして、この量子化回路１０４で得られた符号化データＤｏが出力端子１０５に出力される。
【００２７】
また、量子化回路１０４で得られる符号化データＤｏが逆量子化回路１０６に供給されて逆量子化され、さらにこの逆量子化回路１０６の出力データが逆ＤＣＴ回路１０７に供給されて逆ＤＣＴされ、差分データが復元される。この差分データと動き補償回路１１０からの予測データとが加算器１０８で加算されて元の画像データが復元され、この復元された画像データがフレームメモリ１０９に記憶される。
【００２８】
動き補償回路１１０では、あるフレームにおいては、その前のフレームにフレームメモリ１０９に記憶された画像データの読み込みが行われて、動きベクトル検出部１１１からの動きベクトルＭＶに基づいて動き補償されて、予測画像データが得られる。この予測画像データは、上述したように、差分データを得るために減算器１０２に供給されると共に、画像データを復元するために加算器１０８に供給される。
【００２９】
次に、動きベクトル検出部１１１の詳細を説明する。
この動きベクトル検出部１１１では、ブロックマッチング法により動きベクトルが検出される。これは、図２に示すように、探索フレームの候補ブロックを所定の探索範囲内で移動し、参照フレームの参照ブロックと最も合致している候補ブロックを検出することにより、動きベクトルを求めるものである。
【００３０】
ブロックマッチング法では、図３Ａに示すように、１枚の画像、例えば水平Ｈ画素、垂直Ｖラインの１フレームの画像が図４Ｂに示すように、Ｐ画素×Ｑラインのブロックに細分化される。図３Ｂの例では、Ｐ＝５、Ｑ＝５の例である。ｃがブロックの中心画素位置である。
【００３１】
図４Ａ〜Ｃは、ｃを中心画素とする参照ブロックとｃ´を中心とする候補ブロックの位置関係を示している。ｃを中心画素とする参照ブロックは、参照フレームの注目しているある参照ブロックであり、それと一致する探索フレームの候補ブロックが探索フレームにおいてｃ´を中心とするブロックの位置にあるものとしている。ブロックマッチング法では、探索範囲内において、参照ブロックと最も合致する候補ブロックを見出すことによって、動きベクトルを検出する。
【００３２】
図４Ａの場合では、水平方向に＋１画素、垂直方向に＋１ライン、すなわち、（＋１，＋１）の動きベクトルが検出される。図４Ｂでは、（＋３，＋３）の動きベクトルＭＶが検出され、図４Ｃでは、（＋２，−１）の動きベクトルが検出される。動きベクトルは、参照フレームの参照ブロック毎に求められる。
【００３３】
動きベクトルを探索する範囲を水平方向で±Ｓ画素、垂直方向で±Ｔラインとすると、参照ブロックは、その中心ｃに対して、水平に±Ｓ、垂直に±Ｔずれたところに中心ｃ´を有する候補ブロックと比較される必要がある。
【００３４】
図５は、参照フレームのある参照ブロックの中心ｃの位置をＲとする時に、比較すべき探索フレームの（２Ｓ＋１）×（２Ｔ＋１）個の候補ブロックとの比較が必要なことを示している。すなわち、この図５のます目の位置にｃ´が存在する候補ブロックの全てが比較対象である。図５は、Ｓ＝４，Ｔ＝３とした例である。
【００３５】
探索範囲内の比較で得られた評価値（すなわち、フレーム差の絶対値和、このフレーム差の二乗和、あるいはフレーム差の絶対値のｎ乗和等）の中で、最小値を検出することによって、動きベクトルが検出される。図５の探索範囲は、候補ブロックの中心が位置する領域であり、候補ブロックの全体が含まれる探索範囲の大きさは、（２Ｓ＋Ｐ）×（２Ｔ＋Ｑ）となる。
【００３６】
また、動きベクトル検出部１１１では、入力画像データについて平均値階層化の手法によつて複数階層の画像データを形成すると共に、各階層の高周波成分（以下、「アクティビティ」と呼ぶ）を表すデータについても階層化（以下、「アクティビティ階層化」と呼ぶ）してアクティビティデータを形成し、階層毎にこれらを用いて動きベクトル（動き量）を検出する。
【００３７】
実際上それぞれ階層化された画像データとアクティビティデータについては、上位階層から順にブロックマッチング法で評価値を求め、これらを総合判断することにより、その階層の動きベクトルを求める。この動きベクトルに基づいて順次下位階層の評価値を求める際に動き補償して参照することにより、入力画像の動きベクトルを検出する。
【００３８】
図６は、階層化された画像データを生成する例を示している。図６（Ａ）は入力画像データについて３階層に階層化された画像データを生成する場合である。階層１は入力画像データそのものである。この場合、階層ｎ（ｎ＝２，３）の画像データＭn（ｘ，ｙ）は、（１）式のように平均値化によって求めることができる。ここで、階層ｎのブロックサイズは、階層ｎ−１と比べて水平方向および垂直方向のそれぞれに１／２となる。このように生成された階層１〜階層３の画像データはそれぞれ解像度が異なるものとなる。
【００３９】
【数１】
また、図６（Ｂ）に示すように、平均値階層化された画像データについてアクティビティ階層化してアクティビティデータを生成する。階層２のアクティビティデータをΔ2（ｘ，ｙ）とすると、このアクティビティデータΔ2（ｘ，ｙ）は、（２）式に示すように、階層２の画像データと入力画像データ（階層１の画像データ）との対応する画素の差分の絶対値和によって求められる。
【００４１】
【数２】
同様に、階層３のアクティビティデータをΔ3（ｘ，ｙ）とすると、このアクティビティデータΔ3（ｘ，ｙ）は、（３）式に示すように、階層３の画像データと入力画像データ（階層１の画像データ）との対応する画素の差分の絶対値和によって求められる。
【００４３】
【数３】
（２）式、（３）式に示すように、アクティビティデータΔ2（ｘ，ｙ），Δ3（ｘ，ｙ）をいずれも入力画像データを基底にして求めるようにしたことにより、アクティビティデータとして入力画像データに忠実な高周波成分を抽出できる。
【００４５】
このようにしてアクティビティデータを求めると、その階層構造は図６（Ｂ）に示すようになり、最下位階層以外での階層プレーンを持つことになる。このアクティビティデータは、平均値階層化したときに画像データ中で欠落する特徴量を反映していることになる。
【００４６】
ここで、例えば図７に示すような入力画像データ（階層１の画像データ）中の４×４の画素ｘ１，ｘ２，・・・，ｘ15，ｘ16でなるブロックに対して階層化する場合、平均値階層化の階層２の画像データ中の画素ｙ１、ｙ２、ｙ３、ｙ４は、（１）式に基づいて、それぞれ（４）式により求められる。
ｙ１＝（ｘ１＋ｘ２＋ｘ３＋ｘ４）／４
ｙ２＝（ｘ５＋ｘ６＋ｘ７＋ｘ８）／４
ｙ３＝（ｘ９＋ｘ10＋ｘ11＋ｘ12）／４
ｙ４＝（ｘ13＋ｘ14＋ｘ15＋ｘ16）／４ ・・・（４）
【００４７】
さらに、この階層２の２×２の画素ｙ１，ｙ２，ｙ３，ｙ４に対して階層化する場合、平均値階層化の階層３の画像データ中の画素ｚ１は、（１）式に基づいて、（５）式により求められる。
ｚ１＝（ｙ１＋ｙ２＋ｙ３＋ｙ４）／４ ・・・（５）
【００４８】
また同様にして、アクティビティ階層化してなる階層２のアクティビティデータは、平均値階層化された階層２の画像データの画素ｙ１，ｙ２，ｙ３，ｙ４と階層１の画像データの画素ｘ１，ｘ２，……，ｘ15，ｘ16を用いて、（２）式に基づいて、（６）式により求められる。
ａ１＝（｜ｘ１−ｙ１｜＋｜ｘ２−ｙ１｜＋｜ｘ３−ｙ１｜＋｜ｘ４−ｙ１｜）／４
ａ２＝（｜ｘ５−ｙ２｜＋｜ｘ６−ｙ２｜＋｜ｘ７−ｙ２｜＋｜ｘ８−ｙ２｜）／４
ａ３＝（｜ｘ９−ｙ３｜＋｜ｘ10−ｙ３｜＋｜ｘ11−ｙ３｜＋｜ｘ12−ｙ３｜）／４
ａ４＝（｜ｘ13−ｙ４｜＋｜ｘ14−ｙ４｜＋｜ｘ15−ｙ４｜＋｜ｘ16−ｙ４｜）／４
・・・（６）
【００４９】
さらに、アクティビティ階層化してなる階層３のアクティビティデータは、平均値階層化された階層３の画像データの画素ｚ１と階層１の画像データの画素ｘ１、ｘ２、……、ｘ15、ｘ16を用いて、（３）式に基づいて、（７）式により求められる。
ｂ１＝（｜ｘ１−ｚ１｜＋｜ｘ２−ｚ１｜＋｜ｘ３−ｚ１｜
＋｜ｘ４−ｚ１｜＋｜ｘ５−ｚ１｜＋｜ｘ６−ｚ１｜
＋｜ｘ７−ｚ１｜＋｜ｘ８−ｚ１｜＋｜ｘ９−ｚ１｜
＋｜ｘ10−ｚ１｜＋｜ｘ11−ｚ１｜＋｜ｘ12−ｚ１｜
＋｜ｘ13−ｚ１｜＋｜ｘ14−ｚ１｜＋｜ｘ15−ｚ１｜
＋｜ｘ16−ｚ１｜）／１６ ・・・（７）
【００５０】
上述のようにして求めた平均値階層化した画像データとアクティビティ階層化したアクティビティデータを用いて、各階層でブロックマッチング法による動きベクトル検出を行う。すなわち、ブロックマッチングの評価関数は、現フイールドをｔで表すと、（８）式で求められる。ただし、（ｕn、ｖn）は、階層ｎでの動きベクトルを示している。
【００５１】
【数４】
この評価関数Ｅ（Ｙ）n の最小を与えるＶ′n ＝（ｕn、ｖn）を、求める動きベクトルとする。現在の階層における動きベクトルＶnは、（９）式の関係に基づいて、求めることができる。
Ｖn＝Ｖ′n＋２Ｖn+1 ・・・（９）
本実施の形態においては、図６（Ｂ）のアクティビティデータについても、（８）式と同様に、（１０）式により評価関数を求める。
【００５３】
【数５】
そして、新たな評価関数Ｅ（Ｇ）nを、（１１）式とする。ただし、ｗ1、ｗ2は重み係数である。そして評価関数Ｅ（Ｇ）nの最小を与える動きベクトルを求める。なお、最下位階層ではアクティビティデータが存在しないため、（８）式の評価関数Ｅ（Ｙ）nのみによる評価を行う。
Ｅ（Ｇ）n＝ｗ1・Ｅ（Ｙ）n＋ｗ2・Ｅ（Ｄ）n ・・・（１１）
【００５５】
このように平均値階層化された画像データとアクティビティ階層化されたアクティビティデータの両者を用いて評価することにより、一方の階層の最適評価値が誤検出であっても、もう一方の評価値で正しい検出ができるようになり、各階層における動きベクトル検出の精度が向上する。このように各階層における動きベクトル検出精度が向上すると、（９）式で求める最終的な動きベクトルも検出精度が向上する。
【００５６】
図８のフローチャートは、ある参照ブロック（例えば１６×１６のブロックサイズ）における動きベクトル検出処理の手順を示している。
まず、ステップＳＰ１において、入力画像データから動きベクトルを検出すべき参照ブロックを得る。次に、ステップＳＰ２で、参照ブロックの画像データを、（１）式に従つて平均値階層化すると共に、（２）式および（３）式に従つてアクティビティ階層化して、例えば階層１、階層２および階層３の画像データと、階層２および階層３のアクティビティデータを生成する。
【００５７】
次に、ステップＳＰ３で、現在処理済みの階層が最下位階層（階層１）か否か判断する。現在処理済みの階層が最下位階層でないときは、ステップＳＰ４で、全サーチ領域について探索終了か否かを判断する。ここで、探索終了でないときは、ステップＳＰ５で、画像データおよびアクティビティデータの現在および過去のデータ（過去のデータはメモリに蓄積されている）を用いて、（８）式および（１０）式に基づいて評価関数Ｅ（Ｙ）n ，Ｅ（Ｄ）n による評価値を求め、ステップＳＰ４に戻る。
【００５８】
一方、ステップＳＰ４で、探索終了であるときは、ステップＳＰ６で、画像データおよびアクティビティデータについて求めた評価関数Ｅ（Ｙ）nおよびＥ（Ｄ）nを用いて、（１１）式より得られる新たな評価関数Ｅ（Ｇ）nによる評価を行って最適評価値を求め、その後にステップＳＰ７に移る。
【００５９】
ステップＳＰ７では、最適評価値より動きベクトルＶ′nを決定する。そして、次に、ステップＳＰ８で、（９）式に基づいて、上位階層で決定された動きベクトルＶn+1を２倍して加算し、現在処理している階層における動きベクトルＶnを求める。その後に、ステップＳＰ３に戻る。
ステップＳＰ３で、現在処理済みの階層が最下位階層であるときは、ステップＳＰ９で、当該参照ブロックの動きベクトルの検出処理を終了する。
【００６０】
図９は、動きベクトル検出部１１１の構成を示している。この動きベクトル検出部１１１においては、入力画像データＤｉがブロック回路２に入力され、所定のサイズ（例えば16×16のブロックサイズ）で順次ブロック化される。ブロック回路２から順次出力される参照ブロックの画像データは、それぞれ階層１のフレームメモリ３および評価値算出回路４、階層２の平均値階層化回路５、アクティビティ階層化回路６、階層３のアクティビティ階層化回路７に入力される。
【００６１】
階層２の平均値階層化回路５では、ブロック回路２より順次出力される参照ブロックの階層１の画像データについて、（１）式の演算による平均値階層化処理を実行して参照ブロックの階層２の画像データを求める。この結果得られる階層２の画像データは、階層２のフレームメモリ９、アクティビティ階層化回路６および評価値算出回路２６、階層３の平均値階層化回路１０に入力される。
【００６２】
階層２のアクティビティ階層化回路６では、ブロック回路２より順次出力される参照ブロックの階層１の画像データと、平均値階層化回路５より出力される当該参照ブロックの階層２の画像データとを用いて、（２）式の演算によるアクティビティ階層化処理を実行して、参照ブロックの階層２のアクティビティデータを求める。この結果得られる階層２のアクティビティデータは、それぞれ階層２のフレームメモリ１２および評価値算出回路２７に入力される。
【００６３】
階層３の平均値階層化回路１０では、平均値階層化回路５より順次出力される参照ブロックの画像データについて、（１）式の演算による平均値階層化処理を実行して参照ブロックの階層３の画像データを求める。この結果得られる階層３の画像データは、階層３のフレームメモリ１４、アクティビティ階層化回路７および評価値算出回路１９に入力される。
【００６４】
階層３のアクティビティ階層化回路７では、ブロック回路２より順次出力される参照ブロックの画像データと、平均値階層化回路１０より出力される当該参照ブロックの階層３の画像データとを用いて、（３）式の演算によるアクティビティ階層化処理を実行して、参照ブロックの階層３のアクティビティデータを求める。この結果得られる階層３のアクティビティデータは、階層３のフレームメモリ１６および評価値算出回路２０に入力される。
【００６５】
この動きベクトル検出部１１１では、ブロック回路２より順次出力される参照ブロックの画像データが、図６（Ａ），（Ｂ）に示すように、階層１、階層２および階層３の画像データとして平均値階層化されると共に、階層２および階層３のアクティビティデータとしてアクティビティ階層化される。
【００６６】
そして、各参照ブロックのそれぞれの動きベクトルの検出においては、まず最上位階層である階層３における動きベクトルの検出が行われる。フレームメモリ１４に格納されている、１フレーム前のフレーム（探索フレーム）における階層３の画像データより、サーチブロック回路１７で、サーチ領域（探索範囲）内の各候補ブロックに対応した階層３の画像データが順次読み出されて評価値算出回路１９に供給される。
【００６７】
評価値算出回路１９では、平均値階層化回路１０からの参照ブロックの階層３の画像データと、サーチブロック１７からの各候補ブロックの階層３の画像データとを用いて、（８）式の評価関数Ｅ（Ｙ）3に基づいて、各候補ブロックの評価値を求める。
【００６８】
また、フレームメモリ１６に格納されている、１フレーム前のフレーム（探索フレーム）における階層３のアクティビティデータより、サーチブロック回路１８で、サーチ領域（探索範囲）内の各候補ブロックに対応した階層３のアクティビティデータが順次読み出されて評価値算出回路２０に供給される。
【００６９】
評価値算出回路２０では、アクティビティ階層化回路７からの参照ブロックの階層３のアクティビティデータと、サーチブロック１８からの各候補ブロックの階層３のアクティビティデータとを用いて、（１０）式の評価関数Ｅ（Ｄ）3に基づいて、各候補ブロックの評価値を求める。
【００７０】
評価値算出回路１９，２０でそれぞれ求められ各候補ブロックの評価値は、加算回路２１で、（１１）式に基づいて重み付け加算される。この結果得られる新たな評価関数Ｅ（Ｇ）3に基づく各候補ブロックの評価値は動きベクトル検出回路２２に入力される。
【００７１】
本実施の形態において、評価値算出回路４０（１９，２０）は、図１０に示すように構成されている。すなわち、評価値算出回路４０においては、参照ブロックメモリ４１と候補ブロックメモリ４２とを有している。参照ブロックメモリ４１は、平均値階層化回路１０からの参照ブロックの階層３の画像データ、あるいはアクティビティ階層化回路７からの参照ブロックの階層３のアクティビティデータを格納する。候補ブロックメモリ４２は、サーチブロック回路１７からの候補ブロックの階層３の画像データ、あるいはサーチブロック回路１８からの候補ブロックの階層３のアクティビティデータを格納する。
【００７２】
この参照ブロックメモリ４１および候補ブロックメモリ４２の内容が、メモリコントローラ４３で指定されたアドレスの順に読み出され、それぞれレジスタ４４およびレジスタ４５を通じて減算回路４６で減算される。この結果得られる差分データは絶対値化回路４７で絶対値化され、加算回路４８およびレジスタ４９で累積加算される。この累積加算結果は、当該候補ブロックの評価値となる。評価値算出回路４０で順次算出される各候補ブロックの評価値は、評価値メモリ５０に、評価値メモリコントローラ５１より指定されたアドレスの順に従つて入力される。
【００７３】
なお、実際には、階層２および階層３における処理では、平均値階層化された画像データについての評価値と、アクティビティ階層化されたアクティビティデータについての評価値が、重み付け加算されて評価値メモリ５０に記憶される。
【００７４】
本実施の形態において、動きベクトル検出回路６０（２２）は、図１１に示すように構成されている。すなわち、動きベクトル検出回路６０では、各候補ブロックの評価値が、評価値メモリ５０より、順次評価値メモリコントローラ５１より指定されたアドレスに従って読み出され、比較器６１およびレジスタ６２に入力される。比較器６１は他方の入力と評価値メモリ５０より読み出された評価値を順次比較し、このうち評価値メモリ５０より読み出された評価値が小さいとき、レジスタ６２およびレジスタ６３の内容を更新する信号を送出する。
【００７５】
レジスタ６３には、評価値メモリ５０を読み出すアドレスが順次設定される。このようにして評価値メモリ５０に記憶された評価値が順次評価され、そのうちの評価値の最小を与えるアドレスがレジスタ６３より送出され、これが動きベクトル検出回路６０の出力、すなわち動きベクトルＭＶとして出力される。
【００７６】
次に、階層２における動きベクトルの検出が行われる。この場合、上述したように階層３の動きベクトル検出回路２２で得られる階層３の動きベクトルは、階層２のフレームメモリ９，１２に供給され、この動きベクトルによつてサーチ領域が動き補償される。
【００７７】
そして、フレームメモリ９に格納されている、１フレーム前のフレーム（探索フレーム）における階層２の画像データより、サーチブロック回路２４で、サーチ領域（探索範囲）内の各候補ブロックに対応した階層２の画像データが順次読み出されて評価値算出回路２６に供給される。この階層２におけるサーチ領域は、上述した階層３におけるサーチ領域より狭くされる。
【００７８】
評価値算出回路２６では、平均値階層化回路５からの参照ブロックの階層２の画像データと、サーチブロック２４からの各候補ブロックの階層２の画像データとを用いて、（８）式の評価関数Ｅ（Ｙ）2に基づいて、各候補ブロックの評価値を求める。
【００７９】
また、フレームメモリ１２に格納されている、１フレーム前のフレーム（探索フレーム）における階層２のアクティビティデータより、サーチブロック回路２５で、サーチ領域（探索範囲）内の各候補ブロックに対応した階層２のアクティビティデータが順次読み出されて評価値算出回路２７に供給される。
【００８０】
評価値算出回路２７では、アクティビティ階層化回路６からの参照ブロックの階層２のアクティビティデータと、サーチブロック２５からの各候補ブロックの階層２のアクティビティデータとを用いて、（１０）式の評価関数Ｅ（Ｄ）2に基づいて、各候補ブロックの評価値を求める。
【００８１】
評価値算出回路２６，２７でそれぞれ求められ各候補ブロックの評価値は、加算回路２８で、（１１）式に基づいて重み付け加算される。この結果得られる新たな評価関数Ｅ（Ｇ）2に基づく各候補ブロックの評価値は動きベクトル検出回路２９に入力される。そして、動きベクトル検出回路２９では、各候補ブロックの評価値が順次評価され、動きベクトルが得られる。
【００８２】
この動きベクトル検出回路２９で得られる動きベクトルは、加算回路２３で、（９）式に示すように、階層３の動きベクトルと加算され、階層２の動きベクトルとなる。なお、この評価値算出回路２６，２７および動きベクトル検出回路２９も、上述した評価値算出回路４０（図１０）および動きベクトル検出回路６０（図１１）と同様に構成されている。
【００８３】
次に、階層１における動きベクトルの検出が行われる。この場合、上述したように加算回路２３で得られる階層２の動きベクトルは、階層１のフレームメモリ３に供給され、この動きベクトルによつてサーチ領域が動き補償される。
【００８４】
そして、フレームメモリ３に格納されている、１フレーム前のフレーム（探索フレーム）における階層１の画像データより、サーチブロック回路３１で、サーチ領域（探索範囲）内の各候補ブロックに対応した階層１の画像データが順次読み出されて評価値算出回路４に供給される。この階層１におけるサーチ領域は、上述した階層２におけるサーチ領域よりさらに狭くされる。
【００８５】
評価値算出回路４では、ブロック回路２からの参照ブロックの階層１の画像データと、サーチブロック３１からの各候補ブロックの階層１の画像データとを用いて、（８）式の評価関数Ｅ（Ｙ）1に基づいて、各候補ブロックの評価値を求める。
【００８６】
評価値算出回路４で求められ各候補ブロックの評価値は、動きベクトル検出回路３２に入力される。この動きベクトル検出回路３２では、各候補ブロックの評価値が順次評価され、動きベクトルが得られる。この動きベクトルは、加算回路３０で、（９）式に示すように、階層２の動きベクトルと加算され、階層１の動きベクトル、つまり求めるべき参照ブロックの動きベクトルＭＶとして出力される。なお、評価値算出回路４および動きベクトル検出回路３２も、上述した評価値算出回路４０（図１０）および動きベクトル検出回路６０（図１１）と同様に構成されている。
【００８７】
このようにして、画像を複数の解像度で階層化し、この階層画像を用いてブロックマッチング法で動きベクトルを検出する際、アクティビティ階層化したアクティビティデータについて求めた評価値を階層毎の評価の対象とするようにしたので、少ない計算量で動き量を高い精度で検出できる。
【００８８】
また、本実施の形態において、階層１，２，３の画像データがそれぞれ記憶されるフレームメモリ３，９，１４は、同一のメモリブロック１５０によって構成されている。
【００８９】
図１２は、このメモリブロック１５０内のメモリセルアレイ１６０の一部１６０ａの構成を示している。この一部１６０ａには、階層１の１６画素の画像データ（図７（Ａ）の画素ｘ１〜ｘ16に相当）、それより得られる階層２の４画素の画像データ（図７（Ａ）の画素ｙ１〜ｙ４に相当）、それより得られる階層３の１画素の画像データ（図７（Ａ）の画素ｚ１に相当）が記憶される。なお、各画素の画像データはそれぞれ８ビットのデータである。
【００９０】
この一部１６０ａには、カラム方向（列方向）に２１個、ロウ方向（行方向）に８個のメモリセル１６１がマトリックス状に配されている。各行の２１個のメモリセル１６１は、５個の第１のメモリセル１６１ａと、１６個の第２のメモリセル１６１ｂとからなっている。１６個の第２のメモリセル１６１ｂには、階層１の２画素分の画像データ（１６ビット）が記憶される。５個の第１のメモリセル１６１ａには、階層２の画像データの４ビットおよび階層３の画像データの１ビットが記憶される。
【００９１】
第１のメモリセル１６１ａおよび第２のメモリセル１６１ｂは、それぞれ第１のワード線としてのワード線ＷＬ１に接続される。また、第１のメモリセル１６１ａは、第２のワード線としてのワード線ＷＬ２，ＷＬ３に接続される。ワード線ＷＬ１_i〜ＷＬ１_i+7は、それぞれカラム方向に延在し、このカラム方向に並ぶ２１個のメモリセル１６１（１６１ａ，１６１ｂ）に接続される。
【００９２】
また、ワード線ＷＬ２_k，ＷＬ２_k+1は、それぞれ４行にわたる階段状パターンで配され、各行の４個の第１のメモリセル１６１ａに接続される。同様に、ワード線ＷＬ３_jは、８行にわたる階段状パターンで配され、各行の１個の第１メモリセル１６１ａに接続される。このように、ワード線ＷＬ２_k，ＷＬ２_k+1が接続される第１のメモリセル１６１ａとワード線ＷＬ３_jが接続される第１のメモリセル１６１ａとは異なっている。
【００９３】
なお、以上の説明は、階層１〜３のそれぞれ１６画素、４画素、１画素の画像データを記憶するメモリセルアレイ１６０の一部１６０ａについてであるが、その他の対応する部分も同様に構成されている。したがって、ワード線ＷＬ２，ＷＬ３の階段状パターンは、カラム方向には、２１個のメモリセル単位で繰り返されている。
【００９４】
図１２に示すようなメモリセルアレイ１６０の一部１６０ａでは、ワード線ＷＬ１により、カラム方向に延在する２１個のメモリセル１６１（１６１ａ，１６１ｂ）が同時に活性化され、これらのメモリセル１６１に対して、画像データの書き込み、読み出しが可能となる。
【００９５】
また、この一部１６０ａでは、ワード線ＷＬ２により、４行にわたって階段状パターンに配された１６個の第１のメモリセル１６１ａが同時に活性化され、これらの第１のメモリセル１６１ａに対して、画像データの書き込み、読み出しが可能となる。また、この一部１６０ａでは、ワード線ＷＬ３により、８行にわたって階段状パターンに配された８個の第１のメモリセル１６１ａが同時に活性化され、これらの第１のメモリセル１６１ａに対して、画像データの書き込み、読み出しが可能となる。
【００９６】
そのため、本実施の形態において、階層１の画像データは、ワード線ＷＬ１によって第２のメモリセル１６１ｂを活性化して、書き込み読み出しを行うことができる。また、階層２の画像データは、ワード線ＷＬ２によって第１のメモリセル１６１ａを活性化して、書き込み読み出しを行うことができる。さらに、階層３の画像データは、ワード線ＷＬ３によって第１のメモリセル１６１ａを活性化して、書き込み読み出しを行うことができる。
【００９７】
このように、階層１〜階層３の画像データは同一のメモリブロック１５０に記憶されると共に、階層２、階層３の画像データをそれぞれ階層１の画像データとは独立して書き込み読み出しを行うことができ、動きベクトルの検出処理を効率よく行うことができる。
【００９８】
次に、第１のメモリセル１６１ａについて説明する。図１３は、第１のメモリセル１６１ａの構成例を示している。負荷素子であるＰ型ＭＯＳトランジスタＱ１とＮ型ＭＯＳトランジスタＱ３とが電源と接地との間に直列に接続されてＣＭＯＳインバータ１７１が形成されていると共に、負荷素子であるＰ型ＭＯＳトランジスタＱ２とＮ型ＭＯＳトランジスタＱ４とが電源と接地との間に直列に接続されてＣＭＯＳインバータ１７２が形成されている。そして、これらＣＭＯＳインバータ１７１，１７２の各出力、すなわち記憶ノードＮ１，Ｎ２の各電位が互いに他のＣＭＯＳインバータ１７２，１７１の入力、すなわちＮ型ＭＯＳトランジスタＱ４，Ｑ３の各ゲート入力となっている。
【００９９】
ＣＭＯＳインバータ１７１の記憶ノードＮ１は、ワード線ＷＬ１にゲートが接続されたアクセストランジスタＱ５、およびワード線ＷＬ２またはワード線ＷＬ３にゲートが接続されたアクセストランジスタＱ６の双方を介してビット線ＢＬに接続されている。ここで、アクセストランジスタＱ５，Ｑ６は並列接続されている。
【０１００】
一方、ＣＭＯＳインバータ１７２の記憶ノードＮ２は、ワード線ＷＬ１にゲートが接続されたアクセストランジスタＱ７、およびワード線ＷＬ２またはワード線ＷＬ３にゲートが接続されたアクセストランジスタＱ８の双方を介してビット線ビット線/ＢＬ（/ＢＬはＢＬバーを表している）に接続されている。ここで、アクセストランジスタＱ７，Ｑ８は並列接続されている。
【０１０１】
このような構成の第１のメモリセル１６１ａにおいて、一対のＣＭＯＳインバータ１７１，１７２で構成されるメモリセル部１７３には、“１”または“０”のデータが記憶される。そして、このメモリセル部１７３とビット線ＢＬ，/ＢＬとの間で、アクセストランジスタＱ５，Ｑ７、あるいはアクセストランジスタＱ６，Ｑ８を介して、読み出しおよび書き込みのデータ転送が行われる。つまり、メモリセル部１７３の選択を、ワード線ＷＬ１、あるいはワード線ＷＬ２，ＷＬ３のいずれかにより行うことができる。
【０１０２】
なお、図１３に示す第１のメモリセル１６１ａは、通常のＳＲＡＭ (Static Random Access Memory)セルをベースにしたものであるが、高抵抗負荷型やＴＦＴ負荷型などの他のタイプのＳＲＡＭセルをベースにしたものであってもよく、あるいはＤＲＡＭ (Dynamic Random Access Memory)セル等のその他のタイプのメモリセルをベースにしたものであってもよい。
【０１０３】
次に、第２のメモリセル１６１ｂについて説明する。図１４は、第２のメモリセル１６１ｂの構成例を示している。この図１４において、図１３と対応する部分には同一符号を付して示している。
【０１０４】
負荷素子であるＰ型ＭＯＳトランジスタＱ１とＮ型ＭＯＳトランジスタＱ３とが電源と接地との間に直列に接続されてＣＭＯＳインバータ１７１が形成されていると共に、負荷素子であるＰ型ＭＯＳトランジスタＱ２とＮ型ＭＯＳトランジスタＱ４とが電源と接地との間に直列に接続されてＣＭＯＳインバータ１７２が形成されている。そして、これらＣＭＯＳインバータ１７１，１７２の各出力、すなわち記憶ノードＮ１，Ｎ２の各電位が互いに他のＣＭＯＳインバータ１７２，１７１の入力、すなわちＮ型ＭＯＳトランジスタＱ４，Ｑ３の各ゲート入力となっている。
【０１０５】
ＣＭＯＳインバータ１７１の記憶ノードＮ１は、ワード線ＷＬ１にゲートが接続されたアクセストランジスタＱ５を介してビット線ＢＬに接続されている。一方、ＣＭＯＳインバータ１７２の記憶ノードＮ２は、ワード線ＷＬ１にゲートが接続されたアクセストランジスタＱ７を介してビット線ビット線/ＢＬに接続されている。
【０１０６】
このような構成の第２のメモリセル１６１ｂにおいて、一対のＣＭＯＳインバータ１７１，１７２で構成されるメモリセル部１７３には、“１”または“０”のデータが記憶される。そして、このメモリセル部１７３とビット線ＢＬ，/ＢＬとの間で、アクセストランジスタＱ５，Ｑ７を介して、読み出しおよび書き込みのデータ転送が行われる。つまり、メモリセル部１７３の選択を、ワード線ＷＬ１により行うことができる。
【０１０７】
なお、図１４に示す第２のメモリセル１６１ｂは、通常のＳＲＡＭセルであるが、高抵抗負荷型やＴＦＴ負荷型などの他のタイプのＳＲＡＭセルであってもよく、あるいはＤＲＡＭセル等のその他のタイプのメモリセルであってもよい。
【０１０８】
次に、フレームメモリ３，９，１４を構成するメモリブロック１５０について説明する。図１５は、メモリブロック１５０の構成を示している。
メモリブロック１５０は、複数のメモリセルがマトリックス状に配されたメモリセルアレイ１６０と、記憶データ入出力用ポート１６２と、第１〜第３の記憶データ用ロウアドレスデコーダ１６３〜１６５と、制御回路１６６とを有している。
【０１０９】
記憶データ入出力用ポート１６２は、記憶データ用カラムアドレスデコーダ１６２ａ、アドレスバッファ１６２ｂおよびＩ／Ｏバッファ１６２ｃで構成されている。カラムアドレスデコーダ１６２ａには、Ｉ／Ｏゲート（カラム・スイッチ）やセンスアンプ等が含まれている。カラムアドレスデコーダ１６２ａには、アドレスバッファ１６２ｂを介してカラムアドレスが入力される。
【０１１０】
カラムアドレスデコーダ１６２ａは、アドレスバッファ１６２ｂを介して供給されるカラムアドレスに対応して、メモリセルアレイ１６０のカラム方向の所定の複数のメモリセル１６１に接続される複数のビット線ＢＬ，/ＢＬとの接続を確保し、Ｉ／Ｏバッファ１６２ｃおよびカラム・アドレス・デコーダ１６２ａを通じて、当該カラム方向の所定のメモリセルに対する、記憶データの書き込み、読み出しが可能となるようにする。
【０１１１】
また、第１の記憶データ用ロウアドレスデコーダ１６３には、アドレスバッファ１６３ａを介してロウアドレスが入力される。ロウアドレスデコーダ１６３は、アドレスバッファ１６３ａを介して供給されるロウアドレスに対応して、メモリセルアレイ１６０のロウ方向の所定のメモリセル１６１に接続されるワード線ＷＬ１を活性化し、Ｉ／Ｏバッファ１６２ｃおよびカラムアドレスデコーダ１６２ａを通じて、当該ロウ方向の所定のメモリセル１６１（１６１ａ，１６１ｂ）に対する、記憶データの書き込み、読み出しが可能となるようにする。
【０１１２】
また、第２の記憶データ用ロウアドレスデコーダ１６４には、アドレスバッファ１６４ａを介してロウアドレスが入力される。ロウアドレスデコーダ１６４は、アドレスバッファ１６４ａを介して供給されるロウアドレスに対応して、メモリセルアレイ１６０のロウ方向の所定のメモリセル１６１に接続されるワード線ＷＬ２を活性化し、Ｉ／Ｏバッファ１６２ｃおよびカラムアドレスデコーダ１６２ａを通じて、当該ロウ方向の所定のメモリセル１６１（１６１ａ）に対する、記憶データの書き込み、読み出しが可能となるようにする。
【０１１３】
また、第３の記憶データ用ロウアドレスデコーダ１６５には、アドレスバッファ１６５ａを介してロウアドレスが入力される。ロウアドレスデコーダ１６５は、アドレスバッファ１６５ａを介して供給されるロウアドレスに対応して、メモリセルアレイ１６０のロウ方向の所定のメモリセル１６１に接続されるワード線ＷＬ３を活性化し、Ｉ／Ｏバッファ１６２ｃおよびカラムアドレスデコーダ１６２ａを通じて、当該ロウ方向の所定のメモリセル１６１（１６１ａ）に対する、記憶データの書き込み、読み出しが可能となるようにする。
また、制御回路１６６は、メモリブロック１５０の上述した各回路の動作を、制御入力に基づいて制御する。
【０１１４】
以上説明したように、本実施の形態においては、動きベクトル検出部１１１（図９参照）のフレームメモリ３，９，１４は同一のメモリブロック１５０（図１５参照）で構成される。そして、階層１〜階層３の画像データは同一のメモリブロック１５０に記憶されると共に、階層２、階層３の画像データをそれぞれ階層１の画像データとは独立して書き込み読み出しを行うことができる。したがって、動きベクトルの検出処理を効率よく行うことができる。
【０１１５】
なお、上述実施の形態においては、画像データを３階層に階層化して動きベクトルＭＶを検出する例を示したが、画像データを２階層または４階層以上に階層化して動きベクトルを検出するものにもこの発明を同様に適用することができる。この場合、同一のメモリブロックに各階層の画像データが記憶されることとなる。
【０１１６】
すなわち、メモリセルアレイは、上述実施の形態と同様に、第１のメモリセル１６１ａと、第２のメモリセル１６１ｂとが混在してマトリックス状に配されて構成される。第１のメモリセル１６１ａは、マトリックスの列方向に延在するように配された第１のワード線およびマトリックスの複数の行にわたる階段状パターンで配された第２のワード線にそれぞれ接続される。第２のメモリセル１６１ｂは、第１のワード線のみに接続される。
【０１１７】
第２のワード線が接続される第１のメモリセル１６１ａには、最下位階層（階層１）以外の階層の画像データが記憶される。４階層以上に階層化する場合、上述実施の形態と同様に、階段状パターンを異にする複数の第２のワード線が存在し、複数の第２のワード線にそれぞれ接続される第１のメモリセル１６１ａは異なるものとされ、それぞれに階層の異なる画像データが記憶されるようになされる。
【０１１８】
また、上述実施の形態においては、図１２に示すように、カラム方向に２１個、ロウ方向に８個のメモリセル１６１がマトリックス状に配されたメモリセルアレイ１６０の一部１６０ａに、階層１〜３の対応する画像データを記憶するように説明したが、各階層の対応する画像データを、それぞれ別個のマトリックス状に配されたメモリセルアレイ１６０の一部１６０ａに記憶するようにしてもよい。
【０１１９】
また、上述実施の形態における、第１のメモリセル１６１ａは、図１３に示すように、２個のアクセストランジスタが並列に接続されたものを示したが、３個以上のアクセストランジスタが並列に接続されるものも同様に構成できる。その場合、この３個以上のアクセストランジスタのそれぞれに接続されるワード線のいずれかを用いて、メモリセル部の選択を行うことができる。
【０１２０】
また、上述実施の形態においては、メモリセルアレイ１６０の第２のメモリセル１６１ｂには最下位階層（階層１）の画像データが記憶され、第１のメモリセル１６１ａには順次平均値階層化された最下位階層以外の階層の画像データが記憶されるものであるが、一般的には第２のメモリセル１６１ｂに記憶される画像データに対し、これを処理して得られた画像データなどを第１のメモリセル１６１ａに記憶することができる。また、このようなメモリ装置は、画像データ以外のデータを記憶する場合にも使用できることは勿論である。
【０１２３】
また、この発明に係る動きベクトル検出装置は、入力画像データより解像度の異なる複数階層の画像データを形成し、この複数階層の画像データを使用して入力画像の所定位置の動きベクトルを検出するものにあって、複数階層の画像データを記憶するメモリ部として上述の記憶装置を使用し、複数階層の画像データのうち最下位階層の画像データを第２のメモリセルに記憶し、複数階層の画像データのうち最下位階層以外の階層の画像データを第１のメモリセルに記憶する構成とするものであり、メモリ部に対して各階層の画像データを独立して書き込み読み出しを行うことができ、動きベクトルの検出処理の効率を上げることができる。
【図面の簡単な説明】
【図１】実施の形態としての動き補償予測符号化装置の構成を示すブロック図である。
【図２】動き検出のためのブロックマッチング法を説明するための図である。
【図３】動き検出のためのブロックマッチング法を説明するための図である。
【図４】動き検出のためのブロックマッチング法を説明するための図である。
【図５】動き検出のためのブロックマッチング法を説明するための図である。
【図６】階層構造を説明するための図である。
【図７】階層構造を説明するための図である。
【図８】動きベクトル検出処理の手順を示すフローチャートである。
【図９】動きベクトル検出部の構成を示すブロック図である。
【図１０】評価値算出回路の構成を示すブロック図である。
【図１１】動きベクトル検出回路の構成を示すブロック図である。
【図１２】メモリブロック内のメモリセルアレイの一部を示す図である。
【図１３】第１のメモリセルの構成例を示す接続図である。
【図１４】第２のメモリセルの構成例を示す接続図である。
【図１５】メモリブロックの構成例を示すブロック図である。
【符号の説明】
２・・・ブロック回路、３，９，１２，１４，１６・・・フレームメモリ、４，１９，２０，２６，２７・・・評価値算出回路、５，１０・・・平均値階層化回路、６，７・・・アクティビティ階層化回路、１７，１８，２４，２５，３１・・・サーチブロック回路、２１，２３，２８，３０・・・加算回路、２２，２９，３２・・・動きベクトル検出回路、１００・・・符号化装置、１０２・・・減算器、１０３・・・ＤＣＴ回路、１０４・・・量子化回路、１０５・・・出力端子、１０６・・・逆量子化回路、１０７・・・逆ＤＣＴ回路、１０８・・・加算器、１０９・・・フレームメモリ、１１０・・・動き補償回路、１１１・・・動きベクトル検出部、１５０・・・メモリブロック、１６０・・・メモリセルアレイ、１６１・・・メモリセル、１６０ａ・・・一部、１６１ａ・・・第１のメモリセル、１６１ｂ・・・第２のメモリセル
Claims (2)
- 入力画像データより解像度の異なる複数階層の画像データを形成する画像階層化手段と、
上記画像階層化手段で形成された上記複数階層の画像データに基づいて、上記入力画像の所定位置の動きベクトルを、ブロックマッチング処理を用いて検出する動きベクトル検出手段と、
上記複数階層の画像データを記憶するメモリ部とを備え、
上記メモリ部は、
第１のメモリセルと第２のメモリセルとが混在してマトリックス状に配され、
上記第１のメモリセルは第１のワード線および第２のワード線にそれぞれ接続され、
上記第２のメモリセルは上記第１のワード線のみに接続され、
上記第１のワード線は上記マトリックスの列方向に延在するように配され、
上記第２のワード線は上記マトリックスの複数の行にわたる階段状パターンで配され、
上記複数階層の画像データのうち最下位階層の画像データは上記第２のメモリセルに記憶され、上記複数階層の画像データのうち上記最下位階層以外の階層の画像データは上記第１のメモリセルに記憶される動きベクトル検出装置。 - 上記階段状パターンをそれぞれ異にする複数の上記第２のワード線が併存し、
上記複数の第２のワード線にそれぞれ接続される上記第１のメモリセルは異なり、
上記複数の第２のワード線にそれぞれ接続される上記第１のメモリセルには、異なる階層の画像データが記憶される請求項１に記載の動きベクトル検出装置。
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002052022A JP4273695B2 (ja) | 2002-02-27 | 2002-02-27 | 動きベクトル検出装置 |
| US10/474,840 US7573939B2 (en) | 2002-01-11 | 2003-01-10 | Memory cell circuit, memory device, motion vector detection device, and motion compensation prediction coding device |
| CN2007101619517A CN101127236B (zh) | 2002-01-11 | 2003-01-10 | 存储单元电路 |
| CN2007101619663A CN101127237B (zh) | 2002-01-11 | 2003-01-10 | 存储设备和运动矢量检测器 |
| PCT/JP2003/000166 WO2003060921A1 (fr) | 2002-01-11 | 2003-01-10 | Circuit a cellule de memoire, memoire, detecteur de vecteur de mouvement et codeur de prediction de compensation de mouvement |
| CN038002795A CN1509475B (zh) | 2002-01-11 | 2003-01-10 | 存储设备、运动矢量检测器、和运动补偿预测编码器 |
| KR1020037013155A KR100927760B1 (ko) | 2002-01-11 | 2003-01-10 | 메모리 셀 회로, 메모리 장치, 움직임 벡터 검출 장치 및움직임 보상 예측 부호화 장치 |
| US12/341,371 US20090154566A1 (en) | 2002-01-11 | 2008-12-22 | Memory cell circuit, memory device, motion vector detector, and motion compensation predictive encoder |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002052022A JP4273695B2 (ja) | 2002-02-27 | 2002-02-27 | 動きベクトル検出装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003257183A JP2003257183A (ja) | 2003-09-12 |
| JP2003257183A5 JP2003257183A5 (ja) | 2005-03-10 |
| JP4273695B2 true JP4273695B2 (ja) | 2009-06-03 |
Family
ID=28663849
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002052022A Expired - Fee Related JP4273695B2 (ja) | 2002-01-11 | 2002-02-27 | 動きベクトル検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4273695B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100966129B1 (ko) | 2002-10-15 | 2010-06-25 | 소니 주식회사 | 메모리 장치 |
-
2002
- 2002-02-27 JP JP2002052022A patent/JP4273695B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003257183A (ja) | 2003-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20090154566A1 (en) | Memory cell circuit, memory device, motion vector detector, and motion compensation predictive encoder | |
| US8073058B2 (en) | Memory device and device and method for detecting motion vector | |
| US6252611B1 (en) | Storage device having plural memory banks concurrently accessible, and access method therefor | |
| JPH03256485A (ja) | 動きベクトル検出回路 | |
| US20040164322A1 (en) | Semiconductor device, image data processing apparatus and method | |
| JP4224876B2 (ja) | 記憶装置、並びに書き込み方法および読み出し方法 | |
| US6404924B1 (en) | Image processing apparatus and method | |
| JP4273695B2 (ja) | 動きベクトル検出装置 | |
| KR100528560B1 (ko) | 계층적 코딩에 이용하기 위한 저장 장치 및 기록 및 판독 방법 | |
| US6278806B1 (en) | Storage apparatus and storage method | |
| JP4165070B2 (ja) | 半導体メモリ装置、動きベクトル検出装置および動き補償予測符号化装置 | |
| JPH0888856A (ja) | ディジタル画像信号の階層符号化および復号装置 | |
| JP4543307B2 (ja) | メモリ装置、および動きベクトルの検出装置 | |
| US7181075B2 (en) | Multi-level encoding/decoding apparatus | |
| JP4003529B2 (ja) | 動きベクトル検出回路と動きベクトル検出方法 | |
| JP4345301B2 (ja) | 動きベクトル検出回路 | |
| JP4122774B2 (ja) | 半導体メモリ装置、動きベクトル検出装置および動き補償予測符号化装置 | |
| JP4536310B2 (ja) | 動きベクトル検出装置および動き補償予測符号化装置 | |
| JP4689659B2 (ja) | 半導体メモリ及び信号処理装置 | |
| JP4650459B2 (ja) | 半導体装置およびデータ処理装置 | |
| KR100210646B1 (ko) | 연상 메모리를 이용한 모션 검출 장치 및 그 방법 | |
| JPH07222168A (ja) | 動き量検出方法及び動き量検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040406 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040406 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060425 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080408 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080609 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080708 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080905 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080917 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090210 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090223 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130313 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140313 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |