JPH10257498A - 動き検出ｌｓｉ - Google Patents

Abstract

(57)【要約】 【課題】画像の動き検出に使用するデータの読み出し時
間と演算時間の短縮。 【解決手段】動き検出する演算回路６と、参照画像フレ
ームを記憶する参照メモリ３と圧縮対象画像フレームを
記憶する入力メモリ４とを、同一チップ上に配置し、入
力メモリ４から圧縮対象ブロックの複数の画素データを
並列に読み出し、参照メモリ３から動き検出範囲内の複
数の画素データを並列に読み出す。これらのデータを用
いて、演算回路６に設けた複数の演算器６１から６８に
より、複数の参照ブロックと同一の圧縮対象ブロックと
の間の相関を並列に実行する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像の圧縮等に
利用される動き検出回路を内在した太規模集積回路（Ｌ
ＳＩ）に関する。

【０００２】

【従来の技術】画像を圧縮し、蓄積するあるいは伝送す
る方式として、ＩＴＵ−Ｔ（国際電気通信連合電気通信
標準化部門）からＨ．２６１やＨ．２６２が、ＩＳＯ
（国際標準化機構）からＭＰＥＧ１（１１１７２−２）
やＭＰＥＧ２（１３８１８−２）が勧告されている。こ
れらの方式は、動き補償フレーム間予測を採用してい
る。映像信号は、フレーム（あるいはフィールド）間の
冗長性が高いことが知られている。動き補償フレーム間
予測は、この冗長性を除去する技術である。この技術で
は、圧縮対象の画像フレームを複数のブロック（以下、
圧縮対象ブロック）に分割し、各圧縮対象ブロック単位
に処理を行う。すなわち、各圧縮対象ブロックに対し
て、時間的に前に信号処理された画像フレーム（参照画
像フレームと呼ばれる）の中のその圧縮対象ブロックの
近傍に位置する動き検出範囲から、上記圧縮対象ブロッ
クと同じ大きさの複数のブロック（以下、参照ブロック
と呼ぶ）を切り出し、これらの参照ブロックのうちで、
上記圧縮対象ブロックに最も近似した参照ブロックを探
し出す。次に、その圧縮対象ブロックと捜し出された参
照ブロックとの差分を符号化し、それによりその圧縮対
象ブロックに対する圧縮された信号（符号列）を生成す
る。動き検出とは、この最も類似した参照ブロックを探
索する処理であり、動きベクトルは、各圧縮対象ブロッ
クと、そのブロックに対して捜し出された参照ブロック
との間の画面上の変位である。このように、動き検出回
路は、通常、符号化器と一緒に使用される。

【０００３】動き検出を行う回路を一つのＬＳＩに搭載
した動き検出ＬＳＩも提案されている。例えば、電子通
信学会技報、ＩＣＤ９５−１０４号、第１７頁−第２３
頁あるいは同号第２５頁−第３２頁参照。このような動
き検出ＬＳＩは、外部のメモリより圧縮対象の画像フレ
ームを構成する画像データを順次読み出し、さらに、各
画像フレームの読み出しと同期して、そのフレームの処
理に使用する参照画像フレームを外部の他のメモリより
読み出す。これらの二つの画像フレームを使用して、圧
縮対象ブロックに対して動きベクトルを検出する。符号
化器は、その動きベクトルに基づいてその圧縮対象ブロ
ックを符号化し、さらに、そのブロックに対して動画補
償を行う。この結果得られるブロックを次の画像フレー
ムに対する参照ブロックとして、上記参照画像フレーム
用のメモリに書き込む。

【０００４】動き検出ＬＳＩは、一次元のシストリック
アレー状に接続された複数の演算器を含み、この圧縮対
象ブロックのデータと、参照画像データ内の動き検出範
囲のデータとがこの演算器列の一端に順次入力され、こ
れらの演算器列が、圧縮画像ブロックの各画素のデータ
と、参照画像の動き検出範囲内の一つの参照ブロックの
各画素のデータとを用いてそれらのブロックの間の相関
を検出する。さらに、この参照ブロックを動き検出範囲
内で順次切り替えて、以上の相関計算を実行する。こう
して、動き検出範囲内の複数の参照ブロックの内で、圧
縮対象ブロックに対して最も相関度が大きい参照ブロッ
クを検出し、その参照ブロックの位置と圧縮対象ブロッ
クの位置とから、動き検出ベクトルを計算する。以上の
処理を圧縮対象ブロックを順次切り替えて繰り返す。

【０００５】

【発明が解決しようとする課題】従来の動き検出ＬＳＩ
では、圧縮対象画像フレームを記憶する上記メモリ及び
参照画像フレームを記憶する上記メモリが、このＬＳＩ
の外部に設けられている。一般に、ＬＳＩの外部接続用
のピン数の制限もあって、これらのメモリから動き検出
ＬＳＩには、圧縮対象ブロックおよび参照画像データを
画素データ単位に順次シリアルに供給されている。

【０００６】このため、それぞれのデータを供給し始め
てから実際に上記演算器列により演算を開始するに必要
な画素数のデータが供給され終るまでの時間、すなわ
ち、上記データを供給開始してから上記演算器列の演算
が開始されるまでの時間が長くなる。すなわち、データ
の入力時間が大きいという問題がある。このために、各
フレームの圧縮時間が増大する。この問題は、動き検出
範囲が拡大するに従ってより顕著になる。

【０００７】

【課題を解決するための手段】上記目的を達成するため
に、本発明による動き検出ＬＳＩは、第１に動き検出す
る演算回路と、圧縮対称画像フレームを記憶する第１の
メモリと参照用の画像フレームを記憶する第２のメモリ
とを、同一チップ上に有し、さらに、第１，第２のメモ
リのそれぞれを同時に複数の画素データを読み出せる構
成とした。これらのメモリからデータを読み出す回路
に、上記第１のメモリから圧縮対象のブロックに属する
上記複数の画素の内、少なくとも一部の複数の画素のデ
ータを並列に読み出し、上記第２のメモリから、上記動
き検出範囲に属する上記複数の画素の内、少なくとも一
部の複数のデータを並列に読み出す回路を設けた。上記
演算回路には、上記第２のメモリから読み出された上記
複数の画素のデータの内の異なる複数の部分のそれぞれ
と上記第１のメモリから読み出された上記複数の画素の
データとの相関を検出する並列に動作可能な複数の演算
器を設けた。

【０００８】本発明のより具体的な態様では、第１のメ
モリから同時に読み出す画素データを、圧縮対象ブロッ
クの水平画素数とし、また、参照メモリから同時に読み
出す画素データを、動き検出範囲の水平画素数とし、並
列に接続された演算器を、算出する動きベクトルの水平
方向の数として、水平方向の異なる動きベクトルを並列
に同時に演算する構成とする。さらに、具体的には、動
きベクトルの演算器は、ブロックの水平画素数の減算器
と、その減算器からの出力を絶対値加算する加算器とで
構成する。

【０００９】

【発明の実施の形態】以下、本発明に係る動き検出ＬＳ
Ｉを図面に示したいくつかの実施の形態を参照してさら
に詳細に説明する。なお、以下においては、同じ参照番
号は同じものもしくは類似のものを表わすものとする。
また、第２の実施の形態以降では、第１の実施の形態と
の相違点を主に説明する。

【００１０】＜発明の実施の形態１＞図１において、動
き検出ＬＳＩ１は、単一のチップ上に構成され、このLS
Iには、圧縮対象の画像フレームを保持するための入力
メモリ４と、参照画像フレームを保持するための参照メ
モリ３とが設けられている。入力メモリ４には、圧縮対
象の画像フレームが図示しない外部の装置から、図示し
ない信号線を介して順次１フレームづつ入力される。参
照メモリ３には、この圧縮画像フレームに対応する参照
画像フレームが図示しない符号化器から、図示しない信
号線を介して順次１フレームづつ入力される。読み出し
回路５は、アドレスデコーダ５１，参照カウンタ５２，
基準Ｙレジスタ５４，基準Ｘレジスタ５５、及び加算器
５６、５７とからなり、二つのメモリ３，４からデータ
を読み出すのに使用される。

【００１１】この読み出し回路５は、入力メモリ４に対
して、処理中の一つの圧縮対象ブロックの垂直走査線方
向の座標（Ｙ座標）とともに、そのブロック内の同一の
水平走査線に属する全画素の水平走査線方向の座標（Ｘ
座標）とを与える。入力メモリ４は、読み出し回路５か
ら与えられたこれらのアドレスに応答して、そのブロッ
クの同一の水平走査線に属する全ての画素を読み出し、
並列に出力するように構成されている。さらに、この読
み出し回路５は参照メモリ３に対して、この圧縮対象ブ
ロックに対応する動き検出範囲のＹ座標と、その範囲内
の、同一の水平走査線に属する全画素の水平走査線方向
の座標（Ｘ座標）を与える。この参照メモリ３は、これ
らのアドレスに応答して、この動き検出範囲に属し、読
み出し回路５から与えられたＹ座標を有する水平走査線
上の全画素のデータを並行して読み出すように構成され
ている。

【００１２】演算回路６は、複数の演算器６１から６８
と最小値検出器６９とからなり、これらのメモリの出力
から動きベクトルを検出するのに使用される。とくに、
これらの複数の演算器６１から６８が参照画像フレーム
中の複数のブロックのそれぞれと同じ圧縮対象ブロック
との間の相関を並行して算出可能になっている。このよ
うに、入力メモリ４および参照メモリ３から複数の画素
データを一度に出力させると、これらのメモリの出力信
号線の数が増大する。このために、本実施の形態では、
これらのメモリを動き検出ＬＳＩ１内に形成し、このＬ
ＳＩの外部ピンが増大するのを防いでいる。

【００１３】最小値検出器６９により検出された動きベ
クトルは、図示しない上記符号化器に端子７及び８を介
して供給される。この符号化器は、入力メモリ４に供給
された圧縮対象画像フレームに対して検出された動きベ
クトルを使用して、その圧縮対象画像フレームを符号化
し、圧縮された画像の符号列を得る。さらに、この圧縮
対象画像フレームに対して、それ自体公知の方法で動き
補償を実施し、その結果得られる画像フレームを、参照
画像フレームとして参照メモリ３に順次１フレームづつ
図示しない信号線を介して供給する。さらに、符号化器
は、動き検出ＬＳＩの端子２から、次に処理すべき圧縮
対象ブロックのブロック番号をアドレスデコーダ５１に
供給する。なお、図では、入力メモリ４，参照メモリ３
に対してデータを書き込む回路は簡単化のために図示し
てない。

【００１４】本実施の形態では、一つの圧縮対象画像フ
レーム７０は、図６（ａ）に示すごとく、発明の原理を
示すのに必要な程度の画素数、すなわち、水平方向に１
６画素、垂直方向に１２画素を有すると仮定する。な
お、図においてＸ，Ｙは、それぞれ水平走査線方向の画
素座標、垂直走査線方向の画素座標を表わす。以下で
は、一つの画素を他と区別して呼ぶときに、その画素の
Ｘ座標、Ｙ座標を組にして、画素Ｔ（Ｘ，Ｙ）と呼ぶこ
とがある。同様に、参照画像フレーム８０も、図６
（ｂ）に例示するごとく、１６×１２個の画素からなる
と仮定する。以下では、一つの画素を他と区別して呼ぶ
ときに、その画素のＸ座標、Ｙ座標を組にして、画素Ｓ
（Ｘ，Ｙ）と呼ぶことがある。圧縮対象ブロック７１の
大きさを、水平４画素垂直４画素の１６画素からなると
仮定する。

【００１５】圧縮対象画像フレーム７０は、互いに重複
する画素を含まないように複数のブロック、今の例で
は、１２個のブロック＃１，＃１，，＃１２に分割され
る。同様に、各圧縮対象ブロックに対して使用する、参
照画像フレーム中の動き検出範囲８２は、図６（ｂ）に
示すごとく、各圧縮対象ブロック７１に対応するブロッ
ク８１対して、水平方向に−４から＋３の範囲だけだけ
ずれた位置にある画素を含み、垂直方向に−４から＋３
の範囲だけずれた位置にある画素を含むと仮定してい
る。したがって、動き検出範囲８２は、水平１１画素、
垂直１１画素からなる範囲である。勿論、圧縮対象画像
フレームと圧縮対象ブロックの画素数および動き検出範
囲の位置と画素数も任意に変更可能である。

【００１６】本実施の形態での動きベクトルの検出の概
要は以下の通りである。今、ブロック＃７が、圧縮対象
ブロック７１であると仮定すると、このブロックの動き
ベクトルを算出するには、参照画像フレーム８０内の動
き検出範囲８２内の画素とこの圧縮対象ブロック７１の
画素とは次のように比較する必要がある。まず、動き検
出範囲７２を、水平方向、垂直方向にそれぞれ１画素だ
けずれた位置にある複数の参照ブロックに区分する。従
って、これらの参照ブロックは互いに一部重複してい
る。例えば、画素群Ｓ（５，１）からＳ（８，１）、Ｓ
（５，２）からＳ（８，２）、Ｓ（５，３）からＳ
（８，３）、Ｓ（５，４）からＳ（８，４）が第１の参
照ブロックを形成し、画素群Ｓ（６，１）からＳ（９，
１）、Ｓ（６，２）からＳ（９，２）、Ｓ（６，３）か
らＳ（９，３）、Ｓ（６，４）からＳ（８，４）が上の
ブロックの右隣の第２の参照ブロックを形成し、画素群
Ｓ（５，２）からＳ（８，２）、Ｓ（５，３）からＳ
（８，３）、Ｓ（５，４）からＳ（８，４）、Ｓ（５，
５）からＳ（８，５）が第１のブロックの下側の参照ブ
ロックを形成する。即ち、第１の参照ブロックと第２の
参照ブロックとは、画素群Ｓ（６，１）からＳ（８，
１）、Ｓ（６，２）からＳ（８，２）、Ｓ（６，３）か
らＳ（８，３）、Ｓ（６，４）から（８，４）が重複す
ることとなり、同様に、第一の参照ブロックとその下側
のブロックもＳ（５，２）からＳ（８，５）の矩形が重
複する。このように動き検出範囲７２内は、画素を重複
しながら、６４個の参照ブロックに分割される。

【００１７】以下では、矩形の領域に属する画素群ある
いはその領域を表すのに、その領域の左上隅の画素の座
標と右下隅の画素の座標の組により表すことがある。例
えば、上記第１の参照ブロックは、参照ブロックＳ
（５，１）からＳ（８，４）と表す。また、圧縮対象ブ
ロックも同様に、左上隅の画素の座標と右下隅の画素の
座標の組により表すことがある。例えば、上記第７番の
圧縮対象画像ブロックは、圧縮対象ブロックＴ（９、
５）からＴ（１２，８）と表す。

【００１８】演算回路６が、これらの参照ブロックと圧
縮対象ブロック７１との間の相関を算出する。さらに、
それらの参照ブロックの内で、相関の最も大きな参照ブ
ロックを検出し、その参照ブロックの座標と、圧縮対象
ブロック７１の画素との間の位置ベクトルをこの圧縮対
象ブロック７１の動きベクトルとして検出する。

【００１９】これらの参照ブロックと上記圧縮対象ブロ
ック７１との間の相関は、以下のようにして検出され
る。動き検出範囲内の水平の参照ブロックの数と同数
（８個）の演算器６１から６８が、動き検出範囲８２の
最も上に位置する、すなわち、第１の参照ブロックＳ
（５、１）からＳ（８、４）、第２の参照ブロックＳ
（６，１）からＳ（９，４）、第３の参照ブロックＳ
（７，１）からＳ（１０，４）、第４の参照ブロックＳ
（８，１）からＳ（１１，４）、第５の参照ブロックＳ
（９，１）からＳ（１２、４）、第６の参照ブロックＳ
（１０，１）からＳ（１３，４）、第７の参照ブロック
Ｓ（１１，１）からＳ（１４，８）、第８の参照ブロッ
クＳ（１２，１）からＳ（１５，４）の水平方向に並ん
だ８個の参照ブロックの各々と圧縮対象ブロック７１の
との誤差を並行して検出する。最小値検出器６９は、こ
れらの８個の参照ブロックに対する誤差の内、最も小さ
な値とその誤差を与えた参照ブロックの座標を記憶す
る。次に、Ｙ座標を一段下にずらし、同様に水平方向に
並んだ８個の参照ブロックについて同じ操作を演算器６
１から６８により行う。いずれかの参照ブロックに対し
て先に記憶した誤差値より小さな誤差値が得られれば、
先に記憶した誤差値と参照ブロックの座標を更新する。
以下同様のことを、順次異なるＹ座標を有する参照ブロ
ック群に対して行う。

【００２０】水平方向に並んだ８個の参照ブロックと圧
縮対象ブロック７１との相関は、それぞれのブロックを
構成する水平走査線上の画素群を単位として行われる。
すなわち、各演算器６１，，または６８は、いずれかの
参照ブロックの最初の水平走査線上の４個の画素と、圧
縮対象ブロック７１の最初の水平走査線上の４つの画素
との誤差を算出する。次に、その参照ブロックの次の水
平走査線上の４つの画素と圧縮対象ブロック７１の２番
目の水平走査線の４つの画素との誤差を算出し、先に検
出した誤差値に加算する。以上の処理を第３，第４の水
平走査線上の画素に対して繰り返す。こうして、各演算
器６１，，または６８は、一つの参照ブロックと圧縮対
象ブロック６１との間の誤差を得ることができる。

【００２１】このように、８個の演算器６１から６８に
より８個の参照ブロックに関する誤差の計算を並行して
実行させるために、入力メモリ４は、圧縮対象ブロック
７１の同じ水平走査線上の４つの画素のデータを並行し
て線４０１から４０４に読み出し可能に構成され、読み
出された４つの画素は全ての演算器６１から６８に供給
される。参照メモリ３は、圧縮対象ブロック７１に対し
て決まる動き検出範囲８２内の同一の水平走査線上の全
画素（今の場合には１１画素）を線３０１から３１１に
並列に読み出し可能に構成され、これらの画素は、８個
の参照ブロックに属する８つの画素群に分けられ、各画
素群が８つの演算器６１から６８の一つに供給される。
例えば、動き検出範囲８２内の最初の水平走査線の場
合、画素群（５，１）から（８，１）が演算器６１に供
給され、画素群（６，１）から（９，１）が次の演算器
６２に供給される。

【００２２】以下、本実施の形態での動き検出の動作の
詳細を説明する。メモリ読み出し回路５においては、ア
ドレスデコーダ５１は、図示しない符号化器から端子２
を介して入力された、圧縮対象ブロックのブロック番号
を、入力メモリ４及び参照メモリ３のＸ座標及びＹ座標
のアドレスに変換し、それぞれを基準Ｘアドレス、基準
Ｙアドレスとして基準Ｘレジスタ５５、基準Ｙレジスタ
５４に線５１５，５１４を介してセットする。圧縮対象
ブロック７１が、図６（ａ）に示したブロック＃７の場
合には、これらのアドレスはそれぞれ９，５である。ま
た、同時に、線５１１、５１３を介して参照カウンタ５
２およびアドレスカウンタ５３をそれぞれの初期値−
４，０にリセットする。アドレスカウンタ５３は、圧縮
対象のブロック７１及び参照ブロックに含まれる複数の
水平走査線（例では４本）の番号（今の例では０，１，
２，３）を順次生成するのに使用される。参照カウンタ
５２は、動き検出範囲８２の垂直方向（Ｙ座標方向）の
番号（今の例では−４，−３，−２，−１，０，１，
２，３）を順次生成するのに使用される。また、この参
照カウンタ５２は、アドレスカウンタ５３が４進する毎
に、線５１２を介して信号が送られ、カウントアップさ
れる。

【００２３】加算器５７は、基準Ｙレジスタ５４内のＹ
座標とアドレスカウンタ５３内の、圧縮対象ブロック内
水平走査線番号を加算して、圧縮対象画像フレーム７０
内の水平走査線を表すＹ座標を生成し、線５２１を介し
て入力メモリ４に読み出しアドレスの一部として与え
る。圧縮対象ブロック７１が、図６（ａ）に示したブロ
ック＃７の場合には、この圧縮画像フレーム７０内の水
平走査線番号の初期値は、５である。入力メモリ４のＸ
座標は、基準Ｘレジスタ５５内のＸ座標を、線５１９を
介して入力メモリ４に、読み出しアドレスの一部として
与えられる。上記例の場合の初期値は、９である。

【００２４】図５に入力メモリの構成例を示す。圧縮対
象画像フレーム７０の画素データは、メモリセルアレー
４２内に、Ｘ座標とデータ線４Ｄ１から４Ｄ１６が、Ｙ
座標とワードライン４Ｗ１から４Ｗ１２が一致するメモ
リセルに、図示しないが、書き込み回路により記憶され
る。例えば、Ｔ（９、５）の画素データは、データ線４
Ｄ９と、ワードライン４Ｗ５が交差したメモリセルに記
憶されている。線５２１を介して、入力メモリ４に入力
されたＹ座標は、ワードライン選択器４１に入力され、
入力されたＹ座標に対応するワードライン４Ｗ１から４
Ｗ１２のいずれかを選択する。例えば、線５２１から５
の値が入力されると、ワードライン４Ｗ５を選択する。
線５１９を介して入力されたＸ座標は、そのＸ座標その
もの、そのＸ座標＋１、そのＸ座標＋２、そのＸ座標＋
３の４つのアドレスを生成し、それぞれ、選択器４３
３、４３４、４３５、４３６に入力される。それぞれの
選択器４３３から４３６は、入力されたアドレスに基づ
き、データ線４Ｄ１から４Ｄ１６の中から１本のデータ
線を選択する。例えば、線５１９から値９が入力される
と、９、１０、１１、１２のＸ座標が生成され、各選択
器４３３から４３６に入力される。選択器４３３は、デ
ータ線４Ｄ９を選択し、選択器４３４は、データ線４Ｄ
１０を選択し、選択器４３５は、データ線４Ｄ１１を選
択し、選択器４３６は、データ線４Ｄ１２が選択され
る。入力メモリの出力線４０１から４０４からは、選択
されたワードラインとデータ線との交点のメモリセルの
データが出力される。上記例では、線４０１にＴ（９，
５）、線４０２にＴ（１０，５）、線４０３にＴ（１
１，５）、線４０４にＴ（１２，５）の画素データが出
力される。上記のように、入力メモリ４は、Ｘ，Ｙ座標
を与えると、Ｙ座標が同一で、与えたＸ座標から連続し
た４画素を同時に出力できる構成である。

【００２５】加算器５６は、加算器５７から与えられた
Ｙ座標（今の例では５）に参照カウンタ５２から線５１
６を介して与えられる値（今の例では−４である）を加
算して、動き検出範囲８２内の最初の水平走査線のＹ座
標（今の例では１）を生成し、線５２０を介して参照メ
モリ３に読み出しアドレスの一部として与える。参照メ
モリ３のＸ座標は、基準Ｘレジスタ５５内の値が、線５
１９を介して、読み出しアドレスの一部として供給され
る。

【００２６】図４に参照メモリ３の構成例を示す。参照
画像フレーム８０の画素データは、メモリセルアレー３
２内に、Ｘ座標とデータ線４Ｄ１から４Ｄ１６が、Ｙ座
標とワードライン４Ｗ１から４Ｗ１２が一致するメモリ
セルに、図示しないが、書き込み回路により記憶され
る。例えば、Ｓ（９、５）の画素データは、データライ
ン３Ｄ９と、ワードライン３Ｗ５が交差したメモリセル
に記憶されている。線５２０を介して、参照メモリ３に
入力されたＹ座標は、ワードライン選択器３１に入力さ
れ、入力されたＹ座標に対応するワードライン３Ｗ１か
ら３Ｗ１２のいずれかを選択する。例えば、線５２０か
ら５の値が入力されると、ワードライン３Ｗ５を選択す
る。線５１９を介して入力されたＸ座標は、そのＸ座標
−４、そのＸ座標−３、そのＸ座標−１、そのＸ座標そ
のもの、そのＸ座標＋１、そのＸ座標＋２、そのＸ座標
＋３、そのＸ座標＋４、そのＸ座標＋５、そのＸ座標＋
６の１１のアドレスを生成し、それぞれ、選択器３３１
から３４１に入力される。それぞれの選択器３３１から
３４１は、入力されたアドレスに基づき、データ線３Ｄ
１から３Ｄ１６の中から１本のデータ線を選択する。例
えば、線５１９から値９が入力されると、５、６、７、
８、９、１０、１１、１２、１３、１４、１５のＸ座標
が生成され、各選択器３３１から３４１に入力される。
選択器３３１は、データ線３Ｄ５を選択し、選択器３３
２は、データ線３Ｄ６を選択し、選択器３３３は、デー
タ線３Ｄ７を選択するという具合にデータ線を選択す
る。参照メモリ３の出力線３０１から３１１は、選択さ
れたワードラインとデータ線との交点のメモリセルのデ
ータが出力される。上記例では、線３０１にＳ（５，
５）、線３０２にＳ（６，５）、線５０３にＴ（７，
５）という具合に画素データが出力される。上記のよう
に、参照メモリ３は、Ｘ，Ｙ座標を与えると、Ｙ座標が
同一で、与えたＸ座標から連続した１１画素を同時に出
力できる構成である。

【００２７】こうして読み出された圧縮対象ブロック７
１の最初の水平画素群と動き検出範囲８２内の最初の水
平画素群とを用いて演算回路６により、８個の参照ブロ
ックの最初の水平画素群と圧縮対象画素群との間の誤差
が計算される。そのときの動作の詳細は後述する。この
計算が終了した時点で、データ読み出し回路５では、図
示しないクロック発生回路からのクロックに応答して、
アドレスカウンタ５３がカウントアップされる。その結
果、入力メモリ４からは圧縮対象ブロック７１の第２の
水平画素群が並行して読み出され、参照メモリ３から
は、動き検出範囲８２内の第２の水平画素群が並行して
読み出され、演算回路６での誤差計算に供給される。圧
縮対象ブロック７１の残りの水平画素群および動き検出
範囲８２内の残りの水平画素群が読み出されるまで、以
下同じ動作が繰り返される。

【００２８】図２に示すように、演算器６１では、圧縮
対象ブロック７１の水平画素数が４画素なので４個の減
算器６１Ａ，６１Ｂ，６１Ｃ，６１Ｄが設けられ、これ
らの減算器には、圧縮対象ブロック７１の同一の水平走
査線上の４つの画素の一つが線４０１から４０４の一つ
を介して入力され、さらに、８個の参照ブロックの内の
第１の参照ブロックに対応する水平走査線上の４つの画
素の一つが、線３０１から３０４の一つを介して入力さ
れ、それぞれに入力された一対の画素の差分６１１１，
６１１２，６１１３，６１１４を算出する。絶対値加算
器６１Ｅは、これらの減算器６１Ａから６１Ｄの差分の
それぞれと及びレジスタ６１Ｆに蓄積されたデータとの
絶対値加算を行う。その結果をレジスタ６１Ｆは、図示
しないクロック発生回路からのクロックに応答して取り
込む。このレジスタ６１Ｆに保持された初期値はゼロで
ある。こうして、このレジスタ６１Ｆには、圧縮対象ブ
ロック７１の最初の水平走査線上の４つの画素と参照ブ
ロックの対応する４つの画素との誤差が得られる。

【００２９】このように、本実施の形態では、ブロック
間の誤差は絶対値差分和でもって算出される。その結
果、算出された誤差が小さいほど相関が大きいことにな
る。なお、相関は他の方法で計算してもよいことは言う
までもない。演算器６１は、以上の動作を、圧縮対象ブ
ロック７１の後続の水平走査線上の画素群が入力メモリ
４より供給されるごとに繰り返す。これにより、圧縮対
象ブロック７１とその参照ブロックの間の誤差値をレジ
スタ６１Ｆに得ることができ、線６１１に出力する。こ
うして、全演算器６１から６８のそれぞれでの誤差値の
算出が終了するごとに、それらの演算器から算出された
誤差値が線６１１から６１８を介して最小値検出器６９
に供給される。

【００３０】最小値検出器６９では、図３に示すよう
に、これらの誤差値が出力されるごとに、レジスタ６９
１がそれらの誤差値を図示しないクロック発生回路から
のクロックに応答して取り込み、線６９１１から６９１
８に出力する。比較器６９２は、レジスタ６９１から出
力される誤差値６９１１から６９１８及び最小値記憶レ
ジスタ６９５に記憶された最小値とを比較し、最小の誤
差値を選択する。この最小値記憶レジスタ６９５の初期
値は、その初期値が比較器６９２により選択されないよ
うな十分大きな値を有する。ベクトルＸレジスタ６９３
およびベクトルＹレジスタ６９４の初期値は任意の値で
ある。

【００３１】線６９１１から６９１８のいずれかから与
えられた誤差の絶対値和が最小値記憶レジスタ６９５に
それまで記憶されていた最小値より小さければ、比較器
６９２は、その小さな方の絶対値和を線６９２２を介し
て最小値記憶レジスタ６９５に送り、さらに更新信号６
９２３をその最小値記憶レジスタ６９５に送る。最小値
記憶レジスタは、更新信号６９２３に応答して、そこに
記憶されていた最小値をこの新たな最小値で置き換え
る。さらに、比較器６９２は、その最小値がどの演算器
６１から６８により与えられたかに依存して、−４から
＋３の値をベクトルＸレジスタ６９４に送るとともに、
更新信号６９２３をベクトルＸレジスタ６９４に送る。
例えば、演算器６１が処理した参照ブロックと圧縮対象
ブロック７１との間の絶対値和が最小値記憶レジスタ６
９５にそれまでに記憶されていた最小値より小さいとき
には、ベクトルのＸ座標として、−４をベクトルＸレジ
スタ６９４に出力する。ベクトルＸレジスタ６９４は、
最小値記憶レジスタ６９５と同様にして、このベクトル
のＸ座標を記憶する。さらに、比較器６９２は、ベクト
ルＹレジスタ６９３に更新信号６９２３を送る。ベクト
ルＹレジスタは、線５１６を介して参照カウンタ５２
（図１）から与えられている。更新信号６９２３によ
り、最小値記憶レジスタ６９５と同様に、参照カウンタ
の値を取り込み、ベクトルのＹ座標として記憶する。

【００３２】最小値検出器６９は以上の動作を後続の演
算結果が演算器６１から６８により与えられるごとに繰
り返す。もし、比較器６９２での比較の結果、最小値記
憶レジスタ６９５に記憶されていた絶対値和が線６９１
１から６９１８のいずれよりも小さければ、比較器６９
２は更新信号６９２３を出力せず、その結果、最小値記
憶レジスタ６９５、ベクトルＸレジスタ６９４、ベクト
ルＹレジスタ６９３の値は変わらない。以上の繰り返し
の結果、最小値記憶レジスタ６９５には、圧縮対象ブロ
ック７１に対する複数の参照ブロックと間で検出された
最小の絶対値和が記憶され、ベクトルＸレジスタ６９４
には、その最小の絶対和を与えた参照ブロックの位置を
示す動きベクトルのＸ成分が記憶され、ベクトルＹレジ
スタ６９３にはその参照ブロックの位置を示す動きベク
トルのＹ成分記憶されることになる。

【００３３】以上の動作のさらに詳細をタイムチャート
（図７）から（図９）に即して説明すると以下の通りと
なる。クロック０で、端子２から入力された圧縮対象ブ
ロックのブロックアドレス７は、アドレスデコーダ５１
により、基準Ｘアドレス（９）、基準Ｙアドレス（５）
に変換され基準Ｘレジスタ５５、基準Ｙレジスタ５４に
それぞれ記憶される。また、同時に、アドレスカウンタ
５３及び参照カウンタ５２がそれぞれ０及び−４にリセ
ットされる。アドレスカウンタ５３は、クロックに同期
してカウントアップされる４進のカウンタで、０、１、
２、３を繰り返す。参照カウンタ５２は、アドレスカウ
ンタ５３が、４進する度にカウントアップされ、−４か
ら＋３までカウントアップする。、入力メモリ４から読
み出す画素データは、読み出し回路５で、前述したよう
に生成され、Ｘ座標、Ｙ座標として、入力メモリ４に供
給される。例では、Ｘ座標９が、Ｙ座標が、クロック１
で５、クロック２で６、クロック３で７というように与
えられる。入力メモリ４からの出力は、前述したよう
に、与えられたＹ座標を共通とし、与えられたＸ座標か
ら連続した４画素を同時に出力するので、クロック１
で、Ｔ（９、５）、Ｔ（１０、５）、Ｔ（１１、５）、
Ｔ（１２、５）が出力され、クロック２では、Ｔ（９、
６）、Ｔ（１０、６）、Ｔ（１１、６）、Ｔ（１２、
６）が出力というように出力される。図７及び図８のタ
イムチャートでは、Ｔ（９、５）の画素データを、Ｔ
９，５と表現している。

【００３４】参照メモリ３から読み出す画素データも、
前述したように読み出し回路５で生成され、Ｘ座標、Ｙ
座標として供給される。例では、Ｘ座標が９、Ｙ座標
が、クロック１で１、クロック２で２、クロック３で３
というように与えられる。参照メモリ３からは、Ｙ座標
を共通として、Ｘ座標が与えられたＸ座標に−４、−
３、−２，−１，０，＋１，＋２，＋３，＋４，＋５，
＋６した１１の画素データが同時に読み出せる。即ち、
例では、クロック１で、Ｓ（５，１）、Ｓ（６、１）、
Ｓ（７、１）、Ｓ（８、１）、Ｓ（９、１）、Ｓ（１
０、１）、Ｓ（１１、１）、Ｓ（１２、１）、Ｓ（１
３、１）、Ｓ（１４、１）、Ｓ（１５、１）が同時に出
力される。クロック２では、Ｓ（５、２）、Ｓ（６、
２）、Ｓ（７、２）、Ｓ（８、２）、Ｓ（９、２）、Ｓ
（１０、２）、Ｓ（１１、２）、Ｓ（１２、２）、Ｓ
（１３、２）、Ｓ（１４、２）、Ｓ（１５、２）が同時
に出力されるというように出力される。図７及び図８の
タイムチャートでは、Ｓ（５、１）の画素データをＳ
５，１と表現している。

【００３５】図８（ａ）は、入力メモリ４及び参照メモ
リ３から出力されたデータが演算器６１で処理されるタ
イムチャートを示した図である。入力メモリ４からデー
タバス４０１、４０２、４０３、４０４を介して出力さ
れたデータは、演算器６１に入力される。参照メモリ３
から出力されたデータの内、３０１、３０２、３０３、
３０４のデータバスで出力されたデータが、演算器６１
に入力される。例では、クロックサイクル１で、減算器
６１Ａは、（Ｓ５，１）−（Ｔ９，５）を、減算器６１
Ｂは、（Ｓ６，１）−（Ｔ１０，５）を、減算器６１Ｃ
は、（Ｓ７，１）−（Ｔ１１，５）を、減算器６１Ｄ
は、（Ｓ８，１）−（Ｔ１２，５）を計算し出力する。

【００３６】レジスタ６１Ｆの値は、アドレスカウンタ
５３が０を出力する度に０にクリアされる。（０クリア
の信号線は、特に図示していない。）このため、絶対値
加算器６１Ｅは、各減算器の出力と０とを絶対値加算
し、Ｓｕｍ１としてレジスタ６１Ｆにクロック２で記憶
する。同様に図８（ｂ）に示すような演算を行い動きベ
クトルＸ成分−４、Ｙ成分−４の絶対値差分和（Ｅ−
４，−４）を５クロックサイクル目で得ることができ
る。この時、同時に、演算器６２では、（Ｅ−３，−
４）、演算器６３では（Ｅ−２，−４）、演算器６４で
は（Ｅ−１，−４）、演算器６５では（Ｅ０，−４）、
演算器６６では（Ｅ１，−４）、演算器６７では（Ｅ
２，−４）、演算器６８では（Ｅ３，−４）が計算され
ている。即ち、動きベクトルが、Ｙ成分が−４で、Ｘ成
分が−４，−３，−２，−１，０，１，２，３の８つの
ベクトルの絶対値差分和が同時に計算される。同様に、
４クロックサイクル毎に、Ｙ成分が−３，−２，−１，
０，１，２，３と変わりそれぞれ、Ｘ成分が−４から３
の８個の動きベクトルの絶対値差分和が出力される。

【００３７】図９は、最小値検出器６９の動作タイムチ
ャートを示した図である。各演算器６１から６８で出力
された動きベクトルの絶対値差分和は、レジスタ６９１
に記憶され、比較器６９２でその最小値が検出される。
図７の例では、クロック５で出力される、Ｙ成分が−４
の動きベクトルの中では、Ｘ成分が−１の動きベクトル
の絶対値差分和（Ｅ−１，−４）が最小である例を示し
ている。最小値記憶レジスタ６９５には、この（Ｅ−
１，−４）の値が記憶され、ベクトルＸレジスタ６９４
には、−１が記憶される。また、ベクトルＹレジスタ６
９３には−４が記憶される。４クロック後の、９クロッ
クでは、Ｙ成分が−３の動きベクトルの絶対値差分和が
各演算器より出力される。最小値記憶レジスタ６９５か
らは、（Ｅ−１，−４）が出力され、最小値が検出され
る。図７の例では、Ｘ成分が０の動きベクトルの絶対値
差分和（Ｅ０，−３）が最小である例である。この結
果、最小値記憶レジスタ６９５には、（Ｅ０，−３）が
記憶され、ベクトルＸレジスタ６９４はには０が、ベク
トルＹレジスタ６９３には−３が記憶される。クロック
１３では、Ｙ成分が−２の動きベクトルが各演算器で計
算され、最小値記憶レジスタ６９５に記憶された（Ｅ
０，−３）と最小値比較が行われ、その結果最小値とな
る（Ｅ−１，−２）が検出され、最小値記憶レジスタ６
９５に記憶するとともに、ベクトルＸレジスタ６９４を
−１、ベクトルＹレジスタ６９３に−２を記憶する。

【００３８】同様にクロック１７では、Ｙ成分が−１の
動きベクトルが各演算器で計算され、最小値記憶レジス
タ６９５に記憶された（Ｅ−１，−２）と最小値比較が
行われる。その結果、最小値記憶レジスタ６９５に記憶
されている（Ｅ−１，−２）が最小となると、最小値記
憶レジスタ６９５は、その値を更新することなく、再び
（Ｅ−１，−２）が保持され、ベクトルＸレジスタ６９
４、ベクトルＹレジスタ６９３の変更も行わない。この
結果、ベクトルＸレジスタ６９４には−１が、ベクトル
Ｙレジスタ６９３には−２が記憶されている状態であ
る。同様に、この動作を繰り返し、全ての動きベクトル
について行うと、その結果、最小値記憶レジスタ６９５
には、動きベクトルの最小の絶対値差分和が記憶され、
ベクトルＸレジスタ６９４には、動きベクトルのＸ成分
が記憶され、ベクトルＹレジスタ６９３には、動きベク
トルのＹ成分が記憶される。図７の例では、動きベクト
ルＭＶ（−１，−２）となる。

【００３９】以上から分かるように、本実施の形態で
は、動き検出を行う演算器と参照メモリ及び入力メモリ
を同一のチップ上に搭載することにより、外づけメモリ
のデータＩ／Ｏのビット幅に制限を受けていた、画素デ
ータの読み出しを、並列に実現することが可能となっ
た。これは、従来、動き検出対象ブロックの読み出し
や、動き検出範囲の画素データの読み出しの時間を大幅
に高速化することを可能とした。また、演算器を並列に
接続する構成を可能として、動きベクトル演算の高速化
を可能とした。また、演算器に入力メモリからの画素デ
ータ及び参照メモリからの画素データを最適に供給でき
るため、従来の一次元のシストリックアレー状の演算器
で必要としていたレジスタを削減することが可能となっ
た。

【００４０】＜発明の実施の形態２＞発明の実施の形態
では、動き検出範囲８２内の各水平画素群を一度に並列
に参照メモリ３より読み出した。この方法は、動き検出
範囲８２内の水平方向に並んだ複数の参照ブロックに対
する相関計算を並列に行える。しかし、参照メモリ３か
らの出力データ数が大きくなり、さらに演算器の数も多
くなる。本実施の形態では、メモリおよび回路の集積度
がそれほど高くないときでも実現可能なＬＳＩとして、
実施の形態より少ないデータ読み出し量を有するメモリ
と、より少ない演算器を使用する他の実施の形態を示
す。

【００４１】すなわち、参照メモリ３よりは、動き検出
範囲８２内の水平画素群の一部を並列に読み出すように
する。例えば、７画素のデータを並列に読み出す。この
ときには４つの参照ブロックのデータが並列に読み出さ
れるので、演算器は４つ使用すればよい。実施の形態１
と同様に方法で、これら４つの参照ブロックを処理した
後に、それらの参照ブロックの右側に位置する残りの４
つの参照ブロックのデータを読み出すように、データ読
み出し回路５を構成する。その後は、実施の形態１と同
様に、それらの参照ブロックよりＹ方向に１だけずれた
参照ブロックを処理するようにすればよい。

【００４２】＜発明の実施の形態３＞メモリおよび回路
の集積度が向上したときには、発明の実施の形態１に代
えて、動き検出範囲８２内の全水平画素群を一度に並列
に参照メモリ３より読み出し、圧縮対象ブロック７１内
の全画素のデータを並列に読み出すように、入力メモリ
４、参照メモリ３および読み出し回路５を構成し、演算
回路６を、これらのデータを用いて、動き検出範囲内の
全参照ブロックと圧縮対象ブロックとの相関を並列に計
算するように、参照ブロックの数だけ、演算器を設ける
ようにすることもできる。

【００４３】＜応用例＞以上の実施の形態では、動き検
出ベクトルを検出するＬＳＩを示したが、ここで使用さ
れた相関が大きな画像データを検出する部分は、圧縮対
象ブロックを未知パターンと見なし、複数の参照ブロッ
クを標準パターンとするパターン一致検出技術を含んで
いる。したがって、上記実施の形態に示した技術はパタ
ーン一致検出にも使用することができる。とくに、参照
ブロックとして、互いに異なる画素を含まないように、
参照ブロックを選んだ場合には、それらの参照ブロック
を、互いに独立の標準パターンとして使用するパターン
一致検出に応用できる。逆に、圧縮対象ブロックとして
標準パターンを使用し、参照画像フレームとして測定対
象パターンを使用すると、上記実施の形態の技術は、こ
の測定対象パターンから、この標準パターンに最もよく
一致する参照ブロックを検出するのに使用できる。

【００４４】

【発明の効果】本発明によれば、動き検出対象ブロック
の読み出し時間および動き検出範囲の画素データの読み
出し時間を短縮でき、さらに、動き検出に必要な演算の
実行時間を短縮できる。

【図面の簡単な説明】

【図１】本発明による動き検出ＬＳＩの概略ブロック
図。

【図２】図１の装置に使用する演算器の概略ブロック
図。

【図３】図１の装置に使用する最小値検出器の概略ブロ
ック図。

【図４】図１の装置に使用する参照メモリの概略ブロッ
ク図。

【図５】図１の装置に使用する入力メモリの概略ブロッ
ク図。

【図６】図１の装置で使用する圧縮対象画像フレームと
参照画像フレームの構造を示す図。

【図７】図１の装置におけるメモリ読み出し動作のタイ
ムチャート。

【図８】図１の装置における演算回路の動作タイムチャ
ート。

【図９】図１の装置における最小値検出器の動作のタイ
ムチャート。

【符号の説明】

２…入力端子、５…読み出し回路、６…演算回路、７…
動きベクトルＹ成分出力端子、８…動きベクトルＸ成分
出力端子、９…動きベクトルの絶対値差分和出力端子。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 鮎川 一重 東京都国分寺市東恋ケ窪一丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 成田 進 東京都国分寺市東恋ケ窪一丁目280番地 株式会社日立製作所中央研究所内

Claims (3)

【特許請求の範囲】
1. 【請求項１】動き検出を行うべき画像フレームを記憶
   し、複数の画素データを並列に出力可能な第１のメモリ
   と、 上記動き検出に際して参照する画像フレームを記憶し、
   複数の画素データを並列に出力可能な第２のメモリと、 上記第１のメモリから圧縮対象のブロックに属する複数
   の画素のデータを読み出し、上記参照メモリから、その
   圧縮対象ブロックに対応する動き検出範囲に属する複数
   の画素のデータを読み出す回路と、 上記第１のメモリから読み出された圧縮対象のブロック
   に属する複数の画素のデータと上記参照メモリから読み
   出された複数の画素のデータに基づいて、上記圧縮対象
   ブロックに類似するブロックを上記動き検出範囲から検
   出するための演算を実行する演算回路とを有し、 上記読み出し回路は、上記第１のメモリから上記圧縮対
   象のブロックに属する上記複数の画素の内、少なくとも
   一部の複数の画素のデータを並列に読み出し、上記参照
   メモリから、上記動き検出範囲に属する上記複数の画素
   の内、少なくとも一部の複数のデータを並列に読み出す
   回路を有し、 上記演算回路は、上記第２のメモリから読み出された上
   記複数の画素のデータの内の異なる複数の部分のそれぞ
   れと上記第１のメモリから読み出された上記複数の画素
   のデータとの相関を検出する並列に動作可能な複数の演
   算器を有する動き検出ＬＳＩ。
2. 【請求項２】上記第１のメモリは、上記圧縮対象のブロ
   ックに属する一つの水平画素群の数の画素のデータを並
   列に読み出し可能に構成され、 上記第２のメモリは、上記動き検出範囲に属する一つの
   水平画素群の数の画素のデータを並列に読み出し可能に
   構成され、 上記複数の演算器の数は、上記動き検出範囲に属する一
   つの水平画素群が属する複数の参照ブロックの数であ
   り、 上記読み出し回路は、上記第１のメモリから、上記圧縮
   対象ブロックに含まれた複数の水平画素群のデータを水
   平画素群順に順次読み出し、上記第２のメモリから、上
   記動き検出範囲に含まれた複数の水平画素群のデータを
   水平画素群順に順次読み出す回路を有する請求項１記載
   の動き検出ＬＳＩ。
3. 【請求項３】各演算器は、上記動き検出範囲から読み出
   された一つ水平画素群の内、その演算器が処理する参照
   ブロックに属すべき複数の画素のデータのそれぞれと、
   上記圧縮対象ブロックから読み出された一つ水平画素群
   の内の異なる一つの画素のデータとの減算を行う複数の
   減算器と、該複数の減算器により得られた複数の減算結
   果の絶対値を加算する加算器とを有する請求項２記載の
   動き検出ＬＳＩ。