JP4214738B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP4214738B2 JP4214738B2 JP2002237440A JP2002237440A JP4214738B2 JP 4214738 B2 JP4214738 B2 JP 4214738B2 JP 2002237440 A JP2002237440 A JP 2002237440A JP 2002237440 A JP2002237440 A JP 2002237440A JP 4214738 B2 JP4214738 B2 JP 4214738B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image data
- memory
- feature amount
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば、画像データを処理する画像処理装置に関するものである。
【０００２】
【従来の技術】
画像データに基づいて所定の処理、例えば動きベクトルを検出し生成する処理等を行う画像処理装置が知られている。
この動きベクトルを検出する場合に、一般的な画像処理装置では、所定の画素を含むブロック単位でマッチングを行うブロックマッチング方式により動きベクトルを検出する。
【０００３】
【発明が解決しようとする課題】
しかし、上述した画像処理装置では、画素単位で動きベクトルを求める場合、一般的なブロックマッチング方式ではブロックの平均的な動きしか求めることができない。また、複雑な動きを含む画像データ、例えば複数のオブジェクトそれぞれが異なる動きを行うオブジェクトを含む画像データを処理する場合には、求めようとしている画素の動きが別の動きとして出力してしまう場合がある。
【０００４】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、複雑な動きを含む画像データであっても、正確な動きベクトルを算出可能な画像処理装置を提供することである。
【０００５】
【課題を解決するための手段】
前記目的を達成するために、第１の発明の画像処理装置は、複数の画素を含む第１および第２の画像データを処理する画像処理装置であって、前記第１および第２の画像データに基づいて前記第１および第２の画像データに対応する第１および第２の特徴量データを生成する特徴量データ生成手段と、前記第１の画像データに対応する第１の特徴量データと、前記第２の画像データに対応する第２の特徴量とに基づいて、比較データを生成するメモリと、前記第１および第２の画像データ、ならびに前記メモリにより生成された前記比較データに基づいて、所定のブロック単位毎にマッチング演算を行って動きベクトルを生成する動きベクトル生成手段とを有し、前記メモリは、前記第１の画像データを記憶する画像データ記憶手段と、前記第１の画像データの内の画素それぞれに対応する前記第１の特徴量データを記憶する特徴量データ記憶手段と、前記特徴量データ記憶手段に記憶された第１の特徴量データと、前記特徴量データ生成手段により生成された、前記ブロックにおける所定の画素位置に対応する第２の特徴量データとを比較し、前記比較の結果を示す前記比較データを生成する比較手段とを有し、前記動きベクトル生成手段は、前記ブロック内の画素のうち、該画素に対応する比較データが一致を示す画素である場合に前記マッチング演算の対象とする。
【０００６】
第１の発明の画像処理装置によれば、複数の画素を含む第１および第２の画像データを処理する。
メモリでは、前記第１の画像データに対応する第１の特徴量データに基づいて、比較データが生成される。
特徴量データ生成手段では、前記第２の画像データに基づいて、第２の特徴量データが生成される。
動きベクトル生成手段では、前記第１および第２の画像データ、ならびに前記メモリにより生成された前記比較データに基づいて動きベクトルが生成される。
また、前記メモリにおいて、画像データ記憶手段では、前記第１の画像データが記憶される。
特徴量データ記憶手段では、前記第１の画像データの内の画素それぞれに対応する前記第１の特徴量データが記憶される。
比較手段では、前記特徴量データ記憶手段に記憶された第１の特徴量データと、前記特徴量データ生成手段により生成された第２の特徴量データとを比較し、前記比較の結果を示す前記比較データが生成される。
【０００８】
【発明の実施の形態】
本発明に係る画像処理装置は、画像データに基づいて特徴量データを生成し、生成した特徴量データに基づいてブロックマッチングを行う。この際、画像処理装置は、所定の特徴量データの画素のみマッチングを行い、その結果に基づいて動きベクトルを生成する。
【０００９】
例えば、具体的には、画像処理装置は、画像データに基づいて、画像データの内のオブジェクトを検出し、検出結果に基づいてブロックマッチングを行う。この際、画像処理装置は、所定のオブジェクトのみマッチングを行い、動きベクトルを生成する。この処理方式をオブジェクトマッチング方式と言う。
また、画像処理装置は、画像データと特徴量データを記憶し、特徴量データを比較する比較機能を含むメモリを有する。
以下、詳細に説明する。
【００１０】
図１は、本発明に係る画像処理装置の一実施の形態を示す機能ブロックである。
本実施の形態に係る画像処理装置１は、例えば図１に示すように、ラインメモリ２、探索範囲レジスタ３、特徴量生成部４、メモリ５、ラインメモリ６、ブロック範囲レジスタ７、および差分絶対値和・最小値演算部８を有する。
【００１１】
ラインメモリ２は、入力された画像データに応じて、例えば所定のラインごとに画像データを記憶し、所定のタイミングで画像データを探索範囲レジスタ３に出力する。
【００１２】
探索範囲レジスタ３は、ラインメモリ２から出力された画像データに基づいて、画像データの所定の探索範囲の内の画素を記憶する。
探索範囲レジスタ３は、所定の探索範囲の内の画素、例えば、探索範囲内で所定の位相の探索ブロックの内の画像データを、差分絶対値和・最小値演算部８に出力する。
また、探索範囲レジスタ３は、記憶してる画像データを特徴量生成部４に出力する。
【００１３】
特徴量生成部４は、探索範囲レジスタ３から出力された画像データに基づいて、画素それぞれに対応した所定の特徴量データを生成し、生成した特徴量データをメモリ５に出力する。
特徴量生成部４は、例えば、探索範囲レジスタ３から出力された画像データに基づいて、画像データに含まれるオブジェクトを検出し、検出されたオブジェクトそれぞれに識別情報、例えばオブジェクト番号を割り当てる。この際、特徴量生成部４は、画素それぞれに対応したオブジェクト番号を生成する。
【００１４】
メモリ５は、入力された画像データ、および、特徴量生成部４から出力された特徴量データを記憶する。
メモリ５は、特徴量生成部４から出力された特徴量データと、内部に記憶している画像データ（画素データとも言う）および特徴量データとに基づいて後述する比較処理を行い、比較処理の結果である比較データ（一致データとも言う）、および画素データを、ラインメモリ６に出力する。
【００１５】
メモリ５は、例えば図１に示すように、特徴量メモリ５１、フレームメモリ５２、特徴量一致判定部５３とを有する。
特徴量メモリ５１は、例えば特徴量生成部４から出力された特徴量データを記憶する。
特徴量メモリ５１は、記憶している特徴量データを、特徴量一致判定部５３に出力する。
【００１６】
フレームメモリ５２は、入力された画像データ（画素データ）を記憶する。
フレームメモリ５２は、所定の制御に応じた画像データを、例えばラインメモリ６に出力する。
【００１７】
特徴量一致判定部５３は、特徴量メモリ５１に記憶されている特徴量データと、所定の特徴量データの比較を行い、比較の結果に基づいて、一致データを出力する。
例えば、特徴量一致判定部５３は、特徴量メモリ５１に記憶している特徴量データと、特徴量生成部４から出力された特徴量データの比較を行い、比較の結果を示す一致データを、例えば差分絶対値和・最小値演算部８に出力する。
【００１８】
ラインメモリ６は、メモリ５から出力された画像データ（画素データ）を記憶し、所定のタイミングで画像データをブロック範囲レジスタに出力する。
【００１９】
ブロック範囲レジスタ７は、ラインメモリ６から出力された画像データに基づいて、画像データの所定の参照ブロック範囲の内の画素を記憶し、所定のタイミングで、その参照ブロック範囲の内の画像データを、差分絶対値和・最小値演算部８に出力する。
【００２０】
差分絶対値和・最小値演算部８は、所定の探索範囲の内の画像データ、参照ブロックの内の画像データ、一致データに基づいて、所定のブロックマッチング処理を行い、動きベクトルを生成する。
【００２１】
例えば、具体的には、差分絶対値和・最小値演算部８は、探索範囲レジスタ３から出力された、所定の探索範囲の内の画素データ、ブロック範囲レジスタ７から出力されたブロック範囲の内の画素データ、およびメモリ５から出力された一致データに基づいて、探索範囲内で所定の位相にずらしたブロックと、参照ブロックとのブロックマッチングを行い、差分絶対値を生成し、差分絶対値が最小となる位相を動きベクトルとして出力する。
【００２２】
この際、差分絶対値和・最小値演算部８は、マスキング処理された所定のオブジェクトの画素データに応じて、ブロックマッチング処理を行い、動きベクトルを生成する。
具体的には、差分絶対値和・最小値演算部８は、画素それぞれに対応した一致データに基づいて、探索範囲の画像データの内の所定のオブジェクトの画素と、参照範囲の内の所定のオブジェクトの画素とのマッチング処理を行い、動きベクトルを生成する。
【００２３】
図２は、ブロックマッチングにより動きベクトルを検出する動作を説明するための図である。ブロックマッチング処理について図２を参照しながら説明する。
ブロックマッチング処理は、例えば図２（ａ）に示すように、参照フレームの内の参照ブロックと、予測フレームの探索範囲の内の探索ブロックとのマッチングを行う。
具体的には、参照ブロックの内の画素と、探索ブロックの内の対応する画素との差分値を取り、その差分値の総和である総和差分値を算出する。
そして、探索フレーム内の探索範囲内で探索ブロックを移動させながら、上述した総和差分値を生成する。ここで、位相は、探索ブロックと参照ブロックとの位置のずれである。
そして、最小の総和差分値の時の位相を、動きベクトルとする。
しかし、図２（ｂ）に示すように、所定のブロック内で、複数のオブジェクトそれぞれの動きが異なる場合がある。
【００２４】
図３は、図１に示した画像処理装置の差分絶対値和・最小値演算部の動作を説明するための図である。図３（ａ）は位相シフト前の状態を示す図、図３（ｂ）は位相シフト後の状態を示す図である。
参照ブロックサイズを３×３画素、探索範囲を５×５画素としている。
【００２５】
差分絶対値和・最小値演算部８は、例えば図３に示すように、位相１から、位相２にシフトしたときに読み出される探索ブロックｂｐが水平方向に１画素ずれた位置のものとなっている。例えば更新による位相のシフト量は１画素である。
【００２６】
次に、参照ブロックｂｒと探索ブロックｂｐの間での対応する画素ごとの差分絶対値を演算し、それらの値の差分絶対値総和Ｓを求める。
【００２７】
【数１】
…（１）
【００２８】
差分絶対値総和Ｓは、参照ブロックｂｒの内の画素の画素値ｋs と、対応する探索ブロックｂｐの内の画素の画素値ｋp を用いて、例えば、数式（１）により計算される。
【００２９】
次に、その差分絶対値総和Ｓを、評価テーブルに記憶させる。
評価テーブルでは、読み出される探索ブロックに対応した位相ごとに、計算された差分絶対値総和Ｓが記憶される。
【００３０】
図３に示したように、例えば位相１から位相２にシフトした場合に、そのシフトに応じて評価テーブルに記憶させる位置もシフトする。
【００３１】
探索範囲内の全ての、探索ブロックｂｐの読み出しから評価テーブルへの記録が終了すると、評価テーブル内の最小値を探索する。
すべての位相の評価値テーブルが記録していない場合には、全ての位相について探索するまで上述の処理を繰り返す。
これは、参照ブロックｂｒと最も近い探索範囲内の探索ブロックを探索していることになる。
【００３２】
上述したように、評価テーブルでは読み出される探索ブロックｂｐに対応した位相ごとに差分絶対値総和が記録されている。したがって、評価テーブル内で最小値が分かれば、探索範囲の内の参照ブロックｂｒに対応する探索ブロックの位相が分かる。その差分絶対値総和が最小値をとる場合の探索ブロックの位相を、動きベクトルとする。
【００３３】
図４は、図１に示した画像処理装置のブロックマッチングに関する動作を説明するための図である。
画像処理装置１の特徴量生成部４は、画像データに基づいてオブジェクトを検出し、オブジェクトそれぞれに、例えばオブジェクトを識別するための識別番号であるオブジェクト番号を割り当てる。差分絶対値和・最小値演算部８は、図４に示すように、所定のオブジェクトのみマッチング処理し、動きベクトルを生成する。
【００３４】
具体的には、差分絶対値和・最小値演算部８は、例えば、参照ブロックの内の所定のオブジェクト番号の画素と、探索ブロックの内の所定のオブジェクト番号の画素に基づいて、上述したマッチングを行い、動きベクトルを生成する。
こうすることにより、例えば図２（ｂ）に示したように所定のブロック内で、複数のオブジェクトそれぞれの動きが異なる場合であっても、所定のオブジェクトの正確な動きベクトルを生成することができる。
【００３５】
図５は、図１に示した画像処理装置のメモリが記憶および処理するデータの構造を模式的に示す図である。
メモリ５は、例えば図５に示すように、画像データと特徴量データとを記憶する。
画像データは、例えば、画素それぞれの画素値である。
特徴量データは、例えば、画素それぞれに対応した特徴量を示すデータであり、具体的には、例えばオブジェクト番号や過去の動きベクトル等である。
メモリ５は、画素ごとに、画素データ、および特徴量データ、例えば、上述したオブジェクト番号等を記憶する。
【００３６】
画像処理装置１は、例えば図３に示すように、所定のブロックの内で、所定のオブジェクトのみの画素を抽出し、ブロック内の抽出した画素に基づいて、ブロックマッチングを行う。
【００３７】
図６は、図１に示した画像処理装置のメモリの一具体例を示す構成図である。
簡単な説明のため、４ｂｉｔデータ構造の場合について説明する。
ここでは、特徴量のデータ領域と通常の画素データ領域をもっており、図５に示したように画素データに特徴量データを付加した構造をとっている。
【００３８】
メモリ５は、例えば図６に示すように、特徴量メモリ５１、フレームメモリ５２、および特徴量一致判定部５３を有する。各構成要素の機能は、上述したので説明を省略する。
【００３９】
メモリ５は、より具体的には、図６に示すように、ＤＲＡＭ（Dynamic random access memory）セル１０１、センスアンプ（Sense Amp ）１０２、ＣＡＭ（Content Addressable Memory）１０３、トランスファゲート（Transfer gate ）１０４、判定回路１０５、ビット線ＢＬ、ビットバー線ＢＢＬ、ワード線ＷＬ、マッチ線ＭＬ、検索イネーブル線ＳＥＬ、特徴量データバスＣＤＢ、画像データバスＰＤＢを有する。
【００４０】
特徴量メモリ５１は、例えば図６に示すように、ＤＲＡＭセル１０１−１１〜１４，２１〜２４，３１〜３４，４１〜４４、センスアンプ１０２−１〜４、トランスファゲート１０４−１〜４、ビット線ＢＬ−１〜４、ビットバー線ＢＢＬ−１〜４、ワード線ＷＬ−１〜４、マッチ線ＭＬ、検索イネーブル線ＳＥＬ、特徴量データバスＣＤＢを有する。
【００４１】
フレームメモリ５２は、例えば図６に示すように、ＤＲＡＭセル１０１−５１〜５４，６１〜６４，７１〜７４，８１〜８４、センスアンプ１０２−５〜８、トランスファゲート１０４−５〜８、ビット線ＢＬ−５〜８、ビットバー線ＢＢＬ−５〜８、ワード線ＷＬ−１〜４、画像データバスＰＤＢを有する。
【００４２】
特徴量一致判定部５３は、例えば図６に示すように、ＣＡＭ１０３−１〜４、および判定回路１０５を有する。
ＣＡＭ１０３は、例えば、マッチ線ＭＬ、検索イネーブル線ＳＥＬ、ビット線ＢＬ、ビットバー線ＢＢＬに接続されている。
特徴量一致判定部は、例えば、マッチ線ＭＬ、検索イネーブル線ＳＥＬ、特徴量データバスＣＤＢに接続されている。
【００４３】
ビット線ＢＬ−１およびビットバー線ＢＢＬ−１には、ＤＲＡＭセル１０１−１１〜１４、センスアンプ１０２−１、ＣＡＭ１０３−１、およびトランスファゲート１０４−１が直列に接続されている。ビット線ＢＬ−２およびビットバー線ＢＢＬ−２には、ＤＲＡＭセル１０１−２１〜２４、センスアンプ１０２−２、ＣＡＭ１０３−２、およびトランスファゲート１０４−２が直列に接続されている。ビット線ＢＬ−３およびビットバー線ＢＢＬ−３には、ＤＲＡＭセル１０１−３１〜３４、センスアンプ１０２−３、ＣＡＭ１０３−３、およびトランスファゲート１０４−３が直列に接続されている。ビット線ＢＬ−４およびビットバー線ＢＢＬ−４には、ＤＲＡＭセル１０１−４１〜４４、センスアンプ１０２−４、ＣＡＭ１０３−４、およびトランスファゲート１０４−４が直列に接続されている。
【００４４】
ビット線ＢＬ−５およびビットバー線ＢＢＬ−５には、ＤＲＡＭセル１０１−５１〜５４、センスアンプ１０２−５、およびトランスファゲート１０４−５が直列に接続されている。ビット線ＢＬ−６およびビットバー線ＢＢＬ−６には、ＤＲＡＭセル１０１−６１〜６４、センスアンプ１０２−６、およびトランスファゲート１０４−６が直列に接続されている。ビット線ＢＬ−７およびビットバー線ＢＢＬ−７には、ＤＲＡＭセル１０１−７１〜７４、センスアンプ１０２−７、およびトランスファゲート１０４−７が直列に接続されている。ビット線ＢＬ−８およびビットバー線ＢＢＬ−８には、ＤＲＡＭセル１０１−８１〜８４、センスアンプ１０２−８、およびトランスファゲート１０４−８が直列に接続されている。
【００４５】
ビット線ＢＬおよびビットバー線は、特徴量データバスＣＤＢに接続されている。
ワード線ＷＬ−１にはＤＲＡＭセル１０１−１１〜８１が直列に接続されている。ワード線ＷＬ−２にはＤＲＡＭセル１０１−１２〜８２が直列に接続されている。ワード線ＷＬ−３にはＤＲＡＭセル１０１−１３〜８３が直列に接続されている。ワード線ＷＬ−４にはＤＲＡＭセル１０１−１４〜８４が直列に接続されている。
マッチ線ＭＬおよび検索イネーブル線ＳＥＬには、ＣＡＭ１０３−１〜４が直列に接続されている。
【００４６】
ＤＲＡＭ（Dynamic random access memory）セル１０１は、所定のデータを記憶する。
例えばＤＲＡＭセル１０１−１１〜４４は、特徴量データ、例えばオブジェクト番号や過去の動きベクトル等を記憶する。
例えばＤＲＡＭセル１０１−５１〜８４は、画像データ、例えば画素それぞれの画素値を記憶する。
【００４７】
センスアンプ（Sense Amp ）１０２は、ＤＲＡＭセル１０１に記憶されているデータに応じて、所定のレベルまで増幅する。
ＣＡＭ（Content Addressable Memory）１０３は、センスアンプ１０２で増幅されたＤＲＡＭ１０１に記憶されているデータと、特徴量データバスＣＤＢ上のデータとを比較し、比較の結果に応じた信号をマッチ線ＭＬに出力する。
【００４８】
トランスファゲート（Transfer gate ）１０４は、所定のデータを、所定のバスに出力する。
例えば、トランスファゲート１０４−１〜４は、特徴量データを、特徴量データバスＣＤＢに出力する。
例えば、トランスファゲート１０４−５〜８は、画像データを、画像データバスＰＤＢに出力する。
【００４９】
判定回路１０５は、例えば、検索イネーブル線ＳＥＬに所定の電圧を印加してＣＡＭ１０３に所定の比較を行わせる。
判定回路１０５は、マッチ線ＭＬの電圧を監視し、ＣＡＭ１０３から出力された比較結果に応じた比較データを受信し、比較データを差分絶対値和・最小値演算部８に出力する。
また、上述の形態に限られるものではない。例えば、マッチ線ＭＬを差分絶対値和・最小値演算部８に接続し、直接、比較データを差分絶対値和・最小値演算部８に出力してもよい。
【００５０】
次にメモリ５のより具体的な構成の一具体例を説明する。
図７は、図６に示したメモリの特徴量データ記憶部を示す構成図である。
特徴量メモリ５１は、例えば図７に示すように、ビット線イコライズ部５１０、データメモリ５１１、センスアンプ部５１２、検出部５１３、出力部５１４、ビット線イコライズ信号線ＩＬ、１／２ＶＤＤ電圧線ＤＬ、ワード線ＷＬ、センスアンプＨ信号線ＳＨＬ、センスアンプＬ信号線ＳＬＬ、ビット線ＢＬ、ビットバー線ＢＢＬ、データバスＤＢ１、データバーバス（データバスとも言う）ＤＢ２、行（Column）デコード線ＣＬ、検索イネーブル線ＳＥＬ、マッチ線ＭＬを有する。
【００５１】
データメモリ５１１はＤＲＡＭセル１０１に相当する。センスアンプ部５１２はセンスアンプ１０２に相当する。検出部５１３はＣＡＭ１０３に相当する。出力部５１４はトランスファゲート１０４に相当する。
【００５２】
ビット線イコライズ部５１０は、ＮチャネルＭＯＳトランジスタＴ１〜Ｔ３と、ビット線イコライズ信号線ＩＬ、１／２ＶＤＤ電圧線ＤＬとを有する。
【００５３】
データメモリ５１１は、ＮチャネルＭＯＳトランジスタＴ４とコンデンサＣを含む複数のセルがマトリックス状に設けられている。
簡単な説明のため、１つのＮチャネルＭＯＳトランジスタＴ４とコンデンサＣを含むセルを１つだけ図示している。
また、データメモリ５１１は、複数のワード線ＷＬ、ビット線ＢＬおよびビットバー線ＢＢＬを有する。また、このワード線ＷＬと、ビット線ＢＬの交点にＤＲＡＭセルが設けられている。
【００５４】
センスアンプ部５１２は、ＰチャネルＭＯＳトランジスタＴ５，Ｔ６、ＮチャネルＭＯＳトランジスタＴ７，Ｔ８、センスアンプＨ信号線ＳＨＬ、センスアンプＬ信号線ＳＬＬ、ビット線ＢＬ、ビットバー線ＢＢＬを有する。
【００５５】
検出部５１３は、ＮチャネルＭＯＳトランジスタＴ１１〜Ｔ１４と、検索イネーブル線ＳＥＬ、マッチ線ＭＬを有する。
ＮチャネルＭＯＳトランジスタＴ１１，１４のゲートは、検索イネーブル線ＳＥＬに接続されている。
【００５６】
出力部５１４は、ＮチャネルＭＯＳトランジスタＴ９，Ｔ１０と、行デコード線ＣＬと、データバスＤＢ１、データバスＤＢ２、ビット線ＢＬ、ビットバー線ＢＢＬを有する。
【００５７】
ＮチャネルＭＯＳトランジスタＴ１〜Ｔ３のゲートは、ビット線イコライズ信号線ＩＬに接続されている。
ＮチャネルＭＯＳトランジスタＴ１のドレインは１／２ＶＤＤ電圧線ＤＬに接続され、ソースはビット線ＢＬに接続されている。
ＮチャネルＭＯＳトランジスタＴ２のドレインは１／２ＶＤＤ電圧線ＤＬに接続され、ソースはビットバー線ＢＢＬに接続されている。
ビット線ＢＬとビットバー線ＢＢＬの間には、ＮチャネルＭＯＳトランジスタＴ３のドレイン−ソースが接続されている。
【００５８】
ＮチャネルＭＯＳトランジスタＴ４のゲートはワード線ＷＬに接続され、ドレインは１／２ＶＤＤ電圧線ＤＬに接続され、ソースはコンデンサＣの一端に接続されている。コンデンサＣの他端は基準電位に接続されている。
【００５９】
センスアンプＨ信号線ＳＨＬとセンスアンプＬ信号線ＳＬＬとの間には、ＰチャネルＭＯＳトランジスタＴ５とＮチャネルＭＯＳトランジスタＴ７が直列に接続され、ＰチャネルＭＯＳトランジスタＴ６とＮチャネルＭＯＳトランジスタＴ８が直列に接続されている。
【００６０】
ビット線ＢＬには、ＰチャネルＭＯＳトランジスタＴ６とＮチャネルＭＯＳトランジスタＴ８のゲートと、ＰチャネルＭＯＳトランジスタＴ５とＮチャネルＭＯＳトランジスタＴ７のドレインが接続されている。
ビットバー線ＢＢＬには、ＰチャネルＭＯＳトランジスタＴ５とＮチャネルＭＯＳトランジスタＴ７のゲートと、ＰチャネルＭＯＳトランジスタＴ６とＮチャネルＭＯＳトランジスタＴ８のドレインが接続されている。
【００６１】
また、データバスＤＢ１と１／２ＶＤＤとの間には、ＮチャネルＭＯＳトランジスタＴ１とＮチャネルＭＯＳトランジスタＴ９が直列に接続されている。
また、データバスＤＢ２と１／２ＶＤＤとの間には、ＮチャネルＭＯＳトランジスタＴ２とＮチャネルＭＯＳトランジスタＴ１０が直列に接続されている。
ＮチャネルＭＯＳトランジスタＴ９，１０のゲートは、行デコード線ＣＬに接続されている。
【００６２】
データバスＤＢ１と、データバスＤＢ２との間には、ＮチャネルＭＯＳトランジスタＴ１１〜Ｔ１４が直列に接続されている。
ＮチャネルＭＯＳトランジスタＴ１１，１４のゲートは、検索イネーブル線ＳＥＬに接続されている。
ＮチャネルＭＯＳトランジスタＴ１２のゲートは、ＮチャネルＭＯＳトランジスタＴ８のゲートに接続されている。
ＮチャネルＭＯＳトランジスタＴ１３のゲートは、ＮチャネルＭＯＳトランジスタＴ７のゲートに接続されている。
マッチ線ＭＬには、例えばＮチャネルＭＯＳトランジスタＴ１２，１３のソースが接続されている。
【００６３】
読出し動作
図８は、図７に示した特徴量メモリ５１の動作を示すタイミングチャートである。
上述した特徴量メモリ５１の読み出し動作を図８を参照しながら説明する。
【００６４】
特徴量メモリ５１のデータメモリ５１１を構成するセルの１つでは、コンデンサＣに蓄積された電荷が減衰するのに一定の時間がかかることを用い、電荷の有無を情報の”１”、”０”に対応させてデータの蓄積を行う。
【００６５】
読み出しや書き込みに先だって、まず、ビット線イコライズ部５１０では、ビット線のイコライズが行われる。
ビット線イコライズ信号線ＩＬを”Ｈ”レベルに設定する。
ＮチャネルＭＯＳトランジスタＴ１、Ｔ２、Ｔ３がオンになり、１／２ＶＤＤ電圧線ＤＬの電圧１／２ＶＤＤがビット線ＢＬおよびビットバー線ＢＢＬに印加され、ビット線ＢＬおよびビットバー線ＢＢＬは同電位になる。
【００６６】
読み出しの場合は、ビット線ＢＬおよびビットバー線ＢＢＬが１／２ＶＤＤになった状態で、ビット線イコライズ信号線ＩＬを”Ｌ”レベルにする。
ＮチャネルＭＯＳトランジスタＴ１、Ｔ２、Ｔ３がいずれもオフになって、ビット線ＢＬおよびビットバー線ＢＢＬは１／２ＶＤＤ電圧線ＤＬに対して、またビット線ＢＬとビットバー線ＢＢＬ相互間でハイインピーダンスになる。
【００６７】
次にワード線ＷＬを”Ｈ”レベルにしてデータメモリ５１１のＮチャネルＭＯＳトランジスタＴ４とコンデンサＣからなるセルを選択する。
これによりＮチャネルＭＯＳトランジスタＴ４がオンになってコンデンサＣに蓄積された電荷がビット線ＢＬに出力される。
これに合わせて、センスアンプ部５１２のＰチャネルＭＯＳトランジスタＴ５、Ｔ６とＮチャネルＭＯＳトランジスタＴ７、Ｔ８によるフリップフロップから構成されるセンスアンプの電源である、センスアンプＨ信号線ＳＨＬを”Ｈ”レベルに、センスアンプＬ信号線ＳＬＬを”Ｌ”レベルにする。
【００６８】
これによってセンスアンプ部５１２が働いて、ビット線ＢＬに出力されたコンデンサＣの電荷が増幅され、ビット線ＢＬおよびビットバー線ＢＢＬに互いに逆の”Ｈ”レベルまたは”Ｌ”レベル信号が出力されることになる。
すなわち、コンデンサＣに正電荷が蓄積されていた場合はビット線ＢＬが”Ｈ”レベルでビットバー線ＢＢＬが”Ｌ”レベルに、コンデンサＣに正電荷が蓄積されていなかった場合はビット線ＢＬが”Ｌ”レベルに、ビットバー線ＢＢＬが”Ｈ”レベルになる。
【００６９】
次に、出力部５１４の行デコード線ＣＬを”Ｈ”レベルにすることによって（図８（ｆ））、ＮチャネルＭＯＳトランジスタＴ９およびＴ１０がオンされ、このビット線ＢＬおよびビットバー線ＢＢＬのレベル信号は、データバスＤＢ１およびデータバスＤＢ２に出力され、読み出される。
【００７０】
書込み動作
データの書き込みには、上述した読み出し動作の逆の動作を行う。
まず、ビット線のイコライズを行っておき、データバスＤＢ１およびデータバスＤＢ２上の互いに逆の”１”、”０”に対応した”Ｈ”レベルまたは”Ｌ”レベルの信号を、行デコード線ＣＬを”Ｈ”レベルにして、ＮチャネルＭＯＳトランジスタＴ９およびＴ１０をオンすることによって、ビット線ＢＬおよびビットバー線ＢＢＬに取り込む。
【００７１】
センスアンプＨ信号線ＳＨＬを”Ｈ”レベルに、センスアンプＬ信号線ＳＬＬを”Ｌ”レベルにして取り込んだ信号をセンスアンプ部５１２で増幅する。
この増幅されたビット線ＢＬ上の信号を、ワード線ＷＬを”Ｈ”レベルにしてセルを選択してコンデンサＣに蓄積して書き込みとする。
また、記憶のリフレッシュには、コンデンサＣに蓄積された電荷をビット線ＢＬに一旦読み出して、センスアンプ部５１２で増幅した後、再び書き込みを行うことで実現できる。
【００７２】
比較（一致検索）の方法
比較（一致検索）の方法について説明する。
ＤＲＡＭの読み出し動作で、ビット線ＢＬにメモリセルのデータが読み出され、センスアンプ部５１２で増幅され、ビット線ＢＬとビットバー線ＢＢＬに増幅されたデータが出力された状態で、行デコード線ＣＬを”Ｌ”レベルにしてＮチャネルＭＯＳトランジスタＴ９、Ｔ１０をオフにしておく。
この状態で、データバスＤＢ１、データバスＤＢ２にデータを与え、検索イネーブル線ＳＥＬを”Ｈ”レベルにし、マッチ線ＭＬを”Ｈ”レベルにプリチャージして一致検索を行う。
【００７３】
この一致検索状態で、ビット線ＢＬとビットバー線ＢＢＬ側のデータとデータバスＤＢ１、データバスＤＢ２側に両データが共に”１”であるとする。
すると一致検索ＮチャネルＭＯＳトランジスタのうちトランジスタＴ１２はオン、トランジスタＴ１３はオフになる。
一方トランジスタＴ１１はデータバスＤＢ１が”Ｈ”レベルのためオフであり、トランジスタＴ１４はデータバスＤＢ２が”Ｌ”レベルのためオンになる。
【００７４】
一方、両データが”０”の場合は、トランジスタＴ１１がオン、トランジスタＴ１２がオフ、トランジスタＴ１３がオン、トランジスタＴ１４がオフとなる。
このように、ビット線ＢＬとデータバスＤＢ１のデータが一致した時は、トランジスタＴ１１とトランジスタＴ１２の内のいずれかと、トランジスタＴ１３とトランジスタＴ１４の内のいずれかがオフとなって、マッチ線ＭＬのプリチャージを”Ｌ”レベルに引き落とすことはできない。
マッチ線ＭＬにつながるすべての同様なセンスアンプ部５１２でビット線ＢＬとデータバスＤＢ１のデータが一致した時は、マッチ線ＭＬは”Ｌ”レベルに引き落とされることがなく、プリチャージされた状態の”Ｈ”レベルを保つ。
このマッチ線ＭＬの電位が変化しないことを、マッチ線ＭＬの末端に接続された、例えば判定回路１０５の検出アンプで計測して、一致を検出することができる。
【００７５】
一方、ビット線ＢＬとビットバー線ＢＢＬ側のデータが”１”で、データバスＤＢ１、データバスＤＢ２側のデータが”０”の場合、一致検索ＮチャネルＭＯＳトランジスタのうちトランジスタＴ１１とトランジスタＴ１２はオン、トランジスタＴ１３とトランジスタＴ１４はオフになる。
このため、マッチ線ＭＬのプリチャージ電荷は、トランジスタＴ１１およびトランジスタＴ１２を通って”Ｌ”レベルに引き抜かれ、マッチ線ＭＬの電位は低下する。
【００７６】
マッチ線ＭＬにつながる同様なセンスアンプの内の１つでも不一致があれば、マッチ線ＭＬの電位は”Ｌ”レベルに変化するので、この変化をマッチ線ＭＬの末端に接続された検出アンプで検出することで、いずれかセンスアンプで不一致があったことを検出することができる。
【００７７】
特徴メモリ部の一致検索動作
次に、特徴メモリ部の一致検索動作を、図６を参照しながら説明する。
一致検索を行いたい行のワード線を”Ｈ”レベルにして、ビット線にＤＲＡＭセル１０１のデータを読み出し、このデータをセンスアンプ１０２で増幅しておく。
また、行デコード線ＣＬはすべて”Ｌ”レベルにする。
【００７８】
この状態で、データバスＤＢ１、データバスＤＢ２にデータを与え、検索イネーブル線ＳＥＬと一致検索（マッチ）線ＭＬを”Ｈ”レベルにプリチャージして一致検索を行う。
このようにするとワード線を”Ｈ”レベルにした行のＤＲＡＭセル１０１のデータがビット線に、その否定データがビットバー線に出力され、このデータがデータバスＤＢ１、データバスＤＢ２に与えられたデータとＣＡＭ１０３で比較される。
ここでＤＲＡＭセル１０１の記憶データとデータバスの検索データとが一致であれば一致検索線のプリチャージ電荷が保持され、不一致であるとプリチャージ電荷が引き抜かれる。
【００７９】
一致検索線が各ＣＡＭ１０３について共通であるため、ワード線で選択された行のＤＲＡＭセル１０１の記憶データと検索データとがその行のすべてのセル（ビット）で一致している時だけ（図６では４ビットすべてが一致している時だけ）、一致検索線のプリチャージ電位は変化しない。
逆に、その行の１つのセルでも不一致があれば、そのセルの検出部を介して一致検索線のプリチャージ電位は”Ｌ”レベルに引き抜かれる。
【００８０】
上述したように、ワード線ＷＬで行単位にＤＲＡＭセル１０１の記憶データを順次読みだし、センスアンプ１０２で増幅した後、ＣＡＭ１０３で比較を行うことによって、行単位での一致検索を各行について行うことができる。
【００８１】
また、上述したように、ＤＲＡＭセル１０１を用いて大容量の連想メモリを、集積度を向上して大容量の連想メモリを構築することができ、グラフィックスや画像関係などのデータの検索にも応用できる。
また、１６ＭビットのシンクロナスＤＲＡＭで、従来は１回のＤＲＡＭサイクルで読み出せるのは８×８の６４ビットで、１６Ｍビットの検索に２６２１４４回のＤＲＡＭアクセスが必要であったが、上述メモリでは、ワード線に接続されるセル数分の全ビットの一致検索が一度に行われるので、約１０００倍の検索速度となり、２５６回のＤＲＡＭアクセスで１６Ｍビットの検索が可能になる。
【００８２】
フレームメモリ５２
図９は、図６に示したメモリのフレームメモリを示す構成図である。
フレームメモリは、例えば図９に示すように、ビット線イコライズ部５１０、データメモリ５１１、センスアンプ部５１２、出力部５１４、ビット線イコライズ信号線ＩＬ、１／２ＶＤＤ電圧線ＤＬ、ワード線ＷＬ、センスアンプＨ信号線ＳＨＬ、センスアンプＬ信号線ＳＬＬ、ビット線ＢＬ、ビットバー線ＢＢＬ、データバスＤＢ１、データバーバス（データバスとも言う）ＤＢ２、行デコード線ＣＬを有する。
特徴量メモリ５１と、フレームメモリ５２との相違点は、検出部がない点である。その他の構成および動作は同じであるので、各構成要素の説明を省略する。
【００８３】
画像処理装置の動作
図１０は、図１に示した画像処理装置の動作を説明するためのフローチャートである。
画像処理装置１の動作を、図１０および図１を参照しながら説明する。
【００８４】
例えば、動画像の画像データが画像処理装置に入力される。
時刻Ｔの画像データが、ラインメモリ２、およびメモリ５に入力される。
ラインメモリ２では、入力された画像データに応じて、例えば所定のラインごとに画像データを記憶し、所定のタイミングで画像データが探索範囲レジスタ３に出力される。
【００８５】
探索範囲レジスタ３では、ラインメモリ２から出力された画像データが、特徴量生成部４に出力される。
特徴量生成部４では、探索範囲レジスタ３から出力された画像データに基づいて、画素それぞれに対応した所定の特徴量データを生成し、生成した特徴量データをメモリ５に出力する。例えば、探索範囲レジスタ３から出力された画像データに基づいて、画像データに含まれるオブジェクトを検出し、検出されたオブジェクトそれぞれに識別情報、例えばオブジェクト番号が割り当てられ、画素それぞれに対応したオブジェクト番号が、メモリ５に出力される。
メモリ５において、特徴量メモリ５１では、特徴量生成部４から出力された特徴量データ、例えばオブジェクト番号を画素ごとに記憶される（ＳＴ１０１）。
フレームメモリ５２では、入力された画像データが記憶される。
【００８６】
次に時刻Ｔ＋１の画像データが、ラインメモリ２に入力され、ラインメモリ２から探索範囲レジスタ３へ出力される。
探索範囲レジスタ３では、所定の探索範囲内の所定のブロックの内の画像データが、差分絶対値和・最小値演算部８に出力される。
また、探索範囲レジスタ３では、所定の探索範囲内の所定のブロックの内の画像データが、特徴量生成部４に出力される。
特徴量生成部４では、探索範囲レジスタ３から出力された画像データに基づいて、特徴量データ、例えばオブジェクトに応じたオブジェクト番号が生成され、メモリ５に出力される（ＳＴ１０２）。
【００８７】
メモリ５において、特徴量一致判定部５３では、特徴量メモリ５１に記憶されている特徴量データと、特徴量生成部４から出力された特徴量データとの比較（一致検索）が行われ、比較の結果を示す比較データ（一致データ）が画素ごとに、差分絶対値和・最小値演算部８に出力される（ＳＴ１０３）。
また、メモリ５において、フレームメモリ５２では、記憶している、画素毎の比較データに対応した画像データが、ラインメモリ６に出力される（ＳＴ１０４）。
ラインメモリ６では、メモリ５から出力された画像データが、ブロック範囲レジスタ７に出力される。
ブロック範囲レジスタ７では、所定の参照ブロックの内の画像データが、差分絶対値和・最小値演算部８に出力される。
【００８８】
差分絶対値和・最小値演算部８では、探索範囲レジスタ３から出力された所定の探索範囲の画像データと、ブロック範囲レジスタ７から出力された所定の参照ブロックの内の画像データと、メモリ５から出力された比較データ（一致データ）に基づいて、所定のブロックマッチング処理を行い（ＳＴ１０５）、動きベクトルを生成する（ＳＴ１０６）。
【００８９】
例えば、具体的には、差分絶対値和・最小値演算部８では、探索範囲レジスタ３から出力された、所定の探索範囲内の探索ブロックの内の画素データ、ブロック範囲レジスタ７から出力された参照ブロックの内の画素データ、およびメモリ５から出力された一致データに基づいて、所定の特徴量データについて、探索範囲内の所定の探索ブロックの位相にずらしたブロックと、参照ブロックとのブロックマッチングを行い、差分絶対値を生成し、差分絶対値が最小となる位相を動きベクトルとして出力する。
【００９０】
また、差分絶対値和・最小値演算部８では、画素それぞれに対応した一致データに基づいて、探索範囲の画像データの内の所定のオブジェクトの画素と、参照範囲の内の所定のオブジェクトの画素とのマッチング処理を行い、動きベクトルが生成され出力される。
【００９１】
以上、説明したように、本実施の形態に係る画像処理装置では、画像データに基づいて、特徴量データを生成する特徴量生成部４と、所定の探索範囲の画像データと、所定の参照ブロックの内の画像データと、メモリ５から出力された比較データ（一致データ）とに基づいて、所定の特徴量データが一致している画素とを比較して、そして探索範囲の全ての位相の探索ブロックに関して差分絶対値和を生成し、最も差分絶対値和が小さい位相を、動きベクトルとする差分絶対値和・最小値演算部８とを設け、メモリ５には、画像データを記憶するフレームメモリ５２と、画像データの内の画素それぞれに対応する特徴量データを記憶する特徴量メモリ５１と、特徴量メモリ５１に記憶された特徴量データと、特徴量生成部４により生成された特徴量データとを比較し、比較の結果を示す比較データを生成する特徴量一致判定部５３とを設けたので、複雑な動きを含む画像データであっても、正確な動きベクトルを算出可能である。
【００９２】
また、メモリ５には、ＣＡＭ１０３を含む特徴量メモリ５１と、フレームメモリ５２と、判定回路１０５とを設けたので、一般的なメモリと比べて、より小さい容量で、一致検索機能を持たせることができる。
また、集積度の面で見てもＣＡＭ１０３を利用した方が、通常のＥＯＲ（Exclusive OR）回路を用いた場合よりも回路規模を小さくすることができる。
【００９３】
メモリ５は、画素に特徴量データを付け加えて記憶し、一致検索機能を付け加えて同一特徴か否かの判定をしながら所定の処理を行うので、効率よく、画像データを処理することができる。
【００９４】
また、一致検索するために余分なデータをアクセスする必要がないためにメモリアクセスに無駄がない。
また、画素用メモリと特徴量データを記憶するメモリと一致検索回路を１つの半導体基板上に設けることで、より小規模なメモリを構成することがきる。
【００９５】
また、ブロックマッチングに必要なデータをメモリからのアクセス時点で無駄なデータをマスクしているためメモリのアクセスを効率よく行うことが出来る。
【００９６】
また、ＤＲＡＭメモリにビット線ＢＬ上のデータと与えられたデータとを比較し、比較の結果にしたがって一致（マッチ）線ＭＬを駆動する比較手段を設けた。
これにより、比較的簡単な構成によって、集積度が高く、大容量で廉価な連想メモリを実現することができる。
【００９７】
なお、本発明は本実施の形態に限られるものではなく、任意好適な種々の改変が可能である。本実施の形態において、メモリ５は、４ビットのＤＲＡＭセルを設けたが、この形態に限られるものではない。
【００９８】
【発明の効果】
本発明によれば、複雑な動きを含む画像データであっても、正確な動きベクトルを算出可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の一実施の形態を示す機能ブロックである。
【図２】ブロックマッチングにより動きベクトルを検出する動作を説明するための図である。
【図３】図１に示した画像処理装置の差分絶対値和・最小値演算部の動作を説明するための図である。（ａ）は位相シフト前の状態を示す図、（ｂ）は位相シフト後の状態を示す図である。
【図４】図１に示した画像処理装置のブロックマッチングに関する動作を説明するための図である。
【図５】図１に示した画像処理装置のメモリが記憶および処理するデータの構造を模式的に示す図である。
【図６】図１に示した画像処理装置のメモリの一具体例を示す構成図である。
【図７】図６に示したメモリの特徴量データ記憶部を示す構成図である。
【図８】図７に示した特徴量メモリの動作を示すタイミングチャートである。
【図９】図６に示したメモリのフレームメモリを示す構成図である。
【図１０】図１に示した画像処理装置の動作を説明するためのフローチャートである。
【符号の説明】
１…画像処理装置、２…ラインメモリ、３…センスアンプ部、４…特徴量生成部、５…メモリ、６…ラインメモリ、７…ブロック範囲レジスタ、８…差分絶対値和・最小値演算部、５１…特徴量メモリ、５２…フレームメモリ、５３…特徴量一致判定部、１０１…セル、１０２…センスアンプ、１０３…ＣＡＭ、１０４…トランスファゲート、１０５…判定回路、５１０…ビット線イコライズ部、５１１…データメモリ部、５１２…センスアンプ部、５１３…検出部、５１４…出力部。
【発明の属する技術分野】
本発明は、例えば、画像データを処理する画像処理装置に関するものである。
【０００２】
【従来の技術】
画像データに基づいて所定の処理、例えば動きベクトルを検出し生成する処理等を行う画像処理装置が知られている。
この動きベクトルを検出する場合に、一般的な画像処理装置では、所定の画素を含むブロック単位でマッチングを行うブロックマッチング方式により動きベクトルを検出する。
【０００３】
【発明が解決しようとする課題】
しかし、上述した画像処理装置では、画素単位で動きベクトルを求める場合、一般的なブロックマッチング方式ではブロックの平均的な動きしか求めることができない。また、複雑な動きを含む画像データ、例えば複数のオブジェクトそれぞれが異なる動きを行うオブジェクトを含む画像データを処理する場合には、求めようとしている画素の動きが別の動きとして出力してしまう場合がある。
【０００４】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、複雑な動きを含む画像データであっても、正確な動きベクトルを算出可能な画像処理装置を提供することである。
【０００５】
【課題を解決するための手段】
前記目的を達成するために、第１の発明の画像処理装置は、複数の画素を含む第１および第２の画像データを処理する画像処理装置であって、前記第１および第２の画像データに基づいて前記第１および第２の画像データに対応する第１および第２の特徴量データを生成する特徴量データ生成手段と、前記第１の画像データに対応する第１の特徴量データと、前記第２の画像データに対応する第２の特徴量とに基づいて、比較データを生成するメモリと、前記第１および第２の画像データ、ならびに前記メモリにより生成された前記比較データに基づいて、所定のブロック単位毎にマッチング演算を行って動きベクトルを生成する動きベクトル生成手段とを有し、前記メモリは、前記第１の画像データを記憶する画像データ記憶手段と、前記第１の画像データの内の画素それぞれに対応する前記第１の特徴量データを記憶する特徴量データ記憶手段と、前記特徴量データ記憶手段に記憶された第１の特徴量データと、前記特徴量データ生成手段により生成された、前記ブロックにおける所定の画素位置に対応する第２の特徴量データとを比較し、前記比較の結果を示す前記比較データを生成する比較手段とを有し、前記動きベクトル生成手段は、前記ブロック内の画素のうち、該画素に対応する比較データが一致を示す画素である場合に前記マッチング演算の対象とする。
【０００６】
第１の発明の画像処理装置によれば、複数の画素を含む第１および第２の画像データを処理する。
メモリでは、前記第１の画像データに対応する第１の特徴量データに基づいて、比較データが生成される。
特徴量データ生成手段では、前記第２の画像データに基づいて、第２の特徴量データが生成される。
動きベクトル生成手段では、前記第１および第２の画像データ、ならびに前記メモリにより生成された前記比較データに基づいて動きベクトルが生成される。
また、前記メモリにおいて、画像データ記憶手段では、前記第１の画像データが記憶される。
特徴量データ記憶手段では、前記第１の画像データの内の画素それぞれに対応する前記第１の特徴量データが記憶される。
比較手段では、前記特徴量データ記憶手段に記憶された第１の特徴量データと、前記特徴量データ生成手段により生成された第２の特徴量データとを比較し、前記比較の結果を示す前記比較データが生成される。
【０００８】
【発明の実施の形態】
本発明に係る画像処理装置は、画像データに基づいて特徴量データを生成し、生成した特徴量データに基づいてブロックマッチングを行う。この際、画像処理装置は、所定の特徴量データの画素のみマッチングを行い、その結果に基づいて動きベクトルを生成する。
【０００９】
例えば、具体的には、画像処理装置は、画像データに基づいて、画像データの内のオブジェクトを検出し、検出結果に基づいてブロックマッチングを行う。この際、画像処理装置は、所定のオブジェクトのみマッチングを行い、動きベクトルを生成する。この処理方式をオブジェクトマッチング方式と言う。
また、画像処理装置は、画像データと特徴量データを記憶し、特徴量データを比較する比較機能を含むメモリを有する。
以下、詳細に説明する。
【００１０】
図１は、本発明に係る画像処理装置の一実施の形態を示す機能ブロックである。
本実施の形態に係る画像処理装置１は、例えば図１に示すように、ラインメモリ２、探索範囲レジスタ３、特徴量生成部４、メモリ５、ラインメモリ６、ブロック範囲レジスタ７、および差分絶対値和・最小値演算部８を有する。
【００１１】
ラインメモリ２は、入力された画像データに応じて、例えば所定のラインごとに画像データを記憶し、所定のタイミングで画像データを探索範囲レジスタ３に出力する。
【００１２】
探索範囲レジスタ３は、ラインメモリ２から出力された画像データに基づいて、画像データの所定の探索範囲の内の画素を記憶する。
探索範囲レジスタ３は、所定の探索範囲の内の画素、例えば、探索範囲内で所定の位相の探索ブロックの内の画像データを、差分絶対値和・最小値演算部８に出力する。
また、探索範囲レジスタ３は、記憶してる画像データを特徴量生成部４に出力する。
【００１３】
特徴量生成部４は、探索範囲レジスタ３から出力された画像データに基づいて、画素それぞれに対応した所定の特徴量データを生成し、生成した特徴量データをメモリ５に出力する。
特徴量生成部４は、例えば、探索範囲レジスタ３から出力された画像データに基づいて、画像データに含まれるオブジェクトを検出し、検出されたオブジェクトそれぞれに識別情報、例えばオブジェクト番号を割り当てる。この際、特徴量生成部４は、画素それぞれに対応したオブジェクト番号を生成する。
【００１４】
メモリ５は、入力された画像データ、および、特徴量生成部４から出力された特徴量データを記憶する。
メモリ５は、特徴量生成部４から出力された特徴量データと、内部に記憶している画像データ（画素データとも言う）および特徴量データとに基づいて後述する比較処理を行い、比較処理の結果である比較データ（一致データとも言う）、および画素データを、ラインメモリ６に出力する。
【００１５】
メモリ５は、例えば図１に示すように、特徴量メモリ５１、フレームメモリ５２、特徴量一致判定部５３とを有する。
特徴量メモリ５１は、例えば特徴量生成部４から出力された特徴量データを記憶する。
特徴量メモリ５１は、記憶している特徴量データを、特徴量一致判定部５３に出力する。
【００１６】
フレームメモリ５２は、入力された画像データ（画素データ）を記憶する。
フレームメモリ５２は、所定の制御に応じた画像データを、例えばラインメモリ６に出力する。
【００１７】
特徴量一致判定部５３は、特徴量メモリ５１に記憶されている特徴量データと、所定の特徴量データの比較を行い、比較の結果に基づいて、一致データを出力する。
例えば、特徴量一致判定部５３は、特徴量メモリ５１に記憶している特徴量データと、特徴量生成部４から出力された特徴量データの比較を行い、比較の結果を示す一致データを、例えば差分絶対値和・最小値演算部８に出力する。
【００１８】
ラインメモリ６は、メモリ５から出力された画像データ（画素データ）を記憶し、所定のタイミングで画像データをブロック範囲レジスタに出力する。
【００１９】
ブロック範囲レジスタ７は、ラインメモリ６から出力された画像データに基づいて、画像データの所定の参照ブロック範囲の内の画素を記憶し、所定のタイミングで、その参照ブロック範囲の内の画像データを、差分絶対値和・最小値演算部８に出力する。
【００２０】
差分絶対値和・最小値演算部８は、所定の探索範囲の内の画像データ、参照ブロックの内の画像データ、一致データに基づいて、所定のブロックマッチング処理を行い、動きベクトルを生成する。
【００２１】
例えば、具体的には、差分絶対値和・最小値演算部８は、探索範囲レジスタ３から出力された、所定の探索範囲の内の画素データ、ブロック範囲レジスタ７から出力されたブロック範囲の内の画素データ、およびメモリ５から出力された一致データに基づいて、探索範囲内で所定の位相にずらしたブロックと、参照ブロックとのブロックマッチングを行い、差分絶対値を生成し、差分絶対値が最小となる位相を動きベクトルとして出力する。
【００２２】
この際、差分絶対値和・最小値演算部８は、マスキング処理された所定のオブジェクトの画素データに応じて、ブロックマッチング処理を行い、動きベクトルを生成する。
具体的には、差分絶対値和・最小値演算部８は、画素それぞれに対応した一致データに基づいて、探索範囲の画像データの内の所定のオブジェクトの画素と、参照範囲の内の所定のオブジェクトの画素とのマッチング処理を行い、動きベクトルを生成する。
【００２３】
図２は、ブロックマッチングにより動きベクトルを検出する動作を説明するための図である。ブロックマッチング処理について図２を参照しながら説明する。
ブロックマッチング処理は、例えば図２（ａ）に示すように、参照フレームの内の参照ブロックと、予測フレームの探索範囲の内の探索ブロックとのマッチングを行う。
具体的には、参照ブロックの内の画素と、探索ブロックの内の対応する画素との差分値を取り、その差分値の総和である総和差分値を算出する。
そして、探索フレーム内の探索範囲内で探索ブロックを移動させながら、上述した総和差分値を生成する。ここで、位相は、探索ブロックと参照ブロックとの位置のずれである。
そして、最小の総和差分値の時の位相を、動きベクトルとする。
しかし、図２（ｂ）に示すように、所定のブロック内で、複数のオブジェクトそれぞれの動きが異なる場合がある。
【００２４】
図３は、図１に示した画像処理装置の差分絶対値和・最小値演算部の動作を説明するための図である。図３（ａ）は位相シフト前の状態を示す図、図３（ｂ）は位相シフト後の状態を示す図である。
参照ブロックサイズを３×３画素、探索範囲を５×５画素としている。
【００２５】
差分絶対値和・最小値演算部８は、例えば図３に示すように、位相１から、位相２にシフトしたときに読み出される探索ブロックｂｐが水平方向に１画素ずれた位置のものとなっている。例えば更新による位相のシフト量は１画素である。
【００２６】
次に、参照ブロックｂｒと探索ブロックｂｐの間での対応する画素ごとの差分絶対値を演算し、それらの値の差分絶対値総和Ｓを求める。
【００２７】
【数１】
【００２８】
差分絶対値総和Ｓは、参照ブロックｂｒの内の画素の画素値ｋs と、対応する探索ブロックｂｐの内の画素の画素値ｋp を用いて、例えば、数式（１）により計算される。
【００２９】
次に、その差分絶対値総和Ｓを、評価テーブルに記憶させる。
評価テーブルでは、読み出される探索ブロックに対応した位相ごとに、計算された差分絶対値総和Ｓが記憶される。
【００３０】
図３に示したように、例えば位相１から位相２にシフトした場合に、そのシフトに応じて評価テーブルに記憶させる位置もシフトする。
【００３１】
探索範囲内の全ての、探索ブロックｂｐの読み出しから評価テーブルへの記録が終了すると、評価テーブル内の最小値を探索する。
すべての位相の評価値テーブルが記録していない場合には、全ての位相について探索するまで上述の処理を繰り返す。
これは、参照ブロックｂｒと最も近い探索範囲内の探索ブロックを探索していることになる。
【００３２】
上述したように、評価テーブルでは読み出される探索ブロックｂｐに対応した位相ごとに差分絶対値総和が記録されている。したがって、評価テーブル内で最小値が分かれば、探索範囲の内の参照ブロックｂｒに対応する探索ブロックの位相が分かる。その差分絶対値総和が最小値をとる場合の探索ブロックの位相を、動きベクトルとする。
【００３３】
図４は、図１に示した画像処理装置のブロックマッチングに関する動作を説明するための図である。
画像処理装置１の特徴量生成部４は、画像データに基づいてオブジェクトを検出し、オブジェクトそれぞれに、例えばオブジェクトを識別するための識別番号であるオブジェクト番号を割り当てる。差分絶対値和・最小値演算部８は、図４に示すように、所定のオブジェクトのみマッチング処理し、動きベクトルを生成する。
【００３４】
具体的には、差分絶対値和・最小値演算部８は、例えば、参照ブロックの内の所定のオブジェクト番号の画素と、探索ブロックの内の所定のオブジェクト番号の画素に基づいて、上述したマッチングを行い、動きベクトルを生成する。
こうすることにより、例えば図２（ｂ）に示したように所定のブロック内で、複数のオブジェクトそれぞれの動きが異なる場合であっても、所定のオブジェクトの正確な動きベクトルを生成することができる。
【００３５】
図５は、図１に示した画像処理装置のメモリが記憶および処理するデータの構造を模式的に示す図である。
メモリ５は、例えば図５に示すように、画像データと特徴量データとを記憶する。
画像データは、例えば、画素それぞれの画素値である。
特徴量データは、例えば、画素それぞれに対応した特徴量を示すデータであり、具体的には、例えばオブジェクト番号や過去の動きベクトル等である。
メモリ５は、画素ごとに、画素データ、および特徴量データ、例えば、上述したオブジェクト番号等を記憶する。
【００３６】
画像処理装置１は、例えば図３に示すように、所定のブロックの内で、所定のオブジェクトのみの画素を抽出し、ブロック内の抽出した画素に基づいて、ブロックマッチングを行う。
【００３７】
図６は、図１に示した画像処理装置のメモリの一具体例を示す構成図である。
簡単な説明のため、４ｂｉｔデータ構造の場合について説明する。
ここでは、特徴量のデータ領域と通常の画素データ領域をもっており、図５に示したように画素データに特徴量データを付加した構造をとっている。
【００３８】
メモリ５は、例えば図６に示すように、特徴量メモリ５１、フレームメモリ５２、および特徴量一致判定部５３を有する。各構成要素の機能は、上述したので説明を省略する。
【００３９】
メモリ５は、より具体的には、図６に示すように、ＤＲＡＭ（Dynamic random access memory）セル１０１、センスアンプ（Sense Amp ）１０２、ＣＡＭ（Content Addressable Memory）１０３、トランスファゲート（Transfer gate ）１０４、判定回路１０５、ビット線ＢＬ、ビットバー線ＢＢＬ、ワード線ＷＬ、マッチ線ＭＬ、検索イネーブル線ＳＥＬ、特徴量データバスＣＤＢ、画像データバスＰＤＢを有する。
【００４０】
特徴量メモリ５１は、例えば図６に示すように、ＤＲＡＭセル１０１−１１〜１４，２１〜２４，３１〜３４，４１〜４４、センスアンプ１０２−１〜４、トランスファゲート１０４−１〜４、ビット線ＢＬ−１〜４、ビットバー線ＢＢＬ−１〜４、ワード線ＷＬ−１〜４、マッチ線ＭＬ、検索イネーブル線ＳＥＬ、特徴量データバスＣＤＢを有する。
【００４１】
フレームメモリ５２は、例えば図６に示すように、ＤＲＡＭセル１０１−５１〜５４，６１〜６４，７１〜７４，８１〜８４、センスアンプ１０２−５〜８、トランスファゲート１０４−５〜８、ビット線ＢＬ−５〜８、ビットバー線ＢＢＬ−５〜８、ワード線ＷＬ−１〜４、画像データバスＰＤＢを有する。
【００４２】
特徴量一致判定部５３は、例えば図６に示すように、ＣＡＭ１０３−１〜４、および判定回路１０５を有する。
ＣＡＭ１０３は、例えば、マッチ線ＭＬ、検索イネーブル線ＳＥＬ、ビット線ＢＬ、ビットバー線ＢＢＬに接続されている。
特徴量一致判定部は、例えば、マッチ線ＭＬ、検索イネーブル線ＳＥＬ、特徴量データバスＣＤＢに接続されている。
【００４３】
ビット線ＢＬ−１およびビットバー線ＢＢＬ−１には、ＤＲＡＭセル１０１−１１〜１４、センスアンプ１０２−１、ＣＡＭ１０３−１、およびトランスファゲート１０４−１が直列に接続されている。ビット線ＢＬ−２およびビットバー線ＢＢＬ−２には、ＤＲＡＭセル１０１−２１〜２４、センスアンプ１０２−２、ＣＡＭ１０３−２、およびトランスファゲート１０４−２が直列に接続されている。ビット線ＢＬ−３およびビットバー線ＢＢＬ−３には、ＤＲＡＭセル１０１−３１〜３４、センスアンプ１０２−３、ＣＡＭ１０３−３、およびトランスファゲート１０４−３が直列に接続されている。ビット線ＢＬ−４およびビットバー線ＢＢＬ−４には、ＤＲＡＭセル１０１−４１〜４４、センスアンプ１０２−４、ＣＡＭ１０３−４、およびトランスファゲート１０４−４が直列に接続されている。
【００４４】
ビット線ＢＬ−５およびビットバー線ＢＢＬ−５には、ＤＲＡＭセル１０１−５１〜５４、センスアンプ１０２−５、およびトランスファゲート１０４−５が直列に接続されている。ビット線ＢＬ−６およびビットバー線ＢＢＬ−６には、ＤＲＡＭセル１０１−６１〜６４、センスアンプ１０２−６、およびトランスファゲート１０４−６が直列に接続されている。ビット線ＢＬ−７およびビットバー線ＢＢＬ−７には、ＤＲＡＭセル１０１−７１〜７４、センスアンプ１０２−７、およびトランスファゲート１０４−７が直列に接続されている。ビット線ＢＬ−８およびビットバー線ＢＢＬ−８には、ＤＲＡＭセル１０１−８１〜８４、センスアンプ１０２−８、およびトランスファゲート１０４−８が直列に接続されている。
【００４５】
ビット線ＢＬおよびビットバー線は、特徴量データバスＣＤＢに接続されている。
ワード線ＷＬ−１にはＤＲＡＭセル１０１−１１〜８１が直列に接続されている。ワード線ＷＬ−２にはＤＲＡＭセル１０１−１２〜８２が直列に接続されている。ワード線ＷＬ−３にはＤＲＡＭセル１０１−１３〜８３が直列に接続されている。ワード線ＷＬ−４にはＤＲＡＭセル１０１−１４〜８４が直列に接続されている。
マッチ線ＭＬおよび検索イネーブル線ＳＥＬには、ＣＡＭ１０３−１〜４が直列に接続されている。
【００４６】
ＤＲＡＭ（Dynamic random access memory）セル１０１は、所定のデータを記憶する。
例えばＤＲＡＭセル１０１−１１〜４４は、特徴量データ、例えばオブジェクト番号や過去の動きベクトル等を記憶する。
例えばＤＲＡＭセル１０１−５１〜８４は、画像データ、例えば画素それぞれの画素値を記憶する。
【００４７】
センスアンプ（Sense Amp ）１０２は、ＤＲＡＭセル１０１に記憶されているデータに応じて、所定のレベルまで増幅する。
ＣＡＭ（Content Addressable Memory）１０３は、センスアンプ１０２で増幅されたＤＲＡＭ１０１に記憶されているデータと、特徴量データバスＣＤＢ上のデータとを比較し、比較の結果に応じた信号をマッチ線ＭＬに出力する。
【００４８】
トランスファゲート（Transfer gate ）１０４は、所定のデータを、所定のバスに出力する。
例えば、トランスファゲート１０４−１〜４は、特徴量データを、特徴量データバスＣＤＢに出力する。
例えば、トランスファゲート１０４−５〜８は、画像データを、画像データバスＰＤＢに出力する。
【００４９】
判定回路１０５は、例えば、検索イネーブル線ＳＥＬに所定の電圧を印加してＣＡＭ１０３に所定の比較を行わせる。
判定回路１０５は、マッチ線ＭＬの電圧を監視し、ＣＡＭ１０３から出力された比較結果に応じた比較データを受信し、比較データを差分絶対値和・最小値演算部８に出力する。
また、上述の形態に限られるものではない。例えば、マッチ線ＭＬを差分絶対値和・最小値演算部８に接続し、直接、比較データを差分絶対値和・最小値演算部８に出力してもよい。
【００５０】
次にメモリ５のより具体的な構成の一具体例を説明する。
図７は、図６に示したメモリの特徴量データ記憶部を示す構成図である。
特徴量メモリ５１は、例えば図７に示すように、ビット線イコライズ部５１０、データメモリ５１１、センスアンプ部５１２、検出部５１３、出力部５１４、ビット線イコライズ信号線ＩＬ、１／２ＶＤＤ電圧線ＤＬ、ワード線ＷＬ、センスアンプＨ信号線ＳＨＬ、センスアンプＬ信号線ＳＬＬ、ビット線ＢＬ、ビットバー線ＢＢＬ、データバスＤＢ１、データバーバス（データバスとも言う）ＤＢ２、行（Column）デコード線ＣＬ、検索イネーブル線ＳＥＬ、マッチ線ＭＬを有する。
【００５１】
データメモリ５１１はＤＲＡＭセル１０１に相当する。センスアンプ部５１２はセンスアンプ１０２に相当する。検出部５１３はＣＡＭ１０３に相当する。出力部５１４はトランスファゲート１０４に相当する。
【００５２】
ビット線イコライズ部５１０は、ＮチャネルＭＯＳトランジスタＴ１〜Ｔ３と、ビット線イコライズ信号線ＩＬ、１／２ＶＤＤ電圧線ＤＬとを有する。
【００５３】
データメモリ５１１は、ＮチャネルＭＯＳトランジスタＴ４とコンデンサＣを含む複数のセルがマトリックス状に設けられている。
簡単な説明のため、１つのＮチャネルＭＯＳトランジスタＴ４とコンデンサＣを含むセルを１つだけ図示している。
また、データメモリ５１１は、複数のワード線ＷＬ、ビット線ＢＬおよびビットバー線ＢＢＬを有する。また、このワード線ＷＬと、ビット線ＢＬの交点にＤＲＡＭセルが設けられている。
【００５４】
センスアンプ部５１２は、ＰチャネルＭＯＳトランジスタＴ５，Ｔ６、ＮチャネルＭＯＳトランジスタＴ７，Ｔ８、センスアンプＨ信号線ＳＨＬ、センスアンプＬ信号線ＳＬＬ、ビット線ＢＬ、ビットバー線ＢＢＬを有する。
【００５５】
検出部５１３は、ＮチャネルＭＯＳトランジスタＴ１１〜Ｔ１４と、検索イネーブル線ＳＥＬ、マッチ線ＭＬを有する。
ＮチャネルＭＯＳトランジスタＴ１１，１４のゲートは、検索イネーブル線ＳＥＬに接続されている。
【００５６】
出力部５１４は、ＮチャネルＭＯＳトランジスタＴ９，Ｔ１０と、行デコード線ＣＬと、データバスＤＢ１、データバスＤＢ２、ビット線ＢＬ、ビットバー線ＢＢＬを有する。
【００５７】
ＮチャネルＭＯＳトランジスタＴ１〜Ｔ３のゲートは、ビット線イコライズ信号線ＩＬに接続されている。
ＮチャネルＭＯＳトランジスタＴ１のドレインは１／２ＶＤＤ電圧線ＤＬに接続され、ソースはビット線ＢＬに接続されている。
ＮチャネルＭＯＳトランジスタＴ２のドレインは１／２ＶＤＤ電圧線ＤＬに接続され、ソースはビットバー線ＢＢＬに接続されている。
ビット線ＢＬとビットバー線ＢＢＬの間には、ＮチャネルＭＯＳトランジスタＴ３のドレイン−ソースが接続されている。
【００５８】
ＮチャネルＭＯＳトランジスタＴ４のゲートはワード線ＷＬに接続され、ドレインは１／２ＶＤＤ電圧線ＤＬに接続され、ソースはコンデンサＣの一端に接続されている。コンデンサＣの他端は基準電位に接続されている。
【００５９】
センスアンプＨ信号線ＳＨＬとセンスアンプＬ信号線ＳＬＬとの間には、ＰチャネルＭＯＳトランジスタＴ５とＮチャネルＭＯＳトランジスタＴ７が直列に接続され、ＰチャネルＭＯＳトランジスタＴ６とＮチャネルＭＯＳトランジスタＴ８が直列に接続されている。
【００６０】
ビット線ＢＬには、ＰチャネルＭＯＳトランジスタＴ６とＮチャネルＭＯＳトランジスタＴ８のゲートと、ＰチャネルＭＯＳトランジスタＴ５とＮチャネルＭＯＳトランジスタＴ７のドレインが接続されている。
ビットバー線ＢＢＬには、ＰチャネルＭＯＳトランジスタＴ５とＮチャネルＭＯＳトランジスタＴ７のゲートと、ＰチャネルＭＯＳトランジスタＴ６とＮチャネルＭＯＳトランジスタＴ８のドレインが接続されている。
【００６１】
また、データバスＤＢ１と１／２ＶＤＤとの間には、ＮチャネルＭＯＳトランジスタＴ１とＮチャネルＭＯＳトランジスタＴ９が直列に接続されている。
また、データバスＤＢ２と１／２ＶＤＤとの間には、ＮチャネルＭＯＳトランジスタＴ２とＮチャネルＭＯＳトランジスタＴ１０が直列に接続されている。
ＮチャネルＭＯＳトランジスタＴ９，１０のゲートは、行デコード線ＣＬに接続されている。
【００６２】
データバスＤＢ１と、データバスＤＢ２との間には、ＮチャネルＭＯＳトランジスタＴ１１〜Ｔ１４が直列に接続されている。
ＮチャネルＭＯＳトランジスタＴ１１，１４のゲートは、検索イネーブル線ＳＥＬに接続されている。
ＮチャネルＭＯＳトランジスタＴ１２のゲートは、ＮチャネルＭＯＳトランジスタＴ８のゲートに接続されている。
ＮチャネルＭＯＳトランジスタＴ１３のゲートは、ＮチャネルＭＯＳトランジスタＴ７のゲートに接続されている。
マッチ線ＭＬには、例えばＮチャネルＭＯＳトランジスタＴ１２，１３のソースが接続されている。
【００６３】
読出し動作
図８は、図７に示した特徴量メモリ５１の動作を示すタイミングチャートである。
上述した特徴量メモリ５１の読み出し動作を図８を参照しながら説明する。
【００６４】
特徴量メモリ５１のデータメモリ５１１を構成するセルの１つでは、コンデンサＣに蓄積された電荷が減衰するのに一定の時間がかかることを用い、電荷の有無を情報の”１”、”０”に対応させてデータの蓄積を行う。
【００６５】
読み出しや書き込みに先だって、まず、ビット線イコライズ部５１０では、ビット線のイコライズが行われる。
ビット線イコライズ信号線ＩＬを”Ｈ”レベルに設定する。
ＮチャネルＭＯＳトランジスタＴ１、Ｔ２、Ｔ３がオンになり、１／２ＶＤＤ電圧線ＤＬの電圧１／２ＶＤＤがビット線ＢＬおよびビットバー線ＢＢＬに印加され、ビット線ＢＬおよびビットバー線ＢＢＬは同電位になる。
【００６６】
読み出しの場合は、ビット線ＢＬおよびビットバー線ＢＢＬが１／２ＶＤＤになった状態で、ビット線イコライズ信号線ＩＬを”Ｌ”レベルにする。
ＮチャネルＭＯＳトランジスタＴ１、Ｔ２、Ｔ３がいずれもオフになって、ビット線ＢＬおよびビットバー線ＢＢＬは１／２ＶＤＤ電圧線ＤＬに対して、またビット線ＢＬとビットバー線ＢＢＬ相互間でハイインピーダンスになる。
【００６７】
次にワード線ＷＬを”Ｈ”レベルにしてデータメモリ５１１のＮチャネルＭＯＳトランジスタＴ４とコンデンサＣからなるセルを選択する。
これによりＮチャネルＭＯＳトランジスタＴ４がオンになってコンデンサＣに蓄積された電荷がビット線ＢＬに出力される。
これに合わせて、センスアンプ部５１２のＰチャネルＭＯＳトランジスタＴ５、Ｔ６とＮチャネルＭＯＳトランジスタＴ７、Ｔ８によるフリップフロップから構成されるセンスアンプの電源である、センスアンプＨ信号線ＳＨＬを”Ｈ”レベルに、センスアンプＬ信号線ＳＬＬを”Ｌ”レベルにする。
【００６８】
これによってセンスアンプ部５１２が働いて、ビット線ＢＬに出力されたコンデンサＣの電荷が増幅され、ビット線ＢＬおよびビットバー線ＢＢＬに互いに逆の”Ｈ”レベルまたは”Ｌ”レベル信号が出力されることになる。
すなわち、コンデンサＣに正電荷が蓄積されていた場合はビット線ＢＬが”Ｈ”レベルでビットバー線ＢＢＬが”Ｌ”レベルに、コンデンサＣに正電荷が蓄積されていなかった場合はビット線ＢＬが”Ｌ”レベルに、ビットバー線ＢＢＬが”Ｈ”レベルになる。
【００６９】
次に、出力部５１４の行デコード線ＣＬを”Ｈ”レベルにすることによって（図８（ｆ））、ＮチャネルＭＯＳトランジスタＴ９およびＴ１０がオンされ、このビット線ＢＬおよびビットバー線ＢＢＬのレベル信号は、データバスＤＢ１およびデータバスＤＢ２に出力され、読み出される。
【００７０】
書込み動作
データの書き込みには、上述した読み出し動作の逆の動作を行う。
まず、ビット線のイコライズを行っておき、データバスＤＢ１およびデータバスＤＢ２上の互いに逆の”１”、”０”に対応した”Ｈ”レベルまたは”Ｌ”レベルの信号を、行デコード線ＣＬを”Ｈ”レベルにして、ＮチャネルＭＯＳトランジスタＴ９およびＴ１０をオンすることによって、ビット線ＢＬおよびビットバー線ＢＢＬに取り込む。
【００７１】
センスアンプＨ信号線ＳＨＬを”Ｈ”レベルに、センスアンプＬ信号線ＳＬＬを”Ｌ”レベルにして取り込んだ信号をセンスアンプ部５１２で増幅する。
この増幅されたビット線ＢＬ上の信号を、ワード線ＷＬを”Ｈ”レベルにしてセルを選択してコンデンサＣに蓄積して書き込みとする。
また、記憶のリフレッシュには、コンデンサＣに蓄積された電荷をビット線ＢＬに一旦読み出して、センスアンプ部５１２で増幅した後、再び書き込みを行うことで実現できる。
【００７２】
比較（一致検索）の方法
比較（一致検索）の方法について説明する。
ＤＲＡＭの読み出し動作で、ビット線ＢＬにメモリセルのデータが読み出され、センスアンプ部５１２で増幅され、ビット線ＢＬとビットバー線ＢＢＬに増幅されたデータが出力された状態で、行デコード線ＣＬを”Ｌ”レベルにしてＮチャネルＭＯＳトランジスタＴ９、Ｔ１０をオフにしておく。
この状態で、データバスＤＢ１、データバスＤＢ２にデータを与え、検索イネーブル線ＳＥＬを”Ｈ”レベルにし、マッチ線ＭＬを”Ｈ”レベルにプリチャージして一致検索を行う。
【００７３】
この一致検索状態で、ビット線ＢＬとビットバー線ＢＢＬ側のデータとデータバスＤＢ１、データバスＤＢ２側に両データが共に”１”であるとする。
すると一致検索ＮチャネルＭＯＳトランジスタのうちトランジスタＴ１２はオン、トランジスタＴ１３はオフになる。
一方トランジスタＴ１１はデータバスＤＢ１が”Ｈ”レベルのためオフであり、トランジスタＴ１４はデータバスＤＢ２が”Ｌ”レベルのためオンになる。
【００７４】
一方、両データが”０”の場合は、トランジスタＴ１１がオン、トランジスタＴ１２がオフ、トランジスタＴ１３がオン、トランジスタＴ１４がオフとなる。
このように、ビット線ＢＬとデータバスＤＢ１のデータが一致した時は、トランジスタＴ１１とトランジスタＴ１２の内のいずれかと、トランジスタＴ１３とトランジスタＴ１４の内のいずれかがオフとなって、マッチ線ＭＬのプリチャージを”Ｌ”レベルに引き落とすことはできない。
マッチ線ＭＬにつながるすべての同様なセンスアンプ部５１２でビット線ＢＬとデータバスＤＢ１のデータが一致した時は、マッチ線ＭＬは”Ｌ”レベルに引き落とされることがなく、プリチャージされた状態の”Ｈ”レベルを保つ。
このマッチ線ＭＬの電位が変化しないことを、マッチ線ＭＬの末端に接続された、例えば判定回路１０５の検出アンプで計測して、一致を検出することができる。
【００７５】
一方、ビット線ＢＬとビットバー線ＢＢＬ側のデータが”１”で、データバスＤＢ１、データバスＤＢ２側のデータが”０”の場合、一致検索ＮチャネルＭＯＳトランジスタのうちトランジスタＴ１１とトランジスタＴ１２はオン、トランジスタＴ１３とトランジスタＴ１４はオフになる。
このため、マッチ線ＭＬのプリチャージ電荷は、トランジスタＴ１１およびトランジスタＴ１２を通って”Ｌ”レベルに引き抜かれ、マッチ線ＭＬの電位は低下する。
【００７６】
マッチ線ＭＬにつながる同様なセンスアンプの内の１つでも不一致があれば、マッチ線ＭＬの電位は”Ｌ”レベルに変化するので、この変化をマッチ線ＭＬの末端に接続された検出アンプで検出することで、いずれかセンスアンプで不一致があったことを検出することができる。
【００７７】
特徴メモリ部の一致検索動作
次に、特徴メモリ部の一致検索動作を、図６を参照しながら説明する。
一致検索を行いたい行のワード線を”Ｈ”レベルにして、ビット線にＤＲＡＭセル１０１のデータを読み出し、このデータをセンスアンプ１０２で増幅しておく。
また、行デコード線ＣＬはすべて”Ｌ”レベルにする。
【００７８】
この状態で、データバスＤＢ１、データバスＤＢ２にデータを与え、検索イネーブル線ＳＥＬと一致検索（マッチ）線ＭＬを”Ｈ”レベルにプリチャージして一致検索を行う。
このようにするとワード線を”Ｈ”レベルにした行のＤＲＡＭセル１０１のデータがビット線に、その否定データがビットバー線に出力され、このデータがデータバスＤＢ１、データバスＤＢ２に与えられたデータとＣＡＭ１０３で比較される。
ここでＤＲＡＭセル１０１の記憶データとデータバスの検索データとが一致であれば一致検索線のプリチャージ電荷が保持され、不一致であるとプリチャージ電荷が引き抜かれる。
【００７９】
一致検索線が各ＣＡＭ１０３について共通であるため、ワード線で選択された行のＤＲＡＭセル１０１の記憶データと検索データとがその行のすべてのセル（ビット）で一致している時だけ（図６では４ビットすべてが一致している時だけ）、一致検索線のプリチャージ電位は変化しない。
逆に、その行の１つのセルでも不一致があれば、そのセルの検出部を介して一致検索線のプリチャージ電位は”Ｌ”レベルに引き抜かれる。
【００８０】
上述したように、ワード線ＷＬで行単位にＤＲＡＭセル１０１の記憶データを順次読みだし、センスアンプ１０２で増幅した後、ＣＡＭ１０３で比較を行うことによって、行単位での一致検索を各行について行うことができる。
【００８１】
また、上述したように、ＤＲＡＭセル１０１を用いて大容量の連想メモリを、集積度を向上して大容量の連想メモリを構築することができ、グラフィックスや画像関係などのデータの検索にも応用できる。
また、１６ＭビットのシンクロナスＤＲＡＭで、従来は１回のＤＲＡＭサイクルで読み出せるのは８×８の６４ビットで、１６Ｍビットの検索に２６２１４４回のＤＲＡＭアクセスが必要であったが、上述メモリでは、ワード線に接続されるセル数分の全ビットの一致検索が一度に行われるので、約１０００倍の検索速度となり、２５６回のＤＲＡＭアクセスで１６Ｍビットの検索が可能になる。
【００８２】
フレームメモリ５２
図９は、図６に示したメモリのフレームメモリを示す構成図である。
フレームメモリは、例えば図９に示すように、ビット線イコライズ部５１０、データメモリ５１１、センスアンプ部５１２、出力部５１４、ビット線イコライズ信号線ＩＬ、１／２ＶＤＤ電圧線ＤＬ、ワード線ＷＬ、センスアンプＨ信号線ＳＨＬ、センスアンプＬ信号線ＳＬＬ、ビット線ＢＬ、ビットバー線ＢＢＬ、データバスＤＢ１、データバーバス（データバスとも言う）ＤＢ２、行デコード線ＣＬを有する。
特徴量メモリ５１と、フレームメモリ５２との相違点は、検出部がない点である。その他の構成および動作は同じであるので、各構成要素の説明を省略する。
【００８３】
画像処理装置の動作
図１０は、図１に示した画像処理装置の動作を説明するためのフローチャートである。
画像処理装置１の動作を、図１０および図１を参照しながら説明する。
【００８４】
例えば、動画像の画像データが画像処理装置に入力される。
時刻Ｔの画像データが、ラインメモリ２、およびメモリ５に入力される。
ラインメモリ２では、入力された画像データに応じて、例えば所定のラインごとに画像データを記憶し、所定のタイミングで画像データが探索範囲レジスタ３に出力される。
【００８５】
探索範囲レジスタ３では、ラインメモリ２から出力された画像データが、特徴量生成部４に出力される。
特徴量生成部４では、探索範囲レジスタ３から出力された画像データに基づいて、画素それぞれに対応した所定の特徴量データを生成し、生成した特徴量データをメモリ５に出力する。例えば、探索範囲レジスタ３から出力された画像データに基づいて、画像データに含まれるオブジェクトを検出し、検出されたオブジェクトそれぞれに識別情報、例えばオブジェクト番号が割り当てられ、画素それぞれに対応したオブジェクト番号が、メモリ５に出力される。
メモリ５において、特徴量メモリ５１では、特徴量生成部４から出力された特徴量データ、例えばオブジェクト番号を画素ごとに記憶される（ＳＴ１０１）。
フレームメモリ５２では、入力された画像データが記憶される。
【００８６】
次に時刻Ｔ＋１の画像データが、ラインメモリ２に入力され、ラインメモリ２から探索範囲レジスタ３へ出力される。
探索範囲レジスタ３では、所定の探索範囲内の所定のブロックの内の画像データが、差分絶対値和・最小値演算部８に出力される。
また、探索範囲レジスタ３では、所定の探索範囲内の所定のブロックの内の画像データが、特徴量生成部４に出力される。
特徴量生成部４では、探索範囲レジスタ３から出力された画像データに基づいて、特徴量データ、例えばオブジェクトに応じたオブジェクト番号が生成され、メモリ５に出力される（ＳＴ１０２）。
【００８７】
メモリ５において、特徴量一致判定部５３では、特徴量メモリ５１に記憶されている特徴量データと、特徴量生成部４から出力された特徴量データとの比較（一致検索）が行われ、比較の結果を示す比較データ（一致データ）が画素ごとに、差分絶対値和・最小値演算部８に出力される（ＳＴ１０３）。
また、メモリ５において、フレームメモリ５２では、記憶している、画素毎の比較データに対応した画像データが、ラインメモリ６に出力される（ＳＴ１０４）。
ラインメモリ６では、メモリ５から出力された画像データが、ブロック範囲レジスタ７に出力される。
ブロック範囲レジスタ７では、所定の参照ブロックの内の画像データが、差分絶対値和・最小値演算部８に出力される。
【００８８】
差分絶対値和・最小値演算部８では、探索範囲レジスタ３から出力された所定の探索範囲の画像データと、ブロック範囲レジスタ７から出力された所定の参照ブロックの内の画像データと、メモリ５から出力された比較データ（一致データ）に基づいて、所定のブロックマッチング処理を行い（ＳＴ１０５）、動きベクトルを生成する（ＳＴ１０６）。
【００８９】
例えば、具体的には、差分絶対値和・最小値演算部８では、探索範囲レジスタ３から出力された、所定の探索範囲内の探索ブロックの内の画素データ、ブロック範囲レジスタ７から出力された参照ブロックの内の画素データ、およびメモリ５から出力された一致データに基づいて、所定の特徴量データについて、探索範囲内の所定の探索ブロックの位相にずらしたブロックと、参照ブロックとのブロックマッチングを行い、差分絶対値を生成し、差分絶対値が最小となる位相を動きベクトルとして出力する。
【００９０】
また、差分絶対値和・最小値演算部８では、画素それぞれに対応した一致データに基づいて、探索範囲の画像データの内の所定のオブジェクトの画素と、参照範囲の内の所定のオブジェクトの画素とのマッチング処理を行い、動きベクトルが生成され出力される。
【００９１】
以上、説明したように、本実施の形態に係る画像処理装置では、画像データに基づいて、特徴量データを生成する特徴量生成部４と、所定の探索範囲の画像データと、所定の参照ブロックの内の画像データと、メモリ５から出力された比較データ（一致データ）とに基づいて、所定の特徴量データが一致している画素とを比較して、そして探索範囲の全ての位相の探索ブロックに関して差分絶対値和を生成し、最も差分絶対値和が小さい位相を、動きベクトルとする差分絶対値和・最小値演算部８とを設け、メモリ５には、画像データを記憶するフレームメモリ５２と、画像データの内の画素それぞれに対応する特徴量データを記憶する特徴量メモリ５１と、特徴量メモリ５１に記憶された特徴量データと、特徴量生成部４により生成された特徴量データとを比較し、比較の結果を示す比較データを生成する特徴量一致判定部５３とを設けたので、複雑な動きを含む画像データであっても、正確な動きベクトルを算出可能である。
【００９２】
また、メモリ５には、ＣＡＭ１０３を含む特徴量メモリ５１と、フレームメモリ５２と、判定回路１０５とを設けたので、一般的なメモリと比べて、より小さい容量で、一致検索機能を持たせることができる。
また、集積度の面で見てもＣＡＭ１０３を利用した方が、通常のＥＯＲ（Exclusive OR）回路を用いた場合よりも回路規模を小さくすることができる。
【００９３】
メモリ５は、画素に特徴量データを付け加えて記憶し、一致検索機能を付け加えて同一特徴か否かの判定をしながら所定の処理を行うので、効率よく、画像データを処理することができる。
【００９４】
また、一致検索するために余分なデータをアクセスする必要がないためにメモリアクセスに無駄がない。
また、画素用メモリと特徴量データを記憶するメモリと一致検索回路を１つの半導体基板上に設けることで、より小規模なメモリを構成することがきる。
【００９５】
また、ブロックマッチングに必要なデータをメモリからのアクセス時点で無駄なデータをマスクしているためメモリのアクセスを効率よく行うことが出来る。
【００９６】
また、ＤＲＡＭメモリにビット線ＢＬ上のデータと与えられたデータとを比較し、比較の結果にしたがって一致（マッチ）線ＭＬを駆動する比較手段を設けた。
これにより、比較的簡単な構成によって、集積度が高く、大容量で廉価な連想メモリを実現することができる。
【００９７】
なお、本発明は本実施の形態に限られるものではなく、任意好適な種々の改変が可能である。本実施の形態において、メモリ５は、４ビットのＤＲＡＭセルを設けたが、この形態に限られるものではない。
【００９８】
【発明の効果】
本発明によれば、複雑な動きを含む画像データであっても、正確な動きベクトルを算出可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の一実施の形態を示す機能ブロックである。
【図２】ブロックマッチングにより動きベクトルを検出する動作を説明するための図である。
【図３】図１に示した画像処理装置の差分絶対値和・最小値演算部の動作を説明するための図である。（ａ）は位相シフト前の状態を示す図、（ｂ）は位相シフト後の状態を示す図である。
【図４】図１に示した画像処理装置のブロックマッチングに関する動作を説明するための図である。
【図５】図１に示した画像処理装置のメモリが記憶および処理するデータの構造を模式的に示す図である。
【図６】図１に示した画像処理装置のメモリの一具体例を示す構成図である。
【図７】図６に示したメモリの特徴量データ記憶部を示す構成図である。
【図８】図７に示した特徴量メモリの動作を示すタイミングチャートである。
【図９】図６に示したメモリのフレームメモリを示す構成図である。
【図１０】図１に示した画像処理装置の動作を説明するためのフローチャートである。
【符号の説明】
１…画像処理装置、２…ラインメモリ、３…センスアンプ部、４…特徴量生成部、５…メモリ、６…ラインメモリ、７…ブロック範囲レジスタ、８…差分絶対値和・最小値演算部、５１…特徴量メモリ、５２…フレームメモリ、５３…特徴量一致判定部、１０１…セル、１０２…センスアンプ、１０３…ＣＡＭ、１０４…トランスファゲート、１０５…判定回路、５１０…ビット線イコライズ部、５１１…データメモリ部、５１２…センスアンプ部、５１３…検出部、５１４…出力部。
Claims (4)
- 複数の画素を含む第１および第２の画像データを処理する画像処理装置であって、
前記第１および第２の画像データに基づいて前記第１および第２の画像データに対応する第１および第２の特徴量データを生成する特徴量データ生成手段と、
前記第１の画像データに対応する第１の特徴量データと、前記第２の画像データに対応する第２の特徴量とに基づいて、比較データを生成するメモリと、
前記第１および第２の画像データ、ならびに前記メモリにより生成された前記比較データに基づいて、所定のブロック単位毎にマッチング演算を行って動きベクトルを生成する動きベクトル生成手段とを有し、
前記メモリは、
前記第１の画像データを記憶する画像データ記憶手段と、
前記第１の画像データの内の画素それぞれに対応する前記第１の特徴量データを記憶する特徴量データ記憶手段と、
前記特徴量データ記憶手段に記憶された第１の特徴量データと、前記特徴量データ生成手段により生成された、前記ブロックにおける所定の画素位置に対応する第２の特徴量データとを比較し、前記比較の結果を示す前記比較データを生成する比較手段とを有し、
前記動きベクトル生成手段は、
前記ブロック内の画素のうち、該画素に対応する比較データが一致を示す画素である場合に前記マッチング演算の対象とする
画像処理装置。 - 前記第１および第２の画像データは、所定のオブジェクトを含み、
前記特徴量データ生成手段は、前記第１の画像データおよび当該第１の画像データより後の第２の画像データに含まれるオブジェクトに基づいて、前記オブジェクトを識別するオブジェクト識別情報を生成し、
前記特徴量データ記憶手段は、前記特徴量データ生成手段で生成された前記第１の画像データに含まれるオブジェクトに応じたオブジェクト識別情報を前記第１の特徴量データとして記憶しておき、
前記比較手段は、前記特徴量データ記憶手段に記憶された前記第１の特徴量データとしてのオブジェクト識別情報と、前記特徴量データ生成手段により生成された前記第２の特徴量データとしてのオブジェクト識別情報とを比較し、前記比較の結果を示す前記比較データを生成する
請求項１に記載の画像処理装置。 - 前記動きベクトル生成手段は、前記第１および第２の画像データ、ならびに前記メモリにより生成された前記比較データに基づいて、前記第１および第２の画像データの内の、当該比較データが一致している画素に基づいて、動きベクトルを生成する
請求項１に記載の画像処理装置。 - 前記メモリは、前記画像記憶手段に記憶されている前記画像データと、前記前記比較手段により生成された比較データとを対応づけて出力する
請求項１に記載の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002237440A JP4214738B2 (ja) | 2002-08-16 | 2002-08-16 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002237440A JP4214738B2 (ja) | 2002-08-16 | 2002-08-16 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004078522A JP2004078522A (ja) | 2004-03-11 |
| JP4214738B2 true JP4214738B2 (ja) | 2009-01-28 |
Family
ID=32021188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002237440A Expired - Fee Related JP4214738B2 (ja) | 2002-08-16 | 2002-08-16 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4214738B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5239095B2 (ja) * | 2008-04-08 | 2013-07-17 | 富士フイルム株式会社 | 画像処理システム、画像処理方法、およびプログラム |
-
2002
- 2002-08-16 JP JP2002237440A patent/JP4214738B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004078522A (ja) | 2004-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6505270B1 (en) | Content addressable memory having longest prefix matching function | |
| US6430073B1 (en) | Dram CAM cell with hidden refresh | |
| Haraszti | CMOS memory circuits | |
| US6584003B1 (en) | Low power content addressable memory architecture | |
| KR910006112B1 (ko) | 다수값 정보기억방식의 반도체기억장치 | |
| US6775166B2 (en) | Content addressable memory architecture | |
| US10318372B2 (en) | Apparatuses and methods for comparing a current representative of a number of failing memory cells | |
| JPH10503317A (ja) | 不揮発性連想記憶メモリ | |
| US6678198B2 (en) | Pseudo differential sensing method and apparatus for DRAM cell | |
| JPH04325996A (ja) | 半導体連想記憶装置 | |
| US6504775B1 (en) | Bitline precharge | |
| TW582036B (en) | Semiconductor memory device storing ternary data signal | |
| US20220208279A1 (en) | Circuit and method for on-chip leakage detection and compensation for memories | |
| JP5339544B2 (ja) | パラレル連想メモリ | |
| TW594749B (en) | Multiple word-line accessing and accessor | |
| WO2003056564A1 (en) | Low power content addressable memory architecture | |
| JP4214738B2 (ja) | 画像処理装置 | |
| JP5530268B2 (ja) | 不揮発性記憶装置 | |
| US9431070B1 (en) | Memory apparatus | |
| KR101155120B1 (ko) | 데이터 손실을 최소화하는 바이너리 내용 주소화 메모리 | |
| US6671218B2 (en) | System and method for hiding refresh cycles in a dynamic type content addressable memory | |
| JPH1196772A (ja) | 半導体メモリ装置 | |
| US20230238037A1 (en) | Content addressable memory device and method for data searching and comparing thereof | |
| US20230352087A1 (en) | Content addressable memory device, content addressable memory cell and method for data searching and comparing thereof | |
| JP2531296B2 (ja) | シリアルアクセスメモリ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050801 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080715 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080916 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081014 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081027 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131114 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |