JPH1042299A - 動きベクトル検出装置 - Google Patents
動きベクトル検出装置Info
- Publication number
- JPH1042299A JPH1042299A JP19426196A JP19426196A JPH1042299A JP H1042299 A JPH1042299 A JP H1042299A JP 19426196 A JP19426196 A JP 19426196A JP 19426196 A JP19426196 A JP 19426196A JP H1042299 A JPH1042299 A JP H1042299A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- output
- data transfer
- storage elements
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 画像圧縮や物体追跡に使用される動きベクト
ルを高速に求める。 【解決手段】 2次元CCDと、その出力信号を変換す
るA/D変換部と、2つのバンクから成り、各バンク間
の一対の記憶素子毎に比較器を接続するフレームメモリ
部と、フレームメモリの記憶素子に記憶した画像データ
を、フレームメモリ内の各カラム間で転送するデータ転
送制御回路と、各比較器の出力する差分の総和を計数す
る計数器と、計数器が最小値を検出した時点での、バン
ク間の画像データの偏移を動きベクトルとして出力する
差分器と、差分器の出力する動きベクトルを保持する動
きベクトル記憶メモリで構成し、全画像データについ
て、ロウ方向の画像データ単位で一斉に記憶素子間で転
するとともに、フレーム間の画像データの比較を転送終
了後に一度に行なう。
ルを高速に求める。 【解決手段】 2次元CCDと、その出力信号を変換す
るA/D変換部と、2つのバンクから成り、各バンク間
の一対の記憶素子毎に比較器を接続するフレームメモリ
部と、フレームメモリの記憶素子に記憶した画像データ
を、フレームメモリ内の各カラム間で転送するデータ転
送制御回路と、各比較器の出力する差分の総和を計数す
る計数器と、計数器が最小値を検出した時点での、バン
ク間の画像データの偏移を動きベクトルとして出力する
差分器と、差分器の出力する動きベクトルを保持する動
きベクトル記憶メモリで構成し、全画像データについ
て、ロウ方向の画像データ単位で一斉に記憶素子間で転
するとともに、フレーム間の画像データの比較を転送終
了後に一度に行なう。
Description
【0001】
【発明の属する技術分野】本発明は、デジタル画像処理
において、画像圧縮符合化や被写体の追尾のための動き
ベクトル検出を行なう動きベクトル検出装置に関する。
において、画像圧縮符合化や被写体の追尾のための動き
ベクトル検出を行なう動きベクトル検出装置に関する。
【0002】
【従来の技術】従来の動きベクトル検出では、現画像の
マクロ・ブロック単位で探索対象のフレームとパターン
・マッチングを行なう、ブロック・マッチング法が一般
的に用いられている(「ビデオ圧縮」、中島他2名、テ
レビジョン学会誌、画像情報工学と放送技術、Vol.49、
No.4、pp.435-466、1995)。このブロック・マッチング
法を行なうハードウェアのブロック構成を図10に示
す。図10において、1はCCD固体撮像素子、2はA
/D変換部、3a、3bはフレーム・メモリ、4a、4
bはバッファ、5a、5bはアドレス制御回路、6は比
較器、7は差分器である。動きベクトル検出を行なうた
めに、まず、CCD固体撮像素子1で撮影した映像信号
を、フレーム毎にフレーム・メモリ3a、3bを切替え
ながら、各画素毎にA/D変換部2を通してフレーム・
メモリ3aに画像データを書き込む。
マクロ・ブロック単位で探索対象のフレームとパターン
・マッチングを行なう、ブロック・マッチング法が一般
的に用いられている(「ビデオ圧縮」、中島他2名、テ
レビジョン学会誌、画像情報工学と放送技術、Vol.49、
No.4、pp.435-466、1995)。このブロック・マッチング
法を行なうハードウェアのブロック構成を図10に示
す。図10において、1はCCD固体撮像素子、2はA
/D変換部、3a、3bはフレーム・メモリ、4a、4
bはバッファ、5a、5bはアドレス制御回路、6は比
較器、7は差分器である。動きベクトル検出を行なうた
めに、まず、CCD固体撮像素子1で撮影した映像信号
を、フレーム毎にフレーム・メモリ3a、3bを切替え
ながら、各画素毎にA/D変換部2を通してフレーム・
メモリ3aに画像データを書き込む。
【0003】次に、フレーム・メモリ3aに記憶した現
フレームの画像データからバッファ4aに取り出したマ
クロ・ブロックの画像データとフレーム・メモリ3bに
記憶した前フレームの画像データからバッファ4bに取
り出した探索領域の画像データについて各画素毎に比較
器6で比較しながら差分絶対値和などの評価関数値を求
め、差分器7で、この評価関数値が最小となるマクロ・
ブロックの位置について、現フレームのマクロ・ブロッ
クの代表点の位置と、この代表点に対応する前フレーム
の代表点の位置の差分を動きベクトルとして得る。この
動作を同一フレーム中の全マクロ・ブロックについて行
なうことで、現フレームの全てのマクロ・ブロックの動
きベクトルを求めることができる。なお、次フレームの
動きベクトルを求める時には、現フレームの画像データ
をフレーム・メモリに記憶したままで、一方のフレーム
・メモリに次フレームの画像データを新たに取り込み、
次フレームにおける動きベクトルを求める。これを繰り
返すことで動きベクトルを求めることができる。
フレームの画像データからバッファ4aに取り出したマ
クロ・ブロックの画像データとフレーム・メモリ3bに
記憶した前フレームの画像データからバッファ4bに取
り出した探索領域の画像データについて各画素毎に比較
器6で比較しながら差分絶対値和などの評価関数値を求
め、差分器7で、この評価関数値が最小となるマクロ・
ブロックの位置について、現フレームのマクロ・ブロッ
クの代表点の位置と、この代表点に対応する前フレーム
の代表点の位置の差分を動きベクトルとして得る。この
動作を同一フレーム中の全マクロ・ブロックについて行
なうことで、現フレームの全てのマクロ・ブロックの動
きベクトルを求めることができる。なお、次フレームの
動きベクトルを求める時には、現フレームの画像データ
をフレーム・メモリに記憶したままで、一方のフレーム
・メモリに次フレームの画像データを新たに取り込み、
次フレームにおける動きベクトルを求める。これを繰り
返すことで動きベクトルを求めることができる。
【0004】
【発明が解決しようとする課題】この図10用いて課題
を説明する。この図10に示すような構成において、探
索は、予め定めた領域内を画素単位で全探索する。よっ
て、第1の課題として、フレーム・サイズが大きくなる
ほど、長い探索時間が必要になるという問題がある。次
に、第2の課題として、異なる動きベクトルを持つ別々
の物体への対応という問題がある。この問題に対して
は、一般的な探索手法としてブロック・マッチング法を
用いる。これは、フレームを任意の大きさに区切った領
域すなわちマクロ・ブロック単位で、前後のフレームに
対しパターン・マッチングを行なう方法である。この手
法では、任意のマクロ・ブロックをフレームから取り出
すために、アドレス制御回路5a、5bが都度2次元矩
形アドレスを発生して任意のマクロ・ブロックをフレー
ム・メモリから取り出さねばならず、複雑な制御が必要
がある。また、パターン・マッチングを行なうために画
像データを何度もフレーム・メモリからバッファに読み
出さねばならず、処理効率の低下を招いている。よっ
て、単位時間あたりに処理するフレーム数を増やす時や
画面サイズを拡大する場合、従来の構成では動きベクト
ル検出に要する時間がクリティカル・パスとなる問題が
ある。さらに、第3の課題として、図10に示す一般的
な構成ではCCDで受光した映像信号を、順次、各画素
毎にA/D変換することでフレーム・メモリ部の各記憶
素子に記憶していく。つまり、CCDでの撮像から探索
動作に入るまでに、一定の長さの遅れ時間が生じる問題
がある。
を説明する。この図10に示すような構成において、探
索は、予め定めた領域内を画素単位で全探索する。よっ
て、第1の課題として、フレーム・サイズが大きくなる
ほど、長い探索時間が必要になるという問題がある。次
に、第2の課題として、異なる動きベクトルを持つ別々
の物体への対応という問題がある。この問題に対して
は、一般的な探索手法としてブロック・マッチング法を
用いる。これは、フレームを任意の大きさに区切った領
域すなわちマクロ・ブロック単位で、前後のフレームに
対しパターン・マッチングを行なう方法である。この手
法では、任意のマクロ・ブロックをフレームから取り出
すために、アドレス制御回路5a、5bが都度2次元矩
形アドレスを発生して任意のマクロ・ブロックをフレー
ム・メモリから取り出さねばならず、複雑な制御が必要
がある。また、パターン・マッチングを行なうために画
像データを何度もフレーム・メモリからバッファに読み
出さねばならず、処理効率の低下を招いている。よっ
て、単位時間あたりに処理するフレーム数を増やす時や
画面サイズを拡大する場合、従来の構成では動きベクト
ル検出に要する時間がクリティカル・パスとなる問題が
ある。さらに、第3の課題として、図10に示す一般的
な構成ではCCDで受光した映像信号を、順次、各画素
毎にA/D変換することでフレーム・メモリ部の各記憶
素子に記憶していく。つまり、CCDでの撮像から探索
動作に入るまでに、一定の長さの遅れ時間が生じる問題
がある。
【0005】本発明は、これら3つの問題を解決するた
めに、高速にパターン・マッチングの処理手段と、CC
Dからの高速な映像信号の取り出しを行なう手段を提供
することを目的とする。
めに、高速にパターン・マッチングの処理手段と、CC
Dからの高速な映像信号の取り出しを行なう手段を提供
することを目的とする。
【0006】
【課題を解決するための手段】上記第1の課題を解決す
る本発明の第1の動きベクトル検出装置は、2次元CC
Dと、前記CCDの各画素の出力する電圧信号をデジタ
ル信号である画像データに変換する第1のA/D変換部
と、少なくとも1ビットの画像データを記憶する記憶素
子を単位として、全記憶素子を格子状に配置して列方向
の各記憶素子はカラム・バスに接続し、前記カラム・バ
スは第1のデータ転送回路に接続しており、前記第1の
データ転送回路はラッチと入力セレクタで構成され、前
記カラム・バスは前記第1のデータ転送回路のラッチの
入力に接続し、前記カラム・バスに出力する前記第1の
データ転送回路の入力セレクタの入力には、前記ラッチ
の出力と隣接する左右のデータ転送回路のカラム・バス
のラッチの出力と前記第1のA/D変換部からのデータ
・バスとが接続するものであって、2つのメモリ・バン
クの各一対の記憶素子のいずれか一方に前記第1のA/
D変換部の出力する画像データを記憶する2メモリ・バ
ンク構成の第1のフレーム・メモリ部と、前記第1のフ
レーム・メモリ部の各バンクに交互に画像データを書き
込む制御と前記第1のフレーム・メモリ部に記憶した画
像データを同一バンク内の記憶素子間で転送する制御と
を行なう第1のデータ転送制御回路と、前記第1のフレ
ーム・メモリ部の各メモリ・バンク間の一対の記憶素子
を入力とし、各一対の記憶素子に保持した画像データの
値を比較して比較結果の差分を出力する第1の比較器
と、前記第1のフレーム・メモリ部において同一メモリ
・バンク内の記憶素子間でデータを転送する度に、全記
憶素子対に記憶した画像データについて前記第2の比較
器の出力する差分の総和を計数する第1の計数器と、前
記第1のデータ転送制御回路の出力する制御信号によ
り、前記各メモリ・バンクに記憶したフレーム間の画像
データのX軸方向およびY軸方向の偏移を動きベクトル
として出力する第1の差分器と、前記第1の計数器が最
小値を出力した時点での前記第1の差分器の出力を記憶
する動きベクトル記憶メモリとを具備し、前記第1のデ
ータ転送制御回路の指示により、前記各記憶素子に記憶
した画像データを、前記第1のフレーム・メモリ部の各
記憶素子間で一斉に転送することを特徴とするものであ
る。
る本発明の第1の動きベクトル検出装置は、2次元CC
Dと、前記CCDの各画素の出力する電圧信号をデジタ
ル信号である画像データに変換する第1のA/D変換部
と、少なくとも1ビットの画像データを記憶する記憶素
子を単位として、全記憶素子を格子状に配置して列方向
の各記憶素子はカラム・バスに接続し、前記カラム・バ
スは第1のデータ転送回路に接続しており、前記第1の
データ転送回路はラッチと入力セレクタで構成され、前
記カラム・バスは前記第1のデータ転送回路のラッチの
入力に接続し、前記カラム・バスに出力する前記第1の
データ転送回路の入力セレクタの入力には、前記ラッチ
の出力と隣接する左右のデータ転送回路のカラム・バス
のラッチの出力と前記第1のA/D変換部からのデータ
・バスとが接続するものであって、2つのメモリ・バン
クの各一対の記憶素子のいずれか一方に前記第1のA/
D変換部の出力する画像データを記憶する2メモリ・バ
ンク構成の第1のフレーム・メモリ部と、前記第1のフ
レーム・メモリ部の各バンクに交互に画像データを書き
込む制御と前記第1のフレーム・メモリ部に記憶した画
像データを同一バンク内の記憶素子間で転送する制御と
を行なう第1のデータ転送制御回路と、前記第1のフレ
ーム・メモリ部の各メモリ・バンク間の一対の記憶素子
を入力とし、各一対の記憶素子に保持した画像データの
値を比較して比較結果の差分を出力する第1の比較器
と、前記第1のフレーム・メモリ部において同一メモリ
・バンク内の記憶素子間でデータを転送する度に、全記
憶素子対に記憶した画像データについて前記第2の比較
器の出力する差分の総和を計数する第1の計数器と、前
記第1のデータ転送制御回路の出力する制御信号によ
り、前記各メモリ・バンクに記憶したフレーム間の画像
データのX軸方向およびY軸方向の偏移を動きベクトル
として出力する第1の差分器と、前記第1の計数器が最
小値を出力した時点での前記第1の差分器の出力を記憶
する動きベクトル記憶メモリとを具備し、前記第1のデ
ータ転送制御回路の指示により、前記各記憶素子に記憶
した画像データを、前記第1のフレーム・メモリ部の各
記憶素子間で一斉に転送することを特徴とするものであ
る。
【0007】同様に、上記第1の課題と第2の課題を解
決する本発明の第2の動きベクトル検出装置は、2次元
CCDと、前記CCDの各画素の出力する電圧信号をデ
ジタル信号である画像データに変換する第2のA/D変
換部と、少なくとも1ビットの画像データを記憶する記
憶素子を単位として、全記憶素子を格子状に配置して列
方向の各記憶素子はカラム・バスに接続し、前記カラム
・バスは第2のデータ転送回路に接続しており、前記第
2のデータ転送回路はラッチと入力セレクタで構成さ
れ、前記カラム・バスは前記第2のデータ転送回路のラ
ッチの入力に接続し、前記カラム・バスに出力する前記
第2のデータ転送回路の入力セレクタの入力には、前記
ラッチの出力と隣接する左右のデータ転送回路のカラム
・バスのラッチの出力と前記第2のA/D変換部からの
データ・バスとが接続するものであって、2つのメモリ
・バンクの各一対の記憶素子のいずれか一方に前記第2
のA/D変換部の出力する画像データを記憶する2メモ
リ・バンク構成の第2のフレーム・メモリ部と、前記第
2のフレーム・メモリ部の各バンクに交互に画像データ
を書き込む制御と前記第2のフレーム・メモリ部に記憶
した画像データを同一バンク内の記憶素子間で転送する
制御とを行なう第2のデータ転送制御回路と、前記第2
のフレーム・メモリ部の各メモリ・バンク間の一対の記
憶素子を入力とし、各一対の記憶素子に保持した画像デ
ータの値を比較して比較結果の差分を出力する第2の比
較器と、前記第2のフレーム・メモリ部において同一メ
モリ・バンク内の記憶素子間でデータを転送する度に、
フレーム中の予め定めた領域毎に、その領域内の全記憶
素子対に記憶した画像データについて前記第2の比較器
が出力する差分の総和を計数し、領域毎に総和を出力す
る第2の計数器と、前記第2のデータ転送制御回路の出
力する制御信号により、各領域毎に、各メモリ・バンク
に記憶した画像データのX軸方向およびY軸方向の偏移
を動きベクトルとして出力する第2の差分器と、各領域
毎に前記第2の計数器が最小値を出力した時点での、前
記第2の差分器の出力を各領域毎に対して記憶する動き
ベクトル記憶メモリとを具備し、前記第2のデータ転送
制御回路の指示により、前記各記憶素子に記憶した画像
データを、前記第2のフレーム・メモリ部の各記憶素子
間で一斉に転送することを特徴とするものである。
決する本発明の第2の動きベクトル検出装置は、2次元
CCDと、前記CCDの各画素の出力する電圧信号をデ
ジタル信号である画像データに変換する第2のA/D変
換部と、少なくとも1ビットの画像データを記憶する記
憶素子を単位として、全記憶素子を格子状に配置して列
方向の各記憶素子はカラム・バスに接続し、前記カラム
・バスは第2のデータ転送回路に接続しており、前記第
2のデータ転送回路はラッチと入力セレクタで構成さ
れ、前記カラム・バスは前記第2のデータ転送回路のラ
ッチの入力に接続し、前記カラム・バスに出力する前記
第2のデータ転送回路の入力セレクタの入力には、前記
ラッチの出力と隣接する左右のデータ転送回路のカラム
・バスのラッチの出力と前記第2のA/D変換部からの
データ・バスとが接続するものであって、2つのメモリ
・バンクの各一対の記憶素子のいずれか一方に前記第2
のA/D変換部の出力する画像データを記憶する2メモ
リ・バンク構成の第2のフレーム・メモリ部と、前記第
2のフレーム・メモリ部の各バンクに交互に画像データ
を書き込む制御と前記第2のフレーム・メモリ部に記憶
した画像データを同一バンク内の記憶素子間で転送する
制御とを行なう第2のデータ転送制御回路と、前記第2
のフレーム・メモリ部の各メモリ・バンク間の一対の記
憶素子を入力とし、各一対の記憶素子に保持した画像デ
ータの値を比較して比較結果の差分を出力する第2の比
較器と、前記第2のフレーム・メモリ部において同一メ
モリ・バンク内の記憶素子間でデータを転送する度に、
フレーム中の予め定めた領域毎に、その領域内の全記憶
素子対に記憶した画像データについて前記第2の比較器
が出力する差分の総和を計数し、領域毎に総和を出力す
る第2の計数器と、前記第2のデータ転送制御回路の出
力する制御信号により、各領域毎に、各メモリ・バンク
に記憶した画像データのX軸方向およびY軸方向の偏移
を動きベクトルとして出力する第2の差分器と、各領域
毎に前記第2の計数器が最小値を出力した時点での、前
記第2の差分器の出力を各領域毎に対して記憶する動き
ベクトル記憶メモリとを具備し、前記第2のデータ転送
制御回路の指示により、前記各記憶素子に記憶した画像
データを、前記第2のフレーム・メモリ部の各記憶素子
間で一斉に転送することを特徴とするものである。
【0008】同様に、上記第1の課題を解決する本発明
の第3の動きベクトル検出装置は、2次元CCDと、前
記CCDの各画素の出力する電圧信号をデジタル信号で
ある画像データに変換する第3のA/D変換部と、少な
くとも1ビットの画像データを記憶する記憶素子を単位
として、全記憶素子を格子状に配置して各記憶素子は第
3のデータ転送回路に接続し、前記第3のデータ転送回
路はラッチと入力セレクタで構成され、前記各記憶素子
は前記第3のデータ転送回路のラッチの入力に接続し、
前記各記憶素子に接続する前記第3のデータ転送回路の
入力セレクタの入力には、同一記憶素子のラッチの出力
と、隣接する上下左右の各記憶素子のデータ転送回路の
ラッチの出力と、前記第3のA/D変換部からのデータ
・バスとが接続するものであって、CCDの各画素に対
して各一対の記憶素子を割り当てる2メモリ・バンク構
成を採り、前記第3のA/D変換部の出力する画像デー
タをフレーム毎に交互に各バンクに記憶する第3のフレ
ーム・メモリ部と、前記第3のフレーム・メモリ部の各
バンクに交互に画像データを書き込む制御と前記第3の
フレーム・メモリ部に記憶した画像データを同一バンク
内の記憶素子間で転送する制御とを行なう第3のデータ
転送制御回路と、前記第3のフレーム・メモリ部の各メ
モリ・バンク間の一対の記憶素子を入力とし、各一対の
記憶素子に保持した画像データの値を比較して比較結果
の差分を出力する比較器と、前記第3のフレーム・メモ
リ部において同一メモリ・バンク内の記憶素子間でデー
タを転送する度に、前記の全記憶素子対に記憶した画像
データについて前記比較器の出力する差分の総和を計数
する第3の計数器と、前記第3のデータ転送制御回路の
出力する制御信号により、前記各メモリ・バンクに記憶
したフレーム間の画像データのX軸方向およびY軸方向
の偏移を動きベクトルとして出力する第3の差分器と、
前記第3の計数器が最小値を出力した時点での前記第1
の差分器の出力を記憶する動きベクトル記憶メモリとを
具備し、前記第3のデータ転送制御回路の指示により、
前記各記憶素子に記憶した画像データを、前記第3のフ
レーム・メモリ部の各記憶素子間で一斉に転送すること
を特徴とする動きベクトル検出装置。
の第3の動きベクトル検出装置は、2次元CCDと、前
記CCDの各画素の出力する電圧信号をデジタル信号で
ある画像データに変換する第3のA/D変換部と、少な
くとも1ビットの画像データを記憶する記憶素子を単位
として、全記憶素子を格子状に配置して各記憶素子は第
3のデータ転送回路に接続し、前記第3のデータ転送回
路はラッチと入力セレクタで構成され、前記各記憶素子
は前記第3のデータ転送回路のラッチの入力に接続し、
前記各記憶素子に接続する前記第3のデータ転送回路の
入力セレクタの入力には、同一記憶素子のラッチの出力
と、隣接する上下左右の各記憶素子のデータ転送回路の
ラッチの出力と、前記第3のA/D変換部からのデータ
・バスとが接続するものであって、CCDの各画素に対
して各一対の記憶素子を割り当てる2メモリ・バンク構
成を採り、前記第3のA/D変換部の出力する画像デー
タをフレーム毎に交互に各バンクに記憶する第3のフレ
ーム・メモリ部と、前記第3のフレーム・メモリ部の各
バンクに交互に画像データを書き込む制御と前記第3の
フレーム・メモリ部に記憶した画像データを同一バンク
内の記憶素子間で転送する制御とを行なう第3のデータ
転送制御回路と、前記第3のフレーム・メモリ部の各メ
モリ・バンク間の一対の記憶素子を入力とし、各一対の
記憶素子に保持した画像データの値を比較して比較結果
の差分を出力する比較器と、前記第3のフレーム・メモ
リ部において同一メモリ・バンク内の記憶素子間でデー
タを転送する度に、前記の全記憶素子対に記憶した画像
データについて前記比較器の出力する差分の総和を計数
する第3の計数器と、前記第3のデータ転送制御回路の
出力する制御信号により、前記各メモリ・バンクに記憶
したフレーム間の画像データのX軸方向およびY軸方向
の偏移を動きベクトルとして出力する第3の差分器と、
前記第3の計数器が最小値を出力した時点での前記第1
の差分器の出力を記憶する動きベクトル記憶メモリとを
具備し、前記第3のデータ転送制御回路の指示により、
前記各記憶素子に記憶した画像データを、前記第3のフ
レーム・メモリ部の各記憶素子間で一斉に転送すること
を特徴とする動きベクトル検出装置。
【0009】同様に、上記第1の課題と第2の課題を解
決する本発明の第4の動きベクトル検出装置は、2次元
CCDと、前記CCDの各画素の出力する電圧信号をデ
ジタル信号である画像データに変換する第4のA/D変
換部と、少なくとも1ビットの画像データを記憶する記
憶素子を単位として、全記憶素子を格子状に配置して各
記憶素子は第4のデータ転送回路に接続し、前記第4の
データ転送回路はラッチと入力セレクタで構成され、前
記各記憶素子は前記第4のデータ転送回路のラッチの入
力に接続し、前記各記憶素子に接続する前記第4のデー
タ転送回路の入力セレクタの入力には、同一記憶素子の
ラッチの出力と、隣接する上下左右の各記憶素子のラッ
チの出力と、前記第4のA/D変換部からのデータ・バ
スとが接続するものであって、CCDの各画素に対して
各一対の記憶素子を割り当てる2メモリ・バンク構成を
採り、前記第4のA/D変換部の出力する画像データを
フレーム毎に交互に各バンクに記憶する第4のフレーム
・メモリ部と、前記第4のフレーム・メモリ部の各バン
クに交互に画像データを書き込む制御と前記第4のフレ
ーム・メモリ部に記憶した画像データを同一バンク内の
記憶素子間で転送する制御とを行なう第4のデータ転送
制御回路と、前記第4のフレーム・メモリ部の各メモリ
・バンク間の一対の記憶素子を入力とし、各一対の記憶
素子に保持した画像データの値を比較して比較結果の差
分を出力する比較器と、前記第4のフレーム・メモリ部
において同一メモリ・バンク内の記憶素子間でデータを
転送する度に、フレーム中の予め定めた領域毎に、その
領域内の全記憶素子対に記憶した画像データについて前
記第4の比較器の出力する差分の総和を計数し、領域毎
に総和を出力する第4の計数器と、前記第4のデータ転
送制御回路の出力する制御信号により、各領域毎に、各
メモリ・バンクに記憶した画像データのX軸方向および
Y軸方向の偏移を動きベクトルとして出力する第4の差
分器と、各領域毎に前記第4の計数器が最小値を出力し
た時点での、前記第4の差分器の出力を各領域毎に対し
て記憶する動きベクトル記憶メモリとを具備し、前記第
4のデータ転送制御回路の指示により、前記各記憶素子
に記憶した画像データを、前記第4のフレーム・メモリ
部の各記憶素子間で一斉に転送することを特徴とするも
のである。
決する本発明の第4の動きベクトル検出装置は、2次元
CCDと、前記CCDの各画素の出力する電圧信号をデ
ジタル信号である画像データに変換する第4のA/D変
換部と、少なくとも1ビットの画像データを記憶する記
憶素子を単位として、全記憶素子を格子状に配置して各
記憶素子は第4のデータ転送回路に接続し、前記第4の
データ転送回路はラッチと入力セレクタで構成され、前
記各記憶素子は前記第4のデータ転送回路のラッチの入
力に接続し、前記各記憶素子に接続する前記第4のデー
タ転送回路の入力セレクタの入力には、同一記憶素子の
ラッチの出力と、隣接する上下左右の各記憶素子のラッ
チの出力と、前記第4のA/D変換部からのデータ・バ
スとが接続するものであって、CCDの各画素に対して
各一対の記憶素子を割り当てる2メモリ・バンク構成を
採り、前記第4のA/D変換部の出力する画像データを
フレーム毎に交互に各バンクに記憶する第4のフレーム
・メモリ部と、前記第4のフレーム・メモリ部の各バン
クに交互に画像データを書き込む制御と前記第4のフレ
ーム・メモリ部に記憶した画像データを同一バンク内の
記憶素子間で転送する制御とを行なう第4のデータ転送
制御回路と、前記第4のフレーム・メモリ部の各メモリ
・バンク間の一対の記憶素子を入力とし、各一対の記憶
素子に保持した画像データの値を比較して比較結果の差
分を出力する比較器と、前記第4のフレーム・メモリ部
において同一メモリ・バンク内の記憶素子間でデータを
転送する度に、フレーム中の予め定めた領域毎に、その
領域内の全記憶素子対に記憶した画像データについて前
記第4の比較器の出力する差分の総和を計数し、領域毎
に総和を出力する第4の計数器と、前記第4のデータ転
送制御回路の出力する制御信号により、各領域毎に、各
メモリ・バンクに記憶した画像データのX軸方向および
Y軸方向の偏移を動きベクトルとして出力する第4の差
分器と、各領域毎に前記第4の計数器が最小値を出力し
た時点での、前記第4の差分器の出力を各領域毎に対し
て記憶する動きベクトル記憶メモリとを具備し、前記第
4のデータ転送制御回路の指示により、前記各記憶素子
に記憶した画像データを、前記第4のフレーム・メモリ
部の各記憶素子間で一斉に転送することを特徴とするも
のである。
【0010】さらに、上記第1の課題を第2の課題と第
3の課題を解決する本発明の第5の動きベクトル検出装
置は、前記第1のA/D変換部において、前記CCDの
カラム方向の出力毎にA/D変換器が接続し、各A/D
変換器の出力は前記第1の各データ転送回路へ直接に入
力することを特徴とするものである。
3の課題を解決する本発明の第5の動きベクトル検出装
置は、前記第1のA/D変換部において、前記CCDの
カラム方向の出力毎にA/D変換器が接続し、各A/D
変換器の出力は前記第1の各データ転送回路へ直接に入
力することを特徴とするものである。
【0011】同様に、上記第1の課題と第2の課題と第
3の課題を解決する本発明の第6の動きベクトル検出装
置は、前記第2のA/D変換部において、前記CCDの
カラム方向の出力毎にA/D変換器が接続し、各A/D
変換器の出力は前記第2の各データ転送回路へ直接に入
力することを特徴とするものである。
3の課題を解決する本発明の第6の動きベクトル検出装
置は、前記第2のA/D変換部において、前記CCDの
カラム方向の出力毎にA/D変換器が接続し、各A/D
変換器の出力は前記第2の各データ転送回路へ直接に入
力することを特徴とするものである。
【0012】同様に、上記第1の課題と第2の課題と第
3の課題を解決する本発明の第7の動きベクトル検出装
置は、前記第3のA/D変換部において、前記CCDの
各画素毎にA/D変換器が接続し、各A/D変換器の出
力は前記第3の各データ転送回路へ直接に入力すること
を特徴とするものである。
3の課題を解決する本発明の第7の動きベクトル検出装
置は、前記第3のA/D変換部において、前記CCDの
各画素毎にA/D変換器が接続し、各A/D変換器の出
力は前記第3の各データ転送回路へ直接に入力すること
を特徴とするものである。
【0013】同様に、上記第1の課題を第2の課題と第
3の課題を解決する本発明の第8の動きベクトル検出装
置は、前記第4のA/D変換部において、前記CCDの
各画素毎にA/D変換器が接続し、各A/D変換器の出
力は前記第4の各データ転送回路へ直接に入力すること
を特徴とするこのである。
3の課題を解決する本発明の第8の動きベクトル検出装
置は、前記第4のA/D変換部において、前記CCDの
各画素毎にA/D変換器が接続し、各A/D変換器の出
力は前記第4の各データ転送回路へ直接に入力すること
を特徴とするこのである。
【0014】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図1から図9を用いて説明する。
て、図1から図9を用いて説明する。
【0015】(実施の形態1)図1は、本発明の第1の
実施形態に係る第1の動きベクトル検出装置の構成を示
し、図1において、11はCCD、12はCCDの出力
する電圧信号をデジタル信号に変換するA/D変換部、
13aは1フレーム分の画像データを記憶するメモリ・
バンクa、13bは13aと同様に1フレーム分の画像
データを記憶するメモリ・バンクb、14はフレーム・
メモリ部の構成、15は1画素分の画像データの記憶素
子、16は画像データを記憶素子間で転送する際に経由
するデータ転送回路、17は記憶素子へのアクセスを行
なうカラム・バス、18は記憶素子に記憶した画像デー
タをデータ転送の際に一時的に保持するラッチ、19は
記憶素子へ記憶する画像データを選択する入力セレク
タ、20はA/D変換部を通したCCDからの画像信号
の取り込みの制御と記憶素子間でのデータ転送の制御と
を行なうデータ転送制御回路、21はバンク間の各一対
の記憶素子毎に、記憶素子に記憶した画像データの比較
を行なう比較部、22は比較部が出力する比較結果の累
加算を行なう計数器、23はメモリ・バンク13aとメ
モリ・バンク13b間での画像データの転送距離の差分
を動きベクトルとして出力するデータ差分器、24は比
較部21を構成する個々の比較器で、2つの画像データ
の入力を比較し差分値を出力する比較器、25は計数器
22が最小値を出力した時点におけるバンク間の画像デ
ータの偏移を記憶する動きベクトル記憶メモリである。
図1を参照しながら動作を説明する。
実施形態に係る第1の動きベクトル検出装置の構成を示
し、図1において、11はCCD、12はCCDの出力
する電圧信号をデジタル信号に変換するA/D変換部、
13aは1フレーム分の画像データを記憶するメモリ・
バンクa、13bは13aと同様に1フレーム分の画像
データを記憶するメモリ・バンクb、14はフレーム・
メモリ部の構成、15は1画素分の画像データの記憶素
子、16は画像データを記憶素子間で転送する際に経由
するデータ転送回路、17は記憶素子へのアクセスを行
なうカラム・バス、18は記憶素子に記憶した画像デー
タをデータ転送の際に一時的に保持するラッチ、19は
記憶素子へ記憶する画像データを選択する入力セレク
タ、20はA/D変換部を通したCCDからの画像信号
の取り込みの制御と記憶素子間でのデータ転送の制御と
を行なうデータ転送制御回路、21はバンク間の各一対
の記憶素子毎に、記憶素子に記憶した画像データの比較
を行なう比較部、22は比較部が出力する比較結果の累
加算を行なう計数器、23はメモリ・バンク13aとメ
モリ・バンク13b間での画像データの転送距離の差分
を動きベクトルとして出力するデータ差分器、24は比
較部21を構成する個々の比較器で、2つの画像データ
の入力を比較し差分値を出力する比較器、25は計数器
22が最小値を出力した時点におけるバンク間の画像デ
ータの偏移を記憶する動きベクトル記憶メモリである。
図1を参照しながら動作を説明する。
【0016】まず、データ転送制御回路20の制御によ
り、CCD11で受光したアナログ信号である画像信号
を、各画素毎にA/D変換部12でデジタル信号である
画像データに変換しながらフレーム・メモリ部14の片
方のバンクへ記憶する。ここでは、まずメモリ・バンク
13aに記憶するものとする。同様にして、次フレーム
の画像データについては、データ転送制御回路20の制
御により、先ほどとは逆のバンクであるフレーム・メモ
リ部13bへ記憶する。各バンクに、それぞれ1フレー
ム分の画像データが記憶されると、比較部21を構成す
る各比較器24は、それぞれ各バンク間の一対の記憶素
子に記憶した画像データの値を比較して差分値を出力
し、計数器22が比較部の出力の総和を求めて差分器2
3へ出力する。1回目の計算が終了すると、次フレーム
を記憶したバンク13bにおいて、データ転送制御回路
20の制御により、各データ転送回路16を通して全画
像データを予め定めた隣接する記憶素子に一斉に転送す
る。
り、CCD11で受光したアナログ信号である画像信号
を、各画素毎にA/D変換部12でデジタル信号である
画像データに変換しながらフレーム・メモリ部14の片
方のバンクへ記憶する。ここでは、まずメモリ・バンク
13aに記憶するものとする。同様にして、次フレーム
の画像データについては、データ転送制御回路20の制
御により、先ほどとは逆のバンクであるフレーム・メモ
リ部13bへ記憶する。各バンクに、それぞれ1フレー
ム分の画像データが記憶されると、比較部21を構成す
る各比較器24は、それぞれ各バンク間の一対の記憶素
子に記憶した画像データの値を比較して差分値を出力
し、計数器22が比較部の出力の総和を求めて差分器2
3へ出力する。1回目の計算が終了すると、次フレーム
を記憶したバンク13bにおいて、データ転送制御回路
20の制御により、各データ転送回路16を通して全画
像データを予め定めた隣接する記憶素子に一斉に転送す
る。
【0017】画像の転送はロー方向(X軸方向)の一列
の画素データ単位で行なう。X軸方向(左右方向)へ転
送する場合は、ロー方向の画像データを各データ転送回
路20内のラッチ18に一斉に保持し、転送先のデータ
転送回路へ一斉に転送する。一方、転送元のデータ転送
回路から送られてきた画像データは、データ転送回路2
0内の入力セレクタ19を通して各記憶素子へ一斉に記
憶する。また、Y軸方向(上下方向)へ転送する場合
は、正(上)方向と負(下)方向とで手順が異なる。正
方向へ転送する場合は、最上段のロー方向の画像データ
から転送を開始する。図2を例にとるとaからfの順と
なる。一方、負方向へ転送する場合は、上方向への転送
とは逆に最下段のロー方向の画像データから転送を開始
する。このようにすることで、転送されてきたデータ
が、転送前のデータに対して上書きすることを防いでい
る。
の画素データ単位で行なう。X軸方向(左右方向)へ転
送する場合は、ロー方向の画像データを各データ転送回
路20内のラッチ18に一斉に保持し、転送先のデータ
転送回路へ一斉に転送する。一方、転送元のデータ転送
回路から送られてきた画像データは、データ転送回路2
0内の入力セレクタ19を通して各記憶素子へ一斉に記
憶する。また、Y軸方向(上下方向)へ転送する場合
は、正(上)方向と負(下)方向とで手順が異なる。正
方向へ転送する場合は、最上段のロー方向の画像データ
から転送を開始する。図2を例にとるとaからfの順と
なる。一方、負方向へ転送する場合は、上方向への転送
とは逆に最下段のロー方向の画像データから転送を開始
する。このようにすることで、転送されてきたデータ
が、転送前のデータに対して上書きすることを防いでい
る。
【0018】次に、この転送を行なった後に、再度比較
部21の総出力を計数器22で求めて差分器に送る。こ
れらの、フレーム・メモリ部で行なう画像データの転送
は、動きベクトルの探索領域を越えない範囲で行う。転
送順序の例を図3に示す。図3での探索領域は水平/垂
直方向に±2である。転送順序としては、探索領域内を
一筆書きで網羅する場合が最も効率がよい。また、探索
領域の大きさが±2より大きい場合には転送方向を外側
へ拡大すればよく、±2より小さい場合には内周側へ縮
小することで対応すればよい。
部21の総出力を計数器22で求めて差分器に送る。こ
れらの、フレーム・メモリ部で行なう画像データの転送
は、動きベクトルの探索領域を越えない範囲で行う。転
送順序の例を図3に示す。図3での探索領域は水平/垂
直方向に±2である。転送順序としては、探索領域内を
一筆書きで網羅する場合が最も効率がよい。また、探索
領域の大きさが±2より大きい場合には転送方向を外側
へ拡大すればよく、±2より小さい場合には内周側へ縮
小することで対応すればよい。
【0019】ここで注意しなけばならない点として、デ
ータの転送に伴うフレーム周辺部の画像データの欠落が
ある。図4を例にとると、46が、CCDから画像デー
タを読み込んだ直後の画像データの記憶位置であるとす
る。探索時には、探索時の画像データの位置47に示す
ように、この位置を基準にして、探索領域内で予め定め
た画素数分についてX軸方向とY軸方向に画像データを
転送するため、探索時用記憶素子48として、フレーム
・サイズ分より多くの記憶素子をフレームの周辺に具備
していないと、フレームの周辺部の画素データが欠落す
ることになる。ここで、比較部21の比較器24がバン
ク間の画像データの比較を行なうのは、両方のバンクの
基準位置の領域内の記憶素子対毎である。これは、動き
ベクトルを求める時に基準となるフレームについて、フ
レーム・サイズ以上の画像データは存在しないため、画
像データを比較できないからである。
ータの転送に伴うフレーム周辺部の画像データの欠落が
ある。図4を例にとると、46が、CCDから画像デー
タを読み込んだ直後の画像データの記憶位置であるとす
る。探索時には、探索時の画像データの位置47に示す
ように、この位置を基準にして、探索領域内で予め定め
た画素数分についてX軸方向とY軸方向に画像データを
転送するため、探索時用記憶素子48として、フレーム
・サイズ分より多くの記憶素子をフレームの周辺に具備
していないと、フレームの周辺部の画素データが欠落す
ることになる。ここで、比較部21の比較器24がバン
ク間の画像データの比較を行なうのは、両方のバンクの
基準位置の領域内の記憶素子対毎である。これは、動き
ベクトルを求める時に基準となるフレームについて、フ
レーム・サイズ以上の画像データは存在しないため、画
像データを比較できないからである。
【0020】なお、探索は、一般的に予め定めた画素数
分のX軸方向とY軸方向の距離内で全探索を行なうが、
高速探索の手法としてサブサンプル手法やテレスコピッ
ク探索手法などを用いても良い。サブサンプル手法は画
素を間引いた探索手法で、図4に示す転送を2画素以上
飛ばすことで実現する。また、テレスコピック探索手法
は特定の範囲を探索する手法で、過去の動きベクトルを
延長した方向に全探索を行なう領域よりも狭い探索領域
を設定し、その内部で画像データを転送することで実現
できる。
分のX軸方向とY軸方向の距離内で全探索を行なうが、
高速探索の手法としてサブサンプル手法やテレスコピッ
ク探索手法などを用いても良い。サブサンプル手法は画
素を間引いた探索手法で、図4に示す転送を2画素以上
飛ばすことで実現する。また、テレスコピック探索手法
は特定の範囲を探索する手法で、過去の動きベクトルを
延長した方向に全探索を行なう領域よりも狭い探索領域
を設定し、その内部で画像データを転送することで実現
できる。
【0021】次に、差分器23はデータ転送制御回路2
0の出力するバンク間の画像データの偏移を常に計算し
ており、計数器22が最小値を出力する毎に、この偏移
を動きベクトルとして動きベクトル記憶メモリ25に記
憶する。これにより、探索完了時に、動きベクトル記憶
メモリに動きベクトルが保持されることになる。
0の出力するバンク間の画像データの偏移を常に計算し
ており、計数器22が最小値を出力する毎に、この偏移
を動きベクトルとして動きベクトル記憶メモリ25に記
憶する。これにより、探索完了時に、動きベクトル記憶
メモリに動きベクトルが保持されることになる。
【0022】このように、画像データをフレーム・メモ
リ内で転送しながら、探索の対象となる探索領域内の全
ての箇所について現フレームと次フレームの画素データ
を比較することで、1フレーム間の動きベクトルを求め
ることができる。ここまでの処理が完了すると、今度は
バンク13bに記憶した次フレームを現フレームとして
保存したまま、新たにバンク13aに次フレームの画像
データを記憶し、バンク13aの画像データをデータ転
送制御回路20の制御により転送しながら次の動きベク
トルを求める。
リ内で転送しながら、探索の対象となる探索領域内の全
ての箇所について現フレームと次フレームの画素データ
を比較することで、1フレーム間の動きベクトルを求め
ることができる。ここまでの処理が完了すると、今度は
バンク13bに記憶した次フレームを現フレームとして
保存したまま、新たにバンク13aに次フレームの画像
データを記憶し、バンク13aの画像データをデータ転
送制御回路20の制御により転送しながら次の動きベク
トルを求める。
【0023】このように、現フレームと次フレームを記
憶するバンクを交互に切替えることで、連続して動きベ
クトルを求めることができる。なお、ここまでの実施例
では探索時に次フレームの画像データを転送することで
動きベクトルを求めたが、次フレームの画像データでは
なく現フレームの画像データを転送し、次フレームを基
準として動きベクトルを求めても良い。このような構成
にすることで、パターン・マッチングを行なうためのフ
レーム・メモリ部からバッファへの画像データの取り出
しを省略することができ、また、比較を高速に行なうこ
とができるため、動きベクトルを高速に求めることがで
きる。
憶するバンクを交互に切替えることで、連続して動きベ
クトルを求めることができる。なお、ここまでの実施例
では探索時に次フレームの画像データを転送することで
動きベクトルを求めたが、次フレームの画像データでは
なく現フレームの画像データを転送し、次フレームを基
準として動きベクトルを求めても良い。このような構成
にすることで、パターン・マッチングを行なうためのフ
レーム・メモリ部からバッファへの画像データの取り出
しを省略することができ、また、比較を高速に行なうこ
とができるため、動きベクトルを高速に求めることがで
きる。
【0024】(実施の形態2)図5は、本発明の第2の
実施形態に係る第2の動きベクトル検出装置の構成を示
し、図5において、51はCCD、52はCCDの出力
する電圧信号をデジタル信号に変換するA/D変換部、
53aは1フレーム分の画像データを記憶するメモリ・
バンクa、53bは53aと同様に1フレーム分の画像
データを記憶するメモリ・バンクb、54はフレーム・
メモリ部の構成、55は1画素分の画像データの記憶素
子、56は画像データを記憶素子間で転送する際に経由
するデータ転送回路、57は記憶素子へのアクセスを行
なうカラム・バス、58は記憶素子に記憶した画像デー
タをデータ転送の際に一時的に保持するラッチ、59は
記憶素子へ記憶する画像データを選択する入力セレク
タ、60はA/D変換部を通したCCDからの画像信号
の取り込みの制御と記憶素子間でのデータ転送の制御と
を行なうデータ転送制御回路、61はバンク間の各一対
の記憶素子毎に、記憶素子に記憶した画像データの比較
を行なう比較部、62は探索領域を予め分割したマクロ
・ブロック単位で比較部61の比較結果の累加算を行な
う計数器、63はマクロ・ブロック毎に、メモリ・バン
ク53aとメモリ・バンク53b間での画像データの転
送距離の差分を動きベクトルとして出力するデータ差分
器、64は比較部61を構成する個々の比較器で、2つ
の画像データの入力を比較し差分値を出力する比較器、
65は計数器62が最小値を出力した時点におけるバン
ク間の画像データの偏移を記憶する動きベクトル記憶メ
モリである。図5を参照しながら動作を説明する。
実施形態に係る第2の動きベクトル検出装置の構成を示
し、図5において、51はCCD、52はCCDの出力
する電圧信号をデジタル信号に変換するA/D変換部、
53aは1フレーム分の画像データを記憶するメモリ・
バンクa、53bは53aと同様に1フレーム分の画像
データを記憶するメモリ・バンクb、54はフレーム・
メモリ部の構成、55は1画素分の画像データの記憶素
子、56は画像データを記憶素子間で転送する際に経由
するデータ転送回路、57は記憶素子へのアクセスを行
なうカラム・バス、58は記憶素子に記憶した画像デー
タをデータ転送の際に一時的に保持するラッチ、59は
記憶素子へ記憶する画像データを選択する入力セレク
タ、60はA/D変換部を通したCCDからの画像信号
の取り込みの制御と記憶素子間でのデータ転送の制御と
を行なうデータ転送制御回路、61はバンク間の各一対
の記憶素子毎に、記憶素子に記憶した画像データの比較
を行なう比較部、62は探索領域を予め分割したマクロ
・ブロック単位で比較部61の比較結果の累加算を行な
う計数器、63はマクロ・ブロック毎に、メモリ・バン
ク53aとメモリ・バンク53b間での画像データの転
送距離の差分を動きベクトルとして出力するデータ差分
器、64は比較部61を構成する個々の比較器で、2つ
の画像データの入力を比較し差分値を出力する比較器、
65は計数器62が最小値を出力した時点におけるバン
ク間の画像データの偏移を記憶する動きベクトル記憶メ
モリである。図5を参照しながら動作を説明する。
【0025】まず、データ転送制御回路50の制御によ
り、CCD51で受光したアナログ信号である画像信号
を、各画素毎にA/D変換部52でデジタル信号である
画像データに変換しながらフレーム・メモリ部54の片
方のバンクへ記憶する。ここでは、まずメモリ・バンク
53aに記憶するものとする。同様にして、次フレーム
の画像データについては、データ転送制御回路60の制
御により、先ほどとは逆のバンクであるフレーム・メモ
リ部53bへ記憶する。各バンクに、それぞれ1フレー
ム分の画像データが記憶されると、比較部61を構成す
る各比較器64は、それぞれ各バンク間の一対の記憶素
子に記憶した画像データの値を比較して差分値を出力
し、計数器62は、探索領域全体を予め定めた大きさ毎
に分割したマクロ・ブロックと呼ぶ領域単位で、比較部
の出力の総和を求めて差分器63へ出力する。1回目の
計算が終了すると、次フレームを記憶したバンク53b
において、データ転送制御回路60の制御により、各デ
ータ転送回路56を通して全画像データを予め定めた隣
接する記憶素子に一斉に転送する。この転送を行なった
後に、再度比較部61の総出力を、マクロ・ブロック単
位で計数器62で求めて差分器に送る。データ転送のア
ルゴリズムについては実施例1と同様である。
り、CCD51で受光したアナログ信号である画像信号
を、各画素毎にA/D変換部52でデジタル信号である
画像データに変換しながらフレーム・メモリ部54の片
方のバンクへ記憶する。ここでは、まずメモリ・バンク
53aに記憶するものとする。同様にして、次フレーム
の画像データについては、データ転送制御回路60の制
御により、先ほどとは逆のバンクであるフレーム・メモ
リ部53bへ記憶する。各バンクに、それぞれ1フレー
ム分の画像データが記憶されると、比較部61を構成す
る各比較器64は、それぞれ各バンク間の一対の記憶素
子に記憶した画像データの値を比較して差分値を出力
し、計数器62は、探索領域全体を予め定めた大きさ毎
に分割したマクロ・ブロックと呼ぶ領域単位で、比較部
の出力の総和を求めて差分器63へ出力する。1回目の
計算が終了すると、次フレームを記憶したバンク53b
において、データ転送制御回路60の制御により、各デ
ータ転送回路56を通して全画像データを予め定めた隣
接する記憶素子に一斉に転送する。この転送を行なった
後に、再度比較部61の総出力を、マクロ・ブロック単
位で計数器62で求めて差分器に送る。データ転送のア
ルゴリズムについては実施例1と同様である。
【0026】次に、差分器63はデータ転送制御回路6
0の出力するバンク間の画像データの偏移を常に計算し
ており、マクロ・ブロック単位で計数器62が最小値を
出力する毎に、その時点での偏移を該当するマクロ・ブ
ロックの動きベクトルとして、各マクロ・ブロック毎に
動きベクトル記憶メモリ65に記憶する。これにより、
探索完了時に、動きベクトル記憶メモリに、全マクロ・
ブロックの動きベクトルが保持されることになる。
0の出力するバンク間の画像データの偏移を常に計算し
ており、マクロ・ブロック単位で計数器62が最小値を
出力する毎に、その時点での偏移を該当するマクロ・ブ
ロックの動きベクトルとして、各マクロ・ブロック毎に
動きベクトル記憶メモリ65に記憶する。これにより、
探索完了時に、動きベクトル記憶メモリに、全マクロ・
ブロックの動きベクトルが保持されることになる。
【0027】このように、画像データをフレーム・メモ
リ内で転送しながら、探索の対象となる探索領域内の全
ての箇所について現フレームと次フレームの画素データ
を比較することで、1フレーム間の各マクロ・ブロック
毎に動きベクトルを求めることができる。ここまでの処
理が完了すると、今度はバンク53bに記憶した次フレ
ームを現フレームとして保存したまま、新たにバンク5
3aに次フレームの画像データを記憶し、バンク53a
の画像データをデータ転送制御回路60の制御により転
送しながら次の動きベクトルを求める。このように、現
フレームと次フレームを記憶するバンクを交互に切替え
ることで、連続して動きベクトルを求めることができ
る。なお、ここまでの実施例では探索時に次フレームの
画像データを転送することで動きベクトルを求めたが、
次フレームの画像データではなく現フレームの画像デー
タを転送し、次フレームを基準として動きベクトルを求
めても良い。このような構成にすることで、パターン・
マッチングを行なうためのフレーム・メモリ部からバッ
ファへの画像データの取り出しを省略することができ、
また、比較を高速に行なうことができるため、動きベク
トルを高速に求めることができる。さらに、マクロ・ブ
ロック単位で動きベクトルを求めることで予測精度が向
上し、画像圧縮時の圧縮率の向上と画質の向上を図るこ
とができる。
リ内で転送しながら、探索の対象となる探索領域内の全
ての箇所について現フレームと次フレームの画素データ
を比較することで、1フレーム間の各マクロ・ブロック
毎に動きベクトルを求めることができる。ここまでの処
理が完了すると、今度はバンク53bに記憶した次フレ
ームを現フレームとして保存したまま、新たにバンク5
3aに次フレームの画像データを記憶し、バンク53a
の画像データをデータ転送制御回路60の制御により転
送しながら次の動きベクトルを求める。このように、現
フレームと次フレームを記憶するバンクを交互に切替え
ることで、連続して動きベクトルを求めることができ
る。なお、ここまでの実施例では探索時に次フレームの
画像データを転送することで動きベクトルを求めたが、
次フレームの画像データではなく現フレームの画像デー
タを転送し、次フレームを基準として動きベクトルを求
めても良い。このような構成にすることで、パターン・
マッチングを行なうためのフレーム・メモリ部からバッ
ファへの画像データの取り出しを省略することができ、
また、比較を高速に行なうことができるため、動きベク
トルを高速に求めることができる。さらに、マクロ・ブ
ロック単位で動きベクトルを求めることで予測精度が向
上し、画像圧縮時の圧縮率の向上と画質の向上を図るこ
とができる。
【0028】(実施の形態3)図6は、本発明の第3の
実施形態に係る第3の動きベクトル検出装置の構成を示
し、図6において、31はCCD、32はCCDの出力
する電圧信号をデジタル信号に変換するA/D変換部、
33aは1フレーム分の画像データを記憶するメモリ・
バンクa、33bは33aと同様に1フレーム分の画像
データを記憶するメモリ・バンクb、34はフレーム・
メモリ部の構成、35は1画素分の画像データの記憶素
子、36は画像データを記憶素子間で転送する際に経由
するデータ転送回路、38は記憶素子に記憶した画像デ
ータをデータ転送の際に一時的に保持するラッチ、39
は記憶素子へ記憶する画像データを選択する入力セレク
タ、40はA/D変換部を通したCCDからの画像信号
の取り込みの制御と記憶素子間でのデータ転送の制御と
を行なうデータ転送制御回路、41はバンク間の各一対
の記憶素子毎に、記憶素子に記憶した画像データの比較
を行なう比較部、42は比較部が出力する比較結果の累
加算を行なう計数器、43はメモリ・バンク43aとメ
モリ・バンク43b間での画像データの転送距離の差分
を動きベクトルとして出力するデータ差分器、44は比
較部41を構成する個々の比較器で、2つの画像データ
の入力を比較し差分値を出力する比較器、45は計数器
42が最小値を出力した時点におけるバンク間の画像デ
ータの偏移を記憶する動きベクトル記憶メモリである。
図6を参照しながら動作を説明する。
実施形態に係る第3の動きベクトル検出装置の構成を示
し、図6において、31はCCD、32はCCDの出力
する電圧信号をデジタル信号に変換するA/D変換部、
33aは1フレーム分の画像データを記憶するメモリ・
バンクa、33bは33aと同様に1フレーム分の画像
データを記憶するメモリ・バンクb、34はフレーム・
メモリ部の構成、35は1画素分の画像データの記憶素
子、36は画像データを記憶素子間で転送する際に経由
するデータ転送回路、38は記憶素子に記憶した画像デ
ータをデータ転送の際に一時的に保持するラッチ、39
は記憶素子へ記憶する画像データを選択する入力セレク
タ、40はA/D変換部を通したCCDからの画像信号
の取り込みの制御と記憶素子間でのデータ転送の制御と
を行なうデータ転送制御回路、41はバンク間の各一対
の記憶素子毎に、記憶素子に記憶した画像データの比較
を行なう比較部、42は比較部が出力する比較結果の累
加算を行なう計数器、43はメモリ・バンク43aとメ
モリ・バンク43b間での画像データの転送距離の差分
を動きベクトルとして出力するデータ差分器、44は比
較部41を構成する個々の比較器で、2つの画像データ
の入力を比較し差分値を出力する比較器、45は計数器
42が最小値を出力した時点におけるバンク間の画像デ
ータの偏移を記憶する動きベクトル記憶メモリである。
図6を参照しながら動作を説明する。
【0029】まず、データ転送制御回路40の制御によ
り、CCD41で受光したアナログ信号である画像信号
を、各画素毎にA/D変換部32でデジタル信号である
画像データに変換しながらフレーム・メモリ部34の片
方のバンクへ記憶する。ここでは、まずメモリ・バンク
33aに記憶するものとする。同様にして、次フレーム
の画像データについては、データ転送制御回路40の制
御により、先ほどとは逆のバンクであるフレーム・メモ
リ部33bへ記憶する。各バンクに、それぞれ1フレー
ム分の画像データが記憶されると、比較部41を構成す
る各比較器44は、それぞれ各バンク間の一対の記憶素
子に記憶した画像データの値を比較して差分値を出力
し、計数器42が比較部の出力の総和を求めて差分器4
3へ出力する。1回目の計算が終了すると、次フレーム
を記憶したバンク33bにおいて、データ転送制御回路
40の制御により、各データ転送回路36を通して全画
像データを予め定めた隣接する記憶素子に一斉に転送す
る。このデータ転送は、実施例1と2の動きベクトル検
出装置についてはロー方向単位で行なったが、実施例3
の動きベクトル検出装置については、全画像データを一
斉に転送することができる。これは、実施例1と2につ
いては、データ転送回路がカラム・バス毎にのみ存在す
るため、転送時に、一度にひとつのロー方向の画像デー
タしかラッチに保持できないからである。しかし、実施
例3の動きベクトル検出装置は、各記憶素子毎にデータ
転送回路が存在するため、全画像データを一斉にラッチ
に保持することができ、転送時に各記憶素子に記憶した
画像データを上書きすることが起きないからである。こ
のようにして転送を行なった後に、再度比較部41の総
出力を計数器42で求めて差分器に送る。これらの、フ
レーム・メモリ部で行なう画像データの転送は、動きベ
クトルの探索領域を越えない範囲で行う。以降は実施例
1と同様であり、差分器43はデータ転送制御回路40
の出力するバンク間の画像データの偏移を常に計算して
おり、計数器42が最小値を出力する毎に、この偏移を
動きベクトルとして動きベクトル記憶メモリ45に記憶
する。これにより、探索完了時に、動きベクトル記憶メ
モリに動きベクトルが保持されることになる。このよう
に、画像データをフレーム・メモリ内で転送しながら、
探索の対象となる探索領域内の全ての箇所について現フ
レームと次フレームの画素データを比較することで、1
フレーム間の動きベクトルを求めることができる。ここ
までの処理が完了すると、今度はバンク33bに記憶し
た次フレームを現フレームとして保存したまま、新たに
バンク33aに次フレームの画像データを記憶し、バン
ク33aの画像データをデータ転送制御回路40の制御
により転送しながら次の動きベクトルを求める。このよ
うに、現フレームと次フレームを記憶するバンクを交互
に切替えることで、連続して動きベクトルを求めること
ができる。なお、ここまでの実施例では探索時に次フレ
ームの画像データを転送することで動きベクトルを求め
たが、次フレームの画像データではなく現フレームの画
像データを転送し、次フレームを基準として動きベクト
ルを求めても良い。このような構成にすることで、実施
例1と比較して、探索時の画像データの転送を、カラム
方向の画素数倍だけ高速に行なうことができる。
り、CCD41で受光したアナログ信号である画像信号
を、各画素毎にA/D変換部32でデジタル信号である
画像データに変換しながらフレーム・メモリ部34の片
方のバンクへ記憶する。ここでは、まずメモリ・バンク
33aに記憶するものとする。同様にして、次フレーム
の画像データについては、データ転送制御回路40の制
御により、先ほどとは逆のバンクであるフレーム・メモ
リ部33bへ記憶する。各バンクに、それぞれ1フレー
ム分の画像データが記憶されると、比較部41を構成す
る各比較器44は、それぞれ各バンク間の一対の記憶素
子に記憶した画像データの値を比較して差分値を出力
し、計数器42が比較部の出力の総和を求めて差分器4
3へ出力する。1回目の計算が終了すると、次フレーム
を記憶したバンク33bにおいて、データ転送制御回路
40の制御により、各データ転送回路36を通して全画
像データを予め定めた隣接する記憶素子に一斉に転送す
る。このデータ転送は、実施例1と2の動きベクトル検
出装置についてはロー方向単位で行なったが、実施例3
の動きベクトル検出装置については、全画像データを一
斉に転送することができる。これは、実施例1と2につ
いては、データ転送回路がカラム・バス毎にのみ存在す
るため、転送時に、一度にひとつのロー方向の画像デー
タしかラッチに保持できないからである。しかし、実施
例3の動きベクトル検出装置は、各記憶素子毎にデータ
転送回路が存在するため、全画像データを一斉にラッチ
に保持することができ、転送時に各記憶素子に記憶した
画像データを上書きすることが起きないからである。こ
のようにして転送を行なった後に、再度比較部41の総
出力を計数器42で求めて差分器に送る。これらの、フ
レーム・メモリ部で行なう画像データの転送は、動きベ
クトルの探索領域を越えない範囲で行う。以降は実施例
1と同様であり、差分器43はデータ転送制御回路40
の出力するバンク間の画像データの偏移を常に計算して
おり、計数器42が最小値を出力する毎に、この偏移を
動きベクトルとして動きベクトル記憶メモリ45に記憶
する。これにより、探索完了時に、動きベクトル記憶メ
モリに動きベクトルが保持されることになる。このよう
に、画像データをフレーム・メモリ内で転送しながら、
探索の対象となる探索領域内の全ての箇所について現フ
レームと次フレームの画素データを比較することで、1
フレーム間の動きベクトルを求めることができる。ここ
までの処理が完了すると、今度はバンク33bに記憶し
た次フレームを現フレームとして保存したまま、新たに
バンク33aに次フレームの画像データを記憶し、バン
ク33aの画像データをデータ転送制御回路40の制御
により転送しながら次の動きベクトルを求める。このよ
うに、現フレームと次フレームを記憶するバンクを交互
に切替えることで、連続して動きベクトルを求めること
ができる。なお、ここまでの実施例では探索時に次フレ
ームの画像データを転送することで動きベクトルを求め
たが、次フレームの画像データではなく現フレームの画
像データを転送し、次フレームを基準として動きベクト
ルを求めても良い。このような構成にすることで、実施
例1と比較して、探索時の画像データの転送を、カラム
方向の画素数倍だけ高速に行なうことができる。
【0030】(実施の形態4)図7は、本発明の第4の
実施形態に係る第4の動きベクトル検出装置の構成を示
し、図7において、71はCCD、72はCCDの出力
する電圧信号をデジタル信号に変換するA/D変換部、
73aは1フレーム分の画像データを記憶するメモリ・
バンクa、73bは73aと同様に1フレーム分の画像
データを記憶するメモリ・バンクb、74はフレーム・
メモリ部の構成、75は1画素分の画像データの記憶素
子、76は画像データを記憶素子間で転送する際に経由
するデータ転送回路、78は記憶素子に記憶した画像デ
ータをデータ転送の際に一時的に保持するラッチ、79
は記憶素子へ記憶する画像データを選択する入力セレク
タ、80はA/D変換部を通したCCDからの画像信号
の取り込みの制御と記憶素子間でのデータ転送の制御と
を行なうデータ転送制御回路、81はバンク間の各一対
の記憶素子毎に、記憶素子に記憶した画像データの比較
を行なう比較部、82は探索領域を予め分割したマクロ
・ブロック単位で比較部81の比較結果の累加算を行な
う計数器、83はマクロ・ブロック毎に、メモリ・バン
ク83aとメモリ・バンク83b間での画像データの転
送距離の差分を動きベクトルとして出力するデータ差分
器、84は比較部81を構成する個々の比較器で、2つ
の画像データの入力を比較し差分値を出力する比較器、
85は計数器82が最小値を出力した時点におけるバン
ク間の画像データの偏移を記憶する動きベクトル記憶メ
モリである。図7を参照しながら動作を説明する。
実施形態に係る第4の動きベクトル検出装置の構成を示
し、図7において、71はCCD、72はCCDの出力
する電圧信号をデジタル信号に変換するA/D変換部、
73aは1フレーム分の画像データを記憶するメモリ・
バンクa、73bは73aと同様に1フレーム分の画像
データを記憶するメモリ・バンクb、74はフレーム・
メモリ部の構成、75は1画素分の画像データの記憶素
子、76は画像データを記憶素子間で転送する際に経由
するデータ転送回路、78は記憶素子に記憶した画像デ
ータをデータ転送の際に一時的に保持するラッチ、79
は記憶素子へ記憶する画像データを選択する入力セレク
タ、80はA/D変換部を通したCCDからの画像信号
の取り込みの制御と記憶素子間でのデータ転送の制御と
を行なうデータ転送制御回路、81はバンク間の各一対
の記憶素子毎に、記憶素子に記憶した画像データの比較
を行なう比較部、82は探索領域を予め分割したマクロ
・ブロック単位で比較部81の比較結果の累加算を行な
う計数器、83はマクロ・ブロック毎に、メモリ・バン
ク83aとメモリ・バンク83b間での画像データの転
送距離の差分を動きベクトルとして出力するデータ差分
器、84は比較部81を構成する個々の比較器で、2つ
の画像データの入力を比較し差分値を出力する比較器、
85は計数器82が最小値を出力した時点におけるバン
ク間の画像データの偏移を記憶する動きベクトル記憶メ
モリである。図7を参照しながら動作を説明する。
【0031】まず、データ転送制御回路80の制御によ
り、CCD81で受光したアナログ信号である画像信号
を、各画素毎にA/D変換部72でデジタル信号である
画像データに変換しながらフレーム・メモリ部74の片
方のバンクへ記憶する。ここでは、まずメモリ・バンク
73aに記憶するものとする。同様にして、次フレーム
の画像データについては、データ転送制御回路80の制
御により、先ほどとは逆のバンクであるフレーム・メモ
リ部73bへ記憶する。各バンクに、それぞれ1フレー
ム分の画像データが記憶されると、比較部81を構成す
る各比較器84は、それぞれ各バンク間の一対の記憶素
子に記憶した画像データの値を比較して差分値を出力
し、計数器82は、探索領域全体を予め定めた大きさに
分割したマクロ・ブロックと呼ぶ領域単位で、比較部の
出力の総和を求めて差分器83へ出力する。1回目の計
算が終了すると、次フレームを記憶したバンク73bに
おいて、データ転送制御回路80の制御により、各デー
タ転送回路76を通して全画像データを予め定めた隣接
する記憶素子に一斉に転送する。このデータ転送のアル
ゴリズムは実施例3と同様である。次に、差分器83は
データ転送制御回路80の出力するバンク間の画像デー
タの偏移を常に計算しており、マクロ・ブロック単位で
計数器82が最小値を出力する毎に、その時点での偏移
を該当するマクロ・ブロックの動きベクトルとして、各
マクロ・ブロック毎に動きベクトル記憶メモリ85に記
憶する。これにより、探索完了時に、動きベクトル記憶
メモリに、全マクロ・ブロックの動きベクトルが保持さ
れることになる。このように、画像データをフレーム・
メモリ内で転送しながら、探索の対象となる探索領域内
の全ての箇所について現フレームと次フレームの画素デ
ータを比較することで、1フレーム間の各マクロ・ブロ
ック毎に動きベクトルを求めることができる。ここまで
の処理が完了すると、今度はバンク73bに記憶した次
フレームを現フレームとして保存したまま、新たにバン
ク73aに次フレームの画像データを記憶し、バンク7
3aの画像データをデータ転送制御回路80の制御によ
り転送しながら次の動きベクトルを求める。このよう
に、現フレームと次フレームを記憶するバンクを交互に
切替えることで、連続して動きベクトルを求めることが
できる。なお、ここまでの実施例では探索時に次フレー
ムの画像データを転送することで動きベクトルを求めた
が、次フレームの画像データではなく現フレームの画像
データを転送し、次フレームを基準として動きベクトル
を求めても良い。このような構成にすることで、実施例
1と比較して、探索時の画像データの転送を、カラム方
向の画素数倍だけ高速に行なうことができる。さらに、
マクロ・ブロック単位で動きベクトルを求めることで予
測精度が向上し、画像圧縮率の向上と画質の向上を図る
ことができる。
り、CCD81で受光したアナログ信号である画像信号
を、各画素毎にA/D変換部72でデジタル信号である
画像データに変換しながらフレーム・メモリ部74の片
方のバンクへ記憶する。ここでは、まずメモリ・バンク
73aに記憶するものとする。同様にして、次フレーム
の画像データについては、データ転送制御回路80の制
御により、先ほどとは逆のバンクであるフレーム・メモ
リ部73bへ記憶する。各バンクに、それぞれ1フレー
ム分の画像データが記憶されると、比較部81を構成す
る各比較器84は、それぞれ各バンク間の一対の記憶素
子に記憶した画像データの値を比較して差分値を出力
し、計数器82は、探索領域全体を予め定めた大きさに
分割したマクロ・ブロックと呼ぶ領域単位で、比較部の
出力の総和を求めて差分器83へ出力する。1回目の計
算が終了すると、次フレームを記憶したバンク73bに
おいて、データ転送制御回路80の制御により、各デー
タ転送回路76を通して全画像データを予め定めた隣接
する記憶素子に一斉に転送する。このデータ転送のアル
ゴリズムは実施例3と同様である。次に、差分器83は
データ転送制御回路80の出力するバンク間の画像デー
タの偏移を常に計算しており、マクロ・ブロック単位で
計数器82が最小値を出力する毎に、その時点での偏移
を該当するマクロ・ブロックの動きベクトルとして、各
マクロ・ブロック毎に動きベクトル記憶メモリ85に記
憶する。これにより、探索完了時に、動きベクトル記憶
メモリに、全マクロ・ブロックの動きベクトルが保持さ
れることになる。このように、画像データをフレーム・
メモリ内で転送しながら、探索の対象となる探索領域内
の全ての箇所について現フレームと次フレームの画素デ
ータを比較することで、1フレーム間の各マクロ・ブロ
ック毎に動きベクトルを求めることができる。ここまで
の処理が完了すると、今度はバンク73bに記憶した次
フレームを現フレームとして保存したまま、新たにバン
ク73aに次フレームの画像データを記憶し、バンク7
3aの画像データをデータ転送制御回路80の制御によ
り転送しながら次の動きベクトルを求める。このよう
に、現フレームと次フレームを記憶するバンクを交互に
切替えることで、連続して動きベクトルを求めることが
できる。なお、ここまでの実施例では探索時に次フレー
ムの画像データを転送することで動きベクトルを求めた
が、次フレームの画像データではなく現フレームの画像
データを転送し、次フレームを基準として動きベクトル
を求めても良い。このような構成にすることで、実施例
1と比較して、探索時の画像データの転送を、カラム方
向の画素数倍だけ高速に行なうことができる。さらに、
マクロ・ブロック単位で動きベクトルを求めることで予
測精度が向上し、画像圧縮率の向上と画質の向上を図る
ことができる。
【0032】(実施の形態5)図8は、本発明の第5の
実施形態に係る第5の動きベクトル検出装置のCCDと
A/D変換器とフレーム・メモリの接続関係を示し、図
8において、91はCCD、92は受光素子、93は受
光素子で撮像した映像信号を転送する垂直転送レジス
タ、94はA/D変換部、95はA/D変換部を構成す
るA/D変換器、96はフレーム・メモリ、97はフレ
ーム・メモリ内のデータ転送回路、98は記憶素子、9
9はカラム・バスである。一般に、CCD91は図8に
示すように各受光素子に蓄積した電荷を垂直転送レジス
タを用いてカラム方向に転送する構造になっている。そ
こで、A/D変換部94をカラム数のA/D変換器95
で構成し、各カラムの映像信号を直接A/D変換器95
に入力する。さらに、 出力された各A/D変換器の映
像データをフレーム・メモリ96の各カラムのデータ転
送回路97へ、それぞれ直接入力することで、CCDに
蓄積した映像信号を、より高速にフレーム・メモリへ取
り出すことができる。
実施形態に係る第5の動きベクトル検出装置のCCDと
A/D変換器とフレーム・メモリの接続関係を示し、図
8において、91はCCD、92は受光素子、93は受
光素子で撮像した映像信号を転送する垂直転送レジス
タ、94はA/D変換部、95はA/D変換部を構成す
るA/D変換器、96はフレーム・メモリ、97はフレ
ーム・メモリ内のデータ転送回路、98は記憶素子、9
9はカラム・バスである。一般に、CCD91は図8に
示すように各受光素子に蓄積した電荷を垂直転送レジス
タを用いてカラム方向に転送する構造になっている。そ
こで、A/D変換部94をカラム数のA/D変換器95
で構成し、各カラムの映像信号を直接A/D変換器95
に入力する。さらに、 出力された各A/D変換器の映
像データをフレーム・メモリ96の各カラムのデータ転
送回路97へ、それぞれ直接入力することで、CCDに
蓄積した映像信号を、より高速にフレーム・メモリへ取
り出すことができる。
【0033】(実施の形態6)第6の実施形態に係る第
6の動きベクトルも検出装置も、前記実施の形態5と同
様に、CCD91の各受光素子に蓄積した映像信号を、
各垂直転送レジスタ単位で、それぞれ直接A/D変換器
に入力する。さらに、A/D変換器の出力を請求項2記
載の第2のデータ転送回路に直接接続することで、CC
Dに蓄積した映像信号を、より高速にフレーム・メモリ
へ取り出すことができる。
6の動きベクトルも検出装置も、前記実施の形態5と同
様に、CCD91の各受光素子に蓄積した映像信号を、
各垂直転送レジスタ単位で、それぞれ直接A/D変換器
に入力する。さらに、A/D変換器の出力を請求項2記
載の第2のデータ転送回路に直接接続することで、CC
Dに蓄積した映像信号を、より高速にフレーム・メモリ
へ取り出すことができる。
【0034】(実施の形態7)図9は、本発明の第7の
実施形態に係る第7の動きベクトル検出装置のCCDと
A/D変換器とフレーム・メモリの接続関係を示し、図
9において、101はCCD、102は受光素子、10
3はA/D変換部、104はA/D変換部を構成するA
/D変換器、105はフレーム・メモリ、106はフレ
ーム・メモリ内のデータ転送回路、107は記憶素子、
108はカラム・バス、109はロウ・バスである。A
/D変換部103の各A/D変換器はCCD101の各
受光素子に対応しており、各受光素子の出力を、それぞ
れ、直接にA/D変換してフレーム・メモリの各記憶素
子へ直接書き込むことで、CCDで撮像した映像信号
を、より高速にフレーム・メモリへ取り出すことができ
る。
実施形態に係る第7の動きベクトル検出装置のCCDと
A/D変換器とフレーム・メモリの接続関係を示し、図
9において、101はCCD、102は受光素子、10
3はA/D変換部、104はA/D変換部を構成するA
/D変換器、105はフレーム・メモリ、106はフレ
ーム・メモリ内のデータ転送回路、107は記憶素子、
108はカラム・バス、109はロウ・バスである。A
/D変換部103の各A/D変換器はCCD101の各
受光素子に対応しており、各受光素子の出力を、それぞ
れ、直接にA/D変換してフレーム・メモリの各記憶素
子へ直接書き込むことで、CCDで撮像した映像信号
を、より高速にフレーム・メモリへ取り出すことができ
る。
【0035】(実施の形態8)第8の実施形態に係る第
8の動きベクトルも検出装置も、前記実施の形態7と同
様に、CCD101の各受光素子に蓄積した映像信号
を、それぞれ直接A/D変換器に入力する。さらに、A
/D変換器の出力を請求項4記載の第4のデータ転送回
路に直接接続することで、CCDに蓄積した映像信号
を、より高速にフレーム・メモリへ取り出すことができ
る。
8の動きベクトルも検出装置も、前記実施の形態7と同
様に、CCD101の各受光素子に蓄積した映像信号
を、それぞれ直接A/D変換器に入力する。さらに、A
/D変換器の出力を請求項4記載の第4のデータ転送回
路に直接接続することで、CCDに蓄積した映像信号
を、より高速にフレーム・メモリへ取り出すことができ
る。
【0036】
【発明の効果】以上のように本発明の動きベクトル検出
装置によれば、全画像データをロー方向の画像データ単
位で他の記憶素子に一斉に転送することで、画像データ
の比較用バッファへの読み出しを行なう必要がない。ま
た、各バンク間の記憶素子対毎に比較器を設けるため全
画素を一斉に比較することができる。これらにより、探
索動作を高速に行なうことができる。
装置によれば、全画像データをロー方向の画像データ単
位で他の記憶素子に一斉に転送することで、画像データ
の比較用バッファへの読み出しを行なう必要がない。ま
た、各バンク間の記憶素子対毎に比較器を設けるため全
画素を一斉に比較することができる。これらにより、探
索動作を高速に行なうことができる。
【0037】さらに、マクロ・ブロック単位で累加算を
行なう累加算器を設け、さらに、それぞれの累加算結果
を動きベクトル記憶メモリに記憶することで、複数の動
きベクトルに対応する動きベクトル検出を高速に行なう
ことができる。
行なう累加算器を設け、さらに、それぞれの累加算結果
を動きベクトル記憶メモリに記憶することで、複数の動
きベクトルに対応する動きベクトル検出を高速に行なう
ことができる。
【0038】上記に加え、全画像データを隣接する他の
記憶素子に一斉に転送することで、探索動作をより高速
に行なうことができる。
記憶素子に一斉に転送することで、探索動作をより高速
に行なうことができる。
【0039】また、CCDで撮像した映像信号を、カラ
ム単位でA/D変換を行ないフレーム・メモリに書き込
むことで、映像信号を高速にフレーム・メモリに取り出
すことができる。
ム単位でA/D変換を行ないフレーム・メモリに書き込
むことで、映像信号を高速にフレーム・メモリに取り出
すことができる。
【0040】また、CCDで撮像した映像信号を、各受
光素子単位でA/D変換してフレーム・メモリの各記憶
素子へ直接書き込むことで、映像信号をさらに高速にフ
レーム・メモリに取り出すことができる。
光素子単位でA/D変換してフレーム・メモリの各記憶
素子へ直接書き込むことで、映像信号をさらに高速にフ
レーム・メモリに取り出すことができる。
【図1】本発明の第1の実施の形態における動きベクト
ル検出装置の構成図
ル検出装置の構成図
【図2】本発明の第1および第2の実施の形態におけ
る、各カラムの画像データの、Y軸の正方向への転送時
の転送順序を示す図
る、各カラムの画像データの、Y軸の正方向への転送時
の転送順序を示す図
【図3】本発明における探索時の画像データの転送方向
の例を示す図
の例を示す図
【図4】本発明のフレーム・メモリにおける、フレーム
周辺部の記憶素子の構成例と画像データの基準位置と探
索時の位置の例を示す図
周辺部の記憶素子の構成例と画像データの基準位置と探
索時の位置の例を示す図
【図5】本発明の第2番目の実施の形態における動きベ
クトル検出装置の構成図
クトル検出装置の構成図
【図6】本発明の第3番目の実施の形態における動きベ
クトル検出装置の構成図
クトル検出装置の構成図
【図7】本発明の第4番目の実施の形態における動きベ
クトル検出装置の構成図
クトル検出装置の構成図
【図8】本発明の第5および第6の実施の形態における
動きベクトル検出装置の、CCDとA/D変換器とフレ
ーム・メモリの構成を接続関係を示す図
動きベクトル検出装置の、CCDとA/D変換器とフレ
ーム・メモリの構成を接続関係を示す図
【図9】本発明の第7番目と第8番目の実施の形態にお
ける動きベクトル検出装置の、CCDとA/D変換器と
フレーム・メモリの構成を接続関係を示す図
ける動きベクトル検出装置の、CCDとA/D変換器と
フレーム・メモリの構成を接続関係を示す図
【図10】動きベクトル検出装置の従来例を示す図
1 CCD 2 A/D変換部 3a フレーム・メモリa 3b フレーム・メモリb 4a バッファa 4b バッファb 5a アドレス制御回路a 5b アドレス制御回路b 6 比較器 7 差分器 11 CCD 12 A/D変換部 13a メモリ・バンクa 13b メモリ・バンクb 14 フレーム・メモリ部 15 記憶素子 16 データ転送回路 17 カラム・バス 18 ラッチ 19 入力セレクタ 20 データ転送制御回路 21 比較部 22 計数器 23 差分器 24 比較器 25 動きベクトル記憶メモリ 26 転送前の画像データの配置 27 転送後の画像データの配置 31 CCD 32 A/D変換部 33a メモリ・バンクa 33b メモリ・バンクb 34 フレーム・メモリ部 35 記憶素子 36 データ転送回路 38 ラッチ 39 入力セレクタ 40 データ転送制御回路 41 比較部 42 計数器 43 差分器 44 比較器 45 動きベクトル記憶メモリ 46 記憶素子 47 フレームの周辺 48 マクロ・ブロック 49 探索時のマクロ・ブロック 51 CCD 52 A/D変換部 53a メモリ・バンクa 53b メモリ・バンクb 54 フレーム・メモリ部 55 記憶素子 56 データ転送回路 57 カラム・バス 58 ラッチ 59 入力セレクタ 60 データ転送制御回路 61 比較部 62 計数器 63 差分器 64 比較器 65 動きベクトル記憶メモリ 71 CCD 72 A/D変換部 73a メモリ・バンクa 73b メモリ・バンクb 74 フレーム・メモリ部 75 記憶素子 76 データ転送回路 78 ラッチ 79 入力セレクタ 80 データ転送制御回路 81 比較部 82 計数器 83 差分器 84 比較器 85 動きベクトル記憶メモリ 91 CCD 92 受光素子 93 垂直転送レジスタ 94 A/D変換部 95 A/D変換器 96 フレーム・メモリ 97 データ転送回路 98 カラム・バス 101 CCD 102 受光素子 103 A/D変換部 104 A/D変換器 105 フレーム・メモリ 106 データ転送回路 107 記憶素子 108 カラム・バス 109 ロウ・バス
Claims (8)
- 【請求項1】 2次元CCDと、 前記CCDの各画素の出力する電圧信号をデジタル信号
である画像データに変換する第1のA/D変換部と、 少なくとも1ビットの画像データを記憶する記憶素子を
単位として、全記憶素子を格子状に配置して列方向の各
記憶素子はカラム・バスに接続し、前記カラム・バスは
第1のデータ転送回路に接続しており、前記第1のデー
タ転送回路はラッチと入力セレクタで構成され、前記カ
ラム・バスは前記第1のデータ転送回路のラッチの入力
に接続し、前記カラム・バスに出力する前記第1のデー
タ転送回路の入力セレクタの入力には、前記ラッチの出
力と隣接する左右のデータ転送回路のカラム・バスのラ
ッチの出力と前記第1のA/D変換部からのデータ・バ
スとが接続するものであって、2つのメモリ・バンクの
各一対の記憶素子のいずれか一方に前記第1のA/D変
換部の出力する画像データを記憶する2メモリ・バンク
構成の第1のフレーム・メモリ部と、 前記第1のフレーム・メモリ部の各バンクに交互に画像
データを書き込む制御と前記第1のフレーム・メモリ部
に記憶した画像データを同一バンク内の記憶素子間で転
送する制御とを行なう第1のデータ転送制御回路と、 前記第1のフレーム・メモリ部の各メモリ・バンク間の
一対の記憶素子を入力とし、各一対の記憶素子に保持し
た画像データの値を比較して比較結果の差分を出力する
第1の比較器と、 前記第1のフレーム・メモリ部において同一メモリ・バ
ンク内の記憶素子間でデータを転送する度に、全記憶素
子対に記憶した画像データについて前記第2の比較器の
出力する差分の総和を計数する第1の計数器と、 前記第1のデータ転送制御回路の出力する制御信号によ
り、前記各メモリ・バンクに記憶したフレーム間の画像
データのX軸方向およびY軸方向の偏移を動きベクトル
として出力する第1の差分器と、 前記第1の計数器が最小値を出力した時点での前記第1
の差分器の出力を記憶する動きベクトル記憶メモリとを
具備し、 前記第1のデータ転送制御回路の指示により、前記各記
憶素子に記憶した画像データを、前記第1のフレーム・
メモリ部の各記憶素子間で一斉に転送することを特徴と
する動きベクトル検出装置。 - 【請求項2】 2次元CCDと、 前記CCDの各画素の出力する電圧信号をデジタル信号
である画像データに変換する第2のA/D変換部と、 少なくとも1ビットの画像データを記憶する記憶素子を
単位として、全記憶素子を格子状に配置して列方向の各
記憶素子はカラム・バスに接続し、前記カラム・バスは
第2のデータ転送回路に接続しており、前記第2のデー
タ転送回路はラッチと入力セレクタで構成され、前記カ
ラム・バスは前記第2のデータ転送回路のラッチの入力
に接続し、前記カラム・バスに出力する前記第2のデー
タ転送回路の入力セレクタの入力には、前記ラッチの出
力と隣接する左右のデータ転送回路のカラム・バスのラ
ッチの出力と前記第2のA/D変換部からのデータ・バ
スとが接続するものであって、2つのメモリ・バンクの
各一対の記憶素子のいずれか一方に前記第2のA/D変
換部の出力する画像データを記憶する2メモリ・バンク
構成の第2のフレーム・メモリ部と、 前記第2のフレーム・メモリ部の各バンクに交互に画像
データを書き込む制御と前記第2のフレーム・メモリ部
に記憶した画像データを同一バンク内の記憶素子間で転
送する制御とを行なう第2のデータ転送制御回路と、 前記第2のフレーム・メモリ部の各メモリ・バンク間の
一対の記憶素子を入力とし、各一対の記憶素子に保持し
た画像データの値を比較して比較結果の差分を出力する
第2の比較器と、 前記第2のフレーム・メモリ部において同一メモリ・バ
ンク内の記憶素子間でデータを転送する度に、フレーム
中の予め定めた領域毎に、その領域内の全記憶素子対に
記憶した画像データについて前記第2の比較器が出力す
る差分の総和を計数し、領域毎に総和を出力する第2の
計数器と、 前記第2のデータ転送制御回路の出力する制御信号によ
り、各領域毎に、各メモリ・バンクに記憶した画像デー
タのX軸方向およびY軸方向の偏移を動きベクトルとし
て出力する第2の差分器と、 各領域毎に前記第2の計数器が最小値を出力した時点で
の、前記第2の差分器の出力を各領域毎に対して記憶す
る動きベクトル記憶メモリとを具備し、 前記第2のデータ転送制御回路の指示により、前記各記
憶素子に記憶した画像データを、前記第2のフレーム・
メモリ部の各記憶素子間で一斉に転送することを特徴と
する動きベクトル検出装置。 - 【請求項3】 2次元CCDと、 前記CCDの各画素の出力する電圧信号をデジタル信号
である画像データに変換する第3のA/D変換部と、 少なくとも1ビットの画像データを記憶する記憶素子を
単位として、全記憶素子を格子状に配置して各記憶素子
は第3のデータ転送回路に接続し、前記第3のデータ転
送回路はラッチと入力セレクタで構成され、前記各記憶
素子は前記第3のデータ転送回路のラッチの入力に接続
し、前記各記憶素子に接続する前記第3のデータ転送回
路の入力セレクタの入力には、同一記憶素子のラッチの
出力と、隣接する上下左右の各記憶素子のデータ転送回
路のラッチの出力と、前記第3のA/D変換部からのデ
ータ・バスとが接続するものであって、CCDの各画素
に対して各一対の記憶素子を割り当てる2メモリ・バン
ク構成を採り、前記第3のA/D変換部の出力する画像
データをフレーム毎に交互に各バンクに記憶する第3の
フレーム・メモリ部と、 前記第3のフレーム・メモリ部の各バンクに交互に画像
データを書き込む制御と前記第3のフレーム・メモリ部
に記憶した画像データを同一バンク内の記憶素子間で転
送する制御とを行なう第3のデータ転送制御回路と、 前記第3のフレーム・メモリ部の各メモリ・バンク間の
一対の記憶素子を入力とし、各一対の記憶素子に保持し
た画像データの値を比較して比較結果の差分を出力する
比較器と、 前記第3のフレーム・メモリ部において同一メモリ・バ
ンク内の記憶素子間でデータを転送する度に、前記の全
記憶素子対に記憶した画像データについて前記比較器の
出力する差分の総和を計数する第3の計数器と、 前記第3のデータ転送制御回路の出力する制御信号によ
り、前記各メモリ・バンクに記憶したフレーム間の画像
データのX軸方向およびY軸方向の偏移を動きベクトル
として出力する第3の差分器と、 前記第3の計数器が最小値を出力した時点での前記第1
の差分器の出力を記憶する動きベクトル記憶メモリとを
具備し、 前記第3のデータ転送制御回路の指示により、前記各記
憶素子に記憶した画像データを、前記第3のフレーム・
メモリ部の各記憶素子間で一斉に転送することを特徴と
する動きベクトル検出装置。 - 【請求項4】 2次元CCDと、 前記CCDの各画素の出力する電圧信号をデジタル信号
である画像データに変換する第4のA/D変換部と、 少なくとも1ビットの画像データを記憶する記憶素子を
単位として、全記憶素子を格子状に配置して各記憶素子
は第4のデータ転送回路に接続し、前記第4のデータ転
送回路はラッチと入力セレクタで構成され、前記各記憶
素子は前記第4のデータ転送回路のラッチの入力に接続
し、前記各記憶素子に接続する前記第4のデータ転送回
路の入力セレクタの入力には、同一記憶素子のラッチの
出力と、隣接する上下左右の各記憶素子のラッチの出力
と、前記第4のA/D変換部からのデータ・バスとが接
続するものであって、CCDの各画素に対して各一対の
記憶素子を割り当てる2メモリ・バンク構成を採り、前
記第4のA/D変換部の出力する画像データをフレーム
毎に交互に各バンクに記憶する第4のフレーム・メモリ
部と、 前記第4のフレーム・メモリ部の各バンクに交互に画像
データを書き込む制御と前記第4のフレーム・メモリ部
に記憶した画像データを同一バンク内の記憶素子間で転
送する制御とを行なう第4のデータ転送制御回路と、 前記第4のフレーム・メモリ部の各メモリ・バンク間の
一対の記憶素子を入力とし、各一対の記憶素子に保持し
た画像データの値を比較して比較結果の差分を出力する
比較器と、 前記第4のフレーム・メモリ部において同一メモリ・バ
ンク内の記憶素子間でデータを転送する度に、フレーム
中の予め定めた領域毎に、その領域内の全記憶素子対に
記憶した画像データについて前記第4の比較器の出力す
る差分の総和を計数し、領域毎に総和を出力する第4の
計数器と、 前記第4のデータ転送制御回路の出力する制御信号によ
り、各領域毎に、各メモリ・バンクに記憶した画像デー
タのX軸方向およびY軸方向の偏移を動きベクトルとし
て出力する第4の差分器と、 各領域毎に前記第4の計数器が最小値を出力した時点で
の、前記第4の差分器の出力を各領域毎に対して記憶す
る動きベクトル記憶メモリとを具備し、 前記第4のデータ転送制御回路の指示により、前記各記
憶素子に記憶した画像ータを、前記第4のフレーム・メ
モリ部の各記憶素子間で一斉に転送することを特徴とす
る動きベクトル検出装置。 - 【請求項5】 第1のA/D変換部において、CCDの
カラム方向の出力毎にA/D変換器が接続し、各A/D
変換器の出力は第1の各データ転送回路へ直接に入力す
ることを特徴とする請求項1記載の動きベクトル検出装
置。 - 【請求項6】 第2のA/D変換部において、CCDの
カラム方向の出力毎にA/D変換器が接続し、各A/D
変換器の出力は第2の各データ転送回路へ直接に入力す
ることを特徴とする請求項2記載の動きベクトル検出装
置。 - 【請求項7】 第3のA/D変換部において、CCDの
各画素毎にA/D変換器が接続し、各A/D変換器の出
力は第3の各データ転送回路へ直接に入力することを特
徴とする請求項3記載の動きベクトル検出装置。 - 【請求項8】 第4のA/D変換部において、CCDの
各画素毎にA/D変換器が接続し、各A/D変換器の出
力は第4の各データ転送回路へ直接に入力することを特
徴とする請求項4記載の動きベクトル検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP19426196A JPH1042299A (ja) | 1996-07-24 | 1996-07-24 | 動きベクトル検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP19426196A JPH1042299A (ja) | 1996-07-24 | 1996-07-24 | 動きベクトル検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH1042299A true JPH1042299A (ja) | 1998-02-13 |
Family
ID=16321691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP19426196A Pending JPH1042299A (ja) | 1996-07-24 | 1996-07-24 | 動きベクトル検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH1042299A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007011838A (ja) * | 2005-07-01 | 2007-01-18 | Hitachi Kokusai Electric Inc | Rfid式情報管理システム |
JP2015179063A (ja) * | 2014-02-28 | 2015-10-08 | 株式会社リコー | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム |
-
1996
- 1996-07-24 JP JP19426196A patent/JPH1042299A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007011838A (ja) * | 2005-07-01 | 2007-01-18 | Hitachi Kokusai Electric Inc | Rfid式情報管理システム |
JP2015179063A (ja) * | 2014-02-28 | 2015-10-08 | 株式会社リコー | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0743784B1 (en) | Still-image taking camera | |
US7522199B2 (en) | Imaging device with light-shielding region, control method thereof and CMOS image sensor with light-shielding region | |
US6366317B1 (en) | Motion estimation using intrapixel logic | |
US6263025B1 (en) | Motion vector detecting apparatus | |
US20170310918A1 (en) | Time delay and integration (tdi) imaging sensor and method | |
JP2002328881A (ja) | 画像処理装置および画像処理方法並びに携帯用映像機器 | |
KR101091054B1 (ko) | 동화상 부호화에 있어서의 움직임 탐색 장치 | |
US20080310746A1 (en) | Apparatus and method for generating chain code | |
JPH1042299A (ja) | 動きベクトル検出装置 | |
JP4547321B2 (ja) | 動きベクトル検出装置及び撮像装置 | |
JP2007267123A (ja) | 動画像符号化装置 | |
JP3465264B2 (ja) | ビデオデータの動き検出装置および方法 | |
JP2004129099A (ja) | 動きベクトル探索方法および装置 | |
US8228997B1 (en) | Systems and methods for an efficient scan pattern search in a video encoder motion estimation engine | |
US20210058580A1 (en) | Imaging systems and methods for performing floating gate readout via distributed pixel interconnects for analog domain regional feature extraction | |
US20160063349A1 (en) | Apparatus and Method for Detecting a Feature in an Image | |
KR0178302B1 (ko) | 양방향 병렬 파이프라인 구조에 근거한 탐색 이동 예측처리기 | |
JP4446820B2 (ja) | 画像処理装置 | |
Chen et al. | A novel structure for digital image stabilizer | |
JP4859168B2 (ja) | 動き検出装置及び動き検出方法 | |
US6125141A (en) | Device and method for detecting motion vectors | |
KR101620928B1 (ko) | 우선순위 주소 배분과 이동창 기법을 이용한 얼굴검출 시스템 | |
WO2024157616A1 (ja) | 信号処理装置、信号処理方法、センサ装置 | |
JP5534187B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム等 | |
JP2868457B2 (ja) | 動きベクトル探索装置 |