JPH0646319A - 動きベクトル検出回路 - Google Patents

Abstract

(57)【要約】 【目的】 本発明の目的は、代表点マッチング法による
動きベクトル検出回路において、ＩＣ化に適した回路を
提供することである。 【構成】 本発明の動きベクトル検出回路は、画像を複
数の領域に分割し各領域の代表点の画像データを記憶す
る代表点メモリ回路２と、現フィールドの画像データと
前記代表点メモリからのデータとにより前記代表点に対
して偏移したサンプリング点における相関値を演算する
相関値演算回路３と、この相関値演算回路出力を前記代
表点に対して同一偏移を有するサンプリング点毎に累積
加算する累積加算回路４と、この累積加算回路出力で累
積加算された相関累積値が最小のサンプリング点の位置
及び最小値を検出する最小値検出回路５と、前記位置及
び最小値に基づき画像の動きベクトルを発生するマイク
ロコンピュータ７と、一個の代表点に対して２個の書込
み制御パルスを発生させるとともに、一方の書込み制御
パルスと読出し制御パルスのタイミングが一致した場
合、前記代表点メモリへの前記一方の書込み制御パルス
の供給を禁止するメモリ制御回路１４とを備える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はビデオカメラの手ぶれ補
正装置等に用いて好適な動きベクトル検出回路に関す
る。

【０００２】

【従来の技術】ビデオカメラにおいて、手ぶれ補正を行
うには動きベクトルの検出が必要となる。この動きベク
トルの検出方法の一つにNational Technical Report Vo
l.37No.3 Jun.1991のＰ４８〜５４に示される代表点マ
ッチング法がある。

【０００３】この代表点マッチング法とは、固定の複数
の代表点における１フィールド（或るいは１フレーム）
前の映像信号レベルと代表点を含む検出エリア内のサン
プリング点の映像信号レベルとを比較し、その差がもっ
とも少ない相関性の高い現フィールドのサンプリング点
を求め、このサンプリング点と代表点との位置の差（偏
移）を被写体の動き、即ち、動きベクトルとして特定す
るものである。

【０００４】次にこの代表点マッチング法を具体的に説
明する。図７は撮像エリアを示し、この撮像エリア内に
は４個の検出ブロックが設けられている。更に、各検出
ブロックは３０個の検出エリアに区分されている。そし
て、図８に拡大して示す様に各検出エリアには複数のサ
ンプリング点が存在し、その中の一つが代表点として定
められている。

【０００５】図９に代表点マッチング法による動きベク
トル検出回路のブロック図を示す。

【０００６】入力端子１に入力されるデジタル映像信号
は代表点メモリ２及び相関値演算回路３に供給される。
この代表点メモリ回路２には各代表点の輝度レベルに応
じたデジタルデータが保存される。相関値演算回路３で
は現フレームの映像信号の輝度レベルに応じたデジタル
データと前記代表点メモリ回路２からの１フレーム（或
るいは１フィールド）前のデジタルデータとの差の絶対
値、即ち代表点と検出エリア内における代表点に対して
偏移したサンプリング点との輝度の相関値が演算され
る。この相関値は相関値メモリ及び加算器を含む累積加
算回路４において、検出ブロック内の代表点に対して同
一偏移を有するサンプリング点毎に累積加算される。こ
の累積加算は４個の検出ブロック毎に行われる。

【０００７】累積加算回路出力は最小値検出回路５及び
平均値算出回路６に供給される。最小値検出回路５は相
関累積値が最小のサンプリング点の位置及びその最小値
を検出する。また、平均値算出回路６は相関累積値の平
均を算出する。そして、求められた最小位置、最小値及
び平均値はマイクロコンピュータ７に供給され、動きベ
クトルが作成される。マイクロコンピュータ７の動きベ
クトル作成は、ソフトウェア処理により、まず、各検出
ブロック毎に最小位置に基づいて計４個の動きベクトル
を抽出する。次に、この動きベクトルの内、最小値／平
均値が所定の閾値より小さいものを信頼度の低いものと
して除去し、残りのものから１個の動きベクトルを特定
する。

【０００８】尚、代表点メモリ回路２、累積加算回路４
及び平均値算出回路６は制御回路８によりアドレス及び
タイミング等が制御される。

【０００９】

【発明が解決しようとする課題】上述の動きベクトル検
出回路において代表点と検出エリアの位置が常に一定で
あれば問題ないが、例えば、テレビジョン学会誌 Vol.4
5、No.10、pp1221~1229(1991)に記載されているように、
フィールド毎に代表点を移動させながら代表点マッチン
グを行う場合には検出エリアの開始点と代表点との水平
位置が一致する場合が生ずる。

【００１０】即ち、代表点メモリの書込みと読出しを１
クロック内で行う必要が発生する。従来、これに対処す
るためには１クロック内に書込みと読出しが同時に行え
る高速メモリを使用すれば良かったが、このようなメモ
リは面積や消費電力が大きくなるためＩＣ化に適してい
なかった。

【００１１】本発明は上述の点に鑑み為されたものであ
り、フィールド毎に代表点を移動させながら代表点マッ
チングを行う場合でも１クロック内に書込みと読出しが
同時に行える高速メモリを使用する必要のない動きベク
トル検出装置を提供するものである。

【００１２】

【課題を解決するための手段】本発明は、画像を複数の
領域に分割し各領域の代表点の画像データを記憶する代
表点メモリと、この代表点メモリの書込み及び読出しを
制御するメモリ制御回路と、現フィールドの画像データ
と前記代表点メモリからのデータとにより前記代表点に
対して偏移したサンプリング点における相関値を演算す
る相関値演算回路と、この相関値演算回路出力を前記代
表点に対して同一偏移を有するサンプリング点毎に累積
加算する累積加算回路と、この累積加算回路出力で累積
加算された相関累積値が最小のサンプリング点の位置及
び最小値を検出する最小値検出回路と、前記位置及び最
小値に基づき１個の画像の動きベクトルを発生する動き
ベクトル発生回路とを備える動きベクトル検出回路にお
いて、前記メモリ制御回路は一個の代表点に対して２個
の書込み制御パルスを発生させるとともに、一方の書込
み制御パルスと読出し制御パルスのタイミングが一致し
た場合、前記代表点メモリへの前記一方の書込み制御パ
ルスの供給を禁止するようにしたことを特徴とする動き
ベクトル検出回路である。

【００１３】

【作用】上述の手段により、本発明のメモリ制御回路は
一個の代表点に対して２個の書込み制御パルスを発生さ
せるとともに、一方の書込み制御パルスと読出し制御パ
ルスのタイミングが一致した場合、前記代表点メモリへ
の前記一方の書込み制御パルスの供給を禁止するよう制
御する。

【００１４】

【実施例】以下、図面に従い本発明の一実施例を説明す
る。図１は本実施例における動きベクトル検出回路のブ
ロック図を示し、従来の図９と同一部分には同一符号を
付し説明を省略する。

【００１５】入力端子１に入力されるインターレース方
式のデジタル映像信号（１４ＭＨＺ）は水平間引き回路
９で２画素に１画素の割合で間引かれ７ＭＨＺのデータ
とされる。このデータは垂直補間回路１０で１Ｈ（１水
平走査期間）前のデータと加算平均され、補間データが
作成される。垂直補間回路１０は現データと補間データ
の両方を出力する。

【００１６】この両データはそれぞれ水平ＬＰＦ１１及
び１２でフィルタリングされ、更に１個の垂直ＬＰＦ１
３でフィルタリングされてノイズが除去される。

【００１７】この垂直フィルタ出力は代表点メモリ回路
２に供給される。この代表点メモリ回路はメモリ制御回
路１４からのアドレス及び書込み／読出し制御パルスに
より書込み及び読出しが制御される。このメモリ制御回
路は、同期制御回路１５からの水平アドレス、垂直アド
レス及びマイクロコンピュータ７からの代表点位置デー
タ、エリア間隔データ、ブロック間隔データ、代表点数
データ、検出開始位置データ等に基づき前記アドレス及
び制御パルスを発生する。

【００１８】そして、この代表点メモリ回路出力は相関
値演算回路３で相関値が演算され累積加算回路４及び平
均値算出回路６に供給される。

【００１９】また、累積加算回路４内の相関値メモリ
（図示省略）も代表点メモリ回路２と同様にメモリ制御
回路１７により制御される。即ち、このメモリ制御回路
は、同期制御回路１５からの水平アドレス、垂直アドレ
ス及びマイクロコンピュータ７からのエリア間隔デー
タ、ブロック間隔データ、代表点数データ、検出開始位
置データ等に基づきアドレス及び書込み／読出し制御パ
ルスを発生する。

【００２０】そして、前記累積加算回路４からの出力に
より最小値検出回路５で最小値及びその位置が求められ
マイクロコンピュータ７に供給される。マイクロコンピ
ュータ７はこの最小値検出回路５出力及び平均値算出回
路６出力に基づき動きベクトルを作成する。

【００２１】次に、本実施例における代表点メモリの構
成及び制御について説明する。図２は代表点メモリの領
域の模式図を示し、本実施例の代表点メモリはアドレス
０〜１１９迄の１フィールドの代表点１２０個分とアド
レス１２０〜１３１迄の１ラインの代表点１２個分の計
１３２個分の領域を有する。

【００２２】上記代表点メモリは固定アドレス方式では
なく、図３に示す如くフィールド毎に代表点に対するア
ドレスが変動するフローティングアドレス方式で制御さ
れる。

【００２３】具体的には、まず、Ａフィールドのデータ
Ａ０〜Ａ１１９がアドレス０〜１１９に書込まれる。

【００２４】次に、Ｂフィールドの１行目のデータＢ０
〜Ｂ１１が１行分のアドレス１２０〜１３１に書込まれ
るが、同時にこの期間内に１行分のアドレス０〜１１の
データＡ０〜１１が読出され１行目の検出エリアの相関
演算が行われる。

【００２５】そして、Ｂフィールドの２行目のデータＢ
１２〜Ｂ２３を書込む時には前記相関演算は終了してお
りアドレス０〜１１のデータは既に不要となっているた
めこのアドレスにデータＢ１２〜Ｂ２３を書込む。以
下、この動作を繰り返す。

【００２６】尚、図３においてデータを表す数字は代表
点の画面上の位置に対応している。

【００２７】次に、図４に従い代表点メモリ回路２の具
体的構成を説明する。２１はイネーブル付きのＤフリッ
プフロップよりなるラッチ回路でありデータイネーブル
信号がハイの時入力データをラッチする。２２はこのラ
ッチ回路２１の出力が供給される代表点メモリである。
この代表点メモリ２２はアドレス端子ＡＤ及びライトイ
ネーブル端子ＷＥ有する。２３はメモリ制御回路１４か
らのライトアドレス及びリードアドレスをアドレスセレ
クト信号により選択して前記代表点メモリ２２に供給す
るセレクタ、２４は後述するライトコントロール信号と
ライトイネーブル信号のＡＮＤをとり、メモリライトイ
ネーブル信号として前記代表点メモリに供給するＡＮＤ
回路、２５は２１と同様のラッチ回路であり、リードイ
ネーブル信号により代表点メモリ出力をラッチする。

【００２８】上述の代表点メモリ回路の動作について図
５及び図６に従い説明する。

【００２９】図５は代表点の存在するラインにおけるタ
イムチャートであり、検出エリアの開始点と代表点との
水平位置が一致しない場合を示す。

【００３０】まず、書込み時、ラッチ回路２１に入力さ
れるデータＢ１２は代表点間隔で発生するデータイネー
ブル信号の立ち下がりでラッチされ、代表点メモリ２２
に供給される。また、この代表点メモリにはライトコン
トロール信号でゲートされたライトイネーブル信号も供
給される。このライトイネーブル信号は代表点の位置で
且つ１個の代表点に対して少なくとも１クロック離れて
近接して２個発生し、このうち最初のパルスの立ち上が
りでデータを書込む。セレクタ２３はアドレスセレクト
信号がローの時、ライトアドレスを選択している。従っ
て、データＢ１２はその時のアドレス０に書込まれる。

【００３１】尚、前記ライトイネーブル信号は代表点の
存在するラインでのみ発生する。

【００３２】次に、アドレスセレクト信号がハイになる
とリードアドレスが選択され、アドレス１３に書込まれ
ていたデータＡ１３が代表点メモリから出力される。そ
して、ラッチ回路２５は代表点メモリからのデータＡ１
３をリードイネーブル信号の立ち上がりでラッチして出
力する。

【００３３】上述の動作では検出エリアの開始点と代表
点との水平位置は一致しないためライトイネーブル信号
とリードイネーブル信号は一致することはないが、例え
ば、テレビジョン学会誌 Vol.45、No.10、pp1221~1229(19
91)に記載されているように、フィールド毎に代表点を
移動させながら代表点マッチングを行う場合には検出エ
リアの開始点と代表点との水平位置が一致する場合が生
ずる。

【００３４】即ち、ライトイネーブル信号とリードイネ
ーブル信号とが一致するため１クロック内で書込みと読
出しを行う必要が発生する。従来、これに対処するため
には１クロック内に書込みと読出しが同時に行える高速
メモリを使用すればよいが、このようなメモリは面積や
消費電力が大きくなるためＩＣ化に適していなかった。

【００３５】しかしながら、本実施例では一つの代表点
に対するライトイネーブル信号は少なくとも１クロック
離れて２個発生すると共に、少なくともリードイネーブ
ル信号期間はライトコントロール信号をローとしてい
る。このためライトイネーブル信号の内の一方はＡＮＤ
回路２４によりゲートされ、代表点メモリ２２に供給さ
れるメモリライトイネーブル信号は図示の如くリードイ
ネーブル信号とはタイミングがずれる。

【００３６】従って、検出エリアの開始点と代表点との
水平位置が一致した場合、代表点のデータを書込むタイ
ミングをわずかに遅らすことにより書込みと読出しを同
時に行わなくても済む。しかも書込まれるデータ自身は
ラッチ回路２１で代表点の画像データをラッチしたもの
であるため何ら問題はない。

【００３７】

【発明の効果】上述の如くは本発明によれば、フィール
ド毎に代表点を移動させながら代表点マッチングを行う
場合、書込み制御パルスと読出し制御パルスのタイミン
グが一致しても１クロック内に書込みと読出しを同時に
行う必要がないため、面積や消費電力が大きい高速メモ
リを使用せずに済むため、ＩＣ化に極めて適している。

【図面の簡単な説明】

【図１】本発明の一実施例における動きベクトル検出回
路のブロック図である。

【図２】本実施例における代表点メモリの領域の模式図
である。。

【図３】本実施例におけるフローティングアドレス方式
の説明図である。

【図４】本実施例における代表点メモリ回路の回路図で
ある。

【図５】検出エリアの開始点と代表点との水平位置が一
致しない場合の図４のタイムチャートを示す。

【図６】検出エリアの開始点と代表点との水平位置が一
致する場合の図４のタイムチャートを示す。

【図７】代表点マッチング法における撮像エリアを示す
図である。

【図８】検出エリアの拡大図である。

【図９】従来の動きベクトル検出回路のブロック図であ
る。

【符号の説明】

２ 代表点メモリ回路 ３ 相関値演算回路 ４ 累積加算回路 ５ 最小値検出回路 １４、１７ メモリ制御回路 ２１、２５ ラッチ回路 ２２ 代表点メモリ ２３ セレクタ ２４ ＡＮＤ回路

【手続補正書】

【提出日】平成４年７月６日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００１７

【補正方法】変更

【補正内容】

【００１７】 この垂直フィルタ出力は代表点メモリ回
路２及び相関値演算回路３に供給される。この代表点メ
モリ回路はメモリ制御回路１４からのアドレス及び書き
込み／読み出し制御パルスにより書き込み及び読み出し
が制御される。このメモリ制御回路は同期制御回路１５
からの水平アドレス、垂直アドレス及びマイクロコンピ
ュータ７からの代表点位置データ、エリア間隔データ、
ブロック間隔データ、代表点数データ、検出開始位置デ
ータ等に基づき前記アドレス及び制御パルスを発生す
る。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００３０

【補正方法】変更

【補正内容】

【００３０】 まず、書込み時、ラッチ回路２１に入
力されるデータＢ１２は代表点間隔で発生するデータイ
ネーブル信号でラッチされ、代表点メモリ２２に供給さ
れる。また、この代表点メモリにはライトコントロール
信号でゲートされたライトイネーブル信号も供給され
る。このライトイネーブル信号は代表点の位置で且つ１
個の代表点に対して少なくとも１クロック離れて近接し
て２個発生し、このうち最初のパルスの立ち上がりでデ
ータを書込む。セレクタ２３はアドレスセレクト信号が
ローの時、ライトアドレスを選択している。従って、デ
ータＢ１２はその時のアドレス０に書込まれる。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００３２

【補正方法】変更

【補正内容】

【００３２】 次に、アドレスセレクト信号がハイにな
るとリードアドレスが選択され、アドレス１３に書込ま
れていたデータＡ１３が代表点メモリから出力される。
そして、ラッチ回路２５は代表点メモリからのデータＡ
１３をリードイネーブル信号でラッチして出力する。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００３３

【補正方法】変更

【補正内容】

【００３３】 上述の動作では検出エリアの開始点と代
表点との水平位置は一致しないためライトイネーブル信
号とリードイネーブル信号は一致することはないが、例
えば、テレビジョン学会誌 Vol.45、No.10、pp1221~1229
(1991)に記載されているように、フィールド毎に代表点
を移動させながら代表点マッチングを行う場合、あるい
は逆に検出エリアの開始点を移動させながら行う場合に
は検出エリアの開始点と代表点との水平位置が一致する
場合が生ずる。

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】００３５

【補正方法】変更

【補正内容】

【００３５】 しかしながら、本実施例では図６に示す
ごとく、一つの代表点に対するライトイネーブル信号は
少なくとも１クロック離れて２個発生すると共に、少な
くともリードイネーブル信号期間はライトコントロール
信号をローとしている。このためライトイネーブル信号
の内の一方はＡＮＤ回路２４によりゲートされ、代表点
メモリ２２に供給されるメモリライトイネーブル信号は
図示の如くリードイネーブル信号とはタイミングがずれ
る。

【手続補正６】

【補正対象書類名】図面

【補正対象項目名】図９

【補正方法】変更

【補正内容】

【図９】

Claims (2)

【特許請求の範囲】
1. 【請求項１】 画像を複数の領域に分割し各領域の代表
   点の画像データを記憶する代表点メモリと、この代表点
   メモリの書込み及び読出しを制御するメモリ制御回路
   と、現フィールドの画像データと前記代表点メモリから
   のデータとにより前記代表点に対して偏移したサンプリ
   ング点における相関値を演算する相関値演算回路と、こ
   の相関値演算回路出力を前記代表点に対して同一偏移を
   有するサンプリング点毎に累積加算する累積加算回路
   と、この累積加算回路出力で累積加算された相関累積値
   が最小のサンプリング点の位置及び最小値を検出する最
   小値検出回路と、前記位置及び最小値に基づき１個の画
   像の動きベクトルを発生する動きベクトル発生回路とを
   備える動きベクトル検出回路において、 前記メモリ制御回路は一個の代表点に対して２個の書込
   み制御パルスを発生させるとともに、一方の書込み制御
   パルスと読出し制御パルスのタイミングが一致した場
   合、前記代表点メモリへの前記一方の書込み制御パルス
   の供給を禁止するように制御することを特徴とする動き
   ベクトル検出回路。
2. 【請求項２】 前記代表点メモリの前段に代表点の画像
   データをラッチするラッチ回路を設けてなる請求項１記
   載の動きベクトル検出回路。