JPH0646318A - 動きベクトル検出回路 - Google Patents

Abstract

(57)【要約】 【目的】 本発明の目的は、代表点マッチング法による
動きベクトル検出回路における代表点メモリの容量を削
減することである。 【構成】 本発明の動きベクトル検出回路は、画像を複
数の領域に分割し各領域の代表点の画像データを記憶す
る代表点メモリ２２と、現フィールドの画像データと前
記代表点メモリからのデータとにより前記代表点に対し
て偏移したサンプリング点における相関値を演算する相
関値演算回路３と、この相関値演算回路出力を前記代表
点に対して同一偏移を有するサンプリング点毎に累積加
算する累積加算回路４と、この累積加算回路出力で累積
加算された相関累積値が最小のサンプリング点の位置及
び最小値を検出する最小値検出回路５と、前記位置及び
最小値に基づき画像の動きベクトルを発生するマイクロ
コンピュータ７と、前記代表点メモリのアドレスをフィ
ールド毎に変動させる様に制御するメモリ制御回路１４
とを備える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はビデオカメラの手ぶれ補
正装置等に用いて好適な動きベクトル検出回路に関す
る。

【０００２】

【従来の技術】ビデオカメラにおいて、手ぶれ補正を行
うには動きベクトルの検出が必要となる。この動きベク
トルの検出方法の一つにNational Technical Report Vo
l.37No.3 Jun.1991のＰ４８〜５４に示される代表点マ
ッチング法がある。

【０００３】この代表点マッチング法とは、固定の複数
の代表点における１フィールド（或るいは１フレーム）
前の映像信号レベルと代表点を含む検出エリア内のサン
プリング点の映像信号レベルとを比較し、その差がもっ
とも少ない相関性の高い現フィールドのサンプリング点
を求め、このサンプリング点と代表点との位置の差（偏
移）を被写体の動き、即ち、動きベクトルとして特定す
るものである。

【０００４】次にこの代表点マッチング法を具体的に説
明する。図７は撮像エリアを示し、この撮像エリア内に
は４個の検出ブロックが設けられている。更に、各検出
ブロックは３０個の検出エリアに区分されている。そし
て、図８に拡大して示す様に各検出エリアには複数のサ
ンプリング点が存在し、その中の一つが代表点として定
められている。

【０００５】図９に代表点マッチング法による動きベク
トル検出回路のブロック図を示す。

【０００６】入力端子１に入力されるデジタル映像信号
は代表点メモリ２及び相関値演算回路３に供給される。
この代表点メモリ回路２には各代表点の輝度レベルに応
じたデジタルデータが保存される。相関値演算回路３で
は現フレームの映像信号の輝度レベルに応じたデジタル
データと前記代表点メモリ回路２からの１フレーム（或
るいは１フィールド）前のデジタルデータとの差の絶対
値、即ち代表点と検出エリア内における代表点に対して
偏移したサンプリング点との輝度の相関値が演算され
る。この相関値は相関値メモリ及び加算器を含む累積加
算回路４において、検出ブロック内の代表点に対して同
一偏移を有するサンプリング点毎に累積加算される。こ
の累積加算は４個の検出ブロック毎に行われる。

【０００７】累積加算回路出力は最小値検出回路５及び
平均値算出回路６に供給される。最小値検出回路５は相
関累積値が最小のサンプリング点の位置及びその最小値
を検出する。また、平均値算出回路６は相関累積値の平
均を算出する。そして、求められた最小位置、最小値及
び平均値はマイクロコンピュータ７に供給され、動きベ
クトルが作成される。マイクロコンピュータ７の動きベ
クトル作成は、ソフトウェア処理により、まず、各検出
ブロック毎に最小位置に基づいて計４個の動きベクトル
を抽出する。次に、この動きベクトルの内、最小値／平
均値が所定の閾値より小さいものを信頼度の低いものと
して除去し、残りのものから１個の動きベクトルを特定
する。

【０００８】尚、代表点メモリ回路２、累積加算回路４
及び平均値算出回路６は制御回路８によりアドレス及び
タイミング等が制御される。

【０００９】

【発明が解決しようとする課題】上記従来例において代
表点メモリ回路２の代表点メモリはアドレス０〜２３９
迄の２４０のエリアを有している。そして、メモリ制御
は まず、第１フィールドの代表点１２０個のデータを
アドレス０〜１１９に書込む。次に、第２フィールドに
おいて、第１フィールドのデータをアドレス０〜２３９
から読出すと同時に、第２フィールドの代表点１２０個
のデータをアドレス２４０〜４３９に書込む。

【００１０】このように代表点メモリは、画面上の代表
点の各位置がメモリのアドレスにそれぞれ対応する固定
アドレス方式で制御しているため、代表点２フィールド
分の容量を必要としていた。

【００１１】本発明は上述の点に鑑み為されたものであ
り、代表点メモリの容量を極力少なくできる動きベクト
ル検出装置を提供するものである。

【００１２】

【課題を解決するための手段】本発明は、画像を複数の
領域に分割し各領域の代表点の画像データを記憶する代
表点メモリと、この代表点メモリの書込み及び読出しを
制御するメモリ制御回路と、現フィールドの画像データ
と前記代表点メモリからのデータとにより前記代表点に
対して偏移したサンプリング点における相関値を演算す
る相関値演算回路と、この相関値演算回路出力を前記代
表点に対して同一偏移を有するサンプリング点毎に累積
加算する累積加算回路と、この累積加算回路出力で累積
加算された相関累積値が最小のサンプリング点の位置及
び最小値を検出する最小値検出回路と、前記位置及び最
小値に基づき１個の画像の動きベクトルを発生する動き
ベクトル発生回路とを備える動きベクトル検出回路にお
いて、前記メモリ制御回路は前記代表点メモリのアドレ
スをフィールド毎に変動させるよう制御することを特徴
とする動きベクトル検出回路である。

【００１３】

【作用】上述の手段により、本発明の代表点メモリのア
ドレスはフィールド毎に変化するように制御される。

【００１４】

【実施例】以下、図面に従い本発明の一実施例を説明す
る。図１は本実施例における動きベクトル検出回路のブ
ロック図を示し、従来の図９と同一部分には同一符号を
付し説明を省略する。

【００１５】入力端子１に入力されるインターレース方
式のデジタル映像信号（１４ＭＨＺ）は水平間引き回路
９で２画素に１画素の割合で間引かれ７ＭＨＺのデータ
とされる。このデータは垂直補間回路１０で１Ｈ（１水
平走査期間）前のデータと加算平均され、補間データが
作成される。垂直補間回路１０は現データと補間データ
の両方を出力する。

【００１６】この両データはそれぞれ水平ＬＰＦ１１及
び１２でフィルタリングされ、更に１個の垂直ＬＰＦ１
３でフィルタリングされてノイズが除去される。

【００１７】この垂直フィルタ出力は代表点メモリ回路
２に供給される。この代表点メモリ回路はメモリ制御回
路１４からのアドレス及び書込み／読出し制御パルスに
より書込み及び読出しが制御される。このメモリ制御回
路は、同期制御回路１５からの水平アドレス、垂直アド
レス及びマイクロコンピュータ７からの代表点位置デー
タ、エリア間隔データ、ブロック間隔データ、代表点数
データ、検出開始位置データ等に基づき前記アドレス及
び制御パルスを発生する。

【００１８】そして、この代表点メモリ回路出力は相関
値演算回路３で相関値が演算され累積加算回路４及び平
均値算出回路６に供給される。

【００１９】また、累積加算回路４内の相関値メモリ
（図示省略）も代表点メモリ回路２と同様にメモリ制御
回路１７により制御される。即ち、このメモリ制御回路
は、同期制御回路１５からの水平アドレス、垂直アドレ
ス及びマイクロコンピュータ７からのエリア間隔デー
タ、ブロック間隔データ、代表点数データ、検出開始位
置データ等に基づきアドレス及び書込み／読出し制御パ
ルスを発生する。

【００２０】そして、前記累積加算回路４からの出力に
より最小値検出回路５で最小値及びその位置が求められ
マイクロコンピュータ７に供給される。マイクロコンピ
ュータ７はこの最小値検出回路５出力及び平均値算出回
路６出力に基づき動きベクトルを作成する。

【００２１】次に、本実施例における代表点メモリの構
成及び制御について説明する。図２は代表点メモリの領
域の模式図を示し、本実施例の代表点メモリはアドレス
０〜１１９迄の１フィールドの代表点１２０個分とアド
レス１２０〜１３１迄の１ラインの代表点１２個分の計
１３２個分の領域を有する。

【００２２】上記代表点メモリは固定アドレス方式では
なく、図３に示す如くフィールド毎に代表点に対するア
ドレスが変動するフローティングアドレス方式で制御さ
れる。

【００２３】具体的には、まず、Ａフィールドのデータ
Ａ０〜Ａ１１９がアドレス０〜１１９に書込まれる。

【００２４】次に、Ｂフィールドの１行目のデータＢ０
〜Ｂ１１が１行分のアドレス１２０〜１３１に書込まれ
るが、同時にこの期間内に１行分のアドレス０〜１１の
データＡ０〜１１が読出され１行目の検出エリアの相関
演算が行われる。

【００２５】そして、Ｂフィールドの２行目のデータＢ
１２〜Ｂ２３を書込む時には前記相関演算は終了してお
りアドレス０〜１１のデータは既に不要となっているた
めこのアドレスにデータＢ１２〜Ｂ２３を書込む。以
下、この動作を繰り返す。

【００２６】尚、図３においてデータを表す数字は代表
点の画面上の位置に対応している。

【００２７】次に、図４に従い代表点メモリ回路２の具
体的構成を説明する。２１はイネーブル付きのＤフリッ
プフロップよりなるラッチ回路でありデータイネーブル
信号がハイの時入力データをラッチする。２２はこのラ
ッチ回路２１の出力が供給される代表点メモリである。
この代表点メモリ２２はアドレス端子ＡＤ及びライトイ
ネーブル端子ＷＥ有する。２３はメモリ制御回路１４か
らのライトアドレス及びリードアドレスをアドレスセレ
クト信号により選択して前記代表点メモリ２２に供給す
るセレクタ、２４は後述するライトコントロール信号と
ライトイネーブル信号のＡＮＤをとり、メモリライトイ
ネーブル信号として前記代表点メモリに供給するＡＮＤ
回路、２５は２１と同様のラッチ回路であり、リードイ
ネーブル信号により代表点メモリ出力をラッチする。

【００２８】上述の代表点メモリ回路の動作について図
５及び図６に従い説明する。

【００２９】図５は代表点の存在するラインにおけるタ
イムチャートであり、検出エリアの開始点と代表点との
水平位置が一致しない場合を示す。

【００３０】まず、書込み時、ラッチ回路２１に入力さ
れるデータＢ１２は代表点間隔で発生するデータイネー
ブル信号の立ち下がりでラッチされ、代表点メモリ２２
に供給される。また、この代表点メモリにはライトコン
トロール信号でゲートされたライトイネーブル信号も供
給される。このライトイネーブル信号は代表点の位置で
且つ１個の代表点に対して少なくとも１クロック離れて
近接して２個発生し、このうち最初のパルスの立ち上が
りでデータを書込む。セレクタ２３はアドレスセレクト
信号がローの時、ライトアドレスを選択している。従っ
て、データＢ１２はその時のアドレス０に書込まれる。

【００３１】尚、前記ライトイネーブル信号は代表点の
存在するラインでのみ発生する。

【００３２】次に、アドレスセレクト信号がハイになる
とリードアドレスが選択され、アドレス１３に書込まれ
ていたデータＡ１３が代表点メモリから出力される。そ
して、ラッチ回路２５は代表点メモリからのデータＡ１
３をリードイネーブル信号の立ち上がりでラッチして出
力する。

【００３３】上述の動作では検出エリアの開始点と代表
点との水平位置は一致しないためライトイネーブル信号
とリードイネーブル信号は一致することはないが、例え
ば、テレビジョン学会誌 Vol.45、No.10、pp1221~1229(19
91)に記載されているように、フィールド毎に代表点を
移動させながら代表点マッチングを行う場合には検出エ
リアの開始点と代表点との水平位置が一致する場合が生
ずる。

【００３４】即ち、ライトイネーブル信号とリードイネ
ーブル信号とが一致するため１クロック内で書込みと読
出しを行う必要が発生する。従来、これに対処するため
には１クロック内に書込みと読出しが同時に行える高速
メモリを使用すればよいが、このようなメモリは面積や
消費電力が大きくなるためＩＣ化に適していなかった。

【００３５】しかしながら、本実施例では一つの代表点
に対するライトイネーブル信号は少なくとも１クロック
離れて２個発生すると共に、少なくともリードイネーブ
ル信号期間はライトコントロール信号をローとしてい
る。このためライトイネーブル信号の内の一方はＡＮＤ
回路２４によりゲートされ、代表点メモリ２２に供給さ
れるメモリライトイネーブル信号は図示の如くリードイ
ネーブル信号とはタイミングがずれる。

【００３６】従って、検出エリアの開始点と代表点との
水平位置が一致した場合、代表点のデータを書込むタイ
ミングをわずかに遅らすことにより書込みと読出しを同
時に行わなくても済む。しかも、代表点メモリに書込ま
れるデータ自身はラッチ回路２１によりラッチされた代
表点の画像データであるため何ら問題はない。

【００３７】

【発明の効果】上述の如くは本発明によれば、代表点メ
モリを固定アドレスで制御することなく、フローティン
グアドレスで制御することにより代表点メモリの容量を
大幅に削減することができる。

【図面の簡単な説明】

【図１】本発明の一実施例における動きベクトル検出回
路のブロック図である。

【図２】本実施例における代表点メモリの領域の模式図
である。。

【図３】本実施例におけるフローティングアドレス方式
の説明図である。

【図４】本実施例における代表点メモリ回路の回路図で
ある。

【図５】検出エリアの開始点と代表点との水平位置が一
致しない場合の図４のタイムチャートを示す。

【図６】検出エリアの開始点と代表点との水平位置が一
致する場合の図４のタイムチャートを示す。

【図７】代表点マッチング法における撮像エリアを示す
図である。

【図８】検出エリアの拡大図である。

【図９】従来の動きベクトル検出回路のブロック図であ
る。

【符号の説明】

２ 代表点メモリ回路 ３ 相関値演算回路 ４ 累積加算回路 ５ 最小値検出回路 １４、１７ メモリ制御回路 ２１、２５ ラッチ回路 ２２ 代表点メモリ ２３ セレクタ ２４ ＡＮＤ回路

【手続補正書】

【提出日】平成４年７月６日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００１７

【補正方法】変更

【補正内容】

【００１７】 この垂直フィルタ出力は代表点メモリ回
路２及び相関値演算回路３に供給される。この代表点メ
モリ回路はメモリ制御回路１４からのアドレス及び書き
込み／読み出し制御パルスにより書き込み及び読み出し
が制御される。このメモリ制御回路は同期制御回路１５
からの水平アドレス、垂直アドレス及びマイクロコンピ
ュータ７からの代表点位置データ、エリア間隔データ、
ブロック間隔データ、代表点数データ、検出開始位置デ
ータ等に基づき前記アドレス及び制御パルスを発生す
る。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００３０

【補正方法】変更

【補正内容】

【００３０】 まず、書込み時、ラッチ回路２１に入
力されるデータＢ１２は代表点間隔で発生するデータイ
ネーブル信号でラッチされ、代表点メモリ２２に供給さ
れる。また、この代表点メモリにはライトコントロール
信号でゲートされたライトイネーブル信号も供給され
る。このライトイネーブル信号は代表点の位置で且つ１
個の代表点に対して少なくとも１クロック離れて近接し
て２個発生し、このうち最初のパルスの立ち上がりでデ
ータを書込む。セレクタ２３はアドレスセレクト信号が
ローの時、ライトアドレスを選択している。従って、デ
ータＢ１２はその時のアドレス０に書込まれる。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００３２

【補正方法】変更

【補正内容】

【００３２】 次に、アドレスセレクト信号がハイにな
るとリードアドレスが選択され、アドレス１３に書込ま
れていたデータＡ１３が代表点メモリから出力される。
そして、ラッチ回路２５は代表点メモリからのデータＡ
１３をリードイネーブル信号でラッチして出力する。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００３３

【補正方法】変更

【補正内容】

【００３３】 上述の動作では検出エリアの開始点と代
表点との水平位置は一致しないためライトイネーブル信
号とリードイネーブル信号は一致することはないが、例
えば、テレビジョン学会誌 Vol.45、No.10、pp1221~1229
(1991)に記載されているように、フィールド毎に代表点
を移動させながら代表点マッチングを行う場合、あるい
は逆に検出エリアの開始点を移動させながら行う場合に
は検出エリアの開始点と代表点との水平位置が一致する
場合が生ずる。

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】００３５

【補正方法】変更

【補正内容】

【００３５】 しかしながら、本実施例では図６に示す
ごとく、一つの代表点に対するライトイネーブル信号は
少なくとも１クロック離れて２個発生すると共に、少な
くともリードイネーブル信号期間はライトコントロール
信号をローとしている。このためライトイネーブル信号
の内の一方はＡＮＤ回路２４によりゲートされ、代表点
メモリ２２に供給されるメモリライトイネーブル信号は
図示の如くリードイネーブル信号とはタイミングがずれ
る。

【手続補正６】

【補正対象書類名】図面

【補正対象項目名】図９

【補正方法】変更

【補正内容】

【図９】

Claims (1)

【特許請求の範囲】
1. 【請求項１】 画像を複数の領域に分割し各領域の代表
   点の画像データを記憶する代表点メモリと、この代表点
   メモリの書込み及び読出しを制御するメモリ制御回路
   と、現フィールドの画像データと前記代表点メモリから
   のデータとにより前記代表点に対して偏移したサンプリ
   ング点における相関値を演算する相関値演算回路と、こ
   の相関値演算回路出力を前記代表点に対して同一偏移を
   有するサンプリング点毎に累積加算する累積加算回路
   と、この累積加算回路出力で累積加算された相関累積値
   が最小のサンプリング点の位置及び最小値を検出する最
   小値検出回路と、前記位置及び最小値に基づき１個の画
   像の動きベクトルを発生する動きベクトル発生回路とを
   備える動きベクトル検出回路において、 前記メモリ制御回路は前記代表点メモリのアドレスをフ
   ィールド毎に変動させるよう制御することを特徴とする
   動きベクトル検出回路。