JP2547687B2 - 動きベクトル検出回路 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はビデオカメラの手ぶれ補
正装置等に用いて好適な動きベクトル検出回路に関す
る。

【０００２】

【従来の技術】ビデオカメラにおいて、手ぶれ補正を行
うには動きベクトルの検出が必要となる。この動きベク
トルの検出方法の一つにNational Technical Report Vo
l.37No.3 Jun.1991のＰ４８〜５４に示される代表点マ
ッチング法がある。

【０００３】この代表点マッチング法とは、固定の複数
の代表点における１フィールド（或るいは１フレーム）
前の映像信号レベルと代表点を含む検出エリア内のサン
プリング点の映像信号レベルとを比較し、その差がもっ
とも少ない相関性の高い現フィールドのサンプリング点
を求め、このサンプリング点と代表点との位置の差（偏
移）を被写体の動き、即ち、動きベクトルとして特定す
るものである。

【０００４】次にこの代表点マッチング法を具体的に説
明する。図７は撮像エリアを示し、この撮像エリア内に
は４個の検出ブロックが設けられている。更に、各検出
ブロックは３０個の検出エリアに区分されている。そし
て、図８に拡大して示す様に各検出エリアには複数のサ
ンプリング点が存在し、その中の一つが代表点として定
められている。

【０００５】図９に代表点マッチング法による動きベク
トル検出回路のブロック図を示す。

【０００６】入力端子１に入力されるデジタル映像信号
は代表点メモリ２及び相関値演算回路３に供給される。
この代表点メモリ回路２には各代表点の輝度レベルに応
じたデジタルデータが保存される。相関値演算回路３で
は現フレームの映像信号の輝度レベルに応じたデジタル
データと前記代表点メモリ回路２からの１フレーム（或
るいは１フィールド）前のデジタルデータとの差の絶対
値、即ち代表点と検出エリア内における代表点に対して
偏移したサンプリング点との輝度の相関値が演算され
る。この相関値は相関値メモリ及び加算器を含む累積加
算回路４において、検出ブロック内の代表点に対して同
一偏移を有するサンプリング点毎に累積加算される。こ
の累積加算は４個の検出ブロック毎に行われる。

【０００７】累積加算回路出力は最小値検出回路５及び
平均値算出回路６に供給される。最小値検出回路５は相
関累積値が最小のサンプリング点の位置及びその最小値
を検出する。また、平均値算出回路６は相関累積値の平
均を算出する。そして、求められた最小位置、最小値及
び平均値はマイクロコンピュータ７に供給され、動きベ
クトルが作成される。マイクロコンピュータ７の動きベ
クトル作成は、ソフトウェア処理により、まず、各検出
ブロック毎に最小位置に基づいて計４個の動きベクトル
を抽出する。次に、この動きベクトルの内、最小値／平
均値が所定の閾値より小さいものを信頼度の低いものと
して除去し、残りのものから１個の動きベクトルを特定
する。

【０００８】尚、代表点メモリ回路２、累積加算回路４
及び平均値算出回路６は制御回路８によりアドレス及び
タイミング等が制御される。

【０００９】

【発明が解決しようとする課題】上記従来例において代
表点メモリ回路２の代表点メモリはアドレス０〜２３９
迄の２４０のエリアを有している。そして、まず、第１
フィールドの代表点１２０個のデータをアドレス０〜１
１９に書込む。次に、第２フィールドにおいて、第１フ
ィールドのデータをアドレス０〜１１９から読出すと同
時に、第２フィールドの代表点１２０個のデータをアド
レス１２０〜２３９に書込む。

【００１０】このように代表点メモリは、画面上の代表
点の各位置がメモリのアドレスにそれぞれ対応する固定
アドレス方式で制御しているため、代表点２フィールド
分の容量を必要としていた。

【００１１】本発明は上述の点に鑑み為されたものであ
り、代表点メモリの容量を極力少なくできる動きベクト
ル検出装置を提供するものである。

【００１２】

【課題を解決するための手段】本発明は、画像を複数の
領域に分割し各領域の代表点の画像データを記憶する代
表点メモリと、この代表点メモリの書込み及び読出しを
制御するメモリ制御回路と、現フィールドの画像データ
と前記代表点メモリからのデータとにより前記代表点に
対して偏移したサンプリング点における相関値を演算す
る相関値演算回路と、この相関値演算回路出力を前記代
表点に対して同一偏移を有するサンプリング点毎に累積
加算する累積加算回路と、この累積加算回路出力で累積
加算された相関累積値が最小のサンプリング点の位置及
び最小値を検出する最小値検出回路と、前記位置及び最
小値に基づき１個の画像の動きベクトルを発生する動き
ベクトル発生回路とを備える動きベクトル検出回路にお
いて、前記メモリ制御回路は、同一の代表点に対する前
記代表点メモリの書き込みアドレスをフィールド毎に変
動させるよう制御することを特徴とする動きベクトル検
出回路である。

【００１３】

【作用】上述の手段により、本発明の代表点メモリのア
ドレスはフィールド毎に変化するように制御される。

【００１４】

【実施例】以下、図面に従い本発明の一実施例を説明す
る。図１は本実施例における動きベクトル検出回路のブ
ロック図を示し、従来の図９と同一部分には同一符号を
付し説明を省略する。

【００１５】入力端子１に入力されるインターレース方
式のデジタル映像信号（１４ＭＨＺ）は水平間引き回路
９で２画素に１画素の割合で間引かれ７ＭＨＺのデータ
とされる。このデータは垂直補間回路１０で１Ｈ（１水
平走査期間）前のデータと加算平均され、補間データが
作成される。垂直補間回路１０は現データと補間データ
の両方を出力する。

【００１６】この両データはそれぞれ水平ＬＰＦ１１及
び１２でフィルタリングされ、更に１個の垂直ＬＰＦ１
３でフィルタリングされてノイズが除去される。

【００１７】この垂直フィルタ出力は代表点メモリ回路
２及び相関値演算回路３に供給される。この代表点メモ
リ回路はメモリ制御回路１４からのアドレス及び書込み
／読出し制御パルスにより書込み及び読出しが制御され
る。このメモリ制御回路は、同期発生回路１５からの水
平アドレス、垂直アドレス及びマイクロコンピュータ７
からの代表点位置データ、エリア間隔データ、ブロック
間隔データ、代表点数データ、検出開始位置データ等に
基づき前記アドレス及び制御パルスを発生する。

【００１８】そして、この代表点メモリ回路出力は相関
値演算回路３で相関値が演算され累積加算回路４及び平
均値算出回路６に供給される。

【００１９】また、累積加算回路４内の相関値メモリ
（図示省略）も代表点メモリ回路２と同様にメモリ制御
回路１７により制御される。即ち、このメモリ制御回路
は、同期制御回路１５からの水平アドレス、垂直アドレ
ス及びマイクロコンピュータ７からのエリア間隔デー
タ、ブロック間隔データ、代表点数データ、検出開始位
置データ等に基づきアドレス及び書込み／読出し制御パ
ルスを発生する。

【００２０】そして、前記累積加算回路４からの出力に
より最小値検出回路５で最小値及びその位置が求められ
マイクロコンピュータ７に供給される。マイクロコンピ
ュータ７はこの最小値検出回路５出力及び平均値算出回
路６出力に基づき動きベクトルを作成する。

【００２１】次に、本実施例における代表点メモリの構
成及び制御について説明する。図２は代表点メモリの領
域の模式図を示し、本実施例の代表点メモリはアドレス
０〜１１９迄の１フィールドの代表点１２０個分とアド
レス１２０〜１３１迄の１ラインの代表点１２個分の計
１３２個分の領域を有する。

【００２２】上記代表点メモリは固定アドレス方式では
なく、図３に示す如くフィールド毎に代表点に対するア
ドレスが変動するフローティングアドレス方式で制御さ
れる。

【００２３】具体的には、まず、Ａフィールドのデータ
Ａ０〜Ａ１１９がアドレス０〜１１９に書込まれる。

【００２４】次に、Ｂフィールドの１行目のデータＢ０
〜Ｂ１１が１行分のアドレス１２０〜１３１に書込まれ
るが、同時にこの期間内に１行分のアドレス０〜１１の
データＡ０〜１１が読出され１行目の検出エリアの相関
演算が行われる。

【００２５】そして、Ｂフィールドの２行目のデータＢ
１２〜Ｂ２３を書込む時には前記相関演算は終了してお
りアドレス０〜１１のデータは既に不要となっているた
めこのアドレスにデータＢ１２〜Ｂ２３を書込む。以
下、この動作を繰り返す。

【００２６】尚、図３においてデータを表す数字は代表
点の画面上の位置に対応している。

【００２７】次に、図４に従い代表点メモリ回路２の具
体的構成を説明する。２１はイネーブル付きのＤフリッ
プフロップよりなるラッチ回路でありデータイネーブル
信号がハイの時入力データをラッチする。２２はこのラ
ッチ回路２１の出力が供給される代表点メモリである。
この代表点メモリ２２はアドレス端子ＡＤ及びライトイ
ネーブル端子ＷＥ有する。２３はメモリ制御回路１４か
らのライトアドレス及びリードアドレスをアドレスセレ
クト信号により選択して前記代表点メモリ２２に供給す
るセレクタ、２４は後述するライトコントロール信号と
ライトイネーブル信号のＡＮＤをとり、メモリライトイ
ネーブル信号として前記代表点メモリに供給するＡＮＤ
回路、２５は２１と同様のラッチ回路であり、リードイ
ネーブル信号により代表点メモリ出力をラッチする。

【００２８】上述の代表点メモリ回路の動作について図
５及び図６に従い説明する。

【００２９】図５は代表点の存在するラインにおけるタ
イムチャートであり、検出エリアの開始点と代表点との
水平位置が一致しない場合を示す。

【００３０】 まず、書込み時、ラッチ回路２１に入
力されるデータＢ１２は代表点間隔で発生するデータイ
ネーブル信号でラッチされ、代表点メモリ２２に供給さ
れる。また、この代表点メモリにはライトコントロール
信号でゲートされたライトイネーブル信号も供給され
る。このライトイネーブル信号は代表点の位置で且つ１
個の代表点に対して少なくとも１クロック離れて近接し
て２個発生し、このうち最初のパルスの立ち上がりでデ
ータを書込む。セレクタ２３はアドレスセレクト信号が
ローの時、ライトアドレスを選択している。従って、デ
ータＢ１２はその時のアドレス０に書込まれる。

【００３１】尚、前記ライトイネーブル信号は代表点の
存在するラインでのみ発生する。

【００３２】 次に、アドレスセレクト信号がハイにな
るとリードアドレスが選択され、アドレス１３に書込ま
れていたデータＡ１３が代表点メモリから出力される。
そして、ラッチ回路２５は代表点メモリからのデータＡ
１３をリードイネーブル信号でラッチして出力する。

【００３３】 上述の動作では検出エリアの開始点と代
表点との水平位置は一致しないためライトイネーブル信
号とリードイネーブル信号は一致することはないが、例
えば、テレビジョン学会誌 Vol.45、No.10、pp1221〜1229
(1991)に記載されているように、フィールド毎に代表点
を移動させながら代表点マッチングを行う場合、あるい
は逆に検出エリアの開始点を移動させながら行う場合に
は検出エリアの開始点と代表点との水平位置が一致する
場合が生ずる。

【００３４】即ち、ライトイネーブル信号とリードイネ
ーブル信号とが一致するため１クロック内で書込みと読
出しを行う必要が発生する。従来、これに対処するため
には１クロック内に書込みと読出しが同時に行える高速
メモリを使用すればよいが、このようなメモリは面積や
消費電力が大きくなるためＩＣ化に適していなかった。

【００３５】 しかしながら、本実施例では図６に示す
ごとく、一つの代表点に対するライトイネーブル信号は
少なくとも１クロック離れて２個発生すると共に、少な
くともリードイネーブル信号期間はライトコントロール
信号をローとしている。このためライトイネーブル信号
の内の一方はＡＮＤ回路２４によりゲートされ、代表点
メモリ２２に供給されるメモリライトイネーブル信号は
図示の如くリードイネーブル信号とはタイミングがずれ
る。

【００３６】従って、検出エリアの開始点と代表点との
水平位置が一致した場合、代表点のデータを書込むタイ
ミングをわずかに遅らすことにより書込みと読出しを同
時に行わなくても済む。しかも、代表点メモリに書込ま
れるデータ自身はラッチ回路２１によりラッチされた代
表点の画像データであるため何ら問題はない。

【００３７】

【発明の効果】上述の如くは本発明によれば、代表点メ
モリを固定アドレスで制御することなく、フローティン
グアドレスで制御することにより代表点メモリの容量を
大幅に削減することができる。

【図面の簡単な説明】

【図１】本発明の一実施例における動きベクトル検出回
路のブロック図である。

【図２】本実施例における代表点メモリの領域の模式図
である。。

【図３】本実施例におけるフローティングアドレス方式
の説明図である。

【図４】本実施例における代表点メモリ回路の回路図で
ある。

【図５】検出エリアの開始点と代表点との水平位置が一
致しない場合の図４のタイムチャートを示す。

【図６】検出エリアの開始点と代表点との水平位置が一
致する場合の図４のタイムチャートを示す。

【図７】代表点マッチング法における撮像エリアを示す
図である。

【図８】検出エリアの拡大図である。

【図９】従来の動きベクトル検出回路のブロック図であ
る。

【符号の説明】

２ 代表点メモリ回路 ３ 相関値演算回路 ４ 累積加算回路 ５ 最小値検出回路 １４、１７ メモリ制御回路 ２１、２５ ラッチ回路 ２２ 代表点メモリ ２３ セレクタ ２４ ＡＮＤ回路

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 画像を複数の領域に分割し各領域の代表
   点の画像データを記憶する代表点メモリと、この代表点
   メモリの書込み及び読出しを制御するメモリ制御回路
   と、現フィールドの画像データと前記代表点メモリから
   のデータとにより前記代表点に対して偏移したサンプリ
   ング点における相関値を演算する相関値演算回路と、こ
   の相関値演算回路出力を前記代表点に対して同一偏移を
   有するサンプリング点毎に累積加算する累積加算回路
   と、この累積加算回路出力で累積加算された相関累積値
   が最小のサンプリング点の位置及び最小値を検出する最
   小値検出回路と、前記位置及び最小値に基づき１個の画
   像の動きベクトルを発生する動きベクトル発生回路とを
   備える動きベクトル検出回路において、 前記メモリ制御回路は、同一の代表点に対する前記代表
   点メモリの書き込みアドレスをフィールド毎に変動させ
   るよう制御することを特徴とする動きベクトル検出回
   路。