JPH05219419A - Motion vector detector for picture - Google Patents
Motion vector detector for pictureInfo
- Publication number
- JPH05219419A JPH05219419A JP3290485A JP29048591A JPH05219419A JP H05219419 A JPH05219419 A JP H05219419A JP 3290485 A JP3290485 A JP 3290485A JP 29048591 A JP29048591 A JP 29048591A JP H05219419 A JPH05219419 A JP H05219419A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- integrated value
- image
- correlation integrated
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、画像の動きベクトル検
出装置に関し、ハンディタイプのビデオカメラの撮像出
力等をビデオデータに含まれる所謂手振れによる画像の
移動量を検出して補正する画像動き補正装置などに適用
される。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image motion vector detection device, and an image motion correction for detecting and correcting an image movement amount due to a so-called camera shake included in video data, such as an image pickup output of a handy type video camera. It is applied to devices.
【０００２】[0002]
【従来の技術】一般に、ハンディタイプのビデオカメラ
では、撮影時の手振れすなわちカメラの振動が画像の振
動となって現れる。そこで、このような手振れによる画
像の振動を補正する画像動き補正装置として、例えば特
開昭６３−１６６３７０号公報に開示されているよう
に、画像の動きベクトルを検出し、この動きベクトルに
基づいて、画像メモリに貯えられているビデオデータを
補正するものが提案されている。2. Description of the Related Art Generally, in a handy type video camera, camera shake during shooting, that is, camera vibration, appears as image vibration. Therefore, as an image motion correction device that corrects the image vibration due to such camera shake, for example, as disclosed in Japanese Patent Laid-Open No. 63-166370, a motion vector of an image is detected and based on this motion vector. , Which correct the video data stored in the image memory have been proposed.
【０００３】画像の動きベクトルの検出には、例えばブ
ロックマッチング法が採用される。このブロックマッチ
ング法による画像の動きベクトルの検出では、画面を多
数の領域（ブロックと称する）に分割し、各ブロックの
中心に位置する前フレームの代表点画素と現フレームの
ブロック内の各画素の画像データとのフレーム差の絶対
値を演算し、各ブロックのフレーム差分絶対値を対応す
る画素毎に積算して相関積分値を求めて、１ブロック分
の画素配列に対応する座標を有する相関積算値表を形成
する。そして、この相関積算値表における相関積分値の
最小値の座標値を画像の動きベクトルの座標値として画
面全体の動きベクトルを決定している。A block matching method, for example, is employed to detect the motion vector of the image. In the detection of the motion vector of the image by this block matching method, the screen is divided into a number of areas (called blocks), and the representative point pixel of the previous frame located at the center of each block and each pixel in the block of the current frame are divided. The absolute value of the frame difference from the image data is calculated, and the absolute value of the frame difference of each block is integrated for each corresponding pixel to obtain the correlation integral value, and the correlation integration having the coordinates corresponding to the pixel array for one block is calculated. Form a value table. Then, the motion vector of the entire screen is determined using the coordinate value of the minimum value of the correlation integrated value in the correlation integrated value table as the coordinate value of the motion vector of the image.
【０００４】そして、画像動き補正装置では、検出され
た動きベクトルを補正信号に変換し、この補正信号によ
り現画像を移動する補正を行っている。このような画像
動き補正装置における補正精度は、画像の動きベクトル
の検出精度に依存する。Then, the image motion correction device converts the detected motion vector into a correction signal and performs correction for moving the current image by this correction signal. The correction accuracy in such an image motion correction device depends on the detection accuracy of the motion vector of the image.
【０００５】[0005]
【発明が解決しようとする課題】ところで、上述のよう
に相関積算値表における相関積分値の最小値の座標値を
画像の動きベクトルの座標値として画面全体の動きベク
トルを決定するようにした従来のブロックマッチング法
による画像の動きベクトル検出装置では、上記相関積分
値が各画素に対応して離散的に算出されており、上記相
関積算値表における整数座標値でしか画像の動きベクト
ルが求まらないので、検出精度が低いという問題点があ
った。従って、従来の画像の動きベクトル検出装置によ
り検出した画像の動きベクトルにより例えば手振れ補正
信号を形成して、手振れ補正を行った場合に、十分な補
正精度が得られず、不自然が画像となってしまう。By the way, as described above, the motion vector of the entire screen is determined by using the coordinate value of the minimum value of the correlation integrated value in the correlation integrated value table as the coordinate value of the motion vector of the image. In the image motion vector detecting device by the block matching method, the correlation integral value is discretely calculated corresponding to each pixel, and the motion vector of the image can be obtained only by the integer coordinate values in the correlation integrated value table. Therefore, there is a problem that the detection accuracy is low. Therefore, when, for example, a camera shake correction signal is formed by the motion vector of the image detected by the conventional image motion vector detection device and the camera shake correction is performed, sufficient correction accuracy cannot be obtained, and an unnatural image becomes an image. Will end up.
【０００６】本発明は、このような実情に鑑みてなされ
たものであり、ハンディタイプのビデオカメラなどにお
ける高性能の手振れ補正を可能にすることを目的とし、
高精度で画像の動きベクトルを検出することのできる画
像の動きベクトル検出装置を提供するものである。The present invention has been made in view of the above circumstances, and an object thereof is to enable high-performance image stabilization in a handy type video camera or the like,
Provided is an image motion vector detection device capable of detecting an image motion vector with high accuracy.
【０００７】[0007]
【課題を解決するための手段】発明に係る画像の動きベ
クトル検出装置は、上述の課題を解決するために、入力
ビデオ信号で構成される１フレームの画像を複数に分割
した各ブロック毎の代表点画素の画像データを記憶する
メモリと、現フレームのブロックの各画素の画像データ
と上記メモリに記憶された前フレームのブロックの代表
点画素の画像データとの差分の絶対値を検出する差分検
出手段と、上記差分検出手段により検出された各ブロッ
クのフレーム差分絶対値を対応する画素毎に積算し、１
ブロック分の画素配列に対応する座標を有する相関積算
値表を形成する相関積算値表形成手段と、上記相関積算
値表形成手段により形成された相関積算値表の相関積算
値の最小値の座標を検出し、この座標が中央に位置する
周辺座標における相関積算値及び上記最小相関積算値を
含むｎ次曲面の最小値に対応する座標を求め、この座標
に基づいて画像の動きベクトルを推定する動きベクトル
を推定手段とを備えることを特徴とするものである。In order to solve the above-mentioned problems, an image motion vector detecting device according to the present invention is a representative of each block obtained by dividing an image of one frame composed of an input video signal into a plurality of blocks. A memory that stores the image data of the point pixel, and a difference detection that detects the absolute value of the difference between the image data of each pixel of the block of the current frame and the image data of the representative point pixel of the block of the previous frame stored in the memory Means and the frame difference absolute value of each block detected by the difference detecting means is integrated for each corresponding pixel, and 1
Correlation integrated value table forming means for forming a correlation integrated value table having coordinates corresponding to pixel arrays for blocks, and coordinates of the minimum value of the correlation integrated values in the correlation integrated value table formed by the correlation integrated value table forming means. Is detected, the coordinate corresponding to the minimum value of the n-th order curved surface including the correlation integrated value and the minimum correlation integrated value in the peripheral coordinates located at the center is obtained, and the motion vector of the image is estimated based on this coordinate. A motion vector estimating means is provided.
【０００８】[0008]
【作用】発明に係る画像の動きベクトル検出装置では、
入力ビデオ信号で構成される１フレームの画像を複数に
分割した各ブロック毎の代表点画素の画像データをメモ
リに記憶し、現フレームのブロックの各画素の画像デー
タと上記メモリに記憶された前フレームのブロックの代
表点画素の画像データとの差分の絶対値を差分検出手段
により検出して、相関積算値表形成手段により１ブロッ
ク分の画素配列に対応する座標を有する相関積算値表を
形成する。そして、動きベクトルを推定手段は、上記相
関積算値表形成手段により形成された相関積算値表の相
関積算値の最小値の座標を検出し、この座標が中央に位
置する周辺座標における相関積算値及び上記最小相関積
算値を含むｎ次曲面の最小値に対応する座標を求め、こ
の座標に基づいて画像の動きベクトルを推定する。In the image motion vector detecting device according to the invention,
The image data of the representative point pixel of each block obtained by dividing an image of one frame composed of the input video signal into a plurality of blocks is stored in the memory, and the image data of each pixel of the block of the current frame and the previous image stored in the memory are stored. The absolute value of the difference from the image data of the representative point pixel of the block of the frame is detected by the difference detecting means, and the correlation integrated value table forming means forms the correlation integrated value table having the coordinates corresponding to the pixel array for one block. To do. Then, the motion vector estimating means detects the coordinates of the minimum value of the correlation integrated values in the correlation integrated value table formed by the correlation integrated value table forming means, and the coordinate integrated values at the peripheral coordinates where this coordinate is located in the center. Also, the coordinates corresponding to the minimum value of the n-th order curved surface including the minimum correlation integrated value are obtained, and the motion vector of the image is estimated based on the coordinates.
【０００９】[0009]
【実施例】以下、本発明に係る画像の動きベクトル検出
装置の一実施例について図面に従い詳細に説明する。本
発明に係る画像の動きベクトル検出装置は、例えば図１
に示すように構成される。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of an image motion vector detecting device according to the present invention will be described in detail below with reference to the drawings. An image motion vector detecting device according to the present invention is shown in FIG.
It is configured as shown in.
【００１０】この図１に示した画像の動きベクトル検出
装置１０は、ハンディタイプのビデオカメラにおける手
振れによる画像の動きを補正する手振れ補正装置に本発
明を適用したもので、補正量発生部２０及び補正部３０
とともに手振れ補正装置を構成している。図１におい
て、信号入力端子１には、上記ビデオカメラの図示しな
い撮像部による撮像出力として得られるビデオ信号をデ
ィジタル化した入力ビデオデータが供給される。The image motion vector detection apparatus 10 shown in FIG. 1 is an application of the present invention to a camera shake correction apparatus for correcting image movement due to camera shake in a handy type video camera. Correction unit 30
Together with this, it constitutes a camera shake correction device. In FIG. 1, a signal input terminal 1 is supplied with input video data obtained by digitizing a video signal obtained as an imaging output by an imaging unit (not shown) of the video camera.
【００１１】上記動きベクトル検出装置１０は、上記入
力ビデオデータが上記信号入力端子１を介して供給され
る代表点メモリ１１及び減算回路１２と、この減算回路
１２による減算出力データが供給される相関積算値表形
成回路１３と、この相関積算値表形成回路１３により形
成された相関積算値表の相関積算値データが供給される
動きベクトル推定回路１４とを備えてなる。The motion vector detecting device 10 is provided with a representative point memory 11 and a subtraction circuit 12 to which the input video data is supplied via the signal input terminal 1, and a correlation to which subtraction output data from the subtraction circuit 12 is supplied. The integrated value table forming circuit 13 and the motion vector estimation circuit 14 to which the correlated integrated value data of the correlation integrated value table formed by the correlation integrated value table forming circuit 13 are supplied are provided.
【００１２】上記代表点メモリ１１は、上記入力ビデオ
データで構成される１フレームの画像を複数に分割した
各ブロック毎の代表点画素の画像データを記憶する。具
体的には、例えば図２に示すように、１フレームの画面
をｍ画素×ｎラインのブロックに分割し、図３に示すよ
うに各ブロックの中心の画素を代表点とし、各代表点画
素の画像データを上記代表点メモリ１１に１フレーム期
間記憶する。なお、上記代表点は、画面上で均一のばら
まかれている。そして、この代表点メモリ１１から読み
出される１フレーム前の各代表点画素の画像データが上
記減算回路１２に供給される。The representative point memory 11 stores image data of representative point pixels for each block obtained by dividing one frame image composed of the input video data into a plurality of blocks. Specifically, for example, as shown in FIG. 2, the screen of one frame is divided into blocks of m pixels × n lines, and the pixel at the center of each block is used as a representative point as shown in FIG. The image data of is stored in the representative point memory 11 for one frame period. The representative points are evenly distributed on the screen. Then, the image data of each representative point pixel one frame before, which is read from the representative point memory 11, is supplied to the subtraction circuit 12.
【００１３】上記減算回路１２は、上記信号入力端子１
を介して供給される入力ビデオデータすなわち現フレー
ムの画像データについて、ブロック毎のｍ×ｎ個の各画
素の画像データと上記代表点メモリ１１から読み出され
る前フレームの対応するブロックの代表点画素の画像デ
ータとの差分すなわちフレーム間差の絶対値を検出す
る。そして、この減算回路１２による減算出力データと
して得られるフレーム差分絶対値データが上記相関積算
値表形成回路１３に供給される。The subtraction circuit 12 has the signal input terminal 1
Input video data, that is, the image data of the current frame, supplied from the representative point pixel of the corresponding block of the previous frame read from the representative point memory 11 The absolute value of the difference from the image data, that is, the difference between the frames is detected. Then, the frame difference absolute value data obtained as the subtraction output data by the subtraction circuit 12 is supplied to the correlation integrated value table forming circuit 13.
【００１４】上記相関積算値表形成回路１３は、上記減
算回路１２により得られた各ブロックのフレーム差分絶
対値を対応する画素毎に１フレーム期間に亘って積算
し、１ブロック分の画素配列に対応するｍ×ｎの整数座
標を有する相関積算値表を形成する。この相関積算値表
形成回路１３により形成される相関積算値表は、ｍ×ｎ
個のフレーム差分絶対値の積算値すなわち相関積算値の
分布を示し、フレーム相関の最も強い座標の相関積算値
が最小値となる。そして、この相関積算値表形成回路１
３により形成される相関積算値表のｍ×ｎ個の相関積算
値が上記動きベクトル推定回路１４に供給される。The correlation integrated value table forming circuit 13 integrates the absolute value of the frame difference of each block obtained by the subtracting circuit 12 for each corresponding pixel over one frame period to form a pixel array for one block. Form a correlation integrated value table with corresponding m × n integer coordinates. The correlation integrated value table formed by the correlation integrated value table forming circuit 13 is m × n.
The distribution of the cumulative value of the frame difference absolute values, that is, the correlation cumulative value is shown, and the cumulative correlation value of the coordinates having the strongest frame correlation is the minimum value. Then, the correlation integrated value table forming circuit 1
The m × n correlation integrated values of the correlation integrated value table formed by 3 are supplied to the motion vector estimation circuit 14.
【００１５】上記動きベクトル推定回路１４では、上記
相関積算値表形成回路１３により形成された相関積算値
表の相関積算値の最小値の座標を検出し、この座標が中
央に位置する周辺座標における相関積算値及び上記最小
相関積算値を含むｎ次曲面の最小値に対応する座標を求
め、この座標に基づいて画像の動きベクトルを推定す
る。The motion vector estimating circuit 14 detects the coordinates of the minimum value of the correlation integrated values in the correlation integrated value table formed by the correlation integrated value table forming circuit 13, and the coordinates at the peripheral coordinates located at the center. The coordinates corresponding to the minimum value of the n-th order curved surface including the correlation integrated value and the minimum correlation integrated value are obtained, and the motion vector of the image is estimated based on the coordinates.
【００１６】ここで、上記動きベクトル推定回路１４に
おける画像の動きベクトルの推定処理には、図４に示す
ように上記相関積算値の最小値の座標Ｐ（ｘ，ｙ）とそ
の周辺座標Ｐ（ｘ±ｎ，ｙ±ｎ）での各相関積算値を用
いて２次元ノンセパラブルに行うことができる。Here, in the process of estimating the motion vector of the image in the motion vector estimating circuit 14, as shown in FIG. 4, the coordinates P (x, y) of the minimum value of the correlation integrated value and the peripheral coordinates P ( It is possible to perform two-dimensional non-separable by using each correlation integrated value in (x ± n, y ± n).
【００１７】この実施例における動きベクトル推定回路
１４では、図５のフローチャートに示すように、ステッ
プ１で上記相関積算値表形成回路１３により形成された
相関積算値表について、ステップ２で相関積算値の最小
値の座標Ｐ（ｘ，ｙ）を検出する。このステップ２で検
出される相関積算値の最小値の座標Ｐ（ｘ，ｙ）は、上
記相関積算値表の整数座標値で示される。In the motion vector estimating circuit 14 in this embodiment, as shown in the flow chart of FIG. 5, the correlation integrated value table formed by the correlation integrated value table forming circuit 13 in step 1 The coordinate P (x, y) of the minimum value of is detected. The coordinates P (x, y) of the minimum correlation integrated value detected in step 2 are indicated by integer coordinate values in the above correlation integrated value table.
【００１８】次のステップ３では、上記相関積算値の最
小値の座標Ｐ（ｘ，ｙ）とその周辺座標Ｐ（ｘ±ｎ，ｙ
±ｎ）での各相関積算値を含むｎ次曲面、例えば図６に
示すような２次元曲面Ｚ（ｘ，ｙ） Ｚ（ｘ，ｙ）＝α（ｘ−ｘ0 ）2 ＋β（ｙ−ｙ0 ）2 ＋γ の係数α，β，γの最小二乗法により求め、上記相関積
算値の最小値の座標Ｐ（ｘ，ｙ）近傍の相関積算値の分
布状態を示す２次元曲面Ｚ（ｘ，ｙ）を推定する。In the next step 3, the coordinate P (x, y) of the minimum value of the correlation integrated value and its peripheral coordinate P (x ± n, y).
N-th degree curved surface including each correlation integrated value in ± n), for example, a two-dimensional curved surface Z (x, y) Z (x, y) = α (x−x 0 ) 2 + β (y− as shown in FIG. y 0 ) 2 + γ coefficients α, β, γ obtained by the least squares method, and a two-dimensional curved surface Z (x showing the distribution state of the correlation integrated value near the coordinate P (x, y) of the minimum value of the correlation integrated value , Y) is estimated.
【００１９】次のステップ４では、上記ステップ３にお
いて推定された２次元曲面Ｚ（ｘ，ｙ）における相関積
算値の最小値の座標値（ｘ0 ，ｙ0 ）を求め、この２次
元座標値（ｘ0 ，ｙ0 ）から画像の動きベクトルを決定
する。そして、このステップ４において決定された画像
の動きベクトルが推定存在範囲にあることをステップ５
で確認して、画像の動きベクトルの推定処理を終了す
る。In the next step 4, the coordinate value (x 0 , y 0 ) of the minimum value of the correlation integrated values in the two-dimensional curved surface Z (x, y) estimated in step 3 is obtained, and the two-dimensional coordinate value is obtained. The motion vector of the image is determined from (x 0 , y 0 ). Then, it is confirmed in step 5 that the motion vector of the image determined in step 4 is in the estimated existence range.
Then, the process of estimating the motion vector of the image ends.
【００２０】このような構成の画像の動きベクトル検出
装置１０では、上記相関積算値形成回路１３により形成
した表相関積算値表の相関積算値の最小値の座標を検出
することにより最小相関積算値の整数座標値を得て、こ
の座標が中央に位置する周辺座標における相関積算値及
び上記最小相関積算値を含む２次曲面を推定して、この
２次曲面の最小値に対応する座標を求めることにより最
小相関積算値の少数座標値を推定することができ、この
座標に基づいて画像の動きベクトルを推定するので、上
記動きベクトルを高い精度で検出することができる。In the image motion vector detecting apparatus 10 having such a configuration, the minimum correlation integrated value is detected by detecting the coordinates of the minimum value of the correlation integrated value in the table correlation integrated value table formed by the correlation integrated value forming circuit 13. Is obtained, the quadric surface including the correlation integrated value and the minimum correlation integrated value in the peripheral coordinates where this coordinate is located in the center is estimated, and the coordinate corresponding to the minimum value of this quadric surface is obtained. Thus, the minority coordinate value of the minimum correlation integrated value can be estimated, and the motion vector of the image is estimated based on this coordinate, so that the motion vector can be detected with high accuracy.
【００２１】そして、この動きベクトル検出装置１０に
より検出された動きベクトルが上記補正量発生部２０に
供給される。Then, the motion vector detected by the motion vector detecting device 10 is supplied to the correction amount generating section 20.
【００２２】上記補正量発生部２０は、上記動きベクト
ル検出装置１０が検出した動きベクトルを手振れベクト
ルとして手振れ補正信号を形成し、この手振れ補正信号
を上記補正部３０に供給する。The correction amount generating section 20 forms a camera shake correction signal by using the motion vector detected by the motion vector detecting device 10 as a camera shake vector, and supplies the camera shake correction signal to the correcting section 30.
【００２３】また、上記補正部３０は、上記補正部３０
は、例えば図７に示すように、上記補正量発生部２０か
ら手振れ補正信号が供給されるアドレス制御回路３１及
びセレクト信号発生回路３２と、上記アドレス制御回路
３１から供給されるアドレス信号に従ってビデオデータ
の書き込み／読み出しが行われるフレームメモリ３３及
び周辺メモリ３４と、上記フレームメモリ３３及び周辺
メモリ３４から読み出されるビデオデータを上記セレク
ト信号発生回路３２から供給されるセレクト信号に応じ
て選択的に出力するセレクタ３５とを備えてなる。Further, the correction unit 30 is the correction unit 30.
For example, as shown in FIG. 7, the video data is generated in accordance with the address control circuit 31 and the select signal generation circuit 32 to which the camera shake correction signal is supplied from the correction amount generation unit 20, and the address signal supplied from the address control circuit 31. Of the frame memory 33 and the peripheral memory 34 for writing / reading, and the video data read from the frame memory 33 and the peripheral memory 34 are selectively output according to a select signal supplied from the select signal generating circuit 32. And a selector 35.
【００２４】上記フレームメモリ３２には、上記信号入
力端子１を介して供給される入力ビデオデータが順次書
き込まれる。そして、このフレームメモリ３２の読み出
しアドレスが上記手振れ補正信号により上記手振れベク
トルに応じて制御される。これにより、上記フレームメ
モリ３２からは、１フレームの入力ビデオデータが上記
手振れベクトルに応じて移動されたビデオデータが得ら
れる。そして、このフレームメモリ３２から読み出され
るビデオデータと上記周辺メモリ３３から読み出される
周辺ビデオデータとが上記セレクタ３５による選択によ
って合成され、手振れ補正処理済のビデオデータとして
信号出力端子２から出力される。Input video data supplied through the signal input terminal 1 is sequentially written in the frame memory 32. The read address of the frame memory 32 is controlled by the camera shake correction signal according to the camera shake vector. As a result, from the frame memory 32, video data obtained by moving one frame of input video data according to the shake vector is obtained. Then, the video data read from the frame memory 32 and the peripheral video data read from the peripheral memory 33 are combined by the selection by the selector 35 and output from the signal output terminal 2 as video data subjected to the image stabilization process.
【００２５】なお、上記周辺メモリ３３には、上記セレ
クタ３５を介して出力される手振れ補正処理済のビデオ
データによる画像の補正範囲に相当する周辺部分のビデ
オデータが周辺ビデオデータとして逐次書き込まれる。In the peripheral memory 33, the video data of the peripheral portion corresponding to the image correction range of the image data subjected to the image stabilization processing output via the selector 35 is sequentially written as peripheral video data.
【００２６】上述のように上記動きベクトル検出装置１
０により画像の動きベクトルを高い精度で検出すること
ができるので、この動きベクトルに基づいて手振れ補正
を行う手振れ補正装置では、高い手振れ補正精度を確保
することができ、自然な画像出力が得られる。As described above, the motion vector detecting device 1
Since a motion vector of an image can be detected with high accuracy by setting 0, a camera shake correction device that performs camera shake correction based on this motion vector can secure high camera shake correction accuracy and can obtain a natural image output. ..
【００２７】[0027]
【発明の効果】以上の説明からも明らかなように、発明
に係る画像の動きベクトル検出装置では、相関積算値表
の相関積算値の最小値の座標を検出することにより整数
座標値を得て、この座標が中央に位置する周辺座標にお
ける相関積算値及び上記最小相関積算値を含むｎ次曲面
を推定して、このｎ次曲面の最小値に対応する座標を求
めることにより最小相関積算値の少数座標値を推定する
ことができ、この座標に基づいて画像の動きベクトルを
推定するので、上記動きベクトルを高い精度で検出する
ことができる。As is apparent from the above description, in the motion vector detecting apparatus for an image according to the present invention, integer coordinate values are obtained by detecting the coordinates of the minimum value of the correlation integrated values in the correlation integrated value table. Of the minimum correlation integrated value by estimating the n-th order curved surface including the correlation integrated value and the minimum correlation integrated value in the peripheral coordinates where this coordinate is located in the center and determining the coordinate corresponding to the minimum value of this n-order curved surface. Since the minority coordinate value can be estimated, and the motion vector of the image is estimated based on this coordinate, the motion vector can be detected with high accuracy.
【００２８】従って、本発明によれば、高精度で画像の
動きベクトルを検出することのできる画像の動きベクト
ル検出装置を提供することができ、ハンディタイプのビ
デオカメラなどにおける高性能の手振れ補正を可能にす
ることができる。Therefore, according to the present invention, it is possible to provide an image motion vector detection device capable of detecting an image motion vector with high accuracy, and to perform high-performance image stabilization in a handy type video camera or the like. You can enable it.
【図１】本発明に係る画像の動きベクトル検出装置を設
けた手振れ補正装置の構成を示すブロック図である。FIG. 1 is a block diagram showing the configuration of a camera shake correction device provided with an image motion vector detection device according to the present invention.
【図２】上記動きベクトル検出装置における画面のブロ
ック分割の状態を示す図である。FIG. 2 is a diagram showing a state of block division of a screen in the motion vector detecting device.
【図３】上記ブロック分割された画面の１ブロックの構
造を示す図である。FIG. 3 is a diagram showing a structure of one block of the screen divided into blocks.
【図４】上記動きベクトル検出装置における動きベクト
ルの推定処理に用いる相関積算値表上の最小値近傍の座
標を示す図である。FIG. 4 is a diagram showing coordinates in the vicinity of a minimum value on a correlation integrated value table used for motion vector estimation processing in the motion vector detection device.
【図５】上記動きベクトル検出装置における動きベクト
ルの推定処理手順を示すフローチャートである。FIG. 5 is a flowchart showing a procedure for estimating a motion vector in the motion vector detecting device.
【図６】上記動きベクトル検出装置における動きベクト
ルの２次元推定例を説明するための図である。FIG. 6 is a diagram for explaining an example of two-dimensional estimation of a motion vector in the motion vector detecting device.
【図７】上記動きベクトル検出装置を設けた手振れ補正
装置の補正部の構成を示すブロック図である。FIG. 7 is a block diagram showing a configuration of a correction unit of a camera shake correction device provided with the motion vector detection device.
１０・・・・・・・・・動きベクトル検出装置 １１・・・・・・・・・代表点メモリ １２・・・・・・・・・減算回路 １３・・・・・・・・・相関積算値表形成回路 １４・・・・・・・・・動きベクトル推定回路 10 --- Motion vector detection device 11 --- Representative point memory 12 --- Subtraction circuit 13 --- Correlation Integrated value table forming circuit 14 ...
───────────────────────────────────────────────────── フロントページの続き (72)発明者 堀士 賢 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 橋野 司 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Ken Horishi 6-735 Kita-Shinagawa, Shinagawa-ku, Tokyo Sony Corporation (72) Inventor Tsukasa Hashino 6-35 Kita-Shinagawa, Shinagawa-ku, Tokyo No. Sony Corporation
Claims (1)
の画像を複数に分割した各ブロック毎の代表点画素の画
像データを記憶するメモリと、 現フレームのブロックの各画素の画像データと上記メモ
リに記憶された前フレームのブロックの代表点画素の画
像データとの差分の絶対値を検出する差分検出手段と、 上記差分検出手段により検出された各ブロックのフレー
ム差分絶対値を対応する画素毎に積算し、１ブロック分
の画素配列に対応する座標を有する相関積算値表を形成
する相関積算値表形成手段と、 上記相関積算値表形成手段により形成された相関積算値
表の相関積算値の最小値の座標を検出し、この座標が中
央に位置する周辺座標における相関積算値及び上記最小
相関積算値を含むｎ次曲面の最小値に対応する座標を求
め、この座標に基づいて画像の動きベクトルを推定する
動きベクトルを推定手段とを備えることを特徴とする画
像の動きベクトル検出装置。1. A memory for storing image data of representative point pixels of each block obtained by dividing an image of one frame composed of an input video signal into a plurality of blocks, and image data of each pixel of a block of the current frame and the memory. Difference detection means for detecting the absolute value of the difference from the image data of the representative point pixel of the block of the previous frame stored in, and the frame difference absolute value of each block detected by the difference detection means for each corresponding pixel Correlation integrated value table forming means for integrating and forming a correlation integrated value table having coordinates corresponding to a pixel array for one block; and a correlation integrated value table of the correlation integrated value table formed by the correlation integrated value table forming means. The coordinates of the minimum value are detected, and the coordinates corresponding to the minimum value of the n-th order curved surface including the correlation integrated value and the minimum correlation integrated value in the peripheral coordinates where this coordinate is located in the center are obtained. An image motion vector detecting device, comprising: a motion vector estimating means for estimating a motion vector of an image based on a target.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29048591A JP3303312B2 (en) | 1991-10-11 | 1991-10-11 | Image vibration correction apparatus and image vibration correction method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29048591A JP3303312B2 (en) | 1991-10-11 | 1991-10-11 | Image vibration correction apparatus and image vibration correction method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05219419A true JPH05219419A (en) | 1993-08-27 |
| JP3303312B2 JP3303312B2 (en) | 2002-07-22 |
Family
ID=17756634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29048591A Expired - Lifetime JP3303312B2 (en) | 1991-10-11 | 1991-10-11 | Image vibration correction apparatus and image vibration correction method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3303312B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0665692A2 (en) * | 1994-01-31 | 1995-08-02 | Sony Corporation | Image collating method and apparatus |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007215114A (en) | 2006-02-13 | 2007-08-23 | Sony Corp | Method of correcting distortion of taken image and device of correcting distortion of taken image, and imaging apparatus |
| JP4904925B2 (en) * | 2006-05-29 | 2012-03-28 | ソニー株式会社 | Image processing apparatus and image processing method |
-
1991
- 1991-10-11 JP JP29048591A patent/JP3303312B2/en not_active Expired - Lifetime
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0665692A2 (en) * | 1994-01-31 | 1995-08-02 | Sony Corporation | Image collating method and apparatus |
| EP0665692A3 (en) * | 1994-01-31 | 1996-04-03 | Sony Corp | Image collating method and apparatus. |
| EP0893924A2 (en) * | 1994-01-31 | 1999-01-27 | Sony Corporation | Method and apparatus for motion estimation using block matching |
| EP0895426A2 (en) * | 1994-01-31 | 1999-02-03 | Sony Corporation | Method and apparatus for motion estimation using block matching |
| EP0895423A2 (en) * | 1994-01-31 | 1999-02-03 | Sony Corporation | Method and apparatus for motion estimation using block matching |
| EP0893924A3 (en) * | 1994-01-31 | 1999-06-16 | Sony Corporation | Method and apparatus for motion estimation using block matching |
| EP0895423A3 (en) * | 1994-01-31 | 1999-06-16 | Sony Corporation | Method and apparatus for motion estimation using block matching |
| EP0895426A3 (en) * | 1994-01-31 | 1999-06-16 | Sony Corporation | Method and apparatus for motion estimation using block matching |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3303312B2 (en) | 2002-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5057974B2 (en) | Processing video data to correct unintentional camera movement between acquired image frames | |
| JPWO2004062270A1 (en) | Image processing device | |
| JP3200889B2 (en) | Image vibration correction device | |
| JPH05219419A (en) | Motion vector detector for picture | |
| JPH04309078A (en) | Jiggling detector for video data | |
| JP3252418B2 (en) | Image shake determination device | |
| JP3257035B2 (en) | Apparatus and method for correcting image vibration | |
| JP3196258B2 (en) | Image motion vector detection device | |
| JP3225598B2 (en) | Image shake detection device | |
| JP3271273B2 (en) | Image vibration determination apparatus, image vibration correction apparatus, image vibration determination method, and image vibration correction method | |
| JPH0795469A (en) | Picture compensation device of camcorder | |
| JP3271271B2 (en) | Image motion vector detection device, image motion vector detection method, image vibration correction device, and image vibration correction method | |
| JP3303311B2 (en) | Image vibration correction apparatus and image vibration correction method | |
| JP3303310B2 (en) | Image vibration correction apparatus and image vibration correction method | |
| JP3271274B2 (en) | Image vibration determination apparatus, image vibration correction apparatus, image vibration determination method, and image vibration correction method | |
| JP3252416B2 (en) | Image stabilization device | |
| JP3221052B2 (en) | Image shake detection device | |
| JP3252417B2 (en) | Image stabilization device | |
| JP3271275B2 (en) | Image vibration correction apparatus and image vibration correction method | |
| JP3252415B2 (en) | Image stabilization device | |
| JP3200888B2 (en) | Image vibration correction device | |
| JP3252411B2 (en) | Image vibration correction device | |
| JP3223582B2 (en) | Image shake detection device | |
| JP3200890B2 (en) | Image vibration correction device | |
| JP3200900B2 (en) | Image shake determination device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020402 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090510 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100510 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100510 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110510 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120510 Year of fee payment: 10 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120510 Year of fee payment: 10 |