JP3271271B2 - Image motion vector detection device, image motion vector detection method, image vibration correction device, and image vibration correction method - Google Patents
Image motion vector detection device, image motion vector detection method, image vibration correction device, and image vibration correction methodInfo
- Publication number
- JP3271271B2 JP3271271B2 JP29048391A JP29048391A JP3271271B2 JP 3271271 B2 JP3271271 B2 JP 3271271B2 JP 29048391 A JP29048391 A JP 29048391A JP 29048391 A JP29048391 A JP 29048391A JP 3271271 B2 JP3271271 B2 JP 3271271B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- field
- block
- image
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Description
【０００１】[0001]
【産業上の利用分野】本発明は、ハンディタイプのビデ
オカメラの撮像出力等をビデオデータに含まれる所謂手
振れによる画像の移動量を検出して補正するための画像
の動きベクトル検出装置、画像の動きベクトル検出方
法、画像の振動補正装置及び画像の振動補正方法に関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image motion vector detecting device for detecting and correcting an image output of a handy type video camera by so-called camera shake contained in video data, and an image motion vector detecting device. The present invention relates to a motion vector detection method, an image vibration correction device, and an image vibration correction method.
【０００２】[0002]
【従来の技術】一般に、ハンディタイプのビデオカメラ
では、撮影時の手振れすなわちカメラの振動が画像の振
動となって現れる。そこで、このような手振れによる画
像の振動を補正する画像動き補正装置として、例えば特
開昭６３−１６６３７０号公報に開示されているよう
に、画像の動きベクトルを検出し、この動きベクトルに
基づいて、画像メモリに貯えられているビデオデータを
補正するものが提案されている。2. Description of the Related Art Generally, in a handy type video camera, camera shake during photographing, that is, camera vibration appears as image vibration. Therefore, as an image motion compensating device for compensating image vibration due to such camera shake, for example, as disclosed in Japanese Patent Application Laid-Open No. 63-166370, a motion vector of an image is detected and based on this motion vector. A device that corrects video data stored in an image memory has been proposed.
【０００３】画像の動きベクトルの検出には、例えばブ
ロックマッチング法が採用される。このブロックマッチ
ング法による画像の動きベクトルの検出では、画面を多
数の領域（ブロックと称する）に分割し、各ブロックの
中心に位置する前フィールドの代表点画素と現フィール
ドのブロック内の各画素の画像データとのフィールド差
の絶対値を演算し、各ブロックのフィールド差分絶対値
を対応する画素毎に積算して相関積分値を求めて、１ブ
ロック分の画素配列に対応する座標を有する相関積算値
表を形成する。そして、この相関積算値表における相関
積分値の最小値の座標値を画像の動きベクトルの座標値
として画面全体の動きベクトルを決定している。For detecting a motion vector of an image, for example, a block matching method is employed. In the detection of a motion vector of an image by the block matching method, a screen is divided into a number of regions (referred to as blocks), and a representative point pixel of a previous field located at the center of each block and a pixel of each pixel in a block of the current field are determined. The absolute value of the field difference from the image data is calculated, the absolute value of the field difference of each block is integrated for each corresponding pixel to obtain a correlation integral value, and the correlation integration having coordinates corresponding to the pixel array of one block Form a value table. Then, the motion vector of the entire screen is determined using the coordinate value of the minimum value of the correlation integral value in the correlation integrated value table as the coordinate value of the motion vector of the image.
【０００４】そして、画像動き補正装置では、検出され
た動きベクトルを補正信号に変換し、この補正信号によ
り現画像を移動する補正を行っている。このような画像
動き補正装置における補正精度は、画像の動きベクトル
の検出精度に依存する。[0004] The image motion compensator converts the detected motion vector into a compensation signal, and carries out compensation for moving the current picture using the compensation signal. The correction accuracy of such an image motion correction device depends on the detection accuracy of a motion vector of an image.
【０００５】[0005]
【発明が解決しようとする課題】ところで、上述のよう
に相関積算値表における相関積分値の最小値の座標値を
画像の動きベクトルの座標値として画面全体のフィール
ド間の動きベクトルを決定するようにした従来のブロッ
クマッチング法による画像の動きベクトル検出装置で
は、検出時間間隔が１フィールド期間で短いために高い
検出精度が得られず、しかも、上記相関積分値が各画素
に対応して離散的に算出されており、上記相関積算値表
における整数座標値でしか画像の動きベクトルが求まら
ないので、さらに検出精度が下がってしまう。また、イ
ンターレス走査を採用しているＮＴＳＣ方式などの標準
テレビジョン方式に準拠するビデオ信号を出力するビデ
オカメラでは、空間上に対応画素が存在しないので、高
い検出精度が得られない。As described above, the motion vector between the fields on the entire screen is determined by using the coordinate value of the minimum value of the correlation integrated value in the correlation integrated value table as the coordinate value of the motion vector of the image. In the conventional apparatus for detecting a motion vector of an image by the block matching method described above, high detection accuracy cannot be obtained because the detection time interval is short in one field period, and the correlation integral value is discrete for each pixel. Since the motion vector of the image can be obtained only by the integer coordinate values in the correlation integrated value table, the detection accuracy is further reduced. In a video camera that outputs a video signal that conforms to a standard television system such as the NTSC system that employs interless scanning, high detection accuracy cannot be obtained because there is no corresponding pixel in space.
【０００６】従って、従来の画像の動きベクトル検出装
置により検出した画像の動きベクトルにより例えば手振
れ補正信号を形成して、手振れ補正を行った場合に、十
分な補正精度が得られず、不自然が画像となってしま
う。Therefore, when a camera shake correction signal is formed from a motion vector of an image detected by a conventional image motion vector detecting device and a camera shake correction is performed, sufficient correction accuracy cannot be obtained and unnaturalness occurs. It becomes an image.
【０００７】本発明は、このような実情に鑑みてなされ
たものであり、ハンディタイプのビデオカメラなどにお
ける高性能の手振れ補正を可能にすることを目的とし、
高精度で画像の動きベクトルを検出することのできる画
像の動きベクトル検出装置、画像の動きベクトル検出方
法、画像の振動補正装置及び画像の振動補正方法を提供
するものである。[0007] The present invention has been made in view of such circumstances, and has as its object to enable high-performance camera shake correction in a handy-type video camera or the like.
An object of the present invention is to provide an image motion vector detection device, an image motion vector detection method, an image vibration correction device, and an image vibration correction method capable of detecting an image motion vector with high accuracy.
【０００８】[0008]
【課題を解決するための手段】本発明に係る画像の動き
ベクトル検出装置は、入力ビデオ信号で構成される１フ
ィールドの画像を複数に分割した各ブロック毎の代表点
画素の画像データを１フィールド分記憶する第１の代表
点メモリと、上記第１の代表点メモリから読み出される
１フィールド前の各ブロック毎の代表点画素の画像デー
タを１フィールド分記憶する第２の代表点メモリと、現
フィールドのブロックの各画素の画像データと上記第１
の代表点メモリから読み出される１フィールド前のブロ
ックの代表点画素の画像データとの差分値を 上記各画
素毎に検出する第１の差分検出手段と、現フィールドの
ブロックの各画素の画像データと上記第２の代表点メモ
リから読み出される２フィールド前のブロックの代表点
画素の画像データとの差分値を上記各画素毎に検出する
第２の差分検出手段と、上記第１の差分検出手段により
検出された１フィールド間の各差分値に基づいて第１の
動きベクトルを検出する第１の動きベクトル検出手段
と、上記第２の差分検出手段により検出された２フィー
ルド間の各差分値に基づいて上記１フィールド間の動き
ベクトルに対応する第２の動きベクトルを検出する第２
の動きベクトル検出手段と、上記第１及び第２の動きベ
クトルに基づいて、上記フィールドを構成する画像の動
きの加速度を検出する加速度検出手段と、上記加速度検
出手段により上記画像の動きが所定加速度よりも大きい
と判定されるとき、上記第１及び第２の動きベクトルを
上記第１の動きベクトルに重み付けして加算合成し、上
記加速度検出手段により上記画像の動きが所定加速度よ
りも小さいと判定されるとき、上記第１及び第２の動き
ベクトルを上記第２の動きベクトルに重み付けして加算
合成する動きベクトル合成手段とを備えることを特徴と
する。また、本発明に係る画像の動きベクトル検出方法
は、１フィールドを複数のブロックに分割し、現フィー
ルドの上記ブロック内の各画素データと、当該ブロック
に対応する１フィールド前の代表画素データとの差分値
を検出するステップと、上記現フィールドの上記ブロッ
ク内の各画素データと、当該ブロックに対応する２フィ
ールド前の代表画素データとの差分値を検出するステッ
プと、上記現フィールドの上記ブロック内の各画素デー
タと、当該ブロックに対応する１フィールド前の代表画
素データとの差分値に基づいて第１の動きベクトルを検
出するステップと、上記現フィールドの上記ブロック内
の各画素データと、当該ブロックに対応する２フィール
ド前の代表画素データとの差分値に基づいて第２の動き
ベクトルを検出するステップと、上記第１及び第２の動
きベクトルに基づいて、上記フィールドを構成する画像
の動きの加速度を検出するステップと、上記画像の動き
が所定加速度よりも大きいと判定されるとき、上記第１
及び第２の動きベクトルを上記第１の動きベクトルに重
み付けして加算合成し、上記画像の動きが所定加速度よ
りも小さいと判定されるとき、上記第１及び第２の動き
ベクトルを上記第２の動きベクトルに重み付けして加算
合成するステップとを備えることを特徴とする。また、
本発明に係る画像の振動補正装置は、入力ビデオ信号で
構成される１フィールドの画像を複数に分割した各ブロ
ック毎の代表点画素の画像データを１フィールド分記憶
する第１の代表点メモリと、上記第１の代表点メモリか
ら読み出される１フィールド前の各ブロック毎の代表点
画素の画像データを１フィールド分記憶する第２の代表
点メモリと、現フィールドのブロックの各画素の画像デ
ータと上記第１の代表点メモリから読み出される１フィ
ールド前のブロックの代表点画素の画像データとの差分
値を上記各画素毎に検出する第１の差分検出手段と、現
フィールドのブロックの各画素の画像データと上記第２
の代表点メモリから読み出される２フィールド前のブロ
ックの代表点画素の画像データとの差分値を上記各画素
毎に検出する第２の差分検出手段と、上記第１の差分検
出手段により検出された１フィールド間の各差分値に基
づいて第１の動きベクトルを検出する第１の動きベクト
ル検出手段と、上記第２の差分検出手段により検出され
た２フィールド間の各差分値に基づいて上記１フィール
ド間の動きベクトルに対応する第２の動きベクトルを検
出する第２の動きベクトル検出手段と、上記第１及び第
２の動きベクトルに基づいて、上記フィールドを構成す
る画像の動きの加速度を検出する加速度検出手段と、上
記加速度検出手段により上記画像の動きが所定加速度よ
りも大きいと判定されるとき、上記第１及び第２の動き
ベクトルを上記第１の動きベクトルに重み付けして加算
合成し、上記加速度検出手段により上記画像の動きが所
定加速度よりも小さいと判定されるとき、上記第１及び
第２の動きベクトルを上記第２の動きベクトルに重み付
けして加算合成する動きベクトル合成手段と、上記動き
ベクトル合成手段により合成された動きベクトルに応じ
た補正量の補正信号を形成する補正量発生手段と、上記
補正量発生手段から供給される補正信号により上記フィ
ールドを構成する画像に振動補正処理を施す補正手段と
を備えることを特徴とする。さらに、本発明に係る画像
の振動補正方法は、１フィールドを複数のブロックに分
割し、現フィールドの上記ブロック内の各画素データ
と、当該ブロックに対応する１フィールド前の代表画素
データとの差分値を検出するステップと、上記現フィー
ルドの上記ブロック内の各画素データと、当該ブロック
に対応する２フィールド前の代表画素データとの差分値
を検出するステップと、上記現フィールドの上記ブロッ
ク内の各画素データと、当該ブロックに対応する１フィ
ールド前の代表画素データとの差分値に基づいて第１の
動きベクトルを検出するステップと、上記現フィールド
の上記ブロック内の各画素データと、当該ブロックに対
応する２フィールド前の代表画素データとの差分値に基
づいて第２の動きベクトルを検出するステップと、上記
第１及び第２の動きベクトルに基づいて、上記フィール
ドを構成する画像の動きの加速度を検出するステップ
と、上記画像の動きが所定加速度よりも大きいと判定さ
れるとき、上記第１及び第２の動きベクトルを上記第１
の動きベクトルに重み付けして加算合成し、上記画像の
動きが所定加速度よりも小さいと判定されるとき、上記
第１及び第２の動きベクトルを上記第２の動きベクトル
に重み付けして加算合成するステップと、上記加算合成
された動きベクトルに応じた補正量の補正信号を形成す
るステップと、上記補正信号により上記フィールドを構
成する画像に振動補正処理を施すステップとを備えるこ
とを特徴とする。According to the present invention, there is provided an image motion vector detecting apparatus which divides a one-field image composed of an input video signal into a plurality of image data of a representative point pixel for each block into one field. A first representative point memory for storing the image data of the representative point pixels for each block preceding by one field read out from the first representative point memory for one field, and a second representative point memory for storing one field. The image data of each pixel of the block of the field and the first
First difference detecting means for detecting, for each pixel, a difference value between the image data of the representative point pixel of the block one field before and the image data of each pixel of the block of the current field. A second difference detection unit for detecting, for each pixel, a difference value between the image data of the representative point pixel of the block two fields before and read from the second representative point memory; and the first difference detection unit. First motion vector detection means for detecting a first motion vector based on each detected difference value between one field, and based on each difference value between the two fields detected by the second difference detection means To detect a second motion vector corresponding to the motion vector in the one field.
A motion vector detecting means, an acceleration detecting means for detecting an acceleration of a motion of an image constituting the field based on the first and second motion vectors, and a motion of the image which is determined by the acceleration detecting means. If the first and second motion vectors are weighted to the first motion vector, the first and second motion vectors are added and synthesized, and the acceleration detecting means determines that the motion of the image is smaller than a predetermined acceleration. And a motion vector synthesizing means for weighting the first and second motion vectors to the second motion vector and adding and synthesizing them. Further, in the method for detecting a motion vector of an image according to the present invention, one field is divided into a plurality of blocks, and each pixel data in the block in the current field is compared with representative pixel data in the previous field corresponding to the block. Detecting a difference value; detecting a difference value between each pixel data in the block of the current field and representative pixel data two fields before corresponding to the block; and detecting a difference value in the block of the current field. Detecting a first motion vector based on a difference value between each pixel data of the current field and representative pixel data one field before corresponding to the block; A step of detecting a second motion vector based on a difference value from representative pixel data two fields before the block corresponding to the block; Detecting the acceleration of the motion of the image constituting the field based on the first and second motion vectors; and determining that the motion of the image is greater than a predetermined acceleration. 1
And the second motion vector is weighted to the first motion vector and added and synthesized. When it is determined that the motion of the image is smaller than a predetermined acceleration, the first and second motion vectors are converted to the second motion vector. And adding and combining the motion vectors by weighting the motion vectors. Also,
An image vibration correction apparatus according to the present invention includes a first representative point memory that stores one field of image data of a representative point pixel for each block obtained by dividing an image of one field formed of an input video signal into a plurality of blocks. A second representative point memory for storing the image data of the representative point pixel for each block one field before read from the first representative point memory for one field, an image data of each pixel of the block of the current field, First difference detecting means for detecting, for each pixel, a difference value between the image data of the representative point pixel of the block one field before and read from the first representative point memory; Image data and the second
A second difference detecting means for detecting, for each pixel, a difference value from the image data of the representative point pixel of the block two fields before read from the representative point memory, and the first difference detecting means. First motion vector detecting means for detecting a first motion vector based on each difference value between one field; and the first motion vector detecting means based on each difference value between two fields detected by the second difference detecting means. A second motion vector detecting means for detecting a second motion vector corresponding to a motion vector between fields; and detecting a motion acceleration of an image forming the field based on the first and second motion vectors. And detecting the first and second motion vectors when the motion of the image is determined to be greater than a predetermined acceleration by the acceleration detecting means. Are weighted and added and synthesized. When the acceleration detecting means determines that the motion of the image is smaller than a predetermined acceleration, the first and second motion vectors are weighted to the second motion vector. Motion vector synthesizing means for generating a correction signal of a correction amount corresponding to the motion vector synthesized by the motion vector synthesizing means, and a correction signal supplied from the correction amount generating means. And a correction means for performing a vibration correction process on an image forming the field. Further, in the image vibration correction method according to the present invention, one field is divided into a plurality of blocks, and the difference between each pixel data in the block of the current field and the representative pixel data of the previous field corresponding to the block is determined. Detecting a difference value between each pixel data in the block of the current field and representative pixel data two fields before the corresponding block in the current field; Detecting a first motion vector based on a difference value between each pixel data and the representative pixel data one field before corresponding to the block; and detecting each pixel data in the block in the current field and the block in the current field. Detecting a second motion vector based on a difference value between the representative pixel data two fields before and corresponding to the second motion vector. Detecting the acceleration of the motion of the image forming the field based on the first and second motion vectors; and determining that the motion of the image is larger than a predetermined acceleration. The motion vector of the second
Are added and synthesized, and when it is determined that the motion of the image is smaller than a predetermined acceleration, the first and second motion vectors are weighted and added and synthesized with the second motion vector. And a step of forming a correction signal of a correction amount corresponding to the motion vector that has been added and synthesized, and a step of performing a vibration correction process on an image forming the field by the correction signal.
【０００９】[0009]
【作用】本発明では、１フィールドを複数のブロックに
分割し、現フィールドの上記ブロック内の各画素データ
と、当該ブロックに対応する１フィールド前の代表画素
データとの差分値を検出するとともに、上記現フィール
ドの上記ブロック内の各画素データと、当該ブロックに
対応する２フィールド前の代表画素データとの差分値を
検出し、また、上記現フィールドの上記ブロック内の各
画素データと、当該ブロックに対応する１フィールド前
の代表画素データとの差分値に基づいて第１の動きベク
トルを検出するとともに、上記現フィールドの上記ブロ
ック内の各画素データと、当該ブロックに対応する２フ
ィールド前の代表画素データとの差分値に基づいて第２
の動きベクトルを検出する。According to the present invention, one field is divided into a plurality of blocks, and a difference value between each pixel data in the block of the current field and the representative pixel data of one field before corresponding to the block is detected. A difference value between each pixel data in the block of the current field and the representative pixel data two fields before corresponding to the block is detected, and each pixel data in the block of the current field and the block , A first motion vector is detected based on a difference value between the representative pixel data one field before and the pixel data in the block of the current field and the representative of the field two fields before corresponding to the block. Second based on the difference value with the pixel data
Is detected.
【００１０】そして、上記第１及び第２の動きベクトル
に基づいて、上記フィールドを構成する画像の動きの加
速度を検出し、上記画像の動きが所定加速度よりも大き
いと判定されるとき、上記第１及び第２の動きベクトル
を上記第１の動きベクトルに重み付けして加算合成し、
上記画像の動きが所定加速度よりも小さいと判定される
とき、上記第１及び第２の動きベクトルを上記第２の動
きベクトルに重み付けして加算合成する。Then, based on the first and second motion vectors, the acceleration of the motion of the image forming the field is detected, and when it is determined that the motion of the image is larger than a predetermined acceleration, the motion of the image is determined. Weighting the first and second motion vectors with respect to the first motion vector and performing additive synthesis;
When it is determined that the motion of the image is smaller than a predetermined acceleration, the first and second motion vectors are weighted to the second motion vector and added and synthesized.
【００１１】[0011]
【実施例】以下、本発明の一実施例について図面に従い
詳細に説明する。本発明は、例えば図１に示すような構
成の手振れ補正装置に適用される。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS One embodiment of the present invention will be described below in detail with reference to the drawings. The present invention is applied to, for example, a camera shake correction apparatus having a configuration as shown in FIG.
【００１２】この図１に示した画像の動きベクトル検出
装置１０は、補正量発生部２０及び補正部３０とともに
ハンディタイプのビデオカメラにおける手振れによる画
像の動きを補正する手振れ補正装置を構成している。図
１において、信号入力端子１には、上記ビデオカメラの
図示しない撮像部による撮像出力として得られるビデオ
信号をディジタル化した入力ビデオデータが供給され
る。The image motion vector detecting device 10 shown in FIG. 1 constitutes a camera shake correcting device for correcting image motion caused by camera shake in a handy type video camera together with the correction amount generating unit 20 and the correcting unit 30. . In FIG. 1, input video data obtained by digitizing a video signal obtained as an imaging output by an imaging unit (not shown) of the video camera is supplied to a signal input terminal 1.
【００１３】上記動きベクトル検出装置１０は、縦続接
続された２個の代表点メモリＦＭ1 ，ＦＭ2 と、これら
の代表点メモリＦＭ1，ＦＭ2 から読み出される各フィ
ールドの代表点画素の画像データが供給される２個の減
算回路ＳＵＢ1 ，ＳＵＢ2 と、これらの減算回路ＳＵＢ
1 ，ＳＵＢ2 による各減算出力データが供給される２個
の動きベクトル検出回路ＤＥＴ1 ，ＤＥＴ2と、これら
の動きベクトル検出回路ＤＥＴ1 ，ＤＥＴ2 により検出
された各動きベクトルが供給される加速度検出回路ＡＣ
Ｄ及び動きベクトル合成回路ＳＹＮを備え、入力ビデオ
データが上記信号入力端子１を介して第１の代表点メモ
リＦＭ1 と第１及び第２の減算回路ＳＵＢ1，ＳＵＢ2
に供給されるようになっている。The motion vector detecting device 10 comprises two cascade-connected representative point memories FM 1 and FM 2, and image data of representative point pixels of each field read from these representative point memories FM 1 and FM 2. Are supplied to the two subtraction circuits SUB 1 and SUB 2 , and these subtraction circuits SUB 1 and SUB 2
Two motion vector detection circuits DET 1 and DET 2 to which respective subtraction output data by 1 and SUB 2 are supplied, and an acceleration to which each motion vector detected by these motion vector detection circuits DET 1 and DET 2 are supplied Detection circuit AC
D and a motion vector synthesizing circuit SYN, and the input video data is supplied to the first representative point memory FM 1 and the first and second subtraction circuits SUB 1 and SUB 2 via the signal input terminal 1.
It is supplied to.
【００１４】上記第１の代表点メモリＦＭ1 は、上記入
力ビデオデータで構成される１フィールドの画像を複数
に分割した各ブロック毎の代表点画素の画像データを記
憶する。具体的には、例えば図２に示すように、１フィ
ールドの画面をｍ画素×ｎラインのブロックに分割し、
図３に示すように各ブロックの中心の画素を代表点と
し、各代表点画素の画像データを上記代表点メモリＦＭ
1 に１フィールド期間記憶する。なお、上記代表点は、
画面上で均一のばらまかれている。そして、この第１の
代表点メモリＦＭ1 から１フィールド前の各代表点画素
の画像データが読み出されて、上記減算回路ＳＵＢ1 に
供給されるとともに第２の代表点メモリＦＭ2 に供給さ
れる。The first representative point memory FM 1 stores image data of representative point pixels for each block obtained by dividing an image of one field composed of the input video data into a plurality of blocks. Specifically, for example, as shown in FIG. 2, a screen of one field is divided into blocks of m pixels × n lines,
As shown in FIG. 3, the pixel at the center of each block is set as a representative point, and the image data of each representative point pixel is stored in the representative point memory FM.
One is stored for one field period. The above representative points are
It is evenly distributed on the screen. Then, the first image data of each representative point pixels of one field before from the representative point memory FM 1 is read out is supplied to the second representative point memory FM 2 is supplied to the subtraction circuit SUB 1 You.
【００１５】また、上記２の代表点メモリＦＭ2 は、上
記第１の代表点メモリＦＭ1 から読み出される１フィー
ルド前の各代表点画素の画像データを１フィールド期間
記憶する。そして、この２の代表点メモリＦＭ2 から２
フィールド前の各代表点画素の画像データが読み出され
て、上記第２の減算回路ＳＵＢ2 に供給される。Further, the representative point memory FM 2 above 2 1 field period storing image data of each representative point pixels of one field before are read from the representative point memory FM 1 of the first. Then, the two representative point memories FM 2 to 2
The image data of each representative point pixel before the field is read and supplied to the second subtraction circuit SUB2.
【００１６】上記第１の減算回路ＳＵＢ1 は、上記信号
入力端子１を介して供給される入力ビデオデータすなわ
ち現フィールドの画像データについて、ブロック毎のｍ
×ｎ個の各画素の画像データと上記第１の代表点メモリ
ＦＭ1 から読み出される１フィールド前の対応するブロ
ックの代表点画素の画像データとの差分すなわち１フィ
ールド間の各差分を検出する。そして、この第１の減算
回路ＳＵＢ1 による減算出力データとして得られる１フ
ィールド間の各差分値データが上記第１の動きベクトル
検出回路ＤＥＴ1 に供給される。The first subtraction circuit SUB 1 converts m of input video data supplied through the signal input terminal 1, that is, image data of the current field, for each block.
× detects each difference between the difference i.e. one field of the n image data of a representative point pixels of one field before of the corresponding block to be read from the image data and the first representative point memory FM 1 of each pixel. Then, each difference value data of one field obtained as the first subtraction output data by the subtraction circuit SUB 1 is supplied to the first motion vector detection circuit DET 1.
【００１７】また、上記第２の減算回路ＳＵＢ2 は、上
記信号入力端子１を介して供給される入力ビデオデータ
すなわち現フィールドの画像データについて、ブロック
毎のｍ×ｎ個の各画素の画像データと上記第２の代表点
メモリＦＭ2 から読み出される２フィールド前の対応す
るブロックの代表点画素の画像データとの差分すなわち
２フィールド間の各差分を検出する。そして、この第２
の減算回路ＳＵＢ2 による減算出力データとして得られ
る２フィールド間の差分値データが上記第２の動きベク
トル検出回路ＤＥＴ2に供給される。Further, the second subtraction circuit SUB 2 converts the input video data supplied through the signal input terminal 1, that is, the image data of the current field, into image data of m × n pixels for each block. and detecting the respective differences between the difference namely 2 fields and two fields before the corresponding image data of the representative point pixels of blocks read from the second representative point memory FM 2. And this second
Difference data between two fields obtained as the subtraction output data by the subtraction circuit SUB 2 is supplied to the second motion vector detection circuit DET 2.
【００１８】上記第１の動きベクトル検出回路ＤＥＴ1
は、上記第１の減算回路ＳＵＢ1 により得られた各ブロ
ックの１フィールド間の差分値を対応する画素毎に１フ
ィールド期間に亘って積算して、１ブロック分の画素配
列に対応するｍ×ｎの整数座標を有する相関積算値表を
形成し、その相関積算値の最小値の座標Ｐ（ｘ，ｙ）を
動きベクトル座標として検出する。ここで、上記相関積
算値表は、１フィールド間の差分値の積算値の分布を示
し、上記代表点画素に対して１フィールド相関の最も強
い画素に対応する座標の相関積算値が最小値となる。従
って、上記代表点画素に対応する座標Ｐ（０，０）に対
する上記最小相関積算値の座標Ｐ（ｘ，ｙ）が動きベク
トルを表すことになる。そして、この第１の動きベクト
ル検出回路ＤＥＴ1 は、上記最小相関積算値の座標Ｐ
（ｘ，ｙ）から動きベクトルを算出して出力する。この
第１の動きベクトル検出回路ＤＥＴ1 により得られる１
フィールド間の画像の動きベクトルが上記加速度検出回
路ＡＣＤ及び動きベクトル合成回路ＳＹＮに供給され
る。The first motion vector detection circuit DET 1
Is obtained by integrating the difference value between one field of each block obtained by the first subtraction circuit SUB 1 for each corresponding pixel over a one-field period, and obtaining m × x corresponding to a pixel array of one block. A correlation integrated value table having integer coordinates of n is formed, and a coordinate P (x, y) of a minimum value of the correlation integrated value is detected as a motion vector coordinate. Here, the correlation integrated value table shows a distribution of integrated values of difference values between one field, and a correlation integrated value of coordinates corresponding to a pixel having the strongest one-field correlation with respect to the representative point pixel is a minimum value. Become. Therefore, the coordinates P (x, y) of the minimum correlation integrated value with respect to the coordinates P (0,0) corresponding to the representative point pixel represent a motion vector. Then, the first motion vector detection circuit DET 1 calculates the coordinates P of the minimum correlation integrated value.
A motion vector is calculated from (x, y) and output. 1 obtained by the first motion vector detection circuit DET 1
The motion vector of the image between the fields is supplied to the acceleration detection circuit ACD and the motion vector synthesis circuit SYN.
【００１９】また、上記第２の動きベクトル検出回路Ｄ
ＥＴ2 は、上記第２の減算回路ＳＵＢ2 により得られた
各ブロックの２フィールド間の差分値を対応する画素毎
に１フィールド期間に亘って積算して相関積算値表を形
成し、その相関積算値の最小値の座標Ｐ（ｘ，ｙ）を動
きベクトル座標として検出する。そして、この第２の動
きベクトル検出回路ＤＥＴ2 は、上記最小相関積算値の
座標Ｐ（ｘ，ｙ）から１フィールド間の動きベクトルに
変換した動きベクトルを算出して出力する。すなわち、
上記最小相関積算値の座標Ｐ（ｘ，ｙ）を１フィールド
間の動きベクトル座標Ｐ（ｘ／２，ｙ／２）に換算し
て、動きベクトルを算出する。この第２の動きベクトル
検出回路ＤＥＴ2により得られる２フィールド間の画像
の動きベクトルを１フィールド間の動きベクトルに換算
した動きベクトルが上記加速度検出回路ＡＣＤ及び動き
ベクトル合成回路ＳＹＮに供給される。The second motion vector detection circuit D
ET 2 forms a correlation integrated value table by integrating the difference value between the two fields of each block obtained by the second subtraction circuit SUB 2 for each corresponding pixel for one field period, and forming a correlation integrated value table. The coordinates P (x, y) of the minimum value of the integrated value are detected as motion vector coordinates. Then, the second motion vector detection circuit DET 2 calculates and outputs a motion vector obtained by converting the coordinates P (x, y) of the minimum correlation integrated value into a motion vector for one field. That is,
The motion vector is calculated by converting the coordinates P (x, y) of the minimum correlation integrated value into motion vector coordinates P (x / 2, y / 2) for one field. A motion vector obtained by converting a motion vector of an image between two fields obtained by the second motion vector detection circuit DET 2 into a motion vector of one field is supplied to the acceleration detection circuit ACD and the motion vector synthesis circuit SYN.
【００２０】上記第１及び第２の動きベクトル検出回路
ＤＥＴ1 ，ＤＥＴ2 では、画像の動きが線形であれば、
検出期間が長いもの程動きベクトルの検出精度が高くな
り、ＤＥＴ1 ＜ＤＥＴ2 なる検出精度の各動きベクトル
が得られる。In the first and second motion vector detection circuits DET 1 and DET 2 , if the motion of the image is linear,
The longer the detection period is, the higher the motion vector detection accuracy is, and each motion vector having a detection accuracy of DET 1 <DET 2 is obtained.
【００２１】上記加速度検出回路ＡＣＤは、上記第１及
び第２の動きベクトル検出回路ＤＥＴ1 ，ＤＥＴ2 によ
り得られる各動きベクトルに基づいて、画像の動きの加
速度を検出する。そして、この加速度検出回路ＡＣＤ
は、上記画像の動きの加速度に応じた検出出力ｋ（０≦
ｋ≦１）を出力する。この加速度検出回路ＡＣＤによる
検出出力ｋは、画像の動きが線形で一定に移動している
状態ではｋ＝１で、画像の動きが非線形で１フィールド
毎の動きベクトルの変動する状態ではその変動量すなわ
ち加速度に反比例してｋが小さくなり、変動が激しい状
態でｋ＝０となる。The acceleration detection circuit ACD detects the acceleration of the image motion based on the motion vectors obtained by the first and second motion vector detection circuits DET 1 and DET 2 . The acceleration detection circuit ACD
Is the detection output k (0 ≦
k ≦ 1) is output. The detection output k of the acceleration detection circuit ACD is k = 1 when the motion of the image is linear and constantly moving, and when the motion of the image is nonlinear and the motion vector fluctuates for each field, the fluctuation amount is k. That is, k decreases in inverse proportion to the acceleration, and k = 0 in a state where the fluctuation is severe.
【００２２】また、上記動きベクトル合成回路ＳＹＮ
は、上記第１の動きベクトル検出回路ＤＥＴ1 により得
られる１フィールド間の画像の動きベクトルが供給され
る第１の乗算器ＭＵＬ1 と、上記第２の動きベクトル検
出回路ＤＥＴ2 により得られる２フィールド間の画像の
動きベクトルを１フィールド間の動きベクトルに換算し
た動きベクトルが供給される第２の乗算器ＭＵＬ2 と、
上記各乗算器ＭＵＬ1 ，ＭＵＬ2による乗算出力データ
が供給される加算器ＡＤＤと、上記加速度検出回路ＡＣ
Ｄによる検出出力ｋから１−ｋなる係数を発生する係数
発生器ＣＯＧを備えてなる。The motion vector synthesizing circuit SYN
Is a first multiplier MUL 1 to which a motion vector of an image for one field obtained by the first motion vector detection circuit DET 1 is supplied, and 2 obtained by the second motion vector detection circuit DET 2 A second multiplier MUL 2 to which a motion vector obtained by converting a motion vector of an image between fields into a motion vector between one field is supplied;
An adder ADD to which multiplication output data from the multipliers MUL 1 and MUL 2 is supplied;
A coefficient generator COG for generating a coefficient of 1-k from a detection output k of D is provided.
【００２３】上記第１の乗算器ＭＵＬ1 は、上記加速度
検出回路ＡＣＤによる検出出力ｋが係数として供給され
ており、上記第１の動きベクトル検出回路ＤＥＴ1 によ
り得られる１フィールド間の画像の動きベクトルに上記
係数ｋを乗算する。また、上記第２の乗算器ＭＵＬ
2 は、上記係数発生器ＣＯＧから係数１−ｋが供給され
ており、上記第２の動きベクトル検出回路ＤＥＴ2 によ
り得られる２フィールド間の画像の動きベクトルを１フ
ィールド間の動きベクトルに換算した動きベクトルに上
記係数１−ｋを乗算する。The first multiplier MUL 1 is supplied with the detection output k of the acceleration detection circuit ACD as a coefficient, and outputs the motion of an image between one field obtained by the first motion vector detection circuit DET 1. The vector is multiplied by the coefficient k. Also, the second multiplier MUL
2 , a coefficient 1-k is supplied from the coefficient generator COG, and a motion vector of an image between two fields obtained by the second motion vector detection circuit DET 2 is converted into a motion vector between one field. The motion vector is multiplied by the coefficient 1-k.
【００２４】そして、上記加算器ＡＤＤは、上記第１の
乗算器ＭＵＬ1 により係数ｋが乗算された動きベクトル
と上記第２の乗算器ＭＵＬ2 により係数ｋ−１が乗算さ
れた動きベクトルとを加算合成した動きベクトルを出力
する。The adder ADD calculates the motion vector multiplied by the coefficient k by the first multiplier MUL 1 and the motion vector multiplied by the coefficient k−1 by the second multiplier MUL 2. The motion vector obtained by addition and synthesis is output.
【００２５】このような構成の動きベクトル検出装置１
０では、画像の動きが非線形で１フィールド毎の動きベ
クトルが激し変動する状態では上記検出出力ｋがｋ＝０
となって、１フィールド間の差分値に基づいて上記第１
の動きベクトル検出回路ＤＥＴ1 により得られる１フィ
ールド間の画像の動きベクトルが上記動きベクトル合成
回路ＳＹＮから出力される。また、画像の動きが線形で
一定に移動している状態では上記検出出力ｋがｋ＝１と
なることにより、２フィールド間の差分値の基づいて上
記第２の動きベクトル検出回路ＤＥＴ2 により得られる
２フィールド間の画像の動きベクトルを１フィールド間
の動きベクトルに換算した精度の高い動きベクトルが上
記動きベクトル合成回路ＳＹＮから出力される。そし
て、上記動きベクトル合成回路ＳＹＮは、上記第１の動
きベクトル検出回路ＤＥＴ1 により得られる１フィール
ド間の画像の動きベクトルと、上記第２の動きベクトル
検出回路ＤＥＴ2 により得られる２フィールド間の画像
の動きベクトルを１フィールド間の動きベクトルに換算
した動きベクトルとを、上記加速度検出回路ＡＣＤによ
る検出出力ｋ（０≦ｋ≦１）に応じた比率ｋ：１−ｋで
加算合成した動きベクトルを出力するので、上記第１及
び第２の動きベクトル検出回路ＤＥＴ1 ，ＤＥＴ2 によ
り得られる各動きベクトルを所謂クロスフェードにより
滑らかに切り換えることができる。The motion vector detecting device 1 having such a configuration
0, the detection output k is k = 0 in a state where the motion of the image is nonlinear and the motion vector for each field fluctuates drastically.
And the first value is calculated based on the difference value between one field.
The motion vector of the image for one field obtained by the motion vector detecting circuit DET 1 is output from the motion vector synthesizing circuit SYN. When the motion of the image is moving linearly and constantly, the detection output k becomes k = 1, so that the second motion vector detection circuit DET 2 obtains the detection output k based on the difference value between the two fields. A highly accurate motion vector obtained by converting a motion vector of an image between two fields into a motion vector between one field is output from the motion vector synthesizing circuit SYN. Then, the motion vector synthesizing circuit SYN controls the motion vector of the image between one field obtained by the first motion vector detecting circuit DET 1 and the motion vector of the two fields obtained by the second motion vector detecting circuit DET 2 . A motion vector obtained by adding and synthesizing a motion vector obtained by converting a motion vector of an image into a motion vector for one field at a ratio k: 1-k corresponding to a detection output k (0 ≦ k ≦ 1) of the acceleration detection circuit ACD. Is output, each of the motion vectors obtained by the first and second motion vector detection circuits DET 1 and DET 2 can be smoothly switched by a so-called cross fade.
【００２６】そして、この動きベクトル検出装置１０に
より検出された動きベクトルが上記補正量発生部２０に
供給される。The motion vector detected by the motion vector detecting device 10 is supplied to the correction amount generator 20.
【００２７】上記補正量発生部２０は、上記動きベクト
ル検出装置１０が検出した動きベクトルを手振れベクト
ルとして手振れ補正信号を形成し、この手振れ補正信号
を上記補正部３０に供給する。The correction amount generation section 20 forms a camera shake correction signal using the motion vector detected by the motion vector detection device 10 as a camera shake vector, and supplies the camera shake correction signal to the correction section 30.
【００２８】また、上記補正部３０は、例えば図４に示
すように、上記補正量発生部２０から手振れ補正信号が
供給されるアドレス制御回路３１及びセレクト信号発生
回路３２と、上記アドレス制御回路３１から供給される
アドレス信号に従ってビデオデータの書き込み／読み出
しが行われるフレームメモリ３３及び周辺メモリ３４
と、上記フレームメモリ３３及び周辺メモリ３４から読
み出されるビデオデータを上記セレクト信号発生回路３
２から供給されるセレクト信号に応じて選択的に出力す
るセレクタ３５とを備えてなる。As shown in FIG. 4, for example, the correction section 30 includes an address control circuit 31 and a select signal generation circuit 32 to which a camera shake correction signal is supplied from the correction amount generation section 20, and an address control circuit 31. Memory 33 and peripheral memory 34 in which video data is written / read in accordance with an address signal supplied from
And the video data read from the frame memory 33 and the peripheral memory 34 are transferred to the select signal generating circuit 3.
And a selector 35 for selectively outputting in response to the select signal supplied from the selector 2.
【００２９】上記フレームメモリ３２には、上記信号入
力端子１を介して供給される入力ビデオデータが順次書
き込まれる。そして、このフレームメモリ３２の読み出
しアドレスが上記手振れ補正信号により上記手振れベク
トルに応じて制御される。これにより、上記フレームメ
モリ３２からは、１フレームの入力ビデオデータが上記
手振れベクトルに応じて移動されたビデオデータが得ら
れる。そして、このフレームメモリ３２から読み出され
るビデオデータと上記周辺メモリ３３から読み出される
周辺ビデオデータとが上記セレクタ３５による選択によ
って合成され、手振れ補正処理済のビデオデータとして
信号出力端子２から出力される。Input video data supplied via the signal input terminal 1 is sequentially written into the frame memory 32. The read address of the frame memory 32 is controlled by the camera shake correction signal in accordance with the camera shake vector. As a result, video data obtained by moving one frame of input video data according to the camera shake vector is obtained from the frame memory 32. Then, the video data read from the frame memory 32 and the peripheral video data read from the peripheral memory 33 are combined by selection by the selector 35, and are output from the signal output terminal 2 as video data subjected to camera shake correction processing.
【００３０】なお、上記周辺メモリ３３には、上記セレ
クタ３５を介して出力される手振れ補正処理済のビデオ
データによる画像の補正範囲に相当する周辺部分のビデ
オデータが周辺ビデオデータとして逐次書き込まれる。In the peripheral memory 33, video data of a peripheral portion corresponding to a correction range of an image by the video data subjected to the camera shake correction output via the selector 35 is sequentially written as peripheral video data.
【００３１】上述のように上記動きベクトル検出装置１
０により画像の動きベクトルを高い精度で検出すること
ができるので、この動きベクトルに基づいて手振れ補正
を行う手振れ補正装置では、高い手振れ補正精度を確保
することができ、自然な画像出力が得られる。As described above, the motion vector detecting device 1
Since a motion vector of an image can be detected with high accuracy by using 0, a camera shake correction device that performs camera shake correction based on this motion vector can ensure high camera shake correction accuracy and obtain a natural image output. .
【００３２】[0032]
【発明の効果】以上の説明からも明らかなように、本発
明では、１フィールドを複数のブロックに分割し、現フ
ィールドの上記ブロック内の各画素データと、当該ブロ
ックに対応する１フィールド前の代表画素データとの差
分値を検出するとともに、上記現フィールドの上記ブロ
ック内の各画素データと、当該ブロックに対応する２フ
ィールド前の代表画素データとの差分値を検出し、ま
た、上記現フィールドの上記ブロック内の各画素データ
と、当該ブロックに対応する１フィールド前の代表画素
データとの差分値に基づいて第１の動きベクトルを検出
するとともに、上記現フィールドの上記ブロック内の各
画素データと、当該ブロックに対応する２フィールド前
の代表画素データとの差分値に基づいて第２の動きベク
トルを検出し、上記第１及び第２の動きベクトルに基づ
いて、上記フィールドを構成する画像の動きの加速度を
検出し、上記画像の動きが所定加速度よりも大きいと判
定されるとき、上記第１及び第２の動きベクトルを上記
第１の動きベクトルに重み付けして加算合成し、上記画
像の動きが所定加速度よりも小さいと判定されるとき、
上記第１及び第２の動きベクトルを上記第２の動きベク
トルに重み付けして加算合成するので、第１及び第２の
動きベクトルをクロスフェードにより滑らかに切り換え
て、画像の線形な動きに対して高い精度の動きベクトル
を得ることができる。As is apparent from the above description, according to the present invention, one field is divided into a plurality of blocks, and each pixel data in the block of the current field and the preceding one field corresponding to the block are assigned. Detecting a difference value between the representative pixel data and each pixel data in the block of the current field and the representative pixel data two fields before the corresponding block in the current field; A first motion vector is detected based on a difference value between each pixel data in the block and the representative pixel data in the previous field corresponding to the block, and each pixel data in the block in the current field is detected. And the second motion vector is detected based on the difference value between the representative pixel data two fields before and corresponding to the block. Detecting the acceleration of the motion of the image forming the field based on the first and second motion vectors, and determining that the motion of the image is larger than a predetermined acceleration; Is weighted to the first motion vector and added and synthesized. When it is determined that the motion of the image is smaller than a predetermined acceleration,
Since the first and second motion vectors are weighted to the second motion vector and added and synthesized, the first and second motion vectors are smoothly switched by cross-fade to reduce linear motion of the image. A highly accurate motion vector can be obtained.
【００３３】従って、本発明によれば、高精度で画像の
動きベクトルを検出して画像に振動補正処理を施すこと
ができ、ハンディタイプのビデオカメラなどにおける高
性能の手振れ補正を可能にすることができる。Therefore, according to the present invention, it is possible to detect a motion vector of an image with high accuracy and to perform a vibration correction process on the image, thereby enabling high-performance camera shake correction in a handy type video camera or the like. Can be.
【図１】本発明に係る画像の動きベクトル検出装置を設
けた手振れ補正装置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a camera shake correction apparatus provided with an image motion vector detection apparatus according to the present invention.
【図２】上記動きベクトル検出装置における画面のブロ
ック分割の状態を示す図である。FIG. 2 is a diagram illustrating a state of block division of a screen in the motion vector detection device.
【図３】上記ブロック分割された画面の１ブロックの構
造を示す図である。FIG. 3 is a diagram showing a structure of one block of the screen divided into blocks.
【図４】上記動きベクトル検出装置を設けた手振れ補正
装置の補正部の構成を示すブロック図である。FIG. 4 is a block diagram illustrating a configuration of a correction unit of the camera shake correction device provided with the motion vector detection device.
１０・・・・・・・・・・動きベクトル検出装置 ＦＭ1 ，ＦＭ2 ・・・・・代表点メモリ ＳＵＢ1 ，ＳＵＢ2 ・・・減算回路 ＤＥＴ1 ，ＤＥＴ2 ・・・動きベクトル検出回路 ＡＣＤ・・・・・・・・・加速度検出回路 ＳＹＮ・・・・・・・・・動きベクトル合成回路...... Motion vector detecting device FM 1 , FM 2 ... Representative point memory SUB 1 , SUB 2 ... Subtraction circuit DET 1 , DET 2. ACD ······· Acceleration detection circuit SYN ······· Motion vector synthesis circuit
───────────────────────────────────────────────────── フロントページの続き (72)発明者 堀士 賢 東京都品川区北品川６丁目７番35号 ソ ニー株式会社内 (72)発明者 橋野 司 東京都品川区北品川６丁目７番35号 ソ ニー株式会社内 (56)参考文献 特開 平２−79586（ＪＰ，Ａ) 特開 昭61−237581（ＪＰ，Ａ) 特開 平２−79584（ＪＰ，Ａ) 特開 昭63−166370（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 5/225 - 5/247 ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Ken Satoshi 6-35, Kita-Shinagawa, Shinagawa-ku, Tokyo Inside Sony Corporation (72) Inventor Tsukasa Hashino 6-35, Kita-Shinagawa, Shinagawa-ku, Tokyo No. Sony Corporation (56) References JP-A-2-79586 (JP, A) JP-A-61-237581 (JP, A) JP-A-2-79584 (JP, A) JP-A-63-166370 (JP, A) (58) Field surveyed (Int. Cl. 7 , DB name) H04N 5/225-5/247
Claims (4)
ドの画像を複数に分割した各ブロック毎の代表点画素の
画像データを１フィールド分記憶する第１の代表点メモ
リと、 上記第１の代表点メモリから読み出される１フィールド
前の各ブロック毎の代表点画素の画像データを１フィー
ルド分記憶する第２の代表点メモリと、 現フィールドのブロックの各画素の画像データと上記第
１の代表点メモリから読み出される１フィールド前のブ
ロックの代表点画素の画像データとの差分値を上記各画
素毎に検出する第１の差分検出手段と、 現フィールドのブロックの各画素の画像データと上記第
２の代表点メモリから読み出される２フィールド前のブ
ロックの代表点画素の画像データとの差分値を上記各画
素毎に検出する第２の差分検出手段と、 上記第１の差分検出手段により検出された１フィールド
間の各差分値に基づいて第１の動きベクトルを検出する
第１の動きベクトル検出手段と、 上記第２の差分検出手段により検出された２フィールド
間の各差分値に基づいて上記１フィールド間の動きベク
トルに対応する第２の動きベクトルを検出する第２の動
きベクトル検出手段と、 上記第１及び第２の動きベクトルに基づいて、上記フィ
ールドを構成する画像の動きの加速度を検出する加速度
検出手段と、 上記加速度検出手段により上記画像の動きが所定加速度
よりも大きいと判定されるとき、上記第１及び第２の動
きベクトルを上記第１の動きベクトルに重み付けして加
算合成し、上記加速度検出手段により上記画像の動きが
所定加速度よりも小さいと判定されるとき、上記第１及
び第２の動きベクトルを上記第２の動きベクトルに重み
付けして加算合成する動きベクトル合成手段とを備える
ことを特徴とする画像の動きベクトル検出装置。1. A first representative point memory for storing one field of image data of a representative point pixel for each block obtained by dividing an image of one field constituted by an input video signal into a plurality of blocks; A second representative point memory for storing one field of image data of a representative point pixel of each block before one field read from the point memory; an image data of each pixel of a block of the current field and the first representative point; First difference detection means for detecting, for each pixel, a difference value between the image data of the representative point pixel of the block one field before and read from the memory; and image data of each pixel of the block of the current field and the second data. Second difference detecting means for detecting, for each pixel, a difference value between the image data of the representative point pixel of the block two fields before and read from the representative point memory; A first motion vector detecting unit that detects a first motion vector based on each difference value between one field detected by the first difference detecting unit; and a second motion vector detecting unit that detects the first motion vector based on the second difference detecting unit. A second motion vector detecting unit that detects a second motion vector corresponding to the motion vector between the one field based on each difference value between the fields; and, based on the first and second motion vectors, Acceleration detecting means for detecting the acceleration of the motion of the image constituting the field; and when the acceleration detecting means determines that the motion of the image is larger than a predetermined acceleration, the first and second motion vectors are converted to the first and second motion vectors. 1 is weighted and added and synthesized, and when the acceleration detecting means determines that the motion of the image is smaller than a predetermined acceleration, the first and second motion vectors are determined. A motion vector synthesizing means for weighting the second motion vector to the second motion vector and adding and synthesizing the motion vector;
し、現フィールドの上記ブロック内の各画素データと、
当該ブロックに対応する１フィールド前の代表画素デー
タとの差分値を検出するステップと、 上記現フィールドの上記ブロック内の各画素データと、
当該ブロックに対応する２フィールド前の代表画素デー
タとの差分値を検出するステップと、 上記現フィールドの上記ブロック内の各画素データと、
当該ブロックに対応する１フィールド前の代表画素デー
タとの差分値に基づいて第１の動きベクトルを検出する
ステップと、 上記現フィールドの上記ブロック内の各画素データと、
当該ブロックに対応する２フィールド前の代表画素デー
タとの差分値に基づいて第２の動きベクトルを検出する
ステップと、 上記第１及び第２の動きベクトルに基づいて、上記フィ
ールドを構成する画像の動きの加速度を検出するステッ
プと、 上記画像の動きが所定加速度よりも大きいと判定される
とき、上記第１及び第２の動きベクトルを上記第１の動
きベクトルに重み付けして加算合成し、上記画像の動き
が所定加速度よりも小さいと判定されるとき、上記第１
及び第２の動きベクトルを上記第２の動きベクトルに重
み付けして加算合成するステップとを備えることを特徴
とする画像の動きベクトル検出方法。2. One field is divided into a plurality of blocks, and each pixel data in the block of the current field is
Detecting a difference value between the representative pixel data one field before and corresponding to the block; and each pixel data in the block of the current field;
Detecting a difference value between the representative pixel data two fields before and corresponding to the block; and each pixel data in the block of the current field;
Detecting a first motion vector based on a difference value between the representative pixel data one field before and corresponding to the block, and each pixel data in the block of the current field;
Detecting a second motion vector based on a difference value from representative pixel data two fields before the block corresponding to the block; and detecting an image forming the field based on the first and second motion vectors. Detecting a motion acceleration; and when it is determined that the motion of the image is larger than a predetermined acceleration, the first and second motion vectors are weighted to the first motion vector and added and synthesized. When it is determined that the motion of the image is smaller than the predetermined acceleration, the first
And adding and combining the second motion vector by weighting the second motion vector and adding and synthesizing the second motion vector.
ドの画像を複数に分割した各ブロック毎の代表点画素の
画像データを１フィールド分記憶する第１の代表点メモ
リと、 上記第１の代表点メモリから読み出される１フィールド
前の各ブロック毎の代表点画素の画像データを１フィー
ルド分記憶する第２の代表点メモリと、 現フィールドのブロックの各画素の画像データと上記第
１の代表点メモリから読み出される１フィールド前のブ
ロックの代表点画素の画像データとの差分値を上記各画
素毎に検出する第１の差分検出手段と、 現フィールドのブロックの各画素の画像データと上記第
２の代表点メモリから読み出される２フィールド前のブ
ロックの代表点画素の画像データとの差分値を上記各画
素毎に検出する第２の差分検出手段と、 上記第１の差分検出手段により検出された１フィールド
間の各差分値に基づいて第１の動きベクトルを検出する
第１の動きベクトル検出手段と、 上記第２の差分検出手段により検出された２フィールド
間の各差分値に基づいて上記１フィールド間の動きベク
トルに対応する第２の動きベクトルを検出する第２の動
きベクトル検出手段と、 上記第１及び第２の動きベクトルに基づいて、上記フィ
ールドを構成する画像の動きの加速度を検出する加速度
検出手段と、 上記加速度検出手段により上記画像の動きが所定加速度
よりも大きいと判定されるとき、上記第１及び第２の動
きベクトルを上記第１の動きベクトルに重み付けして加
算合成し、上記加速度検出手段により上記画像の動きが
所定加速度よりも小さいと判定されるとき、上記第１及
び第２の動きベクトルを上記第２の動きベクトルに重み
付けして加算合成する動きベクトル合成手段と、 上記動きベクトル合成手段により合成された動きベクト
ルに応じた補正量の補正信号を形成する補正量発生手段
と、 上記補正量発生手段から供給される補正信号により上記
フィールドを構成する画像に振動補正処理を施す補正手
段と、 を備えることを特徴とする画像の振動補正装置。3. A first representative point memory for storing one field of image data of representative point pixels for each block obtained by dividing an image of one field constituted by an input video signal into a plurality of blocks; A second representative point memory for storing one field of image data of a representative point pixel of each block before one field read from the point memory; an image data of each pixel of a block of the current field and the first representative point; First difference detection means for detecting, for each pixel, a difference value between the image data of the representative point pixel of the block one field before and read from the memory; and image data of each pixel of the block of the current field and the second data. Second difference detecting means for detecting, for each pixel, a difference value between the image data of the representative point pixel of the block two fields before and read from the representative point memory; A first motion vector detecting unit that detects a first motion vector based on each difference value between one field detected by the first difference detecting unit; and a second motion vector detecting unit that detects the first motion vector based on the second difference detecting unit. A second motion vector detecting unit that detects a second motion vector corresponding to the motion vector between the one field based on each difference value between the fields; and, based on the first and second motion vectors, Acceleration detecting means for detecting the acceleration of the motion of the image constituting the field; and when the acceleration detecting means determines that the motion of the image is larger than a predetermined acceleration, the first and second motion vectors are converted to the first and second motion vectors. 1 is weighted and added and synthesized, and when the acceleration detecting means determines that the motion of the image is smaller than a predetermined acceleration, the first and second motion vectors are determined. A motion vector synthesizing means for weighting the second motion vector to the second motion vector and adding and synthesizing the same; and a correction amount generation for forming a correction signal of a correction amount according to the motion vector synthesized by the motion vector synthesizing means. And a correction unit for performing a vibration correction process on an image forming the field based on a correction signal supplied from the correction amount generation unit.
し、現フィールドの上記ブロック内の各画素データと、
当該ブロックに対応する１フィールド前の代表画素デー
タとの差分値を検出するステップと、 上記現フィールドの上記ブロック内の各画素データと、
当該ブロックに対応する２フィールド前の代表画素デー
タとの差分値を検出するステップと、 上記現フィールドの上記ブロック内の各画素データと、
当該ブロックに対応する１フィールド前の代表画素デー
タとの差分値に基づいて第１の動きベクトルを検出する
ステップと、 上記現フィールドの上記ブロック内の各画素データと、
当該ブロックに対応する２フィールド前の代表画素デー
タとの差分値に基づいて第２の動きベクトルを検出する
ステップと、 上記第１及び第２の動きベクトルに基づいて、上記フィ
ールドを構成する画像の動きの加速度を検出するステッ
プと、 上記画像の動きが所定加速度よりも大きいと判定される
とき、上記第１及び第２の動きベクトルを上記第１の動
きベクトルに重み付けして加算合成し、 上記画像の動きが所定加速度よりも小さいと判定される
とき、上記第１及び第２の動きベクトルを上記第２の動
きベクトルに重み付けして加算合成するステップと、 上記加算合成された動きベクトルに応じた補正量の補正
信号を形成するステップと、 上記補正信号により上記フィールドを構成する画像に振
動補正処理を施すステップとを備えることを特徴とする
画像の振動補正方法。4. A field is divided into a plurality of blocks, and each pixel data in the block of the current field is
Detecting a difference value between the representative pixel data one field before and corresponding to the block; and each pixel data in the block of the current field;
Detecting a difference value between the representative pixel data two fields before and corresponding to the block; and each pixel data in the block of the current field;
Detecting a first motion vector based on a difference value between the representative pixel data one field before and corresponding to the block, and each pixel data in the block of the current field;
Detecting a second motion vector based on a difference value from representative pixel data two fields before the block corresponding to the block; and detecting an image forming the field based on the first and second motion vectors. Detecting the acceleration of the motion, and when it is determined that the motion of the image is greater than a predetermined acceleration, the first and second motion vectors are weighted to the first motion vector and added and synthesized. When it is determined that the motion of the image is smaller than the predetermined acceleration, the first and second motion vectors are weighted to the second motion vector and added and synthesized. Forming a correction signal of the corrected amount, and performing a vibration correction process on an image forming the field by the correction signal. Vibration correction method of the image characterized by and.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29048391A JP3271271B2 (en) | 1991-10-11 | 1991-10-11 | Image motion vector detection device, image motion vector detection method, image vibration correction device, and image vibration correction method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29048391A JP3271271B2 (en) | 1991-10-11 | 1991-10-11 | Image motion vector detection device, image motion vector detection method, image vibration correction device, and image vibration correction method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05110934A JPH05110934A (en) | 1993-04-30 |
| JP3271271B2 true JP3271271B2 (en) | 2002-04-02 |
Family
ID=17756608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29048391A Expired - Lifetime JP3271271B2 (en) | 1991-10-11 | 1991-10-11 | Image motion vector detection device, image motion vector detection method, image vibration correction device, and image vibration correction method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3271271B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012023768A (en) * | 2011-09-29 | 2012-02-02 | Sanyo Electric Co Ltd | Imaging apparatus |
| GB2500909A (en) * | 2012-04-04 | 2013-10-09 | Snell Ltd | Selecting motion vectors on the basis of acceleration |
| JP6971808B2 (en) * | 2017-11-28 | 2021-11-24 | キヤノン株式会社 | Image shake correction device, image pickup device and control method |
-
1991
- 1991-10-11 JP JP29048391A patent/JP3271271B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH05110934A (en) | 1993-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5253064A (en) | Video camera apparatus with electronic zoom control and method therefor | |
| KR0175406B1 (en) | Apparatus and method of electronic image enlargement of high resolution | |
| US8059904B2 (en) | Image-processing device, electronic camera, image-processing program, and image-processing method | |
| JP3200889B2 (en) | Image vibration correction device | |
| US5313296A (en) | Image information processor in which residual information is stored in a blank area of a field memory | |
| JPH02108393A (en) | Method and apparatus for measuring picture movement | |
| US5585843A (en) | Video camera with image shift correction | |
| JP3271271B2 (en) | Image motion vector detection device, image motion vector detection method, image vibration correction device, and image vibration correction method | |
| JP3196258B2 (en) | Image motion vector detection device | |
| US5321515A (en) | Image fluctuation correcting apparatus | |
| KR100497556B1 (en) | Image processing apparatus and method | |
| JP3303312B2 (en) | Image vibration correction apparatus and image vibration correction method | |
| JP3469626B2 (en) | Motion compensated video signal processing apparatus and video signal processing method | |
| JP3303311B2 (en) | Image vibration correction apparatus and image vibration correction method | |
| JP3949740B2 (en) | Electronic zoom processing apparatus and electronic zoom processing method | |
| JP2647165B2 (en) | Image motion detection device and image motion correction device | |
| JP3179475B2 (en) | Signal processing device and signal processing method | |
| JP3303310B2 (en) | Image vibration correction apparatus and image vibration correction method | |
| JP2552742B2 (en) | Adaptive contour correction circuit | |
| JP3271275B2 (en) | Image vibration correction apparatus and image vibration correction method | |
| US7095446B2 (en) | Method and device for phase correction of a vertically distorted digital image | |
| JP3221052B2 (en) | Image shake detection device | |
| JP3200888B2 (en) | Image vibration correction device | |
| JP3271273B2 (en) | Image vibration determination apparatus, image vibration correction apparatus, image vibration determination method, and image vibration correction method | |
| JPH06121290A (en) | Picture converter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20011225 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080125 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090125 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100125 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100125 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110125 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110125 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120125 Year of fee payment: 10 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120125 Year of fee payment: 10 |