JP3271275B2 - Image vibration correction apparatus and image vibration correction method - Google Patents
Image vibration correction apparatus and image vibration correction methodInfo
- Publication number
- JP3271275B2 JP3271275B2 JP30397491A JP30397491A JP3271275B2 JP 3271275 B2 JP3271275 B2 JP 3271275B2 JP 30397491 A JP30397491 A JP 30397491A JP 30397491 A JP30397491 A JP 30397491A JP 3271275 B2 JP3271275 B2 JP 3271275B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- motion vector
- block
- image
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Description
【０００１】[0001]
【産業上の利用分野】本発明は、ハンディタイプのビデ
オカメラの撮像出力等をビデオデータに含まれる所謂手
振れによる画像の移動量を検出して補正する画像の振動
補正装置及び画像の振動補正方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image vibration correcting apparatus and a method for correcting an image output of a handy type video camera by detecting a moving amount of an image caused by a so-called camera shake contained in video data. About.
【０００２】[0002]
【従来の技術】一般に、ハンディタイプのビデオカメラ
では、撮影時の手振れすなわちカメラの振動が画像の振
動となって現れる。そこで、このような手振れによる画
像の振動を補正する画像動き補正装置として、例えば特
開６３−１６６３７０号公報に開示されているように、
画像の動きベクトルを検出し、この動きベクトルに基づ
いて、画像メモリに貯えられているビデオデータを補正
するものが提案されている。2. Description of the Related Art Generally, in a handy type video camera, camera shake during photographing, that is, camera vibration appears as image vibration. Therefore, as an image motion compensating device for compensating image vibration due to such camera shake, for example, as disclosed in JP-A-63-166370,
There has been proposed an apparatus that detects a motion vector of an image and corrects video data stored in an image memory based on the motion vector.
【０００３】画像の動きベクトルの検出には、例えばブ
ロックマッチング法が採用される。このブロックマッチ
ング法による画像の動きベクトルの検出では、画面を多
数の領域（ブロックと称する）に分割し、各ブロックの
中心に位置する前フレームの代表点画素と現フレームの
ブロック内の各画素の画像データとのフレーム差の絶対
値を演算し、各ブロックのフレーム差分絶対値を対応す
る画素毎に積算して相関積分値を求めて、１ブロック分
の画素配列に対応する座標を有する相関積算値表を形成
する。そして、この相関積算値表における相関積分値の
最小値の座標値を画像の動きベクトルの座標値として画
面全体の動きベクトルを決定している。For detecting a motion vector of an image, for example, a block matching method is employed. In the detection of a motion vector of an image by the block matching method, a screen is divided into a number of regions (referred to as blocks), and a representative point pixel of a previous frame located at the center of each block and a pixel of each pixel in a block of the current frame are determined. The absolute value of the frame difference with the image data is calculated, the absolute value of the frame difference of each block is integrated for each corresponding pixel to obtain a correlation integral value, and the correlation integration having coordinates corresponding to the pixel array of one block Form a value table. Then, the motion vector of the entire screen is determined using the coordinate value of the minimum value of the correlation integral value in the correlation integrated value table as the coordinate value of the motion vector of the image.
【０００４】そして、画像動き補正装置では、検出され
た動きベクトルを補正信号に変換し、この補正信号によ
り現画像を移動する補正を行っている。このような画像
動き補正装置における補正精度は、画像の動きベクトル
の検出精度に依存する。[0004] The image motion compensator converts the detected motion vector into a compensation signal, and carries out compensation for moving the current picture using the compensation signal. The correction accuracy of such an image motion correction device depends on the detection accuracy of a motion vector of an image.
【０００５】[0005]
【発明が解決しようとする課題】ところで、上述のよう
に相関積算値表における相関積分値の最小値の座標値を
画像の動きベクトルの座標値として画面全体の動きベク
トルを決定するようにした従来のブロックマッチング法
による画像の動きベクトル検出装置では、上記相関積分
値が各画素に対応して離散的に算出されており、上記相
関積算値表における整数座標値でしか画像の動きベクト
ルが求まらないので、検出精度が低いという問題点があ
った。従って、従来の画像の動きベクトル検出装置によ
り検出した画像の動きベクトルにより例えば手振れ補正
信号を形成して、手振れ補正を行った場合に、十分な補
正精度が得られず、不自然が画像となってしまう。By the way, as described above, the motion vector of the entire screen is determined by using the coordinate value of the minimum value of the correlation integrated value in the correlation integrated value table as the coordinate value of the motion vector of the image. In the image motion vector detecting apparatus using the block matching method, the correlation integral value is discretely calculated for each pixel, and the motion vector of the image is obtained only by the integer coordinate values in the correlation integrated value table. Therefore, there is a problem that the detection accuracy is low. Therefore, when a camera shake correction signal is formed based on a motion vector of an image detected by a conventional image motion vector detection device and a camera shake correction is performed, sufficient correction accuracy cannot be obtained, and the image becomes unnatural. Would.
【０００６】本発明は、このような実情に鑑みてなされ
たものであり、ハンディタイプのビデオカメラなどにお
いて、静止しているべき画像にドリフトを与えることな
く高性能の手振れ補正を可能にすることを目的とし、画
像の動きベクトルを補間推定処理により高精度に検出し
て、振動補正を行うようにした画像の振動補正装置及び
画像の振動補正方法を提供するものである。SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and it is an object of the present invention to make it possible to perform high-performance camera shake correction in a handy type video camera or the like without giving a drift to an image which should be stationary. It is an object of the present invention to provide an image vibration correction apparatus and an image vibration correction method for detecting a motion vector of an image with high accuracy by interpolation estimation processing and performing vibration correction.
【０００７】[0007]
【課題を解決するための手段】本発明に係る画像の振動
補正装置は、入力ビデオ信号で構成される１フレームの
画像を複数に分割した各ブロック毎の代表点画素の画像
データを記憶するメモリと、現フレームのブロックの各
画素の画像データと上記メモリに記憶された前フレーム
のブロックの代表点画素の画像データとの差分の絶対値
を検出する差分検出手段と、上記差分検出手段により検
出された各ブロックのフレーム差分絶対値を対応する画
素毎に積算し、１ブロック分の画素配列に対応する座標
を有する相関積算値表を形成する相関積算値表形成手段
と、上記相関積算値表形成手段により形成された相関積
算値表の相関積算値の最小値の座標を検出し、上記相関
積算値の最小値の座標の近傍の座標における相関積算値
に基づいて、画像の動きベクトルを推定する動きベクト
ル推定手段と、上記動きベクトル推定手段により得られ
た動きベクトルに応じた補正量の振動補正信号を形成す
る補正量発生手段と、上記補正量発生手段から供給され
る振動補正信号により入力ビデオ信号に振動補正処理を
施す補正手段と、上記代表点画素の画素データと当該代
表点画素に対応する現フレームの画素データ間のレベル
差が略０であり、且つ、上記前フレームの代表点画素と
上記現フレームの上記代表点画素と対応する上記ブロッ
ク内の各画素データとの間にレベル差があるかを上記ブ
ロック内の画素毎に条件判定し、当該判定結果に基いて
上記条件を満たす画素が検出される毎に、上記１ブロッ
ク分の画素配列に対応する座標を有する度数分布表の上
記画素の位置に対応する座標の度数をインクリメントし
て当該度数分布表を形成する度数分布表形成手段と、上
記度数分布表形成手段により形成された度数分布表に基
いて、上記動きベクトル推定手段により得られた動きベ
クトルが画像の振動に起因するものであるか否かの判定
を行う振動判定手段と、上記振動判定手段による判定出
力により切り換え制御され、上記動きベクトル推定手段
から上記補正量発生手段に供給する動きベクトルを零ベ
クトルに切り換える入力切り換え手段とを備え、上記振
動判定手段により画像の動きベクトルが振動に起因する
ものでないと判定されたときに、上記補正量発生手段に
零ベクトルを供給することを特徴とする。また、本発明
に係る画像の振動補正装置は、入力ビデオ信号で構成さ
れる１フレームの画像を複数に分割した各ブロック毎の
代表点画素の画像データを記憶するメモリと、現フレー
ムのブロックの各画素の画像データと上記メモリに記憶
された前フレームのブロックの代表点画素の画像データ
との差分の絶対値を検出する差分検出手段と、上記差分
検出手段により検出された各ブロックのフレーム差分絶
対値を対応する画素毎に積算し、１ブロック分の画素配
列に対応する座標を有する相関積算値表を形成する相関
積算値表形成手段と、上記相関積算値表形成手段により
形成された相関積算値表の相関積算値の最小値の座標を
検出し、上記相関積算値の最小値の座標の近傍の座標に
おける相関積算値に基づいて、画像の動きベクトルを推
定する動きベクトル推定手段と、上記動きベクトル推定
手段により得られた動きベクトルに応じた補正量の振動
補正信号を形成する補正量発生手段と、上記補正量発生
手段から供給される振動補正信号により入力ビデオ信号
に振動補正処理を施す補正手段と、上記代表点画素の画
素データと当該代表点画素に対応する現フレームの画素
データ間のレベル差が略０であり、且つ、上記前フレー
ムの代表点画素と上記現フレームの上記代表点画素と対
応する上記ブロック内の各画素データとの間にレベル差
があるかを上記ブロック内の画素毎に条件判定し、当該
判定結果に基いて上記条件を満たす画素が検出される毎
に、上記１ブロック分の画素配列に対応する座標を有す
る度数分布表の上記画素の位置に対応する座標の度数を
インクリメントして当該度数分布表を形成する度数分布
表形成手段と、上記度数分布表形成手段により形成され
た度数分布表に基いて、上記動きベクトル推定手段によ
り得られた動きベクトルが画像の振動に起因するもので
あるか否かの判定を行う振動判定手段と、上記振動判定
手段による判定出力により切り換え制御され、上記補正
量発生手段から上記補正手段に供給する振動補正信号を
補正量が零の振動補正信号に切り換える入力切り換え手
段とを備え、上記振動判定手段により画像の動きベクト
ルが振動に起因するものでないと判定されたときに、上
記補正手段に補正量が零の振動補正信号を供給すること
を特徴とする。An image vibration correcting apparatus according to the present invention is a memory for storing image data of a representative point pixel for each block obtained by dividing an image of one frame constituted by an input video signal into a plurality of blocks. And difference detection means for detecting the absolute value of the difference between the image data of each pixel of the block of the current frame and the image data of the representative point pixel of the block of the previous frame stored in the memory. Correlation integrated value table forming means for integrating the calculated frame difference absolute value of each block for each corresponding pixel to form a correlation integrated value table having coordinates corresponding to the pixel arrangement of one block, and the correlation integrated value table The coordinates of the minimum value of the correlation integrated value in the correlation integrated value table formed by the forming means are detected, and the image based on the correlation integrated value at the coordinates near the coordinates of the minimum value of the correlation integrated value is detected. A motion vector estimating means for estimating a motion vector, a correction amount generating means for forming a vibration correction signal of a correction amount corresponding to the motion vector obtained by the motion vector estimating means, and a vibration supplied from the correction amount generating means A correction means for performing a vibration correction process on the input video signal by the correction signal; and a level difference between the pixel data of the representative point pixel and the pixel data of the current frame corresponding to the representative point pixel is substantially 0; A condition determination is made for each pixel in the block as to whether there is a level difference between the representative point pixel of the frame and each pixel data in the block corresponding to the representative point pixel of the current frame, and based on the determination result. Every time a pixel satisfying the above condition is detected, the frequency of the coordinate corresponding to the position of the pixel in the frequency distribution table having the coordinates corresponding to the pixel array of the one block A frequency distribution table forming means for forming the frequency distribution table by incrementing, and a motion vector obtained by the motion vector estimating means based on the frequency distribution table formed by the frequency distribution table forming means, The switching is controlled by a vibration determining means for determining whether or not the motion vector is caused by the vibration determining means, and a motion vector supplied from the motion vector estimating means to the correction amount generating means is switched to a zero vector. Input switching means, wherein when the vibration determining means determines that the motion vector of the image is not caused by vibration, a zero vector is supplied to the correction amount generating means. The image vibration correction apparatus according to the present invention further includes a memory for storing image data of a representative point pixel for each block obtained by dividing an image of one frame formed by an input video signal into a plurality of blocks, Difference detection means for detecting the absolute value of the difference between the image data of each pixel and the image data of the representative point pixel of the block of the previous frame stored in the memory, and the frame difference of each block detected by the difference detection means Correlation integrated value table forming means for integrating an absolute value for each corresponding pixel to form a correlation integrated value table having coordinates corresponding to a pixel array of one block; and a correlation formed by the correlation integrated value table forming means. The coordinate of the minimum value of the correlation integrated value in the integrated value table is detected, and the motion vector of the image is estimated based on the correlation integrated value at coordinates near the coordinate of the minimum value of the correlation integrated value. A motion vector estimating means, a correction amount generating means for forming a vibration correction signal of a correction amount corresponding to the motion vector obtained by the motion vector estimating means, and an input video based on the vibration correction signal supplied from the correction amount generating means. A correcting means for performing a vibration correction process on the signal, a level difference between the pixel data of the representative point pixel and the pixel data of the current frame corresponding to the representative point pixel is substantially 0, and the representative point pixel of the previous frame is And whether there is a level difference between the representative point pixel of the current frame and each pixel data in the block corresponding to the condition, for each pixel in the block, and satisfying the condition based on the determination result Every time a pixel is detected, the frequency of the coordinate corresponding to the position of the pixel in the frequency distribution table having the coordinates corresponding to the pixel array of one block is incremented. A frequency distribution table forming means for forming a frequency distribution table, and a motion vector obtained by the motion vector estimating means based on the frequency distribution table formed by the frequency distribution table forming means is caused by image vibration. Switching control is performed by a vibration determining means for determining whether or not there is a vibration signal, and a vibration correction signal supplied from the correction amount generating means to the correcting means is converted into a vibration correction signal having a zero correction amount. Input switching means for switching, and when the vibration determination means determines that the motion vector of the image is not caused by vibration, supplies a vibration correction signal having a correction amount of zero to the correction means. I do.
【０００８】また、本発明に係る画像の振動補正方法
は、入力ビデオ信号で構成される現フレームの画像を複
数に分割した各ブロックの各画素の画像データと、前フ
レームの上記各ブロックに対応する代表点画素の画像デ
ータとの差分の絶対値を検出するステップと、上記検出
された各ブロックのフレーム差分絶対値を対応する画素
毎に積算し、１ブロック分の画素配列に対応する座標を
有する相関積算値表を形成するステップと、上記相関積
算値表の相関積算値の最小値の座標を検出し、上記相関
積算値の最小値の座標の近傍の座標における相関積算値
に基づいて、画像の動きベクトルを推定するステップ
と、上記動きベクトルに応じた補正量の振動補正信号を
形成するステップと、上記振動補正信号により入力ビデ
オ信号に振動補正処理を施すステップと、上記代表点画
素の画素データと当該代表点画素に対応する現フレーム
の画素データ間のレベル差が略０であり、且つ、上記前
フレームの代表点画素と上記現フレームの上記代表点画
素と対応する上記ブロック内の各画素データとの間にレ
ベル差があるかを上記ブロック内の画素毎に条件判定
し、当該判定結果に基いて上記条件を満たす画素が検出
される毎に、上記１ブロック分の画素配列に対応する座
標を有する度数分布表の上記画素の位置に対応する座標
の度数をインクリメントして当該度数分布表を形成する
ステップと、上記度数分布表に基いて、上記動きベクト
ルが画像の振動に起因するものであるか否かの判定を行
うステップと、上記判定出力により切り換え制御され、
上記動きベクトルを零ベクトルに切り換えるステップと
を備えるとを特徴とする。さらに、本発明に係る画像の
振動補正方法は、入力ビデオ信号で構成される現フレー
ムの画像を複数に分割した各ブロックの各画素の画像デ
ータと、前フレームの上記各ブロックに対応する代表点
画素の画像データとの差分の絶対値を検出するステップ
と、上記検出された各ブロックのフレーム差分絶対値を
対応する画素毎に積算し、１ブロック分の画素配列に対
応する座標を有する相関積算値表を形成するステップ
と、上記相関積算値表の相関積算値の最小値の座標を検
出し、上記相関積算値の最小値の座標の近傍の座標にお
ける相関積算値に基づいて、画像の動きベクトルを推定
するステップと、上記動きベクトルに応じた補正量の振
動補正信号を形成するステップと、上記振動補正信号に
より入力ビデオ信号に振動補正処理を施すステップと、
上記代表点画素の画素データと当該代表点画素に対応す
る現フレームの画素データ間のレベル差が略０であり、
且つ、上記前フレームの代表点画素と上記現フレームの
上記代表点画素と対応する上記ブロック内の各画素デー
タとの間にレベル差があるかを上記ブロック内の画素毎
に条件判定し、当該判定結果に基いて上記条件を満たす
画素が検出される毎に、上記１ブロック分の画素配列に
対応する座標を有する度数分布表の上記画素の位置に対
応する座標の度数をインクリメントして当該度数分布表
を形成するステップと、上記度数分布表に基いて、上記
動きベクトルが画像の振動に起因するものであるか否か
の判定を行うステップと、上記判定出力により切り換え
制御され、振動補正信号を補正量が零の振動補正信号に
切り換えるステップとを備えることを特徴とする。Further, the image vibration correcting method according to the present invention corresponds to the image data of each pixel of each block obtained by dividing an image of a current frame constituted by an input video signal into a plurality of blocks and the above-mentioned blocks of a previous frame. Detecting the absolute value of the difference between the representative point pixel and the image data, and integrating the detected frame difference absolute value of each block for each corresponding pixel, and calculating coordinates corresponding to the pixel array of one block. Forming a correlation integrated value table having, detecting the coordinates of the minimum value of the correlation integrated values of the correlation integrated value table, based on the correlation integrated values at coordinates near the coordinates of the minimum value of the correlation integrated values, Estimating a motion vector of an image, forming a vibration correction signal having a correction amount corresponding to the motion vector, and performing a vibration correction process on the input video signal using the vibration correction signal. Applying, the level difference between the pixel data of the representative point pixel and the pixel data of the current frame corresponding to the representative point pixel is substantially 0, and the representative point pixel of the previous frame and the representative of the current frame are Whether or not there is a level difference between the point pixel and each pixel data in the block corresponding to the condition is determined for each pixel in the block, and each time a pixel satisfying the condition is detected based on the determination result. Incrementing the frequency of the coordinates corresponding to the position of the pixel of the frequency distribution table having the coordinates corresponding to the pixel array of the one block to form the frequency distribution table; and, based on the frequency distribution table, A step of determining whether or not the motion vector is caused by the vibration of the image, and switching is controlled by the determination output;
Switching the motion vector to a zero vector. Further, the image vibration correction method according to the present invention further comprises the steps of: dividing the image of the current frame formed by the input video signal into a plurality of blocks; Detecting the absolute value of the difference between the pixel data and the image data, and integrating the detected frame difference absolute value of each block for each corresponding pixel, and performing correlation integration having coordinates corresponding to the pixel array of one block Forming a value table; detecting coordinates of a minimum value of the correlation integrated value in the correlation integrated value table; and detecting a motion of the image based on the correlation integrated value at coordinates near the coordinates of the minimum value of the correlation integrated value. Estimating a vector, forming a vibration correction signal having a correction amount corresponding to the motion vector, and performing a vibration correction process on the input video signal based on the vibration correction signal. And-flops,
A level difference between the pixel data of the representative point pixel and the pixel data of the current frame corresponding to the representative point pixel is substantially 0;
And, for each pixel in the block, a condition judgment is made as to whether there is a level difference between the representative point pixel of the previous frame and each pixel data in the block corresponding to the representative point pixel of the current frame. Every time a pixel that satisfies the above condition is detected based on the determination result, the frequency of the coordinate corresponding to the position of the pixel in the frequency distribution table having the coordinates corresponding to the pixel array of the one block is incremented and the frequency is calculated. Forming a distribution table; determining whether or not the motion vector is caused by image vibration based on the frequency distribution table; switching control based on the determination output; Switching to a vibration correction signal having a correction amount of zero.
【０００９】[0009]
【作用】本発明では、入力ビデオ信号で構成される現フ
レームの画像を複数に分割した各ブロックの各画素の画
像データと、前フレームの上記各ブロックに対応する代
表点画素の画像データとの差分の絶対値を検出し、上記
検出された各ブロックのフレーム差分絶対値を対応する
画素毎に積算し、１ブロック分の画素配列に対応する座
標を有する相関積算値表を形成する。そして、上記相関
積算値表の相関積算値の最小値の座標を検出し、上記相
関積算値の最小値の座標の近傍の座標における相関積算
値に基づいて、画像の動きベクトルを推定し、上記動き
ベクトルに応じた補正量の振動補正信号を形成して、記
振動補正信号により入力ビデオ信号に振動補正処理を施
す。According to the present invention, the image data of each pixel of each block obtained by dividing the image of the current frame constituted by the input video signal into a plurality of blocks and the image data of the representative point pixels corresponding to each block of the previous frame are described. The absolute value of the difference is detected, and the detected frame difference absolute value of each block is integrated for each corresponding pixel to form a correlation integrated value table having coordinates corresponding to a pixel array of one block. Then, the coordinates of the minimum value of the correlation integrated value in the correlation integrated value table are detected, and the motion vector of the image is estimated based on the correlation integrated value at coordinates near the coordinates of the minimum value of the correlation integrated value. A vibration correction signal having a correction amount corresponding to the motion vector is formed, and the input video signal is subjected to a vibration correction process using the vibration correction signal.
【００１０】また、上記代表点画素の画素データと当該
代表点画素に対応する現フレームの画素データ間のレベ
ル差が略０であり、且つ、上記前フレームの代表点画素
と上記現フレームの上記代表点画素と対応する上記ブロ
ック内の各画素データとの間にレベル差があるかを上記
ブロック内の画素毎に条件判定し、当該判定結果に基い
て上記条件を満たす画素が検出される毎に、上記１ブロ
ック分の画素配列に対応する座標を有する度数分布表の
上記画素の位置に対応する座標の度数をインクリメント
して当該度数分布表を形成する。上記度数分布表に基い
て、上記動きベクトルが画像の振動に起因するものであ
るか否かの判定を行い、その判定出力により上記動きベ
クトルを零ベクトルに切り換える。The level difference between the pixel data of the representative point pixel and the pixel data of the current frame corresponding to the representative point pixel is substantially 0, and the level difference between the representative point pixel of the previous frame and the current frame is reduced. A condition determination is made for each pixel in the block as to whether there is a level difference between the representative point pixel and the corresponding pixel data in the block, and a pixel satisfying the above condition is detected based on the determination result. Then, the frequency of the coordinates corresponding to the position of the pixel in the frequency distribution table having the coordinates corresponding to the pixel array of one block is incremented to form the frequency distribution table. Based on the frequency distribution table, it is determined whether or not the motion vector is caused by image vibration, and the motion vector is switched to a zero vector based on the determination output.
【００１１】また、本発明では、入力ビデオ信号で構成
される現フレームの画像を複数に分割した各ブロックの
各画素の画像データと、前フレームの上記各ブロックに
対応する代表点画素の画像データとの差分の絶対値を検
出し、上記検出された各ブロックのフレーム差分絶対値
を対応する画素毎に積算し、１ブロック分の画素配列に
対応する座標を有する相関積算値表を形成する。そし
て、上記相関積算値表の相関積算値の最小値の座標を検
出し、上記相関積算値の最小値の座標の近傍の座標にお
ける相関積算値に基づいて、画像の動きベクトルを推定
し、上記動きベクトルに応じた補正量の振動補正信号を
形成して、上記振動補正信号により入力ビデオ信号に振
動補正処理を施す。また、上記代表点画素の画素データ
と当該代表点画素に対応する現フレームの画素データ間
のレベル差が略０であり、且つ、上記前フレームの代表
点画素と上記現フレームの上記代表点画素と対応する上
記ブロック内の各画素データとの間にレベル差があるか
を上記ブロック内の画素毎に条件判定し、当該判定結果
に基いて上記条件を満たす画素が検出される毎に、上記
１ブロック分の画素配列に対応する座標を有する度数分
布表の上記画素の位置に対応する座標の度数をインクリ
メントして当該度数分布表を形成するステップと、上記
度数分布表に基いて、上記動きベクトルが画像の振動に
起因するものであるか否かの判定を行い、その判定出力
により振動補正信号を補正量が零の振動補正信号に切り
換える。Further, according to the present invention, the image data of each pixel of each block obtained by dividing the image of the current frame constituted by the input video signal into a plurality of blocks, and the image data of the representative point pixels corresponding to the respective blocks of the previous frame. , And the detected frame difference absolute value of each block is integrated for each corresponding pixel to form a correlation integrated value table having coordinates corresponding to the pixel array of one block. Then, the coordinates of the minimum value of the correlation integrated value in the correlation integrated value table are detected, and the motion vector of the image is estimated based on the correlation integrated value at coordinates near the coordinates of the minimum value of the correlation integrated value. A vibration correction signal having a correction amount corresponding to the motion vector is formed, and the input video signal is subjected to a vibration correction process using the vibration correction signal. The level difference between the pixel data of the representative point pixel and the pixel data of the current frame corresponding to the representative point pixel is substantially 0, and the representative point pixel of the previous frame and the representative point pixel of the current frame are provided. And whether there is a level difference between each pixel data in the block corresponding to and a condition determination for each pixel in the block, based on the determination result, every time a pixel satisfying the condition is detected, the above Incrementing the frequency of the coordinate corresponding to the position of the pixel in the frequency distribution table having the coordinates corresponding to the pixel array of one block to form the frequency distribution table; and performing the motion based on the frequency distribution table. It is determined whether or not the vector is caused by the vibration of the image, and the vibration correction signal is switched to a vibration correction signal having a zero correction amount based on the determination output.
【００１２】[0012]
【実施例】以下、本発明の一実施例について図面に従い
詳細に説明する。本発明は、例えば図１に示すような構
成の手振れ補正装置に適用される。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS One embodiment of the present invention will be described below in detail with reference to the drawings. The present invention is applied to, for example, a camera shake correction apparatus having a configuration as shown in FIG.
【００１３】この図１に示した画像の振動補正装置は、
ハンディタイプのビデオカメラにおける手振れによる画
像の動きを補正する手振れ補正装置に本発明を適用した
もので、動きベクトル検出部１０，手振れ判定部２０、
補正量発生部３０及び補正部４０を備えてなる。図１に
おいて、信号入力端子１には、上記ビデオカメラの図示
しない撮像部による撮像出力として得られるビデオ信号
をディジタル化した入力ビデオデータが供給される。The image vibration correcting apparatus shown in FIG.
The present invention is applied to a camera shake correction device that corrects image movement due to camera shake in a handy type video camera, and includes a motion vector detection unit 10, a camera shake determination unit 20,
A correction amount generator 30 and a correction unit 40 are provided. In FIG. 1, input video data obtained by digitizing a video signal obtained as an imaging output by an imaging unit (not shown) of the video camera is supplied to a signal input terminal 1.
【００１４】この手振れ補正装置において、上記動きベ
クトル検出部１０は、上記入力ビデオデータが上記信号
入力端子１を介して供給される代表点メモリ１１及び減
算回路１２と、この減算回路１２による減算出力データ
が供給される相関積算値表形成回路１３と、この相関積
算値表形成回路１３により形成された相関積算値表の相
関積算値データが供給される動きベクトル推定回路１４
とを備えてなる。In this camera shake correction apparatus, the motion vector detecting section 10 includes a representative point memory 11 and a subtraction circuit 12 to which the input video data is supplied via the signal input terminal 1, and a subtraction output by the subtraction circuit 12. A correlation integrated value table forming circuit 13 to which data is supplied, and a motion vector estimating circuit 14 to which correlation integrated value data of the correlation integrated value table formed by the correlation integrated value table forming circuit 13 are supplied.
And
【００１５】上記代表点メモリ１１は、上記入力ビデオ
データで構成される１フレームの画像を複数に分割した
各ブロック毎の代表点画素の画像データＩk（０，０）
を記憶する。具体的には、例えば図２に示すように、１
フレームの画面をｍ画素×ｎラインのブロックに分割
し、図３に示すように各ブロックの中心の画素を代表点
とし、各代表点画素の画像データＩk （０，０）を上記
代表点メモリ１１に１フレーム期間記憶する。なお、上
記代表点は、画面上で均一のばらまかれている。そし
て、この代表点メモリ１１から読み出される１フレーム
前の各代表点画素の画像データＩk-1 （０，０）が上記
減算回路１２に供給される。The representative point memory 11 stores image data I k (0,0) of a representative point pixel for each block obtained by dividing one frame image composed of the input video data into a plurality of blocks.
Is stored. Specifically, for example, as shown in FIG.
The screen of the frame is divided into blocks of m pixels × n lines, and as shown in FIG. 3, the pixel at the center of each block is set as a representative point, and the image data I k (0, 0) of each representative point pixel is set as the representative point. The data is stored in the memory 11 for one frame period. Note that the representative points are uniformly distributed on the screen. Then, the image data I k-1 (0,0) of each representative point pixel one frame before and read from the representative point memory 11 is supplied to the subtraction circuit 12.
【００１６】上記減算回路１２は、上記信号入力端子１
を介して供給される入力ビデオデータすなわち現フレー
ムの画像データについて、ブロック毎のｍ×ｎ個の各画
素の画像データＩk （ｘ，ｙ）と上記代表点メモリ１１
から読み出される前フレームの対応するブロックの代表
点画素の画像データＩk-1 （０，０）との差分すなわち
フレーム間差の絶対値｜Ｉk-1 （０，０）−Ｉk （ｘ，
ｙ）｜を検出する。そして、この減算回路１２による減
算出力データとして得られるフレーム差分絶対値が上記
相関積算値表形成回路１３に供給される。The subtraction circuit 12 is connected to the signal input terminal 1
, The image data I k (x, y) of m × n pixels for each block and the representative point memory 11
From the image data I k-1 (0,0) of the representative point pixel of the corresponding block of the previous frame read from the frame, that is, the absolute value | I k-1 (0,0) -I k (x ,
y) | is detected. Then, the frame difference absolute value obtained as the subtraction output data by the subtraction circuit 12 is supplied to the correlation integrated value table forming circuit 13.
【００１７】上記相関積算値表形成回路１３は、上記減
算回路１２により得られた各ブロックのフレーム差分絶
対値｜Ｉk-1 （０，０）−Ｉk（ｘ，ｙ）｜を対応する
画素毎に１フレーム期間に亘って積算し、１ブロック分
の画素配列に対応するｍ×ｎの整数座標を有する相関積
算値表を形成する。この相関積算値表形成回路１３によ
り形成される相関積算値表は、ｍ×ｎ個のフレーム差分
絶対値｜Ｉk-1 （０，０）−Ｉk （ｘ，ｙ）｜の積算値
すなわち相関積算値の分布を示し、フレーム相関の最も
強い座標の相関積算値が最小値となる。そして、この相
関積算値表形成回路１３により形成される相関積算値表
のｍ×ｎ個の相関積算値が上記動きベクトル推定回路１
４に供給される。The correlation integrated value table forming circuit 13 corresponds to the frame difference absolute value | I k-1 (0,0) -I k (x, y) | of each block obtained by the subtraction circuit 12. The pixels are integrated over one frame period to form a correlation integrated value table having m × n integer coordinates corresponding to the pixel arrangement of one block. The correlation integrated value table formed by the correlation integrated value table forming circuit 13 is an integrated value of m × n frame difference absolute values | I k−1 (0,0) −I k (x, y) | The distribution of the correlation integrated value is shown, and the coordinate integrated value of the coordinate having the strongest frame correlation is the minimum value. The m × n correlation integrated values of the correlation integrated value table formed by the correlation integrated value table forming circuit 13 are used as the motion vector estimating circuit 1.
4 is supplied.
【００１８】上記動きベクトル推定回路１４では、上記
相関積算値表形成回路１３により形成された相関積算値
表の相関積算値の最小値の座標を検出し、この座標の近
傍の座標における相関積算値及び上記最小関積算値に基
づいて、画像の動きベクトルを推定する。The motion vector estimating circuit 14 detects the coordinates of the minimum value of the correlation integrated value in the correlation integrated value table formed by the correlation integrated value table forming circuit 13, and calculates the correlation integrated value at coordinates near the coordinates. And estimating the motion vector of the image based on the minimum related integrated value.
【００１９】この実施例における上記動きベクトル推定
回路１４では、例えば図４のフローチャートに示すよう
に、ステップ１で上記相関積算値表形成回路１３により
形成された相関積算値表について、ステップ２で相関積
算値の最小値の座標を検出する。このステップ２で検出
される相関積算値の最小値の座標は、上記相関積算値表
の整数座標値で示される。In the motion vector estimating circuit 14 in this embodiment, for example, as shown in the flowchart of FIG. 4, the correlation integrated value table formed by the correlation integrated value table forming circuit 13 in step 1 is correlated in step 2. The coordinates of the minimum value of the integrated value are detected. The coordinates of the minimum value of the correlation integrated value detected in step 2 are shown by integer coordinate values in the correlation integrated value table.
【００２０】そして、次のステップ３では、上記ステッ
プ２において検出された相関積算値の最小値の座標が上
記代表点画素に対応する座標Ｐ（０，０）であるか否か
の判定処理を行い、その判定結果が「ＮＯ」すなわち上
記座標Ｐ（０，０）以外であった場合に画像の動きがな
いものとして動きベクトルの推定処理を行うために、ス
テップ４に進む。In the next step 3, a process for determining whether or not the coordinate of the minimum value of the correlation integrated value detected in the above step 2 is the coordinate P (0,0) corresponding to the representative point pixel. When the determination result is “NO”, that is, when the coordinates are other than the coordinates P (0, 0), the process proceeds to step 4 in order to perform motion vector estimation processing on the assumption that there is no image motion.
【００２１】ここで、上記動きベクトル推定回路１４に
おける画像の動きベクトルの推定処理は、例えば図５に
示すように上記相関積算値の最小値の座標Ｐ（ｘ，ｙ）
とその８近傍座標Ｐ（ｘ＋１，ｙ），Ｐ（ｘ＋１，ｙ＋
１），Ｐ（ｘ，ｙ＋１），Ｐ（ｘ−１，ｙ＋１），Ｐ
（ｘ−１，ｙ），Ｐ（ｘ−１，ｙ−１），Ｐ（ｘ，ｙ−
１），Ｐ（ｘ＋１，ｙ−１）のうちの２座標を通る４軸
Ｓ1 ，Ｓ2 ，Ｓ3 ，Ｓ4 を用いて２次元セパラブルに行
うことができる。Here, the processing for estimating the motion vector of the image in the motion vector estimating circuit 14 is performed, for example, as shown in FIG. 5 by the coordinates P (x, y) of the minimum value of the correlation integrated value.
And its eight neighboring coordinates P (x + 1, y), P (x + 1, y +
1), P (x, y + 1), P (x-1, y + 1), P
(X-1, y), P (x-1, y-1), P (x, y-
1), P (x + 1, y-1) can be two-dimensionally separable using four axes S 1 , S 2 , S 3 , S 4 passing through two coordinates.
【００２２】そこで、上記ステップ４では変数ＮをＮ＝
０に設定し、ステップ５でＮ＝４であるか否かの判定処
理を行い、その判定結果がＮＯである場合にステップ６
に進んで各軸の最小値の座標の推定処理を行う。Therefore, in the above step 4, the variable N is set to N =
In step 5, a determination process is performed to determine whether or not N = 4. If the determination result is NO, step 6 is performed.
Then, the process of estimating the coordinates of the minimum value of each axis is performed.
【００２３】ある軸についての最小値の座標の１次元推
定は、例えば軸Ｓ1において図６に示すように中央の座
標Ｐ（ｘ，ｙ）の相関積算値が最小値であって隣接座標
Ｐ（ｘ＋１，ｙ），Ｐ（ｘ−１，ｙ）の各相関積算値と
上記最小相関積算値との間にａ，ｂなる差があるとする
と、隣接座標間距離Ｌをａ／（ａ＋ｂ）：ｂ／（ａ＋
ｂ）に比例分割した座標Ｐ（Ｘ，Ｙ）を求めることによ
り行われる。これにより、上記相関積算値表の整数座標
値よりも細かい分解能で最小値座標を求めることができ
る。なお、α・ａ／（ａ＋ｂ）：β・ｂ／（ａ＋ｂ）の
ように上記隣接座標間距離Ｌを比例分割するための比例
係数の重みα，βを変えることで、上記隣接座標Ｐ（ｘ
＋１，ｙ），Ｐ（ｘ−１，ｙ）の各相関積算値の変化に
応じた推定を取り入れることも可能である。The one-dimensional estimation of the minimum coordinate value for a certain axis is performed, for example, as shown in FIG. 6 on the axis S 1 , where the correlation integrated value of the central coordinate P (x, y) is the minimum value and the adjacent coordinate P Assuming that there is a difference between a and b between each correlation integrated value of (x + 1, y), P (x-1, y) and the minimum integrated value, the distance L between adjacent coordinates is a / (a + b). : B / (a +
This is performed by obtaining coordinates P (X, Y) that are proportionally divided in b). As a result, the minimum value coordinates can be obtained with a finer resolution than the integer coordinate values in the correlation integrated value table. By changing the weights α and β of the proportional coefficients for proportionally dividing the distance L between adjacent coordinates, such as α · a / (a + b): β · b / (a + b), the adjacent coordinates P (x
+1, y) and P (x-1, y) can also be estimated in accordance with the change of each correlation integrated value.
【００２４】そして、上記ステップ６において１軸の最
小値の座標の推定処理を終了すると、ステップ７に進ん
で変数Ｎをインクリメント（Ｎ＝Ｎ＋１）してから上記
ステップ４の判定処理に戻り、上記ステップ５〜ステッ
プ７を繰り返し行う。そして、上記４軸Ｓ1 ，Ｓ2 ，Ｓ
3 ，Ｓ4 について最小値の座標の推定処理を行い、上記
ステップ５での判定結果がＹＥＳになるとステップ８に
進む。When the process of estimating the coordinates of the minimum value of one axis in step 6 is completed, the process proceeds to step 7 where the variable N is incremented (N = N + 1), and then the process returns to the determination process of step 4 above. Steps 5 to 7 are repeated. Then, the four axes S 1 , S 2 , S
3, S 4 performs estimation processing of the minimum value of the coordinates for, the process proceeds to step 8 if the decision result in the step 5 is to YES.
【００２５】このステップ８では、各軸Ｓ1 ，Ｓ2 ，Ｓ
3 ，Ｓ4 の最小値の推定座標を合成して２次元座標値を
算出し、この２次元座標値から画像の動きベクトルを決
定する。そして、このステップ７において決定させた画
像の動きベクトルが推定存在範囲にあることを確認し
て、画像の動きベクトルの推定処理を終了する。In this step 8, each axis S 1 , S 2 , S
3, by combining the estimated coordinates of the minimum value of S 4 to calculate the two-dimensional coordinate values, determining the motion vector of the image from the 2-dimensional coordinate values. Then, it is confirmed that the motion vector of the image determined in step 7 is within the estimated existence range, and the process of estimating the motion vector of the image is completed.
【００２６】すなわち、このような構成の画像の動きベ
クトル検出部１０では、上記相関積算値形成回路１３に
より形成した表相関積算値表の相関積算値の最小値の座
標を検出することにより整数座標値Ｐ（ｘ，ｙ）を得
て、上記代表点画素に対応する座標Ｐ（０，０）に対す
る上記相関積算値の最小値の座標Ｐ（ｘ，ｙ）で表され
る動きベクトルＶt ＝（ｘ，ｙ）から、上記座標Ｐ
（ｘ，ｙ）が中央に位置する周辺座標Ｐ（ｘ±ｎ，ｙ±
ｎ）における相関積算値を相関積算値及び上記最小相関
積算値に基づいて画像の動きベクトルＶt ’＝ＩP （Ｖ
t ）を高い精度で推定する。That is, the motion vector detecting unit 10 for an image having such a configuration detects the coordinates of the minimum value of the correlation integrated value in the table integrated by the correlation integrated value table formed by the correlation integrated value forming circuit 13 to obtain integer coordinates. A value P (x, y) is obtained, and a motion vector V t = represented by a coordinate P (x, y) of a minimum value of the correlation integrated value with respect to a coordinate P (0,0) corresponding to the representative point pixel is obtained. From (x, y), the coordinates P
Peripheral coordinates P (x ± n, y ±) where (x, y) is located at the center
n), the motion vector V t ′ = I P (V
t ) is estimated with high accuracy.
【００２７】そして、この動きベクトル検出部１０によ
り検出された動きベクトルＶt ’が上記補正量発生部３
０に供給される。Then, the motion vector V t ′ detected by the motion vector detecting unit 10 is used as the correction amount generating unit 3.
0 is supplied.
【００２８】また、この実施例の画像の手振れ補正装置
において、上記手振れ判定部２０は、上記入力ビデオデ
ータが上記信号入力端子１を介して供給される代表点メ
モリ２１及び減算回路２２と、この減算回路２２による
減算出力データが供給される条件判定回路２３による判
定出力に基づいて度数分布表を形成する度数分布表形成
回路２４と、上記動きベクトル検出部１０により検出さ
れた動きベクトルが手振れによる画像の動きベクトルで
あるか否かの判定処理を上記度数分布表形成回路２４に
より形成された度数分布表に基づいて行う手振れ判定回
路２５とを備えてなる。In the image stabilizing apparatus for an image according to this embodiment, the camera shake judging section 20 includes a representative point memory 21 and a subtraction circuit 22 to which the input video data is supplied through the signal input terminal 1. A frequency distribution table forming circuit 24 that forms a frequency distribution table based on the determination output from the condition determining circuit 23 to which the subtraction output data from the subtraction circuit 22 is supplied, and the motion vector detected by the motion vector detecting unit 10 is caused by camera shake. A camera shake determination circuit 25 for determining whether or not the image is a motion vector based on the frequency distribution table formed by the frequency distribution table forming circuit 24;
【００２９】この手振れ判定部２０において、上記代表
点メモリ２１は、上述の手振れ動きベクトル検出部１０
における代表点メモリ１１と同様に、入力ビデオビデオ
で構成される１フレームの画像を複数に分割した各ブロ
ック毎の代表点画素の画像データの値Ｉk （０，０）を
１フレーム期間記憶する。そして、この代表点メモリ２
１から読み出される１フレーム前の各代表点画素の画像
データが上記減算回路２２に供給される。In the camera shake determination section 20, the representative point memory 21 stores the above-described camera shake motion vector detection section 10
In the same manner as in the representative point memory 11, the image data value I k (0,0) of the representative point pixel for each block obtained by dividing one frame image composed of the input video video into a plurality of blocks is stored for one frame period. . Then, this representative point memory 2
The image data of each representative point pixel one frame before read from 1 is supplied to the subtraction circuit 22.
【００３０】上記減算回路２２は、上記信号入力端子１
を介して供給される入力ビデオデータすなわち現フレー
ムの画像データについて、ブロック毎のｍ×ｎ個の各画
素の画像データＩk （ｘ，ｙ）と上記代表点メモリ２１
から読み出される前フレームの対応するブロックの代表
点画素の画像データＩk-1 （０，０）との差分の絶対値
｜Ｉk-1 （０，０）−Ｉk （ｘ，ｙ）｜すなわちフレー
ム間差の絶対値を検出する。そして、この減算回路２２
による減算出力データとして得られるフレーム差分絶対
値データが上記条件判定回路２３に供給される。The subtraction circuit 22 is connected to the signal input terminal 1
, The image data of the current frame, i.e., the image data I k (x, y) of each pixel of m × n pixels and the representative point memory 21
Absolute value | I k-1 (0,0) −I k (x, y) | of the difference from the image data I k-1 (0,0) of the representative point pixel of the corresponding block of the previous frame read from That is, the absolute value of the difference between frames is detected. Then, this subtraction circuit 22
Is supplied to the condition determination circuit 23.
【００３１】上記条件判定回路２３は、上記減算回路２
２により検出された各ブロックのフレーム差分絶対値｜
Ｉk-1 （０，０）−Ｉk （０，０）｜が、 Ｉk-1 （０，０）≒Ｉk （０，０） なる第１の判定条件を満たし、且つ、 ｜Ｉk-1 （０，０）−Ｉk （ｘ，ｙ）｜≧ＴｈI なる第２の条件を満たすか否かを判定する。ここで、上
記ＴｈI は、空間内のレベル差の有無を判定するためし
きい値である。そして、この条件判定回路２３による判
定出力が上記度数分布表形成回路２４に供給される。The condition judgment circuit 23 is provided with the subtraction circuit 2
Frame difference absolute value of each block detected by 2 |
I k−1 (0,0) −I k (0,0) | satisfies the first determination condition of I k−1 (0,0) ≒ I k (0,0), and | I It is determined whether or not a second condition of k−1 (0,0) −I k (x, y) | ≧ Th I is satisfied. Here, the Th I is a threshold for determining the presence or absence of level difference in space. Then, the judgment output from the condition judgment circuit 23 is supplied to the frequency distribution table forming circuit 24.
【００３２】上記度数分布表形成回路２４は、１ブロッ
ク分の画素配列に対応する座標を有するメモリテーブル
２５Ａと、上記条件判定回路２３による判定出力に基づ
いて、上記第１及び第２の条件を満たす画素が検出され
る毎に上記メモリテーブル２５Ａの対応する座標の度数
ｆ（ｘ，ｙ）をインクリメントする加算器２４Ｂとから
なる。この度数分布表形成回路２４により上記メモリテ
ーブル２４Ａに形成された度数分布表の度数値が上記手
振れ判定回路２５に供給される。The frequency distribution table forming circuit 24 determines the first and second conditions based on the memory table 25A having coordinates corresponding to the pixel arrangement of one block and the determination output by the condition determining circuit 23. The adder 24B increments the frequency f (x, y) of the corresponding coordinate in the memory table 25A every time a pixel that satisfies the condition is detected. The frequency values of the frequency distribution table formed in the memory table 24A by the frequency distribution table forming circuit 24 are supplied to the camera shake determination circuit 25.
【００３３】上記手振れ判定回路２５は、図７のフロー
チャートに示すように、ステップ１で上記度数分布表形
成回路２４により形成された度数分布表について、ステ
ップ２で上記動きベクトル検出部１０により検出された
画像の動きベクトルＶt により指定される座標Ｐ（ｘ，
ｙ）の近傍の複数の座標の度数値をステップ３で上記度
数分布表形成回路２４のメモリテーブル２４Ａから読み
出す。上記ステップ３で読み出した上記動きベクトルＶ
t の座標Ｐ（ｘ，ｙ）の近傍の複数の座標の度数値の平
均値Ａt をステップ４で算出してから、この平均値Ａt
が所定値ＴｈA よりも小さいか否かの判定処理をステッ
プ５で行う。そして、この判定結果が「ＹＥＳ」すなわ
ち上記平均値Ａt が所定値ＴｈA よりも小さい場合に
は、上記動きベクトルＶt が画像の手振れに起因するも
のであることを示す判定出力を上記補正量発生部３０に
供給する。また、上記ステップ５の判定結果が「ＮＯ」
すなわち上記平均値Ａt が所定値ＴｈA よりも大きい場
合には、上記動きベクトルＶt が画像の手振れに起因す
るものでないことを示す判定出力を上記補正量発生部３
０に供給する。As shown in the flowchart of FIG. 7, the camera shake determination circuit 25 detects the frequency distribution table formed by the frequency distribution table forming circuit 24 in step 1 by the motion vector detecting section 10 in step 2. coordinates P (x specified by the image motion vector V t was,
In step 3, the frequency values of a plurality of coordinates near y) are read from the memory table 24A of the frequency distribution table forming circuit 24. The motion vector V read in step 3
coordinates P (x, y) of t the average value A t of frequency value at a plurality of coordinates in the vicinity of the calculated at the step 4, the average value A t
There performed in Step 5 smaller process of determining whether or not than a predetermined value Th A. Then, the determination if the result is "YES", that is the average value A t is smaller than the predetermined value Th A, the above corrects the judgment output indicating that the motion vector V t is due to the camera shake of the image It is supplied to the quantity generator 30. In addition, the determination result of step 5 is “NO”
That is, the when the average value A t is larger than the predetermined value Th A, the above correction amount generating unit 3 a decision output indicating that the motion vector V t is not due to camera shake of the image
Supply 0.
【００３４】ここで、上記動きベクトル検出部１０によ
り検出された画像の動きベクトルＶt により指定される
座標Ｐ（ｘ，ｙ）の近傍の複数の座標では、手振れによ
る動きを伴う画像の場合、上記度数分布表形成回路２４
により形成された度数分布表の動きベクトルＶt の座標
Ｐ（−６，３）近傍の各座標の度数値の一例を図８に示
してあるように、上記減算回路２２により検出される各
ブロックのフレーム差分絶対値｜Ｉk-1 （０，０）−Ｉ
k （ｘ，ｙ）｜が小さくなるので、各度数値も小さくな
り、その空間平均値Ａt が小さくなる。上記図８に示す
手振れによる動きを伴う画像の度数分布表において、画
像の動きベクトルＶt により指定される座標Ｐ（−６，
３）とその８近傍座標（図８の破線の枠内）の各度数値
の総和ＳＵＭは「２５」であって、その空間平均値Ａt
は「３．１３」である。また、上記座標Ｐ（−６，３）
とその１６近傍座標（図８の実線の枠内）の各度数値の
総和ＳＵＭは「１０５」であって、その空間平均値Ａt
は「４．３８」である。[0034] In the plurality of coordinates in the vicinity of the coordinates P (x, y) that is designated by the motion vector V t of the detected image by the motion vector detecting section 10, if an image with movement by camera shake, The above frequency distribution table forming circuit 24
An example of a frequency value at each coordinate of the coordinate P (-6,3) near the motion vector V t of frequency distribution table is formed as is shown in FIG. 8, the respective blocks detected by the subtraction circuit 22 Frame difference absolute value | I k-1 (0,0) -I
k (x, y) | Since decreases, the power value becomes small, the spatial average value A t decreases. In the frequency distribution table of images with motion by the camera shake shown in FIG. 8, the coordinates P (-6 specified by the image motion vector V t,
The sum SUM of the frequency value of 3) and its 8 neighboring coordinates (the dashed box in FIG. 8) is a "25", the spatial average value A t
Is "3.13". The coordinates P (−6,3)
The sum SUM of the power values of the 16 neighboring coordinates (the solid line frame in FIG. 8) is a "105", the spatial average value A t
Is “4.38”.
【００３５】これに対して、固定したビデオカメラによ
り得られる画像の場合、上記度数分布表形成回路２４に
より形成された度数分布表の動きベクトルＶt の座標Ｐ
（１，１）近傍の各座標の度数値の一例を図９に示して
あるように、ある程度フレーム差分絶対値｜Ｉ
k-1 （０，０）−Ｉk（ｘ，ｙ）｜の大きな画素が検出
され、各度数値も大きくなり、その空間平均値Ａt が大
きくなる。上記図９に示す固定したビデオカメラにより
得られる画像の度数分布表において、画像の動きベクト
ルＶt により指定される座標Ｐ（１，１）とその８近傍
座標（図９の破線の枠内）の各度数値の総和ＳＵＭは
「５０」であって、その空間平均値Ａt は「６．２５」
（図９の実線の枠内）である。また、上記座標Ｐ（１，
１）とその１６近傍座標の各度数値の総和ＳＵＭは「２
３０」であって、その空間平均値Ａt は「９．５８」で
ある。[0035] In contrast, when the image obtained by the fixed video camera, coordinates P of the motion vector V t of frequency distribution table formed by the frequency distribution table formation circuit 24
As shown in FIG. 9, an example of the frequency value of each coordinate in the vicinity of (1, 1) is, to some extent, the frame difference absolute value | I
k-1 (0,0) -I k (x, y) | large pixel are detected for each frequency value becomes large, the spatial average value A t increases. In the frequency distribution table of the image obtained by the fixed video camera shown in FIG. 9, an image of the motion vector V t coordinates P (1, 1) and its 8 neighboring coordinates specified by (the dashed box in FIG. 9) the sum sUM of the power values of a "50", the spatial average value a t is "6.25"
(Within the solid frame in FIG. 9). Further, the coordinates P (1,
The sum SUM of 1) and the respective frequency values of the 16 neighboring coordinates is "2
A 30 ", the spatial average value A t is" 9.58 ".
【００３６】上記図８に示す手振れによる動きを伴う画
像の度数分布表における画像の動きベクトルＶt により
指定される座標Ｐ（−６，３）の度数値は「３」であ
り、また、上記図９に示す固定したビデオカメラにより
得られる画像の度数分布表における画像の動きベクトル
Ｖt により指定される座標Ｐ（１，１）の度数値も
「３」であって、上記動きベクトル検出部１０により検
出された動きベクトルＶt により指定される座標Ｐ
（ｘ，ｙ）の度数値だけでは、上記動きベクトルＶt が
手振れに起因するものであるか否かを判定することがで
きないが、上記動きベクトルＶt により指定される座標
Ｐ（ｘ，ｙ）の８近傍座標や１６近傍座標の各度数値の
空間平均値Ａt には、上述のように明らかに差があるの
で、この空間平均値Ａt を用いることにより、上記画像
の動きベクトルＶt が手振れによる画像の動きベクトル
であるか被写体の移動による動きベクトルであるかを確
実に判定することができる。The frequency value at the coordinates P (-6,3) which is designated by the image motion vector V t in the frequency distribution table of images with motion by the camera shake shown in FIG. 8 is "3", also the frequency value at the coordinates P (1, 1) designated by the image motion vector V t in the frequency distribution table of the image obtained by the fixed video camera shown in FIG. 9 may be "3", the motion vector detecting section coordinates P specified by the detected motion vector V t by 10
(X, y) is only numeric every, but can not determine whether or not the above-mentioned motion vector V t is due to camera shake, the coordinates P (x, which is designated by the motion vector V t, y the spatial average value a t of 8 each frequency value in the vicinity of the coordinates and 16 near coordinates), so there is clearly a difference as described above, by using the spatial average value a t, the image motion vector V It is possible to reliably determine whether t is a motion vector of an image due to camera shake or a motion vector due to movement of a subject.
【００３７】このように、上記動きベクトル検出部１０
により検出された画像の動きベクトルＶt により指定さ
れる座標Ｐ（ｘ，ｙ）の近傍の複数の座標の度数値の空
間平均値Ａt を求めて、この空間平均値Ａt が所定値Ｔ
ｈA よりも小さい場合に上記動きベクトルが画像の手振
れに起因するものであると判定することにより、上記画
像の動きベクトルＶt が手振れによる画像の動きベクト
ルであるか被写体の移動による動きベクトルであるかを
確実に判定することができる。また、上記フレーム差分
絶対値は、画像の空間内アクティビティすなわち明確な
エッジが多く存在するか否かと相関をもつので、動きベ
クトルＶt の座標Ｐ（ｘ，ｙ）近傍の度数値の空間平均
値Ａt による手振れ判定は、確実性が増加することにな
る。As described above, the motion vector detecting unit 10
Seeking spatial average value A t of frequency value at a plurality of coordinates in the vicinity of the coordinates P specified by the motion vector V t of the detected image (x, y) by, the spatial average value A t is a predetermined value T
When h A is smaller than h A, it is determined that the motion vector is caused by camera shake of the image, so that the motion vector V t of the image is a motion vector of an image caused by camera shake or a motion vector caused by movement of a subject. It is possible to reliably determine whether or not there is. Further, the frame difference absolute values, because it has a correlation with whether space activities ie clear edge of the image there are many, coordinates P (x, y) of the motion vector V t spatial average value of the frequency value at the vicinity hand shake determination by a t would certainty is increased.
【００３８】そして、上記補正量発生部３０は、上記動
きベクトル検出部１０が検出した動きベクトルＶt ’を
手振れベクトルとして、 Ｘt ＝Ｘt-1 ＋Ｖt ’ なる補正量Ｘt の手振れ補正信号を形成し、この手振れ
補正信号を上記補正部４０に供給する。Then, the correction amount generation section 30 uses the motion vector V t ′ detected by the motion vector detection section 10 as a camera shake vector, and performs a camera shake correction of a correction amount X t of X t = X t−1 + V t ′. A signal is formed, and the camera shake correction signal is supplied to the correction unit 40.
【００３９】この補正量発生部３０は、零ベクトルＶ
（０，０）を発生する零ベクトル発生回路３１と、上記
手振れ判定部２０による判定出力により切り換え制御さ
れる選択回路３２と、上記動きベクトル検出部１０によ
り得られた動きベクトルＶt 又は上記零ベクトル発生回
路３１により与えられる零ベクトルＶ（０，０）が上記
選択回路３２を介して供給される補正量発生回路３３と
からなる。The correction amount generator 30 calculates the zero vector V
A zero vector generating circuit 31 for generating the (0,0), a selection circuit 32 which is switching control by the determination output by the camera shake decision part 20, the motion vector detecting unit motion obtained by the 10 vector V t or above zero The zero vector V (0,0) provided by the vector generation circuit 31 is composed of a correction amount generation circuit 33 supplied via the selection circuit 32.
【００４０】上記選択回路３１は、上記動きベクトル検
出部１０が検出した動きベクトルＶt が画像の手振れに
起因するものであることを示す判定出力が上記手振れ判
定部２０から供給されると、上記動きベクトル検出部１
０が検出した動きベクトルＶt を上記補正量発生回路３
３に供給し、また、上記動きベクトル検出部１０が検出
した動きベクトルＶt が画像の手振れに起因するもので
ないことを示す判定出力が上記手振れ判定部２０から供
給されると、上記零ベクトル発生回路３１により与えら
れる零ベクトルＶ（０，０）を上記補正量発生回路３３
に供給する。[0040] The selection circuit 31, when the judgment output indicating that the motion vector V t of the motion vector detecting section 10 has detected is due to the camera shake of the image supplied from the camera shake decision part 20, the Motion vector detector 1
0 the motion vector V t detected correction amount generating circuit 3
Supplied to 3, and when the judgment output indicating that the motion vector V t of the motion vector detecting section 10 has detected is not due to camera shake of the image supplied from the camera shake decision part 20, the zero vector generator The zero vector V (0,0) given by the circuit 31
To supply.
【００４１】そして、上記補正量発生回路３３は、上記
選択回路３２を介して供給される動きベクトルＶt 又は
零ベクトルＶ（０，０）に応じた補正量の手振れ補正信
号を形成し、この手振れ補正信号を上記補正部４０に供
給する。[0041] Then, the correction amount generating circuit 33 forms a shake correction signal of the correction amount corresponding to the motion vector V t or zero vector V (0,0) supplied via the selection circuit 32, the The camera shake correction signal is supplied to the correction unit 40.
【００４２】すなわち、この補正量発生部３０は、図７
のフローチャートにおけるステップ６で上記動きベクト
ル検出部１０が検出した上記動きベクトルＶt ’を手振
れベクトルとして手振れ補正信号を形成し、この手振れ
補正信号を上記補正部３０に供給する。また、この補正
量発生部２０は、上記動きベクトル検出部１０が検出し
た動きベクトルＶt が画像の手振れに起因するものでな
いことを示す判定出力が上記手振れ判定部２０から供給
されると、図７のフローチャートにおけるステップ７で
手振れベクトルＶt を零ベクトルＶ（０，０）として手
振れ補正信号を形成し、この手振れ補正信号を上記補正
部３０に供給する。That is, the correction amount generating section 30
A motion compensation signal is formed using the motion vector V t ′ detected by the motion vector detection unit 10 in step 6 of the flowchart as a motion vector, and the motion compensation signal is supplied to the compensation unit 30. Further, the correction amount generating section 20, the judgment output indicating that the motion vector V t of the motion vector detecting section 10 has detected is not due to camera shake of the image supplied from the camera shake decision part 20, FIG. a hand shake vector V t in step 7 of 7 flow chart of forming the image stabilization signal as a zero vector V (0,0), and supplies the image stabilization signal to the correcting unit 30.
【００４３】また、上記補正部４０は、例えば図１０に
示すように、上記補正量発生部３０から手振れ補正信号
が供給されるアドレス制御回路４１及びセレクト信号発
生回路４２と、上記アドレス制御回路４１から供給され
るアドレス信号に従ってビデオデータの書き込み／読み
出しが行われるフレームメモリ４３及び周辺メモリ３４
と、上記フレームメモリ４３及び周辺メモリ４４から読
み出されるビデオデータを上記セレクト信号発生回路４
２から供給されるセレクト信号に応じて選択的に出力す
るセレクタ４５とを備えてなる。As shown in FIG. 10, for example, the correction unit 40 includes an address control circuit 41 and a select signal generation circuit 42 to which a camera shake correction signal is supplied from the correction amount generation unit 30, and an address control circuit 41. Memory 43 and peripheral memory 34 in which video data is written / read in accordance with an address signal supplied from
And the video data read from the frame memory 43 and the peripheral memory 44 to the select signal generation circuit 4.
And a selector 45 for selectively outputting in accordance with the select signal supplied from the selector 2.
【００４４】上記フレームメモリ４２には、上記信号入
力端子１を介して供給される入力ビデオデータが順次書
き込まれる。そして、このフレームメモリ４２の読み出
しアドレスが上記手振れ補正信号により上記手振れベク
トルに応じて制御される。これにより、上記フレームメ
モリ４２からは、１フレームの入力ビデオデータが上記
手振れベクトルに応じて移動されたビデオデータが得ら
れる。そして、このフレームメモリ４２から読み出され
るビデオデータと上記周辺メモリ４３から読み出される
周辺ビデオデータとが上記セレクタ４５による選択によ
って合成され、手振れ補正処理済のビデオデータとして
信号出力端子２から出力される。Input video data supplied via the signal input terminal 1 is sequentially written into the frame memory 42. The read address of the frame memory 42 is controlled by the camera shake correction signal in accordance with the camera shake vector. As a result, video data obtained by moving one frame of input video data according to the camera shake vector is obtained from the frame memory 42. Then, the video data read from the frame memory 42 and the peripheral video data read from the peripheral memory 43 are combined by selection by the selector 45, and are output from the signal output terminal 2 as video data subjected to camera shake correction processing.
【００４５】なお、上記周辺メモリ４３には、上記セレ
クタ４５を介して出力される手振れ補正処理済のビデオ
データによる画像の補正範囲に相当する周辺部分のビデ
オデータが周辺ビデオデータとして逐次書き込まれる。In the peripheral memory 43, video data of a peripheral portion corresponding to the image correction range of the video data subjected to the camera shake correction output through the selector 45 is sequentially written as peripheral video data.
【００４６】このような構成の手振れ補正装置では、上
記動きベクトル検出部１０において、上記相関積算値形
成回路１３により形成した表相関積算値表の相関積算値
の最小値が座標Ｐ（０，０）に位置していた場合に、上
述の如き動きベクトルＶt ’の補間推定を行い、例えば
図１１に示すような少数点以下の動きベクトルＶt ’を
得て、この少数点以下の動きベクトルＶt ’に応じて図
１２に示すような補正量Ｘt ＝Ｘt-1 ＋Ｖt ’の手振れ
補正信号により手振れ補正処理をビデオデータに施すこ
とによって、手振れを伴う画像に対して高い精度で手振
れ補正を行うことができる。このように、手振れのある
画像に対しては、上述の如き動きベクトルＶt ’の補間
推定により得られる少数点以下の情報を有する高い精度
の動きベクトルＶt ’が上記動きベクトル検出部１０か
ら出力されるので、高い手振れ補正精度を確保すること
ができ、自然な画像出力が得られる。In the camera shake correction apparatus having such a configuration, in the motion vector detecting section 10, the minimum value of the correlation integrated values in the table correlation integrated value table formed by the correlation integrated value forming circuit 13 is represented by coordinates P (0,0). ), The motion vector V t ′ is interpolated and estimated as described above to obtain, for example, a motion vector V t ′ having a decimal point or less as shown in FIG. by applying camera shake correction to the video data by shake correction signal V t 'correction amount X t = X t-1 + V t , as shown in FIG. 12 in accordance with the' high-precision image with camera shake Camera shake correction can be performed. Thus, for an image having the hand shake, 'accuracy of the motion vector V t with decimal point information obtained by interpolation estimation' such as described above motion vector V t from the motion vector detector 10 Since the image is output, high camera shake correction accuracy can be secured, and a natural image output can be obtained.
【００４７】また、固定したビデオカメラにより得られ
る手振れの無い画像に対しては、上記動きベクトル検出
部１０において、上記相関積算値形成回路１３により形
成した表相関積算値表の相関積算値の最小値が座標Ｐ
（０，０）に位置していた場合に、上述の如き動きベク
トルＶt ’の補間推定により、例えば図１３に破線で示
すような少数点以下の動きベクトルＶt ’が得られたと
すると、この少数点以下の動きベクトルＶt ’に応じて
図１４に破線で示すような補正量Ｘt ＝Ｘt-1 ＋Ｖt ’
の手振れ補正信号により手振れ補正を施してしまうと、
手振れの無い画像にドリフトが生じてしまうことになる
が、この実施例の手振れ補正装置では、上記動きベクト
ル検出部１０により検出された動きベクトルが手振れに
よるものであるは否かを上記手振れ判定部２０で判定
し、手振れによる動きベクトルでない場合には、図１３
に実線で示すように画像に動きが無いことを示す零ベク
トルＶ（０，０）が上記補正量発生部３０の零ベクトル
発生回路３１から上記補正量発生部３０に供給されるの
で、図１４に実線で示すように補正量Ｘt もゼロとな
り、静止画像にドリフトが生じることがない。For an image free from camera shake obtained by a fixed video camera, the motion vector detector 10 calculates the minimum of the correlation integrated values in the table correlation integrated value table formed by the correlation integrated value forming circuit 13. Value is coordinate P
When the motion vector V t ′ is located at (0, 0) and the interpolation vector of the motion vector V t ′ as described above obtains, for example, a motion vector V t ′ having a decimal point or less as shown by a broken line in FIG. the decimal point of the motion vector V t 'in accordance with the correction amount as shown by a broken line in FIG. 14 X t = X t-1 + V t'
If camera shake correction is performed by the camera shake correction signal of
Drift occurs in an image without camera shake. In the camera shake correction apparatus of this embodiment, the camera shake determination unit determines whether or not the motion vector detected by the motion vector detection unit 10 is due to camera shake. If it is determined in step 20 that the motion vector is not a motion vector due to camera shake, FIG.
Since a zero vector V (0,0) indicating that there is no motion in the image is supplied from the zero vector generation circuit 31 of the correction amount generator 30 to the correction amount generator 30 as shown by a solid line in FIG. As shown by the solid line, the correction amount Xt also becomes zero, and no drift occurs in the still image.
【００４８】ここで、この実施例の画像の手振れ補正装
置では、上記動きベクトル検出部１０により検出された
動きベクトルが上記手振れ判定部２０により手振れによ
る画像の動きベクトルでないと判定された場合に、上記
補正量発生部３０の上記零ベクトル発生回路３１から零
ベクトルＶ（０，０）を上記補正量発生回路３３に与え
るように、上記選択回路３２を制御するようにしたが、
上記零ベクトル発生回路３１及び上記選択回路３２に代
えて、上記手振れ判定部２０による判定出力により切り
換え制御され、上記補正量発生回路３３から上記補正部
４０に供給する手振れ補正信号を補正量が零の手振れ補
正信号に切り換える入力切り換え手段を上記補正量発生
回路３３の出力側に設け、上記手振れ判定部２０より画
像の動きベクトルが手振れに起因するものでないと判定
されたときに、上記補正部４０に補正量が零の手振れ補
正信号を供給するようにしても良い。Here, in the image shake correcting apparatus of this embodiment, when the motion vector detected by the motion vector detecting section 10 is determined by the camera shake determining section 20 to be not the motion vector of the image due to the camera shake, The selection circuit 32 is controlled so that the zero vector V (0,0) is supplied from the zero vector generation circuit 31 of the correction amount generation unit 30 to the correction amount generation circuit 33.
Instead of the zero vector generation circuit 31 and the selection circuit 32, switching is controlled by the determination output of the camera shake determination unit 20, and the camera shake correction signal supplied from the correction amount generation circuit 33 to the correction unit 40 has a correction amount of zero. An input switching unit for switching to the camera shake correction signal is provided on the output side of the correction amount generation circuit 33. When the camera shake determination unit 20 determines that the motion vector of the image is not caused by the camera shake, the correction unit 40 May be supplied with a camera shake correction signal having a zero correction amount.
【００４９】[0049]
【発明の効果】以上の説明からも明らかなように、本発
明では、関積算値表の最小値の座標の近傍の座標におけ
る相関積算値に基いて動きベクトルを推定し、動きベク
トルに応じた補正量の振動補正信号を高い精度で形成し
て、入力ビデオ信号に振動補正処理を施すことができ
る。As is clear from the above description, according to the present invention, a motion vector is estimated based on the correlation integrated value at coordinates near the minimum value coordinate of the related integrated value table, and the motion vector is estimated. A vibration correction signal of a correction amount can be formed with high accuracy, and a vibration correction process can be performed on an input video signal.
【００５０】また、度数分布表の画像全体の動きベクト
ルの方向に対応する座標の度数が多いときには、画像の
振動に起因する動きベクトルではないとして判定し、判
定結果に応じて動きベクトル、補正信号を零とすること
により、上記動きベクトルの推定にともなう誤差などに
よる振動補正を施すことがなく、静止画像にドリフトが
生じることのない自然な画像出力が得られる。When the frequency of the coordinates corresponding to the direction of the motion vector of the entire image in the frequency distribution table is large, it is determined that the motion vector is not a motion vector due to the vibration of the image, and the motion vector and the correction signal Is set to zero, a natural image output without drift in a still image can be obtained without performing vibration correction due to an error or the like accompanying the estimation of the motion vector.
【００５１】従って、本発明によれば、ハンディタイプ
のビデオカメラなどにおいて、静止しているべき画像に
ドリフトを与えることなく高性能の手振れ補正を行うこ
とができる。Therefore, according to the present invention, in a handy type video camera or the like, high-performance camera shake correction can be performed without giving a drift to an image which should be stationary.
【図１】本発明に係る画像の手振れ補正装置の構成を示
すブロック図である。FIG. 1 is a block diagram illustrating a configuration of an image stabilization apparatus according to the present invention.
【図２】上記動き手振れ補正装における画面のブロック
分割の状態を示す図である。FIG. 2 is a diagram showing a state in which a screen is divided into blocks in the motion image stabilizer.
【図３】上記ブロック分割された画面の１ブロックの構
造を示す図である。FIG. 3 is a diagram showing a structure of one block of the screen divided into blocks.
【図４】上記動き手振れ補正装置の動きベクトル検出部
における動きベクトルの推定処理手順を示すフローチャ
ートである。FIG. 4 is a flowchart showing a procedure for estimating a motion vector in a motion vector detection unit of the motion image stabilizer;
【図５】上記動きベクトル検出部における動きベクトル
の推定処理に用いる相関積算値表上の最小値近傍の軸を
説明するための図である。FIG. 5 is a diagram for explaining an axis near a minimum value on a correlation integrated value table used for a motion vector estimation process in the motion vector detection unit.
【図６】上記動きベクトル検出部における動きベクトル
の１次元推定例を説明するための図である。FIG. 6 is a diagram for explaining an example of one-dimensional estimation of a motion vector in the motion vector detection unit.
【図７】上記動き手振れ補正装置の手振れ判定部におけ
る手振れ判定処理手順を示すフローチャートである。FIG. 7 is a flowchart showing a camera shake determination processing procedure in a camera shake determination unit of the motion camera shake correction device.
【図８】手振れによる動きを伴う画像について、上記手
振れ判定部において度数分布表形成回路により形成され
た度数分布表の動きベクトル近傍の度数分布を示す図で
ある。FIG. 8 is a diagram illustrating a frequency distribution near a motion vector in a frequency distribution table formed by the frequency distribution table forming circuit in the camera shake determination unit for an image accompanied by a motion due to a camera shake.
【図９】固定カメラにより得られる画像について、上記
手振れ判定部において度数分布表形成回路により形成さ
れた度数分布表の動きベクトル近傍の度数分布を示す図
である。FIG. 9 is a diagram illustrating a frequency distribution near a motion vector in a frequency distribution table formed by a frequency distribution table forming circuit in the camera shake determination unit with respect to an image obtained by a fixed camera.
【図１０】上記手振れ補正装置の補正部の構成を示すブ
ロック図である。FIG. 10 is a block diagram illustrating a configuration of a correction unit of the camera shake correction device.
【図１１】手振れによる動きを伴う画像について、上記
動きベクトル検出部において、動きベクトル推定回路に
より得られる少数点以下の動きベクトルＶt’を示す図
である。FIG. 11 is a diagram showing a motion vector V t ′ of a decimal point or less obtained by a motion vector estimating circuit in the motion vector detecting unit for an image accompanied by motion due to camera shake.
【図１２】上記図１１に示した少数点以下の動きベクト
ルＶt ’に対応する手振れ補正量Ｘt を示す図である。12 is a diagram showing a camera-shake correction amount X t corresponding to the decimal point of the motion vector V t 'shown in FIG 11.
【図１３】固定カメラにより得られる画像について、上
記動きベクトル検出部において、動きベクトル推定回路
により得られる少数点以下の動きベクトルＶt ’と零ベ
クトル発生回路により与えられる零ベクトルＶ（０，
０）を示す示す図である。[13] The image obtained by the fixed camera, the motion vector in the detection unit, a motion vector following motion decimal point obtained by the estimation circuit vector V t 'zero vector V (0 given by the zero vector generator,
FIG.
【図１４】上記図１３に示した少数点以下の動きベクト
ルＶt ’及び零ベクトルＶ（０，０）に対応する手振れ
補正量Ｘt を示す図である。14 is a diagram showing a camera-shake correction amount X t corresponding to the 13 decimal points shown in the motion vector V t 'and the zero vector V (0,0).
１０・・・・・・・・・動きベクトル検出部 １１・・・・・・・・・代表点メモリ １２・・・・・・・・・減算回路 １３・・・・・・・・・相関積算値表形成回路 １４・・・・・・・・・動きベクトル推定回路 ２０・・・・・・・・・手振れ判定部 ２１・・・・・・・・・代表点メモリ ２２・・・・・・・・・減算回路 ２３・・・・・・・・・条件判定回路 ２４・・・・・・・・・度数表形成回路 ２５・・・・・・・・・手振れ判定回路 ３０・・・・・・・・・補正量発生部 ３１・・・・・・・・・零ベクトル発生回路 ３２・・・・・・・・・切り換え回路 ３３・・・・・・・・・補正量発生回路 ４０・・・・・・・・・補正部 Reference numeral 10: Motion vector detecting section 11: Representative point memory 12: Subtraction circuit 13: Correlation Integrated value table forming circuit 14 Motion vector estimating circuit 20 Camera shake determining unit 21 Representative point memory 22 ································································ Frequency table forming circuit ···························································································· Circuit 40: Correction unit
───────────────────────────────────────────────────── フロントページの続き (72)発明者 堀士 賢 東京都品川区北品川６丁目７番35号 ソ ニー株式会社内 (72)発明者 橋野 司 東京都品川区北品川６丁目７番35号 ソ ニー株式会社内 (56)参考文献 特開 平２−118888（ＪＰ，Ａ) 特開 昭61−201588（ＪＰ，Ａ) 特開 平３−198488（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 5/225 - 5/247 ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Ken Satoshi 6-35, Kita-Shinagawa, Shinagawa-ku, Tokyo Inside Sony Corporation (72) Inventor Tsukasa Hashino 6-35, Kita-Shinagawa, Shinagawa-ku, Tokyo No. Sony Corporation (56) References JP-A-2-118888 (JP, A) JP-A-61-201588 (JP, A) JP-A-3-198488 (JP, A) (58) Fields investigated (Int.Cl. 7 , DB name) H04N 5/225-5/247
Claims (4)
の画像を複数に分割した各ブロック毎の代表点画素の画
像データを記憶するメモリと、 現フレームのブロックの各画素の画像データと上記メモ
リに記憶された前フレームのブロックの代表点画素の画
像データとの差分の絶対値を検出する差分検出手段と、 上記差分検出手段により検出された各ブロックのフレー
ム差分絶対値を対応する画素毎に積算し、１ブロック分
の画素配列に対応する座標を有する相関積算値表を形成
する相関積算値表形成手段と、 上記相関積算値表形成手段により形成された相関積算値
表の相関積算値の最小値の座標を検出し、上記相関積算
値の最小値の座標の近傍の座標における相関積算値に基
づいて、画像の動きベクトルを推定する動きベクトル推
定手段と、 上記動きベクトル推定手段により得られた動きベクトル
に応じた補正量の振動補正信号を形成する補正量発生手
段と、 上記補正量発生手段から供給される振動補正信号により
入力ビデオ信号に振動補正処理を施す補正手段と、 上記代表点画素の画素データと当該代表点画素に対応す
る現フレームの画素データ間のレベル差が略０であり、
且つ、上記前フレームの代表点画素と上記現フレームの
上記代表点画素と対応する上記ブロック内の各画素デー
タとの間にレベル差があるかを上記ブロック内の画素毎
に条件判定し、当該判定結果に基いて上記条件を満たす
画素が検出される毎に、上記１ブロック分の画素配列に
対応する座標を有する度数分布表の上記画素の位置に対
応する座標の度数をインクリメントして当該度数分布表
を形成する度数分布表形成手段と、 上記度数分布表形成手段により形成された度数分布表に
基いて、上記動きベクトル推定手段により得られた動き
ベクトルが画像の振動に起因するものであるか否かの判
定を行う振動判定手段と、 上記振動判定手段による判定出力により切り換え制御さ
れ、上記動きベクトル推定手段から上記補正量発生手段
に供給する動きベクトルを零ベクトルに切り換える入力
切り換え手段とを備え、 上記振動判定手段により画像の動きベクトルが振動に起
因するものでないと判定されたときに、上記補正量発生
手段に零ベクトルを供給することを特徴とする画像の振
動補正装置。1. A memory for storing image data of a representative point pixel for each block obtained by dividing an image of one frame constituted by an input video signal into a plurality of blocks, an image data of each pixel of a block of a current frame, and the memory Difference detection means for detecting the absolute value of the difference between the image data of the representative point pixel of the block of the previous frame and the image data of the block of the previous frame, and the frame difference absolute value of each block detected by the difference detection means for each corresponding pixel. A correlation integrated value table forming means for integrating and forming a correlation integrated value table having coordinates corresponding to a pixel array of one block; and a correlation integrated value of the correlation integrated value table formed by the correlation integrated value table forming means. A motion vector estimating means for detecting coordinates of the minimum value and estimating a motion vector of the image based on the correlation integrated value at coordinates near the coordinates of the minimum value of the correlation integrated value; A correction amount generating means for forming a vibration correction signal of a correction amount corresponding to the motion vector obtained by the motion vector estimating means; and a vibration correction processing for the input video signal by the vibration correction signal supplied from the correction amount generating means. Correction means to be applied, and the level difference between the pixel data of the representative point pixel and the pixel data of the current frame corresponding to the representative point pixel is substantially 0;
And, for each pixel in the block, a condition judgment is made as to whether there is a level difference between the representative point pixel of the previous frame and each pixel data in the block corresponding to the representative point pixel of the current frame. Every time a pixel that satisfies the above condition is detected based on the determination result, the frequency of the coordinate corresponding to the position of the pixel in the frequency distribution table having the coordinates corresponding to the pixel array of the one block is incremented and the frequency is calculated. A frequency distribution table forming means for forming a distribution table; and a motion vector obtained by the motion vector estimating means based on the frequency distribution table formed by the frequency distribution table forming means is caused by image vibration. The switching is controlled by the vibration determination means for determining whether or not the motion vector is determined, and the output is supplied from the motion vector estimation means to the correction amount generation means. Input switching means for switching a motion vector to a zero vector, and when the vibration determining means determines that the motion vector of the image is not caused by vibration, supplying the zero vector to the correction amount generating means. Characteristic image vibration correction device.
の画像を複数に分割した各ブロック毎の代表点画素の画
像データを記憶するメモリと、 現フレームのブロックの各画素の画像データと上記メモ
リに記憶された前フレームのブロックの代表点画素の画
像データとの差分の絶対値を検出する差分検出手段と、 上記差分検出手段により検出された各ブロックのフレー
ム差分絶対値を対応する画素毎に積算し、１ブロック分
の画素配列に対応する座標を有する相関積算値表を形成
する相関積算値表形成手段と、 上記相関積算値表形成手段により形成された相関積算値
表の相関積算値の最小値の座標を検出し、上記相関積算
値の最小値の座標の近傍の座標における相関積算値に基
づいて、画像の動きベクトルを推定する動きベクトル推
定手段と、 上記動きベクトル推定手段により得られた動きベクトル
に応じた補正量の振動補正信号を形成する補正量発生手
段と、 上記補正量発生手段から供給される振動補正信号により
入力ビデオ信号に振動補正処理を施す補正手段と、 上記代表点画素の画素データと当該代表点画素に対応す
る現フレームの画素データ間のレベル差が略０であり、
且つ、上記前フレームの代表点画素と上記現フレームの
上記代表点画素と対応する上記ブロック内の各画素デー
タとの間にレベル差があるかを上記ブロック内の画素毎
に条件判定し、当該判定結果に基いて上記条件を満たす
画素が検出される毎に、上記１ブロック分の画素配列に
対応する座標を有する度数分布表の上記画素の位置に対
応する座標の度数をインクリメントして当該度数分布表
を形成する度数分布表形成手段と、 上記度数分布表形成手段により形成された度数分布表に
基いて、上記動きベクトル推定手段により得られた動き
ベクトルが画像の振動に起因するものであるか否かの判
定を行う振動判定手段と、 上記振動判定手段による判定出力により切り換え制御さ
れ、上記補正量発生手段から上記補正手段に供給する振
動補正信号を補正量が零の振動補正信号に切り換える入
力切り換え手段とを備え、 上記振動判定手段により画像の動きベクトルが振動に起
因するものでないと判定されたときに、上記補正手段に
補正量が零の振動補正信号を供給することを特徴とする
画像の振動補正装置。2. A memory for storing image data of a representative point pixel for each block obtained by dividing one frame image formed by an input video signal into a plurality of blocks, an image data of each pixel of a block of a current frame, and the memory Difference detection means for detecting the absolute value of the difference between the image data of the representative point pixel of the block of the previous frame and the image data of the block of the previous frame, and the frame difference absolute value of each block detected by the difference detection means for each corresponding pixel. A correlation integrated value table forming means for integrating and forming a correlation integrated value table having coordinates corresponding to a pixel array of one block; and a correlation integrated value of the correlation integrated value table formed by the correlation integrated value table forming means. A motion vector estimating means for detecting coordinates of the minimum value and estimating a motion vector of the image based on the correlation integrated value at coordinates near the coordinates of the minimum value of the correlation integrated value; A correction amount generating means for forming a vibration correction signal of a correction amount corresponding to the motion vector obtained by the motion vector estimating means; and a vibration correction processing for the input video signal by the vibration correction signal supplied from the correction amount generating means. Correction means to be applied, and the level difference between the pixel data of the representative point pixel and the pixel data of the current frame corresponding to the representative point pixel is substantially 0;
And, for each pixel in the block, a condition judgment is made as to whether there is a level difference between the representative point pixel of the previous frame and each pixel data in the block corresponding to the representative point pixel of the current frame. Every time a pixel that satisfies the above condition is detected based on the determination result, the frequency of the coordinate corresponding to the position of the pixel in the frequency distribution table having the coordinates corresponding to the pixel array of the one block is incremented and the frequency is calculated. A frequency distribution table forming means for forming a distribution table; and a motion vector obtained by the motion vector estimating means based on the frequency distribution table formed by the frequency distribution table forming means is caused by image vibration. And a vibration correction signal supplied to the correction means from the correction amount generation means, the switching being controlled by a determination output by the vibration determination means. Input switching means for switching the correction amount to a vibration correction signal having a zero correction amount. When the vibration determination means determines that the motion vector of the image is not caused by vibration, the correction means has a zero correction amount. An image vibration correction device for supplying a vibration correction signal.
の画像を複数に分割した各ブロックの各画素の画像デー
タと、前フレームの上記各ブロックに対応する代表点画
素の画像データとの差分の絶対値を検出するステップ
と、 上記検出された各ブロックのフレーム差分絶対値を対応
する画素毎に積算し、１ブロック分の画素配列に対応す
る座標を有する相関積算値表を形成するステップと、 上記相関積算値表の相関積算値の最小値の座標を検出
し、上記相関積算値の最小値の座標の近傍の座標におけ
る相関積算値に基づいて、画像の動きベクトルを推定す
るステップと、 上記動きベクトルに応じた補正量の振動補正信号を形成
するステップと、 上記振動補正信号により入力ビデオ信号に振動補正処理
を施すステップと、 上記代表点画素の画素データと当該代表点画素に対応す
る現フレームの画素データ間のレベル差が略０であり、
且つ、上記前フレームの代表点画素と上記現フレームの
上記代表点画素と対応する上記ブロック内の各画素デー
タとの間にレベル差があるかを上記ブロック内の画素毎
に条件判定し、当該判定結果に基いて上記条件を満たす
画素が検出される毎に、上記１ブロック分の画素配列に
対応する座標を有する度数分布表の上記画素の位置に対
応する座標の度数をインクリメントして当該度数分布表
を形成するステップと、 上記度数分布表に基いて、上記動きベクトルが画像の振
動に起因するものであるか否かの判定を行うステップ
と、 上記判定出力により切り換え制御され、上記動きベクト
ルを零ベクトルに切り換えるステップとを備えることを
特徴とする画像の振動補正方法。3. The difference between the image data of each pixel of each block obtained by dividing the image of the current frame constituted by the input video signal into a plurality of blocks and the image data of the representative point pixels corresponding to each block of the previous frame. Detecting an absolute value; and integrating the detected frame difference absolute value of each block for each corresponding pixel to form a correlation integrated value table having coordinates corresponding to a pixel array of one block. Detecting the coordinates of the minimum value of the correlation integrated value in the correlation integrated value table, and estimating a motion vector of the image based on the correlation integrated value at coordinates near the coordinates of the minimum value of the correlation integrated value; Forming a vibration correction signal having a correction amount corresponding to the motion vector; performing a vibration correction process on the input video signal based on the vibration correction signal; Level difference between the pixel data of the current frame corresponding to the data and the representative point pixels is substantially 0,
And, for each pixel in the block, a condition judgment is made as to whether there is a level difference between the representative point pixel of the previous frame and each pixel data in the block corresponding to the representative point pixel of the current frame. Every time a pixel that satisfies the above condition is detected based on the determination result, the frequency of the coordinate corresponding to the position of the pixel in the frequency distribution table having the coordinates corresponding to the pixel array of the one block is incremented and the frequency is calculated. Forming a distribution table; determining whether or not the motion vector is caused by image vibration based on the frequency distribution table; and Switching to a zero vector.
の画像を複数に分割した各ブロックの各画素の画像デー
タと、前フレームの上記各ブロックに対応する代表点画
素の画像データとの差分の絶対値を検出するステップ
と、 上記検出された各ブロックのフレーム差分絶対値を対応
する画素毎に積算し、１ブロック分の画素配列に対応す
る座標を有する相関積算値表を形成するステップと、 上記相関積算値表の相関積算値の最小値の座標を検出
し、上記相関積算値の最小値の座標の近傍の座標におけ
る相関積算値に基づいて、画像の動きベクトルを推定す
るステップと、 上記動きベクトルに応じた補正量の振動補正信号を形成
するステップと、 上記振動補正信号により入力ビデオ信号に振動補正処理
を施すステップと、 上記代表点画素の画素データと当該代表点画素に対応す
る現フレームの画素データ間のレベル差が略０であり、
且つ、上記前フレームの代表点画素と上記現フレームの
上記代表点画素と対応する上記ブロック内の各画素デー
タとの間にレベル差があるかを上記ブロック内の画素毎
に条件判定し、当該判定結果に基いて上記条件を満たす
画素が検出される毎に、上記１ブロック分の画素配列に
対応する座標を有する度数分布表の上記画素の位置に対
応する座標の度数をインクリメントして当該度数分布表
を形成するステップと、 上記度数分布表に基いて、上記動きベクトルが画像の振
動に起因するものであるか否かの判定を行うステップ
と、 上記判定出力により切り換え制御され、振動補正信号を
補正量が零の振動補正信号に切り換えるステップとを備
えることを特徴とする画像の振動補正方法。4. The difference between the image data of each pixel of each block obtained by dividing the image of the current frame constituted by the input video signal into a plurality of blocks and the image data of the representative point pixel corresponding to each block of the previous frame. Detecting an absolute value; and integrating the detected frame difference absolute value of each block for each corresponding pixel to form a correlation integrated value table having coordinates corresponding to a pixel array of one block. Detecting the coordinates of the minimum value of the correlation integrated value in the correlation integrated value table, and estimating a motion vector of the image based on the correlation integrated value at coordinates near the coordinates of the minimum value of the correlation integrated value; Forming a vibration correction signal having a correction amount corresponding to the motion vector; performing a vibration correction process on the input video signal based on the vibration correction signal; Level difference between the pixel data of the current frame corresponding to the data and the representative point pixels is substantially 0,
And, for each pixel in the block, a condition judgment is made as to whether there is a level difference between the representative point pixel of the previous frame and each pixel data in the block corresponding to the representative point pixel of the current frame. Every time a pixel that satisfies the above condition is detected based on the determination result, the frequency of the coordinate corresponding to the position of the pixel in the frequency distribution table having the coordinates corresponding to the pixel array of the one block is incremented and the frequency is calculated. Forming a distribution table; determining whether or not the motion vector is due to image vibration based on the frequency distribution table; switching control based on the determination output; Switching to a vibration correction signal having a correction amount of zero.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30397491A JP3271275B2 (en) | 1991-10-23 | 1991-10-23 | Image vibration correction apparatus and image vibration correction method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30397491A JP3271275B2 (en) | 1991-10-23 | 1991-10-23 | Image vibration correction apparatus and image vibration correction method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05122584A JPH05122584A (en) | 1993-05-18 |
| JP3271275B2 true JP3271275B2 (en) | 2002-04-02 |
Family
ID=17927522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30397491A Expired - Lifetime JP3271275B2 (en) | 1991-10-23 | 1991-10-23 | Image vibration correction apparatus and image vibration correction method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3271275B2 (en) |
-
1991
- 1991-10-23 JP JP30397491A patent/JP3271275B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH05122584A (en) | 1993-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7609293B2 (en) | Image stabilisation system and method | |
| US9055217B2 (en) | Image compositing apparatus, image compositing method and program recording device | |
| JP3200889B2 (en) | Image vibration correction device | |
| JPH0832048B2 (en) | Motion vector detector | |
| KR100262793B1 (en) | Apparatus for judging a hand movement of an image | |
| US7916970B2 (en) | Image processing apparatus, method of same, and program for same | |
| JP3271275B2 (en) | Image vibration correction apparatus and image vibration correction method | |
| JP3303311B2 (en) | Image vibration correction apparatus and image vibration correction method | |
| JP3786300B2 (en) | Motion vector detection apparatus and motion vector detection method | |
| JP3303312B2 (en) | Image vibration correction apparatus and image vibration correction method | |
| JP3959547B2 (en) | Image processing apparatus, image processing method, and information terminal apparatus | |
| JP3252418B2 (en) | Image shake determination device | |
| JP3271273B2 (en) | Image vibration determination apparatus, image vibration correction apparatus, image vibration determination method, and image vibration correction method | |
| KR950009663B1 (en) | Apparatus for correcting a hand motion in a camcorder | |
| JP3252417B2 (en) | Image stabilization device | |
| JP3221052B2 (en) | Image shake detection device | |
| JP3271271B2 (en) | Image motion vector detection device, image motion vector detection method, image vibration correction device, and image vibration correction method | |
| JP3271274B2 (en) | Image vibration determination apparatus, image vibration correction apparatus, image vibration determination method, and image vibration correction method | |
| JP3252416B2 (en) | Image stabilization device | |
| JP3303310B2 (en) | Image vibration correction apparatus and image vibration correction method | |
| JP3196258B2 (en) | Image motion vector detection device | |
| JP3225598B2 (en) | Image shake detection device | |
| JP3200888B2 (en) | Image vibration correction device | |
| JP3200890B2 (en) | Image vibration correction device | |
| JP3223577B2 (en) | Image stabilization device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20011225 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080125 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090125 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100125 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100125 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110125 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110125 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120125 Year of fee payment: 10 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120125 Year of fee payment: 10 |