JP3303310B2 - Image vibration correction apparatus and image vibration correction method - Google Patents
Image vibration correction apparatus and image vibration correction methodInfo
- Publication number
- JP3303310B2 JP3303310B2 JP29048191A JP29048191A JP3303310B2 JP 3303310 B2 JP3303310 B2 JP 3303310B2 JP 29048191 A JP29048191 A JP 29048191A JP 29048191 A JP29048191 A JP 29048191A JP 3303310 B2 JP3303310 B2 JP 3303310B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- coordinate
- coordinates
- minimum
- correlation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Color Television Systems (AREA)
Description
【０００１】[0001]
【産業上の利用分野】本発明は、ハンディタイプのビデ
オカメラの撮像出力等をビデオデータに含まれる所謂手
振れによる画像の移動量を検出して補正する画像の振動
補正装置及び画像の振動補正方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image vibration correcting apparatus and a method for correcting an image output of a handy type video camera by detecting a moving amount of an image caused by a so-called camera shake contained in video data. About.
【０００２】[0002]
【従来の技術】一般に、ハンディタイプのビデオカメラ
では、撮影時の手振れすなわちカメラの振動が画像の振
動となって現れる。そこで、このような手振れによる画
像の振動を補正する画像動き補正装置として、例えば特
開昭６３−１６６３７０号公報に開示されているよう
に、画像の動きベクトルを検出し、この動きベクトルに
基づいて、画像メモリに貯えられているビデオデータを
補正するものが提案されている。2. Description of the Related Art Generally, in a handy type video camera, camera shake during photographing, that is, camera vibration appears as image vibration. Therefore, as an image motion compensating device for compensating image vibration due to such camera shake, for example, as disclosed in Japanese Patent Application Laid-Open No. 63-166370, a motion vector of an image is detected and based on this motion vector. A device that corrects video data stored in an image memory has been proposed.
【０００３】画像の動きベクトルの検出には、例えばブ
ロックマッチング法が採用される。このブロックマッチ
ング法による画像の動きベクトルの検出では、画面を多
数の領域（ブロックと称する）に分割し、各ブロックの
中心に位置する前フレームの代表点画素と現フレームの
ブロック内の各画素の画像データとのフレーム差の絶対
値を演算し、各ブロックのフレーム差分絶対値を対応す
る画素毎に積算して相関積分値を求めて、１ブロック分
の画素配列に対応する座標を有する相関積算値表を形成
する。そして、この相関積算値表における相関積分値の
最小値の座標値を画像の動きベクトルの座標値として画
面全体の動きベクトルを決定している。For detecting a motion vector of an image, for example, a block matching method is employed. In the detection of a motion vector of an image by the block matching method, a screen is divided into a number of regions (referred to as blocks), and a representative point pixel of a previous frame located at the center of each block and a pixel of each pixel in a block of the current frame are determined. The absolute value of the frame difference with the image data is calculated, the absolute value of the frame difference of each block is integrated for each corresponding pixel to obtain a correlation integral value, and the correlation integration having coordinates corresponding to the pixel array of one block Form a value table. Then, the motion vector of the entire screen is determined using the coordinate value of the minimum value of the correlation integral value in the correlation integrated value table as the coordinate value of the motion vector of the image.
【０００４】そして、画像動き補正装置では、検出され
た動きベクトルを補正信号に変換し、この補正信号によ
り現画像を移動する補正を行っている。このような画像
動き補正装置における補正精度は、画像の動きベクトル
の検出精度に依存する。[0004] The image motion compensator converts the detected motion vector into a compensation signal, and carries out compensation for moving the current picture using the compensation signal. The correction accuracy of such an image motion correction device depends on the detection accuracy of a motion vector of an image.
【０００５】[0005]
【発明が解決しようとする課題】ところで、上述のよう
に相関積算値表における相関積分値の最小値の座標値を
画像の動きベクトルの座標値として画面全体の動きベク
トルを決定するようにした従来のブロックマッチング法
による画像の動きベクトル検出装置では、上記相関積分
値が各画素に対応して離散的に算出されており、上記相
関積算値表における整数座標値でしか画像の動きベクト
ルが求まらないので、検出精度が低いという問題点があ
った。従って、従来の画像の動きベクトル検出装置によ
り検出した画像の動きベクトルにより例えば手振れ補正
信号を形成して、手振れ補正を行った場合に、十分な補
正精度が得られず、不自然が画像となってしまう。By the way, as described above, the motion vector of the entire screen is determined by using the coordinate value of the minimum value of the correlation integrated value in the correlation integrated value table as the coordinate value of the motion vector of the image. In the image motion vector detecting apparatus using the block matching method, the correlation integral value is discretely calculated for each pixel, and the motion vector of the image is obtained only by the integer coordinate values in the correlation integrated value table. Therefore, there is a problem that the detection accuracy is low. Therefore, when a camera shake correction signal is formed based on a motion vector of an image detected by a conventional image motion vector detection device and a camera shake correction is performed, sufficient correction accuracy cannot be obtained, and the image becomes unnatural. Would.
【０００６】本発明は、このような実情に鑑みてなされ
たものであり、ハンディタイプのビデオカメラなどにお
ける高性能の手振れ補正を可能にすることを目的とし、
高精度で画像の動きベクトルを検出することのできる画
像の振動補正装置及び画像の振動補正方法を提供するも
のである。The present invention has been made in view of such circumstances, and has as its object to enable high-performance camera shake correction in a handy-type video camera or the like.
An object of the present invention is to provide an image vibration correction device and an image vibration correction method capable of detecting a motion vector of an image with high accuracy.
【０００７】[0007]
【課題を解決するための手段】本発明に係る画像の振動
補正装置は、入力ビデオ信号で構成される１フレームの
画像を複数に分割した各ブロック毎の代表点画素の画像
データを記憶するメモリと、現フレームのブロックの各
画素の画像データと上記メモリに記憶された前フレーム
のブロックの代表点画素の画像データとの差分の絶対値
を上記各画素毎に検出する差分検出手段と、上記各ブロ
ック内の画素毎に検出される差分の絶対値を、上記１フ
レームに亘って対応する画素毎に積算し、１ブロック分
の画素配列に対応する座標に当該各積算結果を有する相
関積算値表を形成する相関積算値表形成手段と、上記相
関積算値表形成手段により形成された相関積算値表の相
関積算値の最小値の座標を最小値座標として検出し、該
最小値座標の最小の相関積算値と当該最小値座標を通る
第１の軸上の当該最小値座標の周辺の座標に対応する各
相関積算値との差分値により当該第１の軸上の周辺の座
標から比例分割された当該第１の軸上の第１の座標を求
めると共に、当該最小値座標の最小の相関積算値と当該
最小値座標を通る第２の軸上の当該最小値座標の周辺の
座標に対応する各相関積算値との差分値により当該第２
の軸上の周辺の座標から比例分割された当該第２の軸上
の第２の座標を求め、更に、少なくとも上記第１の座標
と上記第２の座標を合成することにより画像の動きベク
トルを推定する動きベクトル推定手段と、上記動きベク
トル推定手段により推定された動きベクトルに応じた補
正量の補正信号を形成する補正量発生手段と、上記補正
信号により上記フレームを構成する画像に振動補正処理
を施す補正手段とを備えることを特徴とする。また、本
発明に係る画像の振動補正方法は、１フレームを複数の
ブロックに分割し、現フレームの上記ブロック内の各画
素データと、当該ブロックに対応する前フレームの代表
画素データとの差分の絶対値を検出するステップと、上
記各ブロック内の画素毎に検出される差分の絶対値を、
上記１フレームに亘って対応する画素毎に積算し、１ブ
ロック分の画素配列に対応する座標に当該各積算結果を
有する相関積算値表を形成するステップと、上記相関積
算値表の相関積算値の最小値の座標を最小値座標として
検出するステップと、上記最小値座標の最小の相関積算
値と当該最小値座標を通る第１の軸上の当該最小値座標
の周辺の座標に対応する各相関積算値との差分値により
当該第１の軸上の周辺の座標から比例分割された当該第
１の軸上の第１の座標を求めるステップと、該最小値座
標の最小の相関積算値と当該最小値座標を通る第２の軸
上の当該最小値座標の周辺の座標に対応する各相関積算
値との差分値により当該第２の軸上の周辺の座標から比
例分割された当該第２の軸上の第２の座標を求めるステ
ップと、少なくとも上記第１の座標と上記第２の座標を
合成することにより画像の動きベクトルを推定するステ
ップと、上記動きベクトルに応じた補正量の補正信号を
形成するステップと、上記補正量発生手段から供給され
る補正信号により上記フレームを構成する画像に振動補
正処理を施すステップとを備えることを特徴とする。An image vibration correcting apparatus according to the present invention is a memory for storing image data of a representative point pixel for each block obtained by dividing an image of one frame constituted by an input video signal into a plurality of blocks. Difference detection means for detecting, for each pixel, an absolute value of a difference between image data of each pixel of the block of the current frame and image data of a representative point pixel of the block of the previous frame stored in the memory; The absolute value of the difference detected for each pixel in each block is integrated for each pixel corresponding to the one frame, and the correlation integrated value having the respective integration results at coordinates corresponding to the pixel array of one block A correlation integrated value table forming means for forming a table, and detecting a minimum value coordinate of the correlation integrated value of the correlation integrated value table formed by the correlation integrated value table forming means as a minimum value coordinate; A proportional division is performed from peripheral coordinates on the first axis by a difference value between the correlation integrated value and each correlation integrated value corresponding to coordinates around the minimum coordinate on the first axis passing through the minimum coordinate. The first coordinates on the first axis are obtained, and the first coordinates correspond to the minimum correlation integrated value of the minimum coordinates and the coordinates around the minimum coordinates on the second axis passing through the minimum coordinates. The second value is obtained from the difference value with each correlation integrated value.
The second coordinate on the second axis, which is proportionally divided from the peripheral coordinates on the second axis, is obtained, and at least the first coordinate and the second coordinate are combined to obtain the motion vector of the image. A motion vector estimating means for estimating, a correction amount generating means for forming a correction signal of a correction amount corresponding to the motion vector estimated by the motion vector estimating means, and a vibration correcting process for an image constituting the frame by the correction signal And correction means for performing the following. Also, the image vibration correction method according to the present invention divides one frame into a plurality of blocks, and calculates a difference between each pixel data in the block of the current frame and representative pixel data of a previous frame corresponding to the block. Detecting the absolute value, and calculating the absolute value of the difference detected for each pixel in each block,
A step of forming a correlation integrated value table having each integration result at coordinates corresponding to a pixel array of one block by integrating for each pixel corresponding to one frame, and a correlation integrated value of the correlation integrated value table; Detecting the coordinates of the minimum value of the minimum value as minimum value coordinates; and determining the minimum correlation integrated value of the minimum value coordinates and the coordinates corresponding to the coordinates around the minimum value coordinates on the first axis passing through the minimum value coordinates. Obtaining a first coordinate on the first axis proportionally divided from peripheral coordinates on the first axis by a difference value with the correlation integrated value; The second value, which is proportionally divided from the peripheral coordinates on the second axis by a difference value with each correlation integrated value corresponding to the peripheral coordinates of the minimum value coordinate on the second axis passing through the minimum value coordinate Determining a second coordinate on the axis of Estimating a motion vector of an image by synthesizing the first coordinates and the second coordinates; forming a correction signal of a correction amount corresponding to the motion vector; Performing a vibration correction process on an image forming the frame by the correction signal to be performed.
【０００８】[0008]
【作用】本発明では、１フレームを複数のブロックに分
割し、現フレームの上記ブロック内の各画素データと、
当該ブロックに対応する前フレームの代表画素データと
の差分の絶対値を検出し、上記各ブロック内の画素毎に
検出される差分の絶対値を、上記１フレームに亘って対
応する画素毎に積算し、１ブロック分の画素配列に対応
する座標に当該各積算結果を有する相関積算値表を形成
する。また、上記相関積算値表の相関積算値の最小値の
座標を最小値座標として検出し、上記最小値座標の最小
の相関積算値と当該最小値座標を通る第１の軸上の当該
最小値座標の周辺の座標に対応する各相関積算値との差
分値により当該第１の軸上の周辺の座標から比例分割さ
れた当該第１の軸上の第１の座標を求め、該最小値座標
の最小の相関積算値と当該最小値座標を通る第２の軸上
の当該最小値座標の周辺の座標に対応する各相関積算値
との差分値により当該第２の軸上の周辺の座標から比例
分割された当該第２の軸上の第２の座標を求める。そし
て、少なくとも上記第１の座標と上記第２の座標を合成
することにより画像の動きベクトルを推定し、上記動き
ベクトルに応じた補正量の補正信号を形成し、この補正
信号により上記フレームを構成する画像に振動補正処理
を施す。According to the present invention, one frame is divided into a plurality of blocks, and each pixel data in the block of the current frame is divided into:
The absolute value of the difference from the representative pixel data of the previous frame corresponding to the block is detected, and the absolute value of the difference detected for each pixel in each block is integrated for each pixel corresponding to the one frame. Then, a correlation integrated value table having the respective integrated results at coordinates corresponding to the pixel arrangement of one block is formed. Further, the coordinate of the minimum value of the correlation integrated value in the correlation integrated value table is detected as the minimum value coordinate, and the minimum correlation integrated value of the minimum value coordinate and the minimum value on the first axis passing through the minimum value coordinate are detected. The first coordinate on the first axis, which is proportionally divided from the peripheral coordinate on the first axis, is obtained from a difference value between each of the correlation integrated values corresponding to the coordinate around the coordinate and the minimum value coordinate. From the peripheral coordinate on the second axis by the difference value between the minimum correlation integrated value of the second axis and each correlation integrated value corresponding to the coordinate around the minimum coordinate on the second axis passing through the minimum coordinate. A second coordinate on the second axis, which is proportionally divided, is obtained. Then, a motion vector of an image is estimated by combining at least the first coordinates and the second coordinates, a correction signal having a correction amount corresponding to the motion vector is formed, and the frame is configured by the correction signal. The image to be processed is subjected to vibration correction processing.
【０００９】[0009]
【実施例】以下、本発明の一実施例について図面に従い
詳細に説明する。本発明は、例えば図１に示すような構
成の手振れ補正装置に適用される。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS One embodiment of the present invention will be described below in detail with reference to the drawings. The present invention is applied to, for example, a camera shake correction apparatus having a configuration as shown in FIG.
【００１０】この図１に示した画像の動きベクトル検出
装置１０は、補正量発生部２０及び補正部３０とともに
ハンディタイプのビデオカメラにおける手振れによる画
像の動きを補正する手振れ補正装置を構成している。図
１において、信号入力端子１には、上記ビデオカメラの
図示しない撮像部による撮像出力として得られるビデオ
信号をディジタル化した入力ビデオデータが供給され
る。The image motion vector detecting device 10 shown in FIG. 1 constitutes a camera shake correction device for correcting image movement caused by camera shake in a handy type video camera together with the correction amount generator 20 and the correction unit 30. . In FIG. 1, input video data obtained by digitizing a video signal obtained as an imaging output by an imaging unit (not shown) of the video camera is supplied to a signal input terminal 1.
【００１１】上記動きベクトル検出装置１０は、上記入
力ビデオデータが上記信号入力端子１を介して供給され
る代表点メモリ１１及び減算回路１２と、この減算回路
１２による減算出力データが供給される相関積算値表形
成回路１３と、この相関積算値表形成回路１３により形
成された相関積算値表の相関積算値データが供給される
動きベクトル推定回路１４とを備えてなる。The motion vector detecting device 10 includes a representative point memory 11 and a subtraction circuit 12 to which the input video data is supplied through the signal input terminal 1, and a correlation to which subtraction output data from the subtraction circuit 12 is supplied. An integrated value table forming circuit 13 and a motion vector estimating circuit 14 to which correlation integrated value data of the correlation integrated value table formed by the correlation integrated value table forming circuit 13 are supplied.
【００１２】上記代表点メモリ１１は、上記入力ビデオ
データで構成される１フレームの画像を複数に分割した
各ブロック毎の代表点画素の画像データを記憶する。具
体的には、例えば図２に示すように、１フレームの画面
をｍ画素×ｎラインのブロックに分割し、図３に示すよ
うに各ブロックの中心の画素を代表点とし、各代表点画
素の画像データを上記代表点メモリ１１に１フレーム期
間記憶する。なお、上記代表点は、画面上で均一のばら
まかれている。そして、この代表点メモリ１１から読み
出される１フレーム前の各代表点画素の画像データが上
記減算回路１２に供給される。The representative point memory 11 stores image data of representative point pixels for each block obtained by dividing one frame image composed of the input video data into a plurality of blocks. Specifically, for example, as shown in FIG. 2, a screen of one frame is divided into blocks of m pixels × n lines, and as shown in FIG. 3, a pixel at the center of each block is set as a representative point. Are stored in the representative point memory 11 for one frame period. Note that the representative points are uniformly distributed on the screen. Then, the image data of each representative point pixel one frame before read from the representative point memory 11 is supplied to the subtraction circuit 12.
【００１３】上記減算回路１２は、上記信号入力端子１
を介して供給される入力ビデオデータすなわち現フレー
ムの画像データについて、ブロック毎のｍ×ｎ個の各画
素の画像データと上記代表点メモリ１１から読み出され
る前フレームの対応するブロックの代表点画素の画像デ
ータとの差分すなわちフレーム間差の絶対値を検出す
る。そして、この減算回路１２による減算出力データと
して得られるフレーム差分絶対値データが上記相関積算
値表形成回路１３に供給される。The subtraction circuit 12 is connected to the signal input terminal 1
, The input video data supplied via the CPU, ie, the image data of the current frame, the image data of m × n pixels for each block and the representative point pixels of the corresponding block of the previous frame read from the representative point memory 11 are read out. A difference from the image data, that is, an absolute value of a difference between frames is detected. Then, frame difference absolute value data obtained as subtraction output data by the subtraction circuit 12 is supplied to the correlation integrated value table forming circuit 13.
【００１４】上記相関積算値表形成回路１３は、上記減
算回路１２により得られた各ブロックのフレーム差分絶
対値を対応する画素毎に１フレーム期間に亘って積算
し、１ブロック分の画素配列に対応するｍ×ｎの整数座
標を有する相関積算値表を形成する。この相関積算値表
形成回路１３により形成される相関積算値表は、ｍ×ｎ
個のフレーム差分絶対値の積算値すなわち相関積算値の
分布を示し、フレーム相関の最も強い座標の相関積算値
が最小値となる。そして、この相関積算値表形成回路１
３により形成される相関積算値表のｍ×ｎ個の相関積算
値が上記動きベクトル推定回路１４に供給される。The correlation integrated value table forming circuit 13 integrates the frame difference absolute value of each block obtained by the subtracting circuit 12 for each corresponding pixel over one frame period, and forms a pixel array of one block. A correlation integrated value table having corresponding m × n integer coordinates is formed. The correlation integrated value table formed by the correlation integrated value table forming circuit 13 is m × n
The distribution of the integrated value of the frame difference absolute values, that is, the correlation integrated value, is shown, and the integrated value of the correlation having the strongest frame correlation is the minimum value. Then, the correlation integrated value table forming circuit 1
3 are supplied to the motion vector estimating circuit 14.
【００１５】上記動きベクトル推定回路１４では、上記
相関積算値表形成回路１３により形成された相関積算値
表の相関積算値の最小値の座標を検出し、この座標が中
央に位置する周辺座標における相関積算値を比例係数と
して上記周辺座標間距離に対応する画素間距離を比例分
割した座標を求め、この座標に基づいて画像の動きベク
トルを推定する。The motion vector estimating circuit 14 detects the coordinates of the minimum value of the correlation integrated value in the correlation integrated value table formed by the correlation integrated value table forming circuit 13, and finds this coordinate in the peripheral coordinates located at the center. Coordinates obtained by proportionally dividing the inter-pixel distance corresponding to the above-mentioned inter-coordinate distance using the correlation integrated value as a proportional coefficient are obtained, and a motion vector of an image is estimated based on the coordinates.
【００１６】ここで、上記動きベクトル推定回路１４に
おける画像の動きベクトルの推定処理には、図４に示す
ように上記相関積算値の最小値の座標Ｐ（ｘ，ｙ）とそ
の８近傍座標Ｐ（ｘ＋１，ｙ），Ｐ（ｘ＋１，ｙ＋
１），Ｐ（ｘ，ｙ＋１），Ｐ（ｘ−１，ｙ＋１），Ｐ
（ｘ−１，ｙ），Ｐ（ｘ−１，ｙ−１），Ｐ（ｘ，ｙ−
１），Ｐ（ｘ＋１，ｙ−１）のうちの２座標を通る４軸
Ｓ1 ，Ｓ2 ，Ｓ3 ，Ｓ4 を用いて２次元セパラブルに行
うことができる。そこで、この実施例における動きベク
トル推定回路１４では、図５のフローチャートに示すよ
うに、ステップ１で上記相関積算値表形成回路１３によ
り形成された相関積算値表について、ステップ２で相関
積算値の最小値の座標を検出する。このステップ２で検
出される相関積算値の最小値の座標は、上記相関積算値
表の整数座標値で示される。ステップ３で変数ＮをＮ＝
０に設定してから、ステップ４でＮ＝４であるか否かの
判定処理を行い、その判定結果がＮＯである場合にステ
ップ５に進んで各軸の最小値の座標の推定処理を行う。Here, in the motion vector estimating circuit 14 for estimating the motion vector of the image, as shown in FIG. 4, the coordinates P (x, y) of the minimum value of the correlation integrated value and its eight neighboring coordinates P (X + 1, y), P (x + 1, y +
1), P (x, y + 1), P (x-1, y + 1), P
(X-1, y), P (x-1, y-1), P (x, y-
1), P (x + 1, y-1) can be two-dimensionally separable using four axes S 1 , S 2 , S 3 , S 4 passing through two coordinates. Therefore, in the motion vector estimating circuit 14 in this embodiment, as shown in the flowchart of FIG. 5, the correlation integrated value table formed by the correlation integrated value table Find the coordinates of the minimum value. The coordinates of the minimum value of the correlation integrated value detected in step 2 are shown by integer coordinate values in the correlation integrated value table. In step 3, the variable N is set to N =
After it is set to 0, a determination process is performed in step 4 to determine whether or not N = 4. If the determination result is NO, the process proceeds to step 5 to perform a process of estimating the coordinates of the minimum value of each axis. .
【００１７】ある軸についての最小値の座標の１次元推
定は、例えば軸Ｓ1において図６に示すように中央の座
標Ｐ（ｘ，ｙ）の相関積算値が最小値であって隣接座標
Ｐ（ｘ＋１，ｙ），Ｐ（ｘ−１，ｙ）の各相関積算値と
上記最小相関積算値との間にａ，ｂなる差があるとする
と、隣接座標間距離Ｌをａ／（ａ＋ｂ）：ｂ／（ａ＋
ｂ）に比例分割した座標Ｐ（Ｘ，Ｙ）を求めることによ
り行われる。これにより、上記相関積算値表の整数座標
値よりも細かい分解能で最小値座標を求めることができ
る。なお、α・ａ／（ａ＋ｂ）：β・ｂ／（ａ＋ｂ）の
ように上記隣接座標間距離Ｌを比例分割するための比例
係数の重みα，βを変えることで、上記隣接座標Ｐ（ｘ
＋１，ｙ），Ｐ（ｘ−１，ｙ）の各相関積算値の変化に
応じた推定を取り入れることも可能である。The one-dimensional estimation of the minimum coordinate value for a certain axis is performed, for example, as shown in FIG. 6 on the axis S 1 , where the correlation integrated value of the central coordinate P (x, y) is the minimum value and the adjacent coordinate P Assuming that there is a difference between a and b between each correlation integrated value of (x + 1, y), P (x-1, y) and the minimum integrated value, the distance L between adjacent coordinates is a / (a + b). : B / (a +
This is performed by obtaining coordinates P (X, Y) that are proportionally divided in b). As a result, the minimum value coordinates can be obtained with a finer resolution than the integer coordinate values in the correlation integrated value table. By changing the weights α and β of the proportional coefficients for proportionally dividing the distance L between adjacent coordinates, such as α · a / (a + b): β · b / (a + b), the adjacent coordinates P (x
+1, y) and P (x-1, y) can also be estimated in accordance with the change of each correlation integrated value.
【００１８】そして、上記ステップ５において１軸の最
小値の座標の推定処理を終了すると、ステップ６に進ん
で変数Ｎをインクリメント（Ｎ＝Ｎ＋１）してから上記
ステップ４の判定処理に戻り、上記ステップ４〜ステッ
プ６を繰り返し行う。そして、上記４軸Ｓ1 ，Ｓ2 ，Ｓ
3 ，Ｓ4 について最小値の座標の推定処理を行い、上記
ステップ４での判定結果がＹＥＳになるとステップ７に
進む。When the process of estimating the coordinate of the minimum value of one axis is completed in step 5, the process proceeds to step 6, where the variable N is incremented (N = N + 1), and the process returns to the determination process in step 4. Steps 4 to 6 are repeated. Then, the four axes S 1 , S 2 , S
3, S 4 performs estimation processing of the minimum value of the coordinates for, the process proceeds to step 7 if the decision result in the step 4 is to YES.
【００１９】このステップ７では、各軸Ｓ1 ，Ｓ2 ，Ｓ
3 ，Ｓ4 の最小値の推定座標を合成して２次元座標値を
算出し、この２次元座標値から画像の動きベクトルを決
定する。そして、このステップ７において決定された画
像の動きベクトルが推定存在範囲にあることをステップ
８で確認して、画像の動きベクトルの推定処理を終了す
る。In this step 7, each axis S 1 , S 2 , S
3, by combining the estimated coordinates of the minimum value of S 4 to calculate the two-dimensional coordinate values, determining the motion vector of the image from the 2-dimensional coordinate values. Then, it is confirmed in step 8 that the motion vector of the image determined in step 7 is within the estimated existence range, and the process of estimating the motion vector of the image ends.
【００２０】このような構成の画像の動きベクトル検出
装置１０では、上記相関積算値形成回路１３により形成
した表相関積算値表の相関積算値の最小値の座標を検出
することにより整数座標値を得て、上記座標が中央に位
置する周辺座標における相関積算値を比例係数として上
記周辺座標間距離に対応する画素間距離を比例分割した
座標を求めることにより少数座標値を得ることができ、
この座標に基づいて画像の動きベクトルを推定するの
で、上記動きベクトルを高い精度で検出することができ
る。In the image motion vector detecting device 10 having such a configuration, the integer coordinate value is detected by detecting the coordinate of the minimum value of the correlation integrated value in the table integrated value table formed by the integrated correlation value forming circuit 13. It is possible to obtain a minority coordinate value by obtaining a coordinate obtained by proportionally dividing the pixel-to-pixel distance corresponding to the peripheral-to-peripheral-coordinate distance as a proportional coefficient using the correlation integrated value in the peripheral coordinates where the coordinates are located at the center,
Since the motion vector of the image is estimated based on the coordinates, the motion vector can be detected with high accuracy.
【００２１】そして、この動きベクトル検出装置１０に
より検出された動きベクトルが上記補正量発生部２０に
供給される。The motion vector detected by the motion vector detector 10 is supplied to the correction amount generator 20.
【００２２】上記補正量発生部２０は、上記動きベクト
ル検出装置１０が検出した動きベクトルを手振れベクト
ルとして手振れ補正信号を形成し、この手振れ補正信号
を上記補正部３０に供給する。The correction amount generation section 20 forms a camera shake correction signal using the motion vector detected by the motion vector detection device 10 as a camera shake vector, and supplies the camera shake correction signal to the correction section 30.
【００２３】また、上記補正部３０は、例えば図７に示
すように、上記補正量発生部２０から手振れ補正信号が
供給されるアドレス制御回路３１及びセレクト信号発生
回路３２と、上記アドレス制御回路３１から供給される
アドレス信号に従ってビデオデータの書き込み／読み出
しが行われるフレームメモリ３３及び周辺メモリ３４
と、上記フレームメモリ３３及び周辺メモリ３４から読
み出されるビデオデータを上記セレクト信号発生回路３
２から供給されるセレクト信号に応じて選択的に出力す
るセレクタ３５とを備えてなる。As shown in FIG. 7, for example, the correction section 30 includes an address control circuit 31 and a select signal generation circuit 32 to which a camera shake correction signal is supplied from the correction amount generation section 20, and an address control circuit 31. Memory 33 and peripheral memory 34 in which video data is written / read in accordance with an address signal supplied from
And the video data read from the frame memory 33 and the peripheral memory 34 are transferred to the select signal generating circuit 3.
And a selector 35 for selectively outputting in response to the select signal supplied from the selector 2.
【００２４】上記フレームメモリ３２には、上記信号入
力端子１を介して供給される入力ビデオデータが順次書
き込まれる。そして、このフレームメモリ３２の読み出
しアドレスが上記手振れ補正信号により上記手振れベク
トルに応じて制御される。これにより、上記フレームメ
モリ３２からは、１フレームの入力ビデオデータが上記
手振れベクトルに応じて移動されたビデオデータが得ら
れる。そして、このフレームメモリ３２から読み出され
るビデオデータと上記周辺メモリ３３から読み出される
周辺ビデオデータとが上記セレクタ３５による選択によ
って合成され、手振れ補正処理済のビデオデータとして
信号出力端子２から出力される。Input video data supplied via the signal input terminal 1 is sequentially written into the frame memory 32. The read address of the frame memory 32 is controlled by the camera shake correction signal in accordance with the camera shake vector. As a result, video data obtained by moving one frame of input video data according to the camera shake vector is obtained from the frame memory 32. Then, the video data read from the frame memory 32 and the peripheral video data read from the peripheral memory 33 are combined by selection by the selector 35, and are output from the signal output terminal 2 as video data subjected to camera shake correction processing.
【００２５】なお、上記周辺メモリ３３には、上記セレ
クタ３５を介して出力される手振れ補正処理済のビデオ
データによる画像の補正範囲に相当する周辺部分のビデ
オデータが周辺ビデオデータとして逐次書き込まれる。In the peripheral memory 33, video data of a peripheral portion corresponding to a correction range of an image by the video data subjected to the camera shake correction output via the selector 35 is sequentially written as peripheral video data.
【００２６】上述のように上記動きベクトル検出装置１
０により画像の動きベクトルを高い精度で検出すること
ができるので、この動きベクトルに基づいて手振れ補正
を行う手振れ補正装置では、高い手振れ補正精度を確保
することができ、自然な画像出力が得られる。As described above, the motion vector detecting device 1
Since a motion vector of an image can be detected with high accuracy by using 0, a camera shake correction device that performs camera shake correction based on this motion vector can ensure high camera shake correction accuracy and obtain a natural image output. .
【００２７】[0027]
【発明の効果】以上の説明からも明らかなように、本発
明では、相関積算値表の相関積算値の最小値の座標を最
小値座標として検出し、上記最小値座標の最小の相関積
算値と当該最小値座標を通る第１の軸上の当該最小値座
標の周辺の座標に対応する各相関積算値との差分値によ
り当該第１の軸上の周辺の座標から比例分割された当該
第１の軸上の第１の座標を求め、該最小値座標の最小の
相関積算値と当該最小値座標を通る第２の軸上の当該最
小値座標の周辺の座標に対応する各相関積算値との差分
値により当該第２の軸上の周辺の座標から比例分割され
た当該第２の軸上の第２の座標を求め、上記第１の座標
と上記第２の座標を合成することにより、画像の動きベ
クトルを高い精度で推定することができる。そして、上
記動きベクトルに応じた補正量の補正信号を形成し、こ
の補正信号により上記フレームを構成する画像に振動補
正処理を施すことができる。As is apparent from the above description, in the present invention, the minimum coordinate of the correlation integrated value in the correlation integrated value table is detected as the minimum coordinate, and the minimum correlation integrated value of the minimum coordinate is detected. And a value obtained by proportionally dividing the peripheral coordinates on the first axis by a difference value between each of the correlation integrated values corresponding to the peripheral coordinates of the minimum value coordinate on the first axis passing through the minimum value coordinate. A first coordinate on the first axis is obtained, and a minimum correlation integrated value of the minimum coordinate and each correlation integrated value corresponding to coordinates around the minimum coordinate on the second axis passing through the minimum coordinate; By calculating the second coordinate on the second axis proportionally divided from the peripheral coordinates on the second axis based on the difference value between the first coordinate and the second coordinate, the first coordinate and the second coordinate are synthesized. , The motion vector of the image can be estimated with high accuracy. Then, a correction signal having a correction amount corresponding to the motion vector is formed, and the image forming the frame can be subjected to the vibration correction processing based on the correction signal.
【００２８】従って、本発明によれば、高精度で画像の
動きベクトルを検出して画像に振動補正処理を施すこと
ができ、ハンディタイプのビデオカメラなどにおける高
性能の手振れ補正を可能にすることができる。Therefore, according to the present invention, it is possible to detect a motion vector of an image with high accuracy and to perform a vibration correction process on the image, thereby enabling high-performance camera shake correction in a handy type video camera or the like. Can be.
【図１】本発明に係る画像の動きベクトル検出装置を設
けた手振れ補正装置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a camera shake correction apparatus provided with an image motion vector detection apparatus according to the present invention.
【図２】上記動きベクトル検出装置における画面のブロ
ック分割の状態を示す図である。FIG. 2 is a diagram illustrating a state of block division of a screen in the motion vector detection device.
【図３】上記ブロック分割された画面の１ブロックの構
造を示す図である。FIG. 3 is a diagram showing a structure of one block of the screen divided into blocks.
【図４】上記動きベクトル検出装置における動きベクト
ルの推定処理に用いる相関積算値表上の最小値近傍の軸
を説明するための図である。FIG. 4 is a diagram for explaining an axis near a minimum value on a correlation integrated value table used in a motion vector estimation process in the motion vector detection device.
【図５】上記動きベクトル検出装置における動きベクト
ルの推定処理手順を示すフローチャートである。FIG. 5 is a flowchart showing a motion vector estimation processing procedure in the motion vector detection device.
【図６】上記動きベクトル検出装置における動きベクト
ルの１次元推定例を説明するための図である。FIG. 6 is a diagram illustrating an example of one-dimensional estimation of a motion vector in the motion vector detection device.
【図７】上記動きベクトル検出装置を設けた手振れ補正
装置の補正部の構成を示すブロック図である。FIG. 7 is a block diagram illustrating a configuration of a correction unit of the camera shake correction device provided with the motion vector detection device.
１０・・・・・・・・・動きベクトル検出装置 １１・・・・・・・・・代表点メモリ １２・・・・・・・・・減算回路 １３・・・・・・・・・相関積算値表形成回路 １４・・・・・・・・・動きベクトル推定回路 Reference numeral 10: Motion vector detecting device 11: Representative point memory 12: Subtraction circuit 13: Correlation Integrated value table forming circuit 14 ... Motion vector estimating circuit
───────────────────────────────────────────────────── フロントページの続き (72)発明者 堀士 賢 東京都品川区北品川６丁目７番35号 ソ ニー株式会社内 (72)発明者 橋野 司 東京都品川区北品川６丁目７番35号 ソ ニー株式会社内 (56)参考文献 特開 平２−118888（ＪＰ，Ａ) 特開 平２−79585（ＪＰ，Ａ) 特開 昭63−166370（ＪＰ，Ａ) 特開 昭61−113377（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 5/225 - 5/247 ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Ken Satoshi 6-35, Kita-Shinagawa, Shinagawa-ku, Tokyo Inside Sony Corporation (72) Inventor Tsukasa Hashino 6-35, Kita-Shinagawa, Shinagawa-ku, Tokyo (56) References JP-A-2-118888 (JP, A) JP-A-2-79585 (JP, A) JP-A-63-166370 (JP, A) JP-A-61-113377 (JP, A) (58) Field surveyed (Int. Cl. 7 , DB name) H04N 5/225-5/247
Claims (2)
の画像を複数に分割した各ブロック毎の代表点画素の画
像データを記憶するメモリと、 現フレームのブロックの各画素の画像データと上記メモ
リに記憶された前フレームのブロックの代表点画素の画
像データとの差分の絶対値を上記各画素毎に検出する差
分検出手段と、 上記各ブロック内の画素毎に検出される差分の絶対値
を、上記１フレームに亘って対応する画素毎に積算し、
１ブロック分の画素配列に対応する座標に当該各積算結
果を有する相関積算値表を形成する相関積算値表形成手
段と、 上記相関積算値表形成手段により形成された相関積算値
表の相関積算値の最小値の座標を最小値座標として検出
し、当該最小値座標の最小の相関積算値と当該最小値座
標を通る第１の軸上の当該最小値座標の周辺の座標に対
応する各相関積算値との差分値により当該第１の軸上の
周辺の座標から比例分割された当該第１の軸上の第１の
座標を求めると共に当該最小値座標の最小の相関積算値
と当該最小値座標を通る第２の軸上の当該最小値座標の
周辺の座標に対応する各相関積算値との差分値により当
該第２の軸上の周辺の座標から比例分割された当該第２
の軸上の第２の座標を求め、更に、少なくとも上記第１
の座標と上記第２の座標を合成することにより画像の動
きベクトルを推定する動きベクトル推定手段と、 上記動きベクトル推定手段により推定された動きベクト
ルに応じた補正量の補正信号を形成する補正量発生手段
と、 上記補正量発生手段から供給される補正信号により上記
フレームを構成する画像に振動補正処理を施す補正手段
とを備える画像の振動補正装置。1. A memory for storing image data of a representative point pixel for each block obtained by dividing an image of one frame constituted by an input video signal into a plurality of blocks, an image data of each pixel of a block of a current frame, and the memory Difference detecting means for detecting the absolute value of the difference between the image data of the representative point pixel of the block of the previous frame and the image data of each of the pixels, and the absolute value of the difference detected for each of the pixels in each of the blocks. , For each corresponding pixel over one frame,
Correlation integrated value table forming means for forming a correlation integrated value table having the respective integration results at coordinates corresponding to a pixel array of one block, and correlation integration of the correlation integrated value table formed by the correlation integrated value table forming means The minimum value coordinate of the value is detected as the minimum value coordinate, and the minimum correlation integrated value of the minimum value coordinate and each correlation corresponding to the coordinates around the minimum value coordinate on the first axis passing through the minimum value coordinate are detected. A first coordinate on the first axis, which is proportionally divided from peripheral coordinates on the first axis by a difference value from the integrated value, is obtained, and a minimum correlation integrated value of the minimum value coordinate and the minimum value The value obtained by proportionally dividing the peripheral coordinates on the second axis by a difference value between each of the correlation integrated values corresponding to the peripheral coordinates of the minimum value coordinate on the second axis passing through the coordinates. Second
The second coordinates on the axis of are obtained.
Motion vector estimating means for estimating a motion vector of an image by synthesizing the coordinates of the motion vector and the second coordinate, and a correction amount for forming a correction signal of a correction amount corresponding to the motion vector estimated by the motion vector estimating means. An image vibration correction apparatus comprising: a generation unit; and a correction unit configured to perform a vibration correction process on an image forming the frame based on a correction signal supplied from the correction amount generation unit.
現フレームの上記ブロック内の各画素データと、当該ブ
ロックに対応する前フレームの代表画素データとの差分
の絶対値を検出するステップと、 上記各ブロック内の画素毎に検出される差分の絶対値
を、上記１フレームに亘って対応する画素毎に積算し、
１ブロック分の画素配列に対応する座標に当該各積算結
果を有する相関積算値表を形成するステップと、 上記相関積算値表の相関積算値の最小値の座標を最小値
座標として検出するステップと、 上記最小値座標の最小の相関積算値と当該最小値座標を
通る第１の軸上の当該最小値座標の周辺の座標に対応す
る各相関積算値との差分値により当該第１の軸上の周辺
の座標から比例分割された当該第１の軸上の第１の座標
を求めるステップと、 当該最小値座標の最小の相関積算値と当該最小値座標を
通る第２の軸上の当該最小値座標の周辺の座標に対応す
る各相関積算値との差分値により当該第２の軸上の周辺
の座標から比例分割された当該第２の軸上の第２の座標
を求めるステップと、 少なくとも上記第１の座標と上記第２の座標を合成する
ことにより画像の動きベクトルを推定するステップと、 上記動きベクトルに応じた補正量の補正信号を形成する
ステップと、 上記補正量発生手段から供給される補正信号により上記
フレームを構成する画像に振動補正処理を施すステップ
とを備える画像の振動補正方法。2. One frame is divided into a plurality of blocks,
Detecting the absolute value of the difference between each pixel data in the block of the current frame and the representative pixel data of the previous frame corresponding to the block; and detecting the absolute value of the difference detected for each pixel in the block. Is integrated for each corresponding pixel over the one frame,
Forming a correlation integrated value table having the respective integration results at coordinates corresponding to a pixel array of one block; and detecting a minimum value coordinate of the correlation integrated value of the correlation integrated value table as a minimum value coordinate. , first the the difference value between the accumulated correlation values corresponding to the periphery of the coordinates of the minimum coordinate on the axis on a first axis passing through the minimum correlation accumulated value and the minimum value coordinates of the minimum coordinates Obtaining a first coordinate on the first axis proportionally divided from coordinates around the first coordinate; and a minimum correlation integrated value of the minimum coordinate and the minimum on a second axis passing through the minimum coordinate. Calculating a second coordinate on the second axis proportionally divided from the surrounding coordinates on the second axis by a difference value between each of the correlation integrated values corresponding to the coordinates around the value coordinate; Combining the first coordinates and the second coordinates Estimating a motion vector of the image by performing the above-described steps; forming a correction signal having a correction amount corresponding to the motion vector; and correcting a vibration of an image constituting the frame by using a correction signal supplied from the correction amount generating means. Performing a process.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29048191A JP3303310B2 (en) | 1991-10-11 | 1991-10-11 | Image vibration correction apparatus and image vibration correction method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29048191A JP3303310B2 (en) | 1991-10-11 | 1991-10-11 | Image vibration correction apparatus and image vibration correction method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05110932A JPH05110932A (en) | 1993-04-30 |
| JP3303310B2 true JP3303310B2 (en) | 2002-07-22 |
Family
ID=17756578
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29048191A Expired - Lifetime JP3303310B2 (en) | 1991-10-11 | 1991-10-11 | Image vibration correction apparatus and image vibration correction method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3303310B2 (en) |
-
1991
- 1991-10-11 JP JP29048191A patent/JP3303310B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH05110932A (en) | 1993-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5057974B2 (en) | Processing video data to correct unintentional camera movement between acquired image frames | |
| JP4161295B2 (en) | Color imaging system that expands the dynamic range of image sensors | |
| US8463068B2 (en) | Methods, systems and apparatuses for pixel value correction using multiple vertical and/or horizontal correction curves | |
| US20060061658A1 (en) | Image stabilisation system and method | |
| JP3200889B2 (en) | Image vibration correction device | |
| KR100262793B1 (en) | Apparatus for judging a hand movement of an image | |
| JP4001979B2 (en) | Camcorder motion compensation device | |
| JP3303310B2 (en) | Image vibration correction apparatus and image vibration correction method | |
| JP3303312B2 (en) | Image vibration correction apparatus and image vibration correction method | |
| JP3303311B2 (en) | Image vibration correction apparatus and image vibration correction method | |
| JP3271273B2 (en) | Image vibration determination apparatus, image vibration correction apparatus, image vibration determination method, and image vibration correction method | |
| JP3786300B2 (en) | Motion vector detection apparatus and motion vector detection method | |
| JPH04309078A (en) | Jiggling detector for video data | |
| JP3271274B2 (en) | Image vibration determination apparatus, image vibration correction apparatus, image vibration determination method, and image vibration correction method | |
| JP3252418B2 (en) | Image shake determination device | |
| JP3196258B2 (en) | Image motion vector detection device | |
| JP3959547B2 (en) | Image processing apparatus, image processing method, and information terminal apparatus | |
| JP3271271B2 (en) | Image motion vector detection device, image motion vector detection method, image vibration correction device, and image vibration correction method | |
| JP3271275B2 (en) | Image vibration correction apparatus and image vibration correction method | |
| JP3200888B2 (en) | Image vibration correction device | |
| JP3225598B2 (en) | Image shake detection device | |
| JP3221052B2 (en) | Image shake detection device | |
| JP3727460B2 (en) | Motion vector detection circuit | |
| JP3252416B2 (en) | Image stabilization device | |
| JP3200900B2 (en) | Image shake determination device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20011225 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020402 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090510 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100510 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100510 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110510 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120510 Year of fee payment: 10 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120510 Year of fee payment: 10 |