JPH0514798A - Camera jiggle correcting device - Google Patents
Camera jiggle correcting deviceInfo
- Publication number
- JPH0514798A JPH0514798A JP3162878A JP16287891A JPH0514798A JP H0514798 A JPH0514798 A JP H0514798A JP 3162878 A JP3162878 A JP 3162878A JP 16287891 A JP16287891 A JP 16287891A JP H0514798 A JPH0514798 A JP H0514798A
- Authority
- JP
- Japan
- Prior art keywords
- field
- motion vector
- candidate
- circuit
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
【0001】[0001]
【産業上の利用分野】この発明は、ビデオカメラ等にお
いて画像の手振れを検出して補正する手振れ補正装置に
関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a camera shake correction device for detecting and correcting camera shake of an image in a video camera or the like.
【0002】[0002]
【従来の技術】手振れ補正装置とは、例えばビデオカメ
ラにおいて、CCD(固体撮像素子)の画像データから
撮影時の手振れを検出し、各フィールド間の画像の揺れ
を防止するものである。2. Description of the Related Art A camera shake correction device is a device for detecting a camera shake at the time of photographing from image data of a CCD (solid-state image pickup device) in a video camera, for example, to prevent an image shake between fields.
【0003】このため、CCDからの画像データを一旦
フィールドメモリに取り込み、動きベクトル検出回路で
画像の手振れによる動きベクトルを検出し、この動きベ
クトルに基づいてフィールドメモリからの画像データの
読み出しを補正することにより、各フィールド間におけ
る画像の揺れが補正される。Therefore, the image data from the CCD is once taken into the field memory, the motion vector detecting circuit detects the motion vector due to the shaking of the image, and the reading of the image data from the field memory is corrected based on this motion vector. As a result, the image shake between the fields is corrected.
【0004】図4は、CCDの画像領域に添って画枠を
設定した場合に、フィールドメモリから出力される手振
れ補正後の出力画像領域を示す図である。FIG. 4 is a diagram showing an output image area after image stabilization output from the field memory when an image frame is set along the image area of the CCD.
【0005】即ち、CCD上の画像領域(画枠領域)
は、出力画像領域と補正可能な最大の動きベクトルに見
合う補正領域とから構成される。図は、出力画像領域が
画枠領域の中央に位置する場合を示す。That is, the image area (image frame area) on the CCD
Is composed of an output image area and a correction area corresponding to the maximum correctable motion vector. The figure shows a case where the output image area is located at the center of the image frame area.
【0006】このように、出力画像領域が画枠領域より
も小さい場合、画像データの補間による画像の拡大が必
要である。Thus, when the output image area is smaller than the image frame area, it is necessary to enlarge the image by interpolating the image data.
【0007】図5(A)は、補間回路6を示すブロック
図、図5(B)は3/2倍に拡大する場合の同回路の動
作を示すタイミング図、図5(C)は補間結果を示す図
である。FIG. 5 (A) is a block diagram showing the interpolation circuit 6, FIG. 5 (B) is a timing diagram showing the operation of the circuit in the case of enlarging by 3/2, and FIG. 5 (C) is an interpolation result. FIG.
【0008】図5(A)において、CCDから読み出さ
れた画像データは、各水平走査期間Hに走査線データY
i(但し、i=0,1,2,・・・)として順次入力す
る。入力する走査線データYiは乗算器61により係数
C0が乗算された後、加算器65に入力する。これと同
時に走査線データYiは、スイッチ62を介して1H遅
延線63に入力し、1水平走査期間(1H)遅延した
後、乗算器64により係数C1が乗算されて加算器65
に入力する。加算器65は乗算器61,64からの両出
力を加算し、出力走査線データyiを出力する。In FIG. 5A, the image data read from the CCD has scanning line data Y in each horizontal scanning period H.
i (however, i = 0, 1, 2, ...) Is input sequentially. The input scan line data Yi is multiplied by the coefficient C0 by the multiplier 61 and then input to the adder 65. At the same time, the scanning line data Yi is input to the 1H delay line 63 via the switch 62, delayed by 1 horizontal scanning period (1H), and then multiplied by the coefficient C1 by the multiplier 64 to adder 65.
To enter. The adder 65 adds both outputs from the multipliers 61 and 64 and outputs the output scanning line data yi.
【0009】3/2倍に拡大する場合における補間回路
6のライン補間動作を示す図4(B)において、各走査
線データYi(Y0,Y1,Y2,・・・)は順次図示
のように入力するが、走査線データY0、若しくは2つ
の走査線データY1とY2,Y3とY4,・・・を入力
した後の1水平走査期間(1H)は、ダミーデータDM
を入力する。In FIG. 4B showing the line interpolation operation of the interpolation circuit 6 in the case of enlarging to 3/2 times, each scanning line data Yi (Y0, Y1, Y2, ...) Is sequentially shown in the figure. However, the dummy data DM is input during one horizontal scanning period (1H) after inputting the scanning line data Y0 or the two scanning line data Y1 and Y2, Y3 and Y4, ....
Enter.
【0010】スイッチ62は走査線データの入力期間中
はa側に、またダミーデータDMの入力期間中はb側に
切り換えられるので、1H遅延線63は、1水平走査期
間(1H)遅れの各走査線データY0,Y0,Y1,Y
2,Y2,Y3,Y4,Y4,・・・を乗算器64に出
力する。Since the switch 62 is switched to the a side during the scanning line data input period and to the b side during the dummy data DM input period, the 1H delay line 63 is delayed by one horizontal scanning period (1H). Scan line data Y0, Y0, Y1, Y
2, Y2, Y3, Y4, Y4, ... Are output to the multiplier 64.
【0011】乗算器61の係数C0は、水平走査期間
(H)に同期して、図示のように0,2/3,1/3と
なるように制御され、また乗算器64の係数C1は、同
様に1,1/3,2/3となるように制御されるので、
加算器65から1H遅れで出力される補正後の走査線デ
ータyiは次のようになる。The coefficient C0 of the multiplier 61 is controlled to be 0, 2/3, 1/3 as shown in the figure in synchronization with the horizontal scanning period (H), and the coefficient C1 of the multiplier 64 is , Is similarly controlled to be 1/3, 2/3,
The corrected scanning line data yi output from the adder 65 with a delay of 1H is as follows.
【0012】[0012]
【数1】 [Equation 1]
【0013】図5(C)に、入力する各走査線データY
iを実線で、また、補間後の各走査線データyiを点線
で示す。In FIG. 5C, each scan line data Y to be input is input.
i is shown by a solid line, and each interpolated scanning line data yi is shown by a dotted line.
【0014】上述、垂直方向への画像拡大と同時に水平
方向への拡大も必要であるが、周知の技術であるので説
明は省略する。また、図4において、補正後の出力画像
領域と画枠が一致する場合、即ち、CCDを拡張するこ
とによって補正領域を形成した場合、上述のような画像
の拡大は不要であるが、CCDの全画像領域の読み出し
クロックを基準とすれば、手振れ補正後の画像領域は、
同様に数ライン毎にダミーデータDMを挿入して出力さ
れ、補間回路6の代わりにデータ変換回路を用いてダミ
ーデータDMの除去が行なわれる。即ち、この場合でも
同様にフィールドメモリからデータ変換回路への出力が
休止するダミーデータ送出期間が存在する。As described above, it is necessary to enlarge the image in the vertical direction at the same time as enlarging the image in the vertical direction. In FIG. 4, when the corrected output image area matches the image frame, that is, when the correction area is formed by expanding the CCD, the image enlargement as described above is unnecessary, but Based on the readout clock of the entire image area, the image area after camera shake correction is
Similarly, the dummy data DM is inserted and output every several lines, and the dummy data DM is removed by using the data conversion circuit instead of the interpolation circuit 6. That is, even in this case, similarly, there is a dummy data transmission period in which the output from the field memory to the data conversion circuit is stopped.
【0015】次に、手振れ補正を行なうために必要な動
きベクトルの検出法について、代表点方式の場合を例と
して説明する。Next, a method of detecting a motion vector required to perform camera shake correction will be described by taking the representative point method as an example.
【0016】図6は、代表点方式による動きベクトル検
出法の説明図である。FIG. 6 is an explanatory diagram of a motion vector detection method by the representative point method.
【0017】図において、Aij(n−1)はCCDか
ら出力される第(n−1)フィールドの画像データ、P
0,P1,P2,・・・,P5はCCDの各フィールド
に共通の代表点であり、その画素データを第(n−1)
フィールドから抽出した場合にはAk(n−1)、第n
フィールドから抽出した場合にはAk(n),・・・と
表記する。代表点の設定数は任意であるが、説明を簡明
にするため、この例では水平方向に2(=x)点、垂直
方向に3(=y)点、計6点とする。従って、代表点デ
ータAk(n−1)(但し、k=0,1,2,・・・,
5)はAij(n−1)の一部である。In the figure, Aij (n-1) is the image data of the (n-1) th field output from the CCD, P
0, P1, P2, ..., P5 are representative points common to each field of the CCD, and their pixel data are represented by the (n-1) th pixel data.
If extracted from the field, Ak (n-1), nth
When extracted from the field, it is written as Ak (n), .... The number of representative points set is arbitrary, but in order to simplify the description, in this example, there are 2 (= x) points in the horizontal direction and 3 (= y) points in the vertical direction, for a total of 6 points. Therefore, the representative point data Ak (n-1) (where k = 0, 1, 2, ...,
5) is a part of Aij (n-1).
【0018】Wkは代表点Pkを原点とする動きベクト
ルの捜索範囲、Qは捜索範囲Wk内の全ての捜索点、A
k(Q)は捜索点Qの画素データである。ここで、捜索
点Qは各代表点Pkを原点とする捜索範囲Wk内の相対
座標で表わされるので、各捜索範囲Wkに共通の座標点
である。Wk is a motion vector search range with the representative point Pk as the origin, Q is all search points in the search range Wk, and A
k (Q) is the pixel data of the search point Q. Here, since the search point Q is represented by relative coordinates within the search range Wk with each representative point Pk as the origin, it is a coordinate point common to each search range Wk.
【0019】U00は捜索範囲W0,W1の上限走査
線、U01は下限走査線である。同様に、U10は捜索
範囲W2,W3の上限走査線、U11は下限走査線であ
り、U20は捜索範囲W4,W5の上限走査線、U21
は下限走査線である。U00 is the upper limit scanning line of the search ranges W0 and W1, and U01 is the lower limit scanning line. Similarly, U10 is the upper limit scan line of the search ranges W2 and W3, U11 is the lower limit scan line, U20 is the upper limit scan line of the search ranges W4 and W5, and U21.
Is the lower scan line.
【0020】なお、上記の符号中、フィールド番号を示
す(n−1),(n),・・・が明らかな場合には省略
し、例えば代表点データAk(n−1)を単にAkと表
記する。In the above code, if the field numbers (n-1), (n), ... Shown, they are omitted. For example, the representative point data Ak (n-1) is simply referred to as Ak. write.
【0021】捜索範囲Wk内の全ての捜索点Qについ
て、それぞれ残差Sを求める。各残差Sのうち捜索点Q
(l,m)(但し、(l,m)は各代表点Pkを原点と
する座標)における残差S(l,m)が最小の残差であ
る時、各原点Pkを始点とし、捜索点Q(l,m)を終
点とするベクトルを、第(n−1)フィールドに対する
第nフィールドの動きベクトルV(n)とする。ここ
で、各残差Sは次のように求められる。Residuals S are obtained for all the search points Q within the search range Wk. Search point Q of each residual S
When the residual S (l, m) at (l, m) (where (l, m) is the coordinate with each representative point Pk as the origin) is the smallest residual, each origin Pk is used as the starting point for searching. A vector whose end point is the point Q (l, m) is a motion vector V (n) of the nth field with respect to the (n-1) th field. Here, each residual S is obtained as follows.
【0022】[0022]
【数2】 [Equation 2]
【0023】図7は従来の手振れ補正装置の一例を示す
ブロック図であり、その動作を図8に示すタイミング図
を参照して説明する。FIG. 7 is a block diagram showing an example of a conventional camera shake correction apparatus, and its operation will be described with reference to the timing chart shown in FIG.
【0024】時刻Tn迄に、(x×y)ワードの代表点
メモリ31には第(n−1)フィールドの代表点データ
Ak(n−1)が格納され、動き検出回路32により第
(n−2)フィールドに対する第(n−1)フィールド
の動きベクトルV(n−1)が検出され、アドレス制御
回路4により動きベクトルV(n−1)が基準フィール
ド、例えば第1フィールド以降の累積動きベクトルVt
に加算されて、手振れ補正用の読み出しアドレスADR
が出力され、フィールドメモリ5には第(n−1)フィ
ールドの画像データAij(n−1)が格納されてい
る。なお、代表点メモリ31と動き検出回路32は動き
ベクトル検出回路3を構成する。By the time Tn, the representative point data Ak (n-1) of the (n-1) th field is stored in the representative point memory 31 of (xxy) words, and the motion detection circuit 32 causes the representative point data Ak (n-1). -2) The motion vector V (n-1) of the (n-1) th field with respect to the field is detected, and the motion vector V (n-1) is detected by the address control circuit 4 in the reference field, for example, the cumulative motion of the first field and thereafter. Vector Vt
Read address ADR for camera shake correction
And the image data Aij (n-1) of the (n-1) th field is stored in the field memory 5. The representative point memory 31 and the motion detecting circuit 32 form the motion vector detecting circuit 3.
【0025】次の第nフィールド期間、すなわち期間
(Tn〜Tn+1)における動作は次の通りである。The operation in the next n-th field period, that is, the period (Tn to Tn + 1) is as follows.
【0026】1)入力信号1として第nフィールドの画
像データAij(n)が入力する。1) Image data Aij (n) of the nth field is input as the input signal 1.
【0027】2)代表点メモリ31は、残差計算のため
第(n−1)フィールドの代表点データAk(n−1)
を出力(読み出し)しながら、入力信号Aij(n)の
うち第nフィールドの代表点データAk(n)を格納
(書き込み)する。2) The representative point memory 31 stores representative point data Ak (n-1) of the (n-1) th field for residual calculation.
Of the input signal Aij (n), the representative point data Ak (n) of the nth field is stored (written).
【0028】3)動き検出回路32は、まず、入力信号
Aij(n)のうち、各捜索範囲Wk内の各捜索点Qの
画素データAk(Q)と、代表点メモリ31から入力す
る代表点データAk(n−1)とから、「数2」により
全ての残差Sを計算する。3) First, the motion detection circuit 32 inputs the pixel data Ak (Q) of each search point Q within each search range Wk and the representative point input from the representative point memory 31 in the input signal Aij (n). From the data Ak (n-1), all residuals S are calculated by "Equation 2".
【0029】次に、全ての残差Sのうち、最小の残差S
(l,m)を求め、ベクトル(l,m)を以て第(n−
1)フィールドに対する第nフィールドの動きベクトル
V(n)とする。Next, of all the residuals S, the minimum residual S
(L, m) is obtained, and the vector (l, m) is used to calculate the
1) The motion vector V (n) of the nth field with respect to the field.
【0030】4)アドレス制御回路4は、まず、時刻T
nまでに動きベクトル検出回路3から出力される第(n
−1)フィールドの動きベクトルV(n−1)を、第1
フィールドから第(n−2)フィールドまでの動きベク
トルの累加算値Vtに加算する(Vt=Vt+V(n−
1))。4) The address control circuit 4 first sets time T
Up to the nth (nth) output from the motion vector detection circuit 3
-1) The motion vector V (n-1) of the field is
It is added to the cumulative addition value Vt of the motion vector from the field to the (n-2) th field (Vt = Vt + V (n-
1)).
【0031】次に、期間Tn〜Tn+1において、第
(n−1)フィールドの手振れによる画像の揺れを補正
するために、累積動きベクトルVt分だけアドレスシフ
トした第(n−1)フィールド用の読み出しアドレスA
DR(n−1)をフィールドメモリ5に出力する。Next, in the period Tn to Tn + 1, in order to correct the shake of the image due to the shake of the (n-1) th field, the reading for the (n-1) th field which is address-shifted by the accumulated motion vector Vt. Address A
DR (n-1) is output to the field memory 5.
【0032】5)フィールドメモリ5は、アドレス制御
回路4から出力される第(n−1)フィールド用の読み
出しアドレスADR(n−1)により、手振れ分だけア
ドレスシフトした第(n−1)フィールドの画像データ
Aij(n−1)を出力(読み出し)しながら、入力信
号Aij(n)を格納する(書き込む)。5) In the field memory 5, the read address ADR (n-1) for the (n-1) th field output from the address control circuit 4 is used to shift the address by the amount of camera shake. The input signal Aij (n) is stored (written) while the image data Aij (n-1) of is output (read).
【0033】6)補間回路6は、フィールドメモリ5か
ら出力される手振れ補正後の画像データAij(n−
1)に対して、前述のような補間による画像拡大処理を
行ない、第(n−1)フィールドの画像として出力す
る。6) The interpolation circuit 6 outputs the image data Aij (n-) after the image stabilization output from the field memory 5.
With respect to 1), the image enlargement processing by the interpolation as described above is performed, and the image is output as the image of the (n-1) th field.
【0034】他の期間(Tn−1〜Tn),(Tn+1
〜Tn+2),・・・においても、上述と同様の動作が
繰り返し行なわれる。Other periods (Tn-1 to Tn), (Tn + 1
... Tn + 2), ..., The same operation as described above is repeated.
【0035】なお、上述の従来装置において、フィール
ドメモリ5の読み書きは次のように行なわれる。第(n
−1)フィールドの出力画像領域のうち、既に補間回路
6に出力し終った領域、並びに、この出力画像領域の外
側の出力されない領域(補正領域)に、入力する第nフ
ィールドの画像データAij(n)が順次重ね書きされ
る。In the conventional device described above, reading / writing of the field memory 5 is performed as follows. The (n
-1) The image data Aij (of the n-th field to be input to the area that has already been output to the interpolation circuit 6 in the output image area of the field and the non-output area (correction area) outside this output image area. n) are sequentially overwritten.
【0036】[0036]
【発明が解決しようとする課題】上述の従来装置におい
て、確度の高い動きベクトルを検出するには、代表点数
x×yを、例えば100点程度から数100点に増加す
ることが考えられるが、代表点数の増加は代表点メモリ
容量の増加と同時に、動き検出回路32内の各残差を記
憶するためのメモリの容量をも増加させてしまうため、
充分多数の代表点を設定することができなかった。この
ため、手振れ補正がうまく動作しないことがあった。In the above-mentioned conventional apparatus, in order to detect a highly accurate motion vector, it is possible to increase the representative score x × y from, for example, about 100 points to several hundred points. Since the increase in the number of representative points increases the capacity of the representative point memory, it also increases the capacity of the memory for storing each residual in the motion detection circuit 32.
It was not possible to set a sufficient number of representative points. Therefore, the image stabilization sometimes does not work well.
【0037】そこで、この発明は、1フィールドを複数
のブロックに分割し、各ブロック毎に少なくとも一つの
動きベクトルを検出して候補ベクトルとし、ダミーデー
タ送出期間を利用して各候補ベクトルのテストを行い、
候補ベクトルのうち一つを真の動きベクトルとすること
により、的確な手振れ補正の実現を目的とするものであ
る。Therefore, according to the present invention, one field is divided into a plurality of blocks, at least one motion vector is detected for each block to be a candidate vector, and each candidate vector is tested using the dummy data transmission period. Done,
By making one of the candidate vectors a true motion vector, it is intended to realize accurate camera shake correction.
【0038】[0038]
【課題を解決するための手段】上述の課題を解決するた
め、この発明においては、入力する第(n+i)フィー
ルド(nおよびiは自然数)の画面を複数ブロックに分
割し、この複数ブロックの各々について第nフィールド
に対する動きベクトルを検出して候補ベクトルとし、検
出された複数の候補ベクトルのうちの一つを第(n+
i)フィールドの動きベクトルと判定して、フィールド
間の画像の揺れを補正する手振れ補正装置において、、
第(n+i)フィールド期間内の所定期間に、候補ベク
トルの検出と並行して、既に検出された候補ベクトルの
検算を行なう検算手段を有することを特徴とするもので
ある。In order to solve the above problems, in the present invention, the screen of the (n + i) th field (n and i are natural numbers) to be input is divided into a plurality of blocks, and each of the plurality of blocks is divided. About the nth field, a motion vector is detected as a candidate vector, and one of the detected plurality of candidate vectors is (n +
i) In a camera shake correction device that determines a motion vector of a field and corrects image shake between fields,
The present invention is characterized by having a checking means for checking the already detected candidate vector in parallel with the detection of the candidate vector during a predetermined period within the (n + i) th field period.
【0039】[0039]
【作用】この発明の実施例を示す図1において、第nフ
ィールドの入力期間に順次入力する画像データ1(Ai
j(n))は動きベクトル検出回路3、フィールドメモ
リ5および差分絶対値累積回路16に供給され、フィー
ルドメモリ5はこれを順次格納する。In FIG. 1 showing an embodiment of the present invention, image data 1 (Ai
j (n)) is supplied to the motion vector detecting circuit 3, the field memory 5, and the absolute difference value accumulating circuit 16, and the field memory 5 sequentially stores them.
【0040】動きベクトル検出回路3は、画面内に設定
された複数のブロックのおのおのについて、一つまたは
複数の候補ベクトルVcを検出してアドレス制御回路1
1に出力する。The motion vector detecting circuit 3 detects one or a plurality of candidate vectors Vc for each of a plurality of blocks set in the screen, and the address control circuit 1
Output to 1.
【0041】フィールドメモリ5からのセレクタ15を
介する補間回路6への画像データ出力が休止するダミー
データ送出期間に、第2制御回路13は候補ベクトルV
cに基づいて、検算アドレスADEをセレクタ14を介
してフィールドメモリ5に出力し、フィールドメモリ5
はセレクタ15を介して差分絶対値累積回路16に、入
力データAij(n)と候補ベクトルVcによって対応
付けされた第(n−1)フィールドの画像データAij
(n−1)を出力する。差分絶対値累積回路16は、候
補ベクトルVcによって対応付けられた両画像データA
ij(n)、Aij(n−1)間の差分絶対値の累加算
値を第1制御回路12へ出力する。During the dummy data transmission period in which the image data output from the field memory 5 to the interpolation circuit 6 via the selector 15 is suspended, the second control circuit 13 causes the candidate vector V
Based on c, the verification address ADE is output to the field memory 5 via the selector 14,
Is the image data Aij in the (n-1) th field, which is associated with the input data Aij (n) by the candidate vector Vc in the absolute difference value accumulation circuit 16 via the selector 15.
Output (n-1). The absolute difference value accumulator circuit 16 calculates both image data A associated by the candidate vector Vc.
The cumulative addition value of the absolute difference values between ij (n) and Aij (n-1) is output to the first control circuit 12.
【0042】第nフィールドの入力期間の終了時、第1
制御回路12は、差分絶対値の累加算値等に基づいて複
数の候補ベクトルVcのうちの一つを第nフィールドの
動きベクトルV(n)と判定し、基準フィールド以降の
動きベクトルの累加算値に第nフィールドの動きベクト
ルV(n)を加算して新しい累加算値とし、この累加算
値を補正する読み出しアドレスADRをセレクタ14を
介してフィールドメモリ5に出力する。At the end of the input period of the nth field, the first
The control circuit 12 determines one of the plurality of candidate vectors Vc as the motion vector V (n) of the nth field based on the cumulative addition value of the absolute difference values, and cumulatively adds the motion vectors of the reference field and thereafter. The motion vector V (n) of the nth field is added to the value to obtain a new cumulative addition value, and the read address ADR for correcting this cumulative addition value is output to the field memory 5 via the selector 14.
【0043】第(n+1)フィールドの入力期間におい
て、フィールドメモリ5は格納している第nフィールド
の画像データAij(n)を、読み出しアドレスADR
に基づいて、セレクタ15を介して補間回路6に、ダミ
ーデータを含めて順次出力する。これと並行して、入力
する第(n+1)フィールドの画像データAij(n+
1)はフィールドメモリ5に順次格納される。In the input period of the (n + 1) th field, the field memory 5 reads out the stored image data Aij (n) of the nth field from the read address ADR.
Based on the above, dummy data including the dummy data is sequentially output to the interpolation circuit 6 via the selector 15. In parallel with this, the input (n + 1) th field image data Aij (n +
1) are sequentially stored in the field memory 5.
【0044】補間回路6は、フィールドメモリ5から供
給された画像データAij(n)に補間処理を施し、画
枠領域を満たすように拡大して出力信号7とする。The interpolation circuit 6 performs an interpolation process on the image data Aij (n) supplied from the field memory 5 and enlarges the image data Aij (n) so as to fill the image frame area to obtain an output signal 7.
【0045】このように、複数の候補ベクトルVcのう
ちの一つを動きベクトルとすることにより、手振れ補正
装置の手振れ補正結果をより的確なものとすることがで
きる。As described above, by using one of the plurality of candidate vectors Vc as the motion vector, the camera shake correction result of the camera shake correction apparatus can be made more accurate.
【0046】[0046]
【実施例】続いて、この発明の実施例について、図面を
参照して詳細に説明する。Embodiments of the present invention will now be described in detail with reference to the drawings.
【0047】図1は、この発明の実施例を示すブロック
図であり、従来例(図7)と共通または類似の部分には
同一の符号を付して重複説明を省略する。FIG. 1 is a block diagram showing an embodiment of the present invention. The parts common or similar to those of the conventional example (FIG. 7) are designated by the same reference numerals and their duplicated description will be omitted.
【0048】図2(A)に示すように、一画面を上下に
二分し、前半ブロックBuと後半ブロックBlとした場
合について実施例の動作を説明する。As shown in FIG. 2 (A), the operation of the embodiment will be described in the case where one screen is divided into upper and lower parts into a first half block Bu and a second half block Bl.
【0049】画像の動きを検出する手段としての動きベ
クトル検出回路3は、次の2点以外は前述した従来例と
同様に動作する。The motion vector detection circuit 3 as a means for detecting the motion of an image operates in the same manner as the above-mentioned conventional example except for the following two points.
【0050】第1に、従来例では一画面全体の動きベク
トルVを検出したのに対して、この実施例では一画面中
の前半ブロックBuの動きベクトルを検出する。つま
り、従来例は、この実施例で前半ブロックBuを画面全
体とし、後半ブロックBlをヌル・ブロックとした場合
に相当するので、動きベクトル検出回路3の動作は本質
的に同一である。First, in the conventional example, the motion vector V of the entire one screen is detected, whereas in this embodiment, the motion vector of the first half block Bu in the one screen is detected. That is, since the conventional example corresponds to the case where the first half block Bu is the entire screen and the second half block Bl is the null block in this embodiment, the operation of the motion vector detection circuit 3 is essentially the same.
【0051】第2に、従来例では全ての残差Sのうち、
最小残差S(l,m)となる一つのベクトルV(l,
m)を動きベクトルVとしたのに対して、この実施例で
は最小残差S(l1,m1)、次の最小残差S(l2,
m2)、次の次の最小残差S(l3,m3)、・・・と
なる複数のベクトルV(l1,m1),V(l2,m
2),V(l3,m3),・・・を複数の候補ベクトル
Vc1,Vc2,Vc3,・・・として出力する。但
し、以下の説明では候補ベクトルVcの数を2とする。Secondly, in the conventional example, of all residuals S,
One vector V (l, m which is the minimum residual S (l, m)
m) is the motion vector V, the minimum residual S (l1, m1) and the next minimum residual S (l2,
m2), the next next minimum residual S (l3, m3), ..., and the plurality of vectors V (l1, m1), V (l2, m)
2), V (l3, m3), ... Are output as a plurality of candidate vectors Vc1, Vc2, Vc3 ,. However, in the following description, the number of candidate vectors Vc is 2.
【0052】第nフィールドの前半ブロックBuの画像
データAij(n)が順次入力し、動きベクトル検出回
路3は第(n−1)フィールドに対する第nフィールド
の前半ブロックBuの候補ベクトルVc1(l1,m
1),Vc2(l2,m2)を検出して、アドレス制御
回路11に出力する。The image data Aij (n) of the first half block Bu of the nth field is sequentially input, and the motion vector detection circuit 3 selects the candidate vector Vc1 (l1, 11) of the first half block Bu of the nth field with respect to the (n-1) th field. m
1) and Vc2 (12, m2) are detected and output to the address control circuit 11.
【0053】第nフィールドの後半ブロックBlの画像
データAij(n)が入力する期間において、動きベク
トル検出回路3により後半ブロックBlの候補ベクトル
Vclが同様に検出されるのと並行して、補間回路6へ
のダミーデータ送出期間にはセレクタ14,15は共に
a側に切り換えられ、候補ベクトルVc1,Vc2を評
価するための検算が次のように行なわれる。In the period in which the image data Aij (n) of the latter half block Bl of the nth field is input, the motion vector detecting circuit 3 detects the candidate vector Vcl of the latter half block Bl in parallel with the interpolation circuit. During the dummy data transmission period to 6, the selectors 14 and 15 are both switched to the a side, and the verification for evaluating the candidate vectors Vc1 and Vc2 is performed as follows.
【0054】第(n−1)フィールドに対する第nフィ
ールドの真の動きベクトルV(l,m)が求まったと仮
定すれば、第nフィールドの任意の画素データAij
(n)と真の動きベクトルによって対応付けされる第
(n−1)フィールドの対応画素データAi−m,j−
l(n−1)との差分絶対値の累加算値(Σ|Aij
(n)−Ai−m,j−l(n−1)|)、つまり、残
差は零または零に近似する筈である。Assuming that the true motion vector V (l, m) of the nth field with respect to the (n-1) th field is obtained, any pixel data Aij of the nth field is obtained.
Corresponding pixel data Ai-m, j- of the (n-1) th field, which is associated with (n) by the true motion vector.
cumulative addition value (Σ | Aij) of the absolute value of the difference from l (n-1)
(N) -Ai-m, j-1 (n-1) |), that is, the residual should be zero or close to zero.
【0055】そこで、第nフィールドの後半ブロックB
lの入力期間内のダミーデータ送出期間毎に、2つの候
補ベクトルVc1,Vc2について、それぞれ上述のよ
うな差分絶対値の累加算を行なうのが、差分絶対値累積
回路16である。Therefore, the second half block B of the nth field
The difference absolute value accumulator circuit 16 cumulatively adds the above-mentioned difference absolute values to the two candidate vectors Vc1 and Vc2 for each dummy data transmission period within the input period of l.
【0056】図3は、差分絶対値累積回路16に入力す
る第nフィールドの1ライン分の画像データAI,
*(n)と、候補ベクトルVc1,Vc2によって対応
付けられる第(n−1)フィールドの画像データAI-4,
*(n−1)、AI+5,*(n−1)を示す説明図である。
但し、図では水平方向の画素数を80、想定した最大動
きベクトルの水平成分を8画素、累加算対象画素数を
4、候補ベクトルVc1(−3,4)、Vc2(7,−
5)と仮定した。FIG. 3 shows image data A I for one line of the nth field input to the absolute difference value accumulation circuit 16.
* (N) is associated with the candidate vectors Vc1 and Vc2 in the (n-1) th field image data AI -4 ,
It is explanatory drawing which shows * (n-1), AI + 5 , * (n-1).
However, in the figure, the number of pixels in the horizontal direction is 80, the horizontal component of the assumed maximum motion vector is 8 pixels, the number of pixels to be cumulatively added is 4, and the candidate vectors Vc1 (-3,4) and Vc2 (7,-
5) was assumed.
【0057】図3において、AI,*(n)は、後半ブロ
ックBlの入力期間内のダミーデータ送出期間に、差分
絶対値累積回路16に入力する第nフィールドの1ライ
ン分の画像データであり、AI,0〜AI,79の80画素で
構成される。ここで、ダミーデータ送出期間は後半ブロ
ックBlの入力期間内にk回あるものとする。In FIG. 3, A I , * (n) is image data for one line of the n-th field input to the absolute difference value accumulation circuit 16 during the dummy data transmission period within the input period of the latter half block Bl. Yes , it is composed of 80 pixels of A I, 0 to A I, 79 . Here, it is assumed that the dummy data transmission period is k times within the input period of the latter half block Bl.
【0058】画像データAI,*(n)のうち、最初の8
画素および最後の8画素は最大動きベクトルの水平成分
に相当するマージン領域である。AI,8〜AI,71が差分
絶対値の累加算対象となる画素データである。The first 8 of the image data A I , * (n)
The pixel and the last 8 pixels are a margin area corresponding to the horizontal component of the maximum motion vector. A I, 8 to A I, 71 are pixel data to be cumulatively added to the absolute difference value.
【0059】画素データAI,8〜AI,71に対応する第
(n−1)フィールドの画素データは、候補ベクトルV
c1(−3,4)によれば、対応ラインデータAI-4,*
(n−1)のうちAI-4,11〜AI-4,74であり、また候補
ベクトルVc2(7,−5)によれば、対応ラインデー
タAI+5,*(n−1)のうちAI+5,1〜AI+5,64であり、
共にフィールドメモリ5に格納されている。The pixel data of the (n-1) th field corresponding to the pixel data A I, 8 to A I, 71 is the candidate vector V.
According to c1 (-3, 4), the corresponding line data A I-4 , *
Of (n-1), A I-4,11 to A I-4,74 , and according to the candidate vector Vc2 (7, -5), corresponding line data A I + 5 , * (n-1) ), A I + 5,1 to A I + 5,64 ,
Both are stored in the field memory 5.
【0060】2つの候補ベクトルVc1,Vc2に基づ
き、第2制御回路13はセレクタ14を介してフィール
ドメモリ5に検算アドレスADEを出力し、フィールド
メモリ5はセレクタ15を介して検算手段としての差分
絶対値累積回路16に第(n−1)フィールドの画像デ
ータを出力する。即ち、図3に示す例においては、入力
する第nフィールドの4個(c=4)の画素データA
I,8〜AI,11に対して、フィールドメモリ5からは第
(n−1)フィールドの4個の画素データAI-4,11〜A
I-4,14が候補ベクトルVc1に基づいて出力される。差
分絶対値累積回路16は、互いに対応する画素データ
(AI,8とAI-4,11)、(AI,9とAI-4,12)、(AI,10
とAI-4,13)または(AI,11とAI-4,14)の差の絶対値
をとり、得られた4つの差分絶対値の累加算値を出力す
る。また、画素データAI,12〜AI,15に対して対応画素
データAI+5,5〜AI+5,8が候補ベクトルVc2に基づい
て出力され、同様に4つの差分絶対値の累加算値を出力
する。Based on the two candidate vectors Vc1 and Vc2, the second control circuit 13 outputs the verification address ADE to the field memory 5 via the selector 14 and the field memory 5 via the selector 15 as a difference absolute as verification means. The image data of the (n-1) th field is output to the value accumulating circuit 16. That is, in the example shown in FIG. 3, four (c = 4) pixel data A of the input n-th field are input.
I, 8 to A I, against 11, from the field memory 5 the (n-1) 4 pieces of pixel data of field A I-4, 11 to A
I-4,14 is output based on the candidate vector Vc1. The difference absolute value accumulating circuit 16 has pixel data (A I, 8 and A I-4,11 ), (A I, 9 and A I-4,12 ), (A I, 10 ) corresponding to each other.
And A I-4,13 ), or (A I, 11 and A I-4,14 ), takes the absolute value of the difference, and outputs the cumulative addition value of the obtained four difference absolute values. Corresponding pixel data A I + 5,5 to A I + 5,8 corresponding to the pixel data A I, 12 to A I, 15 is output based on the candidate vector Vc2, and similarly, the four difference absolute values are output. Output the cumulative addition value.
【0061】このようにして、ダミーデータ送出期間
(=1H)に、2つの候補ベクトルVc1,Vc2に対
して、それぞれ8個(h=8)の累積値が得られるの
で、後半ブロックBlの入力終了時には、h×k個の累
積値が求まる。ここで、差分絶対値を累加算する画素数
cを4個とした例について述べたが、個数cは任意であ
る。In this way, since eight (h = 8) cumulative values are obtained for each of the two candidate vectors Vc1 and Vc2 during the dummy data transmission period (= 1H), the latter half block Bl is input. At the end, h × k cumulative values are obtained. Here, an example in which the number of pixels c for cumulative addition of absolute difference values is set to 4 has been described, but the number c is arbitrary.
【0062】第nフィールドの入力が終了した時点で、
動きベクトル検出回路3は制御手段としてのアドレス制
御回路11に後半ブロックBlの候補ベクトルVcl
(n)を出力すると同時に、差分絶対値累積回路16
は、各候補ベクトルVc1,Vc2に対する、それぞれ
h×k個の差分絶対値の累加算値を第1制御回路12に
出力する。第1制御回路12は3つの候補ベクトルVc
1,Vc2,Vclから後述のような判断基準により真
の動きベクトルV(n)を判断し、基準フィールド(例
えば、第1フィールド)以降の累積動きベクトルVtに
加算(Vt=Vt+V(n))し、累積動きベクトルV
t分だけ補正した読み出しアドレスADRをセレクタ1
4を介してフィールドメモリ5に出力する。When the input of the nth field is completed,
The motion vector detection circuit 3 includes a candidate vector Vcl of the second half block Bl in the address control circuit 11 as control means.
(N) is output, and at the same time, the absolute difference value accumulation circuit 16
Outputs to the first control circuit 12 cumulative addition values of h × k difference absolute values for each of the candidate vectors Vc1 and Vc2. The first control circuit 12 uses three candidate vectors Vc
The true motion vector V (n) is determined from 1, Vc2, Vcl according to a determination criterion described later, and added to the accumulated motion vector Vt after the reference field (for example, the first field) (Vt = Vt + V (n)). And the cumulative motion vector V
Selector 1 for read address ADR corrected by t
It outputs to the field memory 5 via 4.
【0063】これと並行して、入力信号1、つまり入力
する第nフィールドの画像データAij(n)は順次フ
ィールドメモリ5に格納される。In parallel with this, the input signal 1, that is, the input image data Aij (n) of the nth field is sequentially stored in the field memory 5.
【0064】次のフィールド、つまり第(n+1)フィ
ールドの画像データAij(n+1)が入力する期間に
おいて、フィールドメモリ5は読み出しアドレスADR
に基づき、第nフィールドの出力画像データAij
(n)をセレクタ15を介して補間回路6へ出力し、補
間回路6はこの出力画像データを補間し、画枠領域を満
たすように拡大して出力信号7とする。In the next field, that is, in the period in which the image data Aij (n + 1) of the (n + 1) th field is input, the field memory 5 reads the read address ADR.
Based on the output image data Aij of the nth field
(N) is output to the interpolation circuit 6 via the selector 15, and the interpolation circuit 6 interpolates the output image data and enlarges it so as to fill the image frame area to obtain the output signal 7.
【0065】第1制御回路12における真の動きベクト
ルV(n)の判断は、例えば次のように行なわれる。The determination of the true motion vector V (n) in the first control circuit 12 is performed as follows, for example.
【0066】第nフィールドの入力が終了した時点で、
第1制御回路12に与えられる情報は、3つの候補ベク
トルVc1,Vc2,Vcl、候補ベクトルVc1に対
するh×k個の差分絶対値の累加算値、並びに候補ベク
トルVc2に対するh×k個の差分絶対値の累加算値で
ある。At the time when the input of the nth field is completed,
The information provided to the first control circuit 12 includes three candidate vectors Vc1, Vc2, Vcl, cumulative addition values of h × k absolute difference values with respect to the candidate vector Vc1, and h × k absolute difference values with respect to the candidate vector Vc2. It is the cumulative addition value.
【0067】まず、3つの候補ベクトルVc1,Vc
2,Vclのうち、2つ以上が等しい場合、その候補ベ
クトルを真の動きベクトルV(n)とする。First, three candidate vectors Vc1 and Vc
When two or more of 2, Vcl are equal, the candidate vector is set as the true motion vector V (n).
【0068】次に、3つの候補ベクトルVc1,Vc
2,Vclが全て異なる場合、候補ベクトルVc1に対
するh×k個の差分絶対値の累加算値のうち、最小の累
加算値Su1と、候補ベクトルVc2に対するh×k個
の差分絶対値の累加算値のうち、最小の累加算値Su2
と、適宜設定した閾値Thの3者を比較する。Next, three candidate vectors Vc1 and Vc
2 and Vcl are all different, of the cumulative addition values of h × k difference absolute values to the candidate vector Vc1, the smallest cumulative addition value Su1 and the cumulative addition of h × k difference absolute values to the candidate vector Vc2. Of the values, the smallest cumulative addition value Su2
And the three threshold values Th that are appropriately set are compared.
【0069】最小累加算値Su1,Su2および閾値T
hのうち、Su1が最小なら候補ベクトルVc1を、S
u2が最小なら候補ベクトルVc2を、またThが最小
なら候補ベクトルVclを真の動きベクトルV(n)と
する。Minimum cumulative addition values Su1, Su2 and threshold value T
If Su1 is the smallest among h, the candidate vector Vc1 is
If u2 is the smallest, the candidate vector Vc2 is set, and if Th is the smallest, the candidate vector Vcl is set as the true motion vector V (n).
【0070】なお、上例において3つの候補ベクトルV
c1,Vc2,Vcl以外に画面全体に対する動きベク
トルVcwを同時に求めてもよく、この場合、第1制御
回路12に与えられる候補ベクトルはVc1,Vc2,
Vcl,Vcwの4つとなる。In the above example, the three candidate vectors V
In addition to c1, Vc2 and Vcl, a motion vector Vcw for the entire screen may be obtained at the same time. In this case, the candidate vectors given to the first control circuit 12 are Vc1, Vc2 and
There are four, Vcl and Vcw.
【0071】また、上例は前半ブロックBuの候補ベク
トル数が2の場合であるが、候補ベクトル数が多数の場
合、差分絶対値累積回路16の出力を第2制御回路13
にも供給し、まず、第2制御回路13によって多数の候
補ベクトルを2つの候補ベクトルに絞り、次に、第1制
御回路12によりこの2つの候補ベクトルの一方を真の
動きベクトルと判断するように構成してもよい。In the above example, the number of candidate vectors in the first half block Bu is 2, but when the number of candidate vectors is large, the output of the absolute difference value accumulating circuit 16 is set to the second control circuit 13.
First, the second control circuit 13 narrows down a large number of candidate vectors into two candidate vectors, and then the first control circuit 12 determines that one of the two candidate vectors is a true motion vector. You may comprise.
【0072】更に、前半ブロックBuにおいて、比較的
粗い精度で動きベクトルを検出して複数の候補ベクトル
を生成し、後半ブロックにおいて所要精度の真の動きベ
クトルを複数の候補ベクトルから求めるようにしてもよ
い。Further, in the first half block Bu, a motion vector is detected with a relatively coarse accuracy to generate a plurality of candidate vectors, and in the latter half block, a true motion vector having a required accuracy is obtained from the plurality of candidate vectors. Good.
【0073】図2は、一画面(1フィールド)における
ブロックの配置例を示す図である。FIG. 2 is a diagram showing an arrangement example of blocks in one screen (one field).
【0074】図2(A)は一画面を上下に2分し、前半
ブロックBuと後半ブロックBlとした例であり、この
ブロック配置における実施例の動作は上述した通りであ
る。FIG. 2A shows an example in which one screen is divided into upper and lower parts into a first half block Bu and a second half block Bl, and the operation of the embodiment in this block arrangement is as described above.
【0075】図2(B)は、図2(A)の前半ブロック
Buを更に左右に2分し、第1ブロックBu1と第2ブ
ロックBu2とした例である。第1および第2ブロック
Bu1,Bu2のそれぞれについて、少なくとも一つの
動きベクトルを検出して候補ベクトルとする点以外は図
2(A)の場合と同様である。FIG. 2B is an example in which the first-half block Bu of FIG. 2A is further divided into left and right parts to form a first block Bu1 and a second block Bu2. 2A, except that at least one motion vector is detected for each of the first and second blocks Bu1 and Bu2 to be used as a candidate vector.
【0076】図2(C)は、画面を上中下に3分して前
ブロックBf、中ブロックBs、後ブロックBtとした
例である。FIG. 2C shows an example in which the screen is divided into upper, lower, middle and lower parts into a front block Bf, a middle block Bs and a rear block Bt.
【0077】第nフィールドの前ブロックBfの入力期
間において、動きベクトル検出回路3により一つまたは
複数の候補ベクトルVcfが検出され、アドレス制御回
路11に出力される。In the input period of the previous block Bf of the nth field, the motion vector detection circuit 3 detects one or a plurality of candidate vectors Vcf and outputs them to the address control circuit 11.
【0078】第nフィールドの中ブロックBsの入力期
間において、動きベクトル検出回路3により一つまたは
複数の候補ベクトルVcsが検出され、アドレス制御回
路11に出力される。これと同時に、ダミーデータ送出
期間には、前ブロックBfの候補ベクトルVcfの評価
のため、差分絶対値累積回路16により差分絶対値の累
積値Sufが計算され、アドレス制御回路11に出力さ
れる。In the input period of the middle block Bs of the nth field, the motion vector detection circuit 3 detects one or a plurality of candidate vectors Vcs and outputs them to the address control circuit 11. At the same time, during the dummy data transmission period, the cumulative value Suf of the differential absolute values is calculated by the differential absolute value cumulative circuit 16 and is output to the address control circuit 11 for the evaluation of the candidate vector Vcf of the previous block Bf.
【0079】第nフィールドの後ブロックBtの入力期
間において、動きベクトル検出回路3により一つまたは
複数の候補ベクトルVctが検出され、アドレス制御回
路11に出力される。これと同時に、ダミーデータ送出
期間には中ブロックBsの候補ベクトルVcsの評価の
ため、差分絶対値累積回路16により差分絶対値の累積
値Susが計算され、アドレス制御回路11に出力され
る。In the input period of the succeeding block Bt of the nth field, one or a plurality of candidate vectors Vct are detected by the motion vector detection circuit 3 and output to the address control circuit 11. At the same time, during the dummy data transmission period, the cumulative value Sus of the differential absolute value is calculated by the differential absolute value cumulative circuit 16 for evaluation of the candidate vector Vcs of the middle block Bs, and is output to the address control circuit 11.
【0080】第nフィールドの入力終了時、第1制御回
路12は、候補ベクトルVcf,Vcs,Vctと差分
絶対値の累積値Suf,Susに基づいて、第nフィー
ルドの真の動きベクトルV(n)を判断し、基準フィー
ルド以降の動きベクトルの累加算値Vtに基づいて読み
出しアドレスADRを出力する。At the end of the input of the nth field, the first control circuit 12 determines the true motion vector V (n of the nth field based on the candidate vectors Vcf, Vcs, Vct and the cumulative values Suf, Sus of the absolute difference values. ) Is determined and the read address ADR is output based on the cumulative addition value Vt of the motion vector after the reference field.
【0081】第(n+1)フィールドの入力期間におい
て、フィールドメモリ5は読み出しアドレスADRによ
り第nフィールドの出力画像データをセレクタ15を介
して補間回路6に出力し、補間回路6は補間処理を施し
て出力信号7とする。In the input period of the (n + 1) th field, the field memory 5 outputs the output image data of the nth field to the interpolation circuit 6 via the selector 15 at the read address ADR, and the interpolation circuit 6 performs the interpolation process. The output signal 7 is used.
【0082】なお、この発明においては、第nフィール
ドの入力期間に順次入力する第nフィールドの画像デー
タAij(n)は、フィールドメモリ5の次のような領
域に書き込まれる(つまり、第(n−1)フィールドの
画像データAij(n−1)上に重ね書きされる)。In the present invention, the image data Aij (n) of the nth field, which is sequentially input during the input period of the nth field, is written in the following area of the field memory 5 (that is, the (nth -1) Overwritten on the image data Aij (n-1) of the field).
【0083】出力画像領域以外の領域、つまり画像デー
タAij(n−1)が出力されない補正領域(図4)ま
たは出力画像領域Aij(n−1)のうち補間回路6へ
の出力が終了した領域であって、かつ、差分絶対値累積
回路16における差分絶対値の累加算値を算出するため
の画像データAij(n−1)を含まない領域に、入力
する第nフィールドの画像データAij(n)が順次重
ね書きされる。An area other than the output image area, that is, a correction area in which the image data Aij (n-1) is not output (FIG. 4) or an area of the output image area Aij (n-1) for which the output to the interpolation circuit 6 is completed. And the image data Aij (n) of the n-th field to be input is input to a region that does not include the image data Aij (n−1) for calculating the cumulative addition value of the absolute differences in the difference absolute value accumulating circuit 16. ) Is sequentially overwritten.
【0084】また、上述の説明において動きベクトルを
引き続く2つのフィールド間に求めたが、iを任意の正
の整数として、第nフィールドに対する第(n+i)フ
ィールドの動きベクトルを求めるようにしてもよい。Further, in the above description, the motion vector is obtained between the following two fields, but i may be an arbitrary positive integer and the motion vector of the (n + i) th field with respect to the nth field may be obtained. ..
【0085】更に、上述の説明において候補ベクトルの
検算を行なう所定期間としてダミーデータ送出期間を利
用したが、水平および垂直帰線期間を利用するようにし
てもよい。Further, in the above description, the dummy data transmission period is used as the predetermined period for checking the candidate vector, but the horizontal and vertical blanking periods may be used.
【0086】[0086]
【発明の効果】上述のように、この発明においては、一
画面を複数のブロックに分割し、各ブロックについて少
なくとも一つの動きベクトルを検出して候補ベクトルと
し、ダミーデータ送出期間等の所定期間を利用して複数
の候補ベクトルの検算を行い、複数の候補ベクトルの中
から動きベクトルを選択するので、回路規模を従来と同
程度に抑圧しながら、従来よりも的確な手振れ補正がで
きる効果がある。As described above, according to the present invention, one screen is divided into a plurality of blocks, at least one motion vector for each block is detected and set as a candidate vector, and a predetermined period such as a dummy data transmission period is set. Since a plurality of candidate vectors are used for verification and a motion vector is selected from among the plurality of candidate vectors, there is an effect that camera shake correction can be performed more accurately than before while suppressing the circuit scale to the same extent as before. ..
【図1】この発明の実施例を示すブロック図である。FIG. 1 is a block diagram showing an embodiment of the present invention.
【図2】同実施例におけるブロック配置図である。FIG. 2 is a block layout diagram in the embodiment.
【図3】検算処理の説明図である。FIG. 3 is an explanatory diagram of a verification process.
【図4】出力画像領域を示す図である。FIG. 4 is a diagram showing an output image area.
【図5】補間回路6のブロック図および動作説明図であ
る。5A and 5B are a block diagram and an operation explanatory diagram of an interpolation circuit 6. FIG.
【図6】従来例における動きベクトル検出回路3の動作
説明図である。FIG. 6 is an operation explanatory diagram of a motion vector detection circuit 3 in a conventional example.
【図7】従来例を示すブロック図である。FIG. 7 is a block diagram showing a conventional example.
【図8】従来例の動作を示すタイムチャートである。FIG. 8 is a time chart showing an operation of a conventional example.
1 入力信号(画像データAij) 3 動きベクトル検出回路 5 フィールドメモリ 6 補間回路 7 出力信号 11 アドレス制御回路(制御手段) 12 第1制御回路 13 第2制御回路 14,15 セレクタ 16 差分絶対値累積回路(検算手段) 61,64 乗算器 62 スイッチ 63 1H遅延線 65 加算器 1 Input Signal (Image Data Aij) 3 Motion Vector Detection Circuit 5 Field Memory 6 Interpolation Circuit 7 Output Signal 11 Address Control Circuit (Control Means) 12 First Control Circuit 13 Second Control Circuit 14, 15 Selector 16 Difference Absolute Value Accumulation Circuit (Verification means) 61,64 Multiplier 62 Switch 63 1H delay line 65 Adder
Claims (1)
よびiは自然数)の画面を複数ブロックに分割し、この
複数ブロックの各々について第nフィールドに対する動
きベクトルを検出して候補ベクトルとし、検出された複
数の候補ベクトルのうちの一つを第(n+i)フィール
ドの動きベクトルと判定して、フィールド間の画像の揺
れを補正する手振れ補正装置において、 第(n+i)フィールド期間内の所定期間に、上記候補
ベクトルの検出と並行して、既に検出された候補ベクト
ルの検算を行なう検算手段を有することを特徴とする手
振れ補正装置。Claim: What is claimed is: 1. An input (n + i) field (n and i are natural numbers) screen is divided into a plurality of blocks, and a motion vector for the nth field is detected for each of the plurality of blocks. In a camera shake correction apparatus that determines a candidate vector, one of the detected plurality of candidate vectors is a motion vector of the (n + i) th field, and corrects the image shake between fields, in the (n + i) th field period. Within a predetermined period, the camera shake correction device further comprises a verification means for verifying the already detected candidate vector in parallel with the detection of the candidate vector.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3162878A JPH0514798A (en) | 1991-07-03 | 1991-07-03 | Camera jiggle correcting device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3162878A JPH0514798A (en) | 1991-07-03 | 1991-07-03 | Camera jiggle correcting device |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0514798A true JPH0514798A (en) | 1993-01-22 |
Family
ID=15762986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP3162878A Pending JPH0514798A (en) | 1991-07-03 | 1991-07-03 | Camera jiggle correcting device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0514798A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009303236A (en) * | 2004-02-13 | 2009-12-24 | Qualcomm Inc | Adaptive image stability |
JP2012009036A (en) * | 2006-04-06 | 2012-01-12 | Qualcomm Inc | Stabilization of electronic video image |
-
1991
- 1991-07-03 JP JP3162878A patent/JPH0514798A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009303236A (en) * | 2004-02-13 | 2009-12-24 | Qualcomm Inc | Adaptive image stability |
JP2012009036A (en) * | 2006-04-06 | 2012-01-12 | Qualcomm Inc | Stabilization of electronic video image |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2544445B1 (en) | Image processing device, image processing method, image processing program and storage medium | |
US4677476A (en) | Method for detecting a movement of a television signal | |
CN107256532B (en) | Image processing apparatus, image processing method, and recording medium | |
JP3103897B2 (en) | Camera shake correction device and camera shake correction method | |
JPH05260264A (en) | Image processor | |
JP3123130B2 (en) | Motion vector detection device | |
JPH1013718A (en) | Noise elimination circuit | |
JPH0522648A (en) | Image processor | |
JP4001979B2 (en) | Camcorder motion compensation device | |
WO2017154423A1 (en) | Image processing device, image processing method, and program | |
JPS61201581A (en) | Method and apparatus for detecting dynamic vector | |
JPH0522647A (en) | Image processor | |
JPH0514798A (en) | Camera jiggle correcting device | |
JPH0686272A (en) | Moving vector detector | |
JP2693515B2 (en) | Image motion detector | |
JP2647165B2 (en) | Image motion detection device and image motion correction device | |
JPH057328A (en) | Correction device for blur due to movement of hands | |
JP2693516B2 (en) | Image motion detector | |
JP3192698B2 (en) | Motion vector evaluation device | |
JPS63166369A (en) | Mobile vector detection circuit | |
JP2885039B2 (en) | Motion vector detection circuit | |
JP4396189B2 (en) | Electronic circuit, calculation method thereof, and image processing system | |
JP3903358B2 (en) | Motion vector evaluation method and apparatus | |
JPH08279949A (en) | Electronic zooming processing unit and its method | |
JP3103282B2 (en) | Block correlation processor |