JP2957851B2 - Image stabilization method - Google Patents

Image stabilization method

Info

Publication number
JP2957851B2
JP2957851B2 JP15946393A JP15946393A JP2957851B2 JP 2957851 B2 JP2957851 B2 JP 2957851B2 JP 15946393 A JP15946393 A JP 15946393A JP 15946393 A JP15946393 A JP 15946393A JP 2957851 B2 JP2957851 B2 JP 2957851B2
Authority
JP
Japan
Prior art keywords
correction pattern
vector
state
motion vector
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP15946393A
Other languages
Japanese (ja)
Other versions
JPH0723276A (en
Inventor
昭男 小林
明 鳥羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Denki Co Ltd
Original Assignee
Sanyo Denki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Denki Co Ltd filed Critical Sanyo Denki Co Ltd
Priority to JP15946393A priority Critical patent/JP2957851B2/en
Priority to KR1019940014942A priority patent/KR100319034B1/en
Priority to DE69428838T priority patent/DE69428838T2/en
Priority to EP94110044A priority patent/EP0632649B1/en
Publication of JPH0723276A publication Critical patent/JPH0723276A/en
Priority to US08/611,506 priority patent/US5909242A/en
Application granted granted Critical
Publication of JP2957851B2 publication Critical patent/JP2957851B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】この発明は手振れ補正方法に関
し、特にたとえば民生用のカメラ一体型VTRなどに用
いられる、手振れ補正方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a camera shake correction method, and more particularly to a camera shake correction method used for, for example, a consumer camera-integrated VTR.

【0002】[0002]

【従来の技術】撮像装置の振れ成分を検出する方法の一
例が、1989年の第20回画像工学コンファレンスで
松下電器産業(株)から発表されている。この方法は、
昭和61年(1986)9月6日付で公開された特開昭
61−201581号〔H04N7/137〕公報に記
載されている代表点マッチング法から得られる動きベク
トルを使って、画像情報から撮像装置の振れ成分を検出
するものである。この発表では、画像情報から得られる
動きベクトルに基づいて手振れを補正する方法に減衰係
数を導入している。また、画面に4個の検出領域を配置
しており、したがって1画面から4個の部分動きベクト
ルを得ている。
2. Description of the Related Art An example of a method for detecting a shake component of an image pickup apparatus has been disclosed by Matsushita Electric Industrial Co., Ltd. at the 20th Conference on Image Engineering in 1989. This method
An image pickup apparatus is obtained from image information using a motion vector obtained from a representative point matching method described in Japanese Patent Application Laid-Open No. 61-201381 [H04N7 / 137] published on September 6, 1986. This is to detect the shake component of the image. In this presentation, an attenuation coefficient is introduced in a method of correcting camera shake based on a motion vector obtained from image information. Also, four detection areas are arranged on the screen, and thus four partial motion vectors are obtained from one screen.

【0003】ここで、得られた部分動きベクトルに基づ
き手振れ補正する方法について述べる。フィールド間の
全体動きベクトルは、先に述べた4個の部分動きベクト
ルの平均等が用いられる。全体動きベクトルをVn とす
ると、積分ベクトルSn は数5で表される。
Here, a method for correcting camera shake based on the obtained partial motion vector will be described. The average of the four partial motion vectors described above is used as the entire motion vector between the fields. Assuming that the entire motion vector is V n , the integral vector Sn is represented by Expression 5.

【0004】[0004]

【数5】Sn =k・Sn-1 +Vn ここで、kは減衰係数と呼ばれ、1より小さい少数であ
る。このようにして得られた積分ベクトルSn を使っ
て、たとえば図6に示すように、画像の切り出し位置を
移動させることによって、手振れに基づく画像のぶれを
補正する。
S n = k · S n-1 + V n where k is called an attenuation coefficient and is a small number smaller than 1. In this way, using the integral vector S n thus obtained, for example, as shown in FIG. 6, by moving the cut-out position of the image, corrects the image blur based on the camera shake.

【0005】[0005]

【発明が解決しようとする課題】しかし、この補正方法
では、全体動きベクトルVn が0のときでも、積分ベク
トルSn は時間とともに0に近づくようにセンタリング
していく。すなわち、カメラを動かしていないときでも
画像が動く現象が現れ、補正後の画像が見づらくなると
いう問題点があった。
[SUMMARY OF THE INVENTION] However, in this correction method, even when the whole motion vector V n is 0, an integral vector S n goes to center to be closer to 0 with time. That is, there is a problem that a phenomenon in which the image moves even when the camera is not moved appears, and the corrected image becomes difficult to see.

【0006】それゆえに、この発明の主たる目的は、よ
り良好に手振れ補正できる、手振れ補正方法を提供する
ことである。
[0006] Therefore, a main object of the present invention is to provide a camera shake correction method capable of better correcting camera shake.

【0007】[0007]

【課題を解決するための手段】第1発明は、積分ベクト
ルに応じて画像のぶれを補正する手振れ補正方法におい
て、フィールド間で検出される画像の全体動きベクトル
n に基づいて画像の積分ベクトルSn を求める補正パ
ターンとして、
SUMMARY OF THE INVENTION The first invention is a camera shake correction method for correcting the blur of the image according to the integration vector, the image based on the entire motion vector V n of the image detected between fields integral vector as a correction pattern to determine the S n,

【0008】[0008]

【数6】Sn =K1 ・Sn-1 +Vnn :nフィールド目の積分ベクトル Sn-1 :n−1フィールド目の積分ベクトル Vn :n−1フィールド目とnフィールド目との間の
画像の全体動きベクトル K1 :1以下の少数の減衰係数 で示される第1補正パターン、および
S n = K 1 · S n -1 + V n S n : n-th field integration vector S n-1 : n-1 field integration vector V n : n-1 field and n-th field A first correction pattern represented by a small number of attenuation coefficients K 1 : 1 or less, and

【0009】[0009]

【数7】Sn =Sn-1 −K2 ・|Vn | K2 :1以下の少数の減衰係数 で示される第2補正パターンを用いることを特徴とす
る、手振れ補正方法である。
Equation 7] S n = S n-1 -K 2 · | V n | K 2: which comprises using the second correction pattern shown with a small number of damping coefficient of 1 or less, an image stabilization process.

【0010】そして、And,

【数8】 Sn=K3・Sn-1+Vn3:1以下の少数の減衰係数 ただし、Vnが、1画素>|Vn|のとき Sn=Sn-1 で示される第3補正パターンをさらに用いる、手振れ補
正方法である。
Equation 8] S n = K 3 · S n -1 + V n K 3: 1 decimal attenuation coefficients, however, is V n, 1 pixel> | represented by S n = S n-1 when | V n This is a camera shake correction method further using a third correction pattern to be used.

【0011】さらに、第1補正パターンにおいて、パン
ニングおよびチルティングの少なくとも一方を検出した
ときは第2補正パターンに遷移し、手振れが少ないこと
を検出したときは前記第3補正パターンに遷移し、第2
補正パターンにおいて、パンニングおよびチルティング
の少なくとも一方の終了を検出したとき、積分ベクトル
nが大きければ第3補正パターンに遷移し、積分ベク
トルSnが小さければ第1補正パターンに遷移し、第3
補正パターンにおいて、パンニングおよびチルティング
の少なくとも一方を検出したとき前記第2補正パターン
に遷移し、積分ベクトルSnが小さいときには前記第1
補正パターンに遷移する、手振れ補正方法である。
Further, when at least one of panning and tilting is detected in the first correction pattern, a transition is made to the second correction pattern, and when it is detected that there is little camera shake, a transition is made to the third correction pattern. 2
In the correction pattern, when it detects at least one of the end of panning and tilting, the larger the integral vector S n transitions to the third correction pattern, a transition to the first correction pattern Smaller integral vector S n, third
When at least one of panning and tilting is detected in the correction pattern, a transition is made to the second correction pattern, and when the integration vector Sn is small, the first correction pattern is used.
This is a camera shake correction method that transitions to a correction pattern.

【0012】第2発明は、全体動きベクトルVnの向き
が、
In the second invention, the direction of the entire motion vector V n is

【数9】 Sn=Sn-1−K2・|Vn| K2:1以下の少数の減衰係数 で示される補正パターンに遷移する直前の全体動きベク
トルVnの向きと逆になるフィールドが第3閾値以上連
続したとき、パンニングおよびチルティングの少なくと
も一方の終了を検出する、手振れ補正方法である。
S n = S n-1 −K 2 · | V n | K 2 : The direction of the whole motion vector V n immediately before transition to the correction pattern represented by a small number of attenuation coefficients of 1 or less is obtained. This is a camera shake correction method for detecting the end of at least one of panning and tilting when a field continues for a third threshold or more.

【0013】[0013]

【作用】まず、初期状態として、第1補正パターンに設
定する。第1補正パターンにおいて、積分ベクトルSn
または全体動きベクトルVn によってパンニングまたは
チルティングを検出すれば第2補正パターンに遷移し、
全体動きベクトルVn によって手振れが少ないことを検
出すれば第3補正パターンに遷移する。
First, a first correction pattern is set as an initial state. In the first correction pattern, the integration vector S n
Or transition by the overall motion vector V n in the second correction pattern by detecting the panning or tilting,
Transitioning to a third correction pattern by detecting that there is little camera shake by the overall motion vector V n.

【0014】第2補正パターンにおいて、全体動きベク
トルVn によってパンニングまたはチルティングの終了
を検出したとき、積分ベクトルSn が大きければ第3補
正パターンに遷移し、積分ベクトルSn が小さければ第
1補正パターンに遷移する。第3補正パターンにおい
て、積分ベクトルSn または全体動きベクトルVn によ
ってパンニングまたはチルティングを検出すれば第2補
正パターンに遷移し、積分ベクトルSn が小さければ第
1補正パターンに遷移する。
[0014] In the second correction pattern, when detecting the end of panning or tilting by the overall motion vector V n, the larger the integral vector S n transitions to the third correction pattern, first the smaller the integral vector S n Transition to the correction pattern. In a third correction pattern, by detecting the panning or tilting the integral vector S n or the whole motion vector V n transitions to the second correction pattern, a transition to the first correction pattern Smaller integral vector S n.

【0015】このように状態に応じて補正パターンを変
更して積分ベクトルSn を求め、手振れ補正する。
[0015] Thus by changing the correction patterns in accordance with the state obtains an integral vector S n, for image stabilization.

【0016】[0016]

【発明の効果】この発明によれば、状態に応じて積分ベ
クトルSn の求め方を変更することによって、パンニン
グ後のセンタリングによる画像の見づらさがなくなる。
たとえば、パンニング中にセンタリングがほぼ終了して
いるときには、パンニング後のセンタリング期間を短く
できる。また、パンニング中にはビデオカメラが動いて
いるので、使用者に気づかれずにパンニング中のセンタ
リングができる。したがって、従来より良好に手振れ補
正できる。
Effects of the Invention According to the present invention, by changing the method of calculating the integral vector S n according to the state, Midzura of the image is eliminated by the centering after the panning.
For example, when centering is almost completed during panning, the centering period after panning can be shortened. Also, since the video camera is moving during panning, centering can be performed during panning without the user's notice. Therefore, camera shake correction can be performed better than before.

【0017】この発明の上述の目的,その他の目的,特
徴および利点は、図面を参照して行う以下の実施例の詳
細な説明から一層明らかとなろう。
The above and other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.

【0018】[0018]

【実施例】図1に示すこの実施例のビデオカメラ10
は、レンズ14から入力される被写体(図示せず)から
の光信号を電気信号に変換するCCDのような固体撮像
素子12を含む。固体撮像素子12からの電気信号はカ
メラ回路16に入力される。カメラ回路16は、周知の
ように、サンプルホールド回路を含み、固体撮像素子1
2からの電気信号をサンプルホールドする。サンプルホ
ールドされた電気信号のレベルがAGCによって調整さ
れるとともに、さらに同期信号付加回路によって同期信
号が付加される。このようにして、カメラ回路16は固
体撮像素子12からのイメージ信号をアナログビデオ信
号に変換する。このアナログビデオ信号は、さらに、A
/D変換器18によってディジタルビデオ信号に変換さ
れる。ディジタルビデオ信号は動き検出回路20に与え
られる。動き検出回路20としては、たとえば三洋電機
株式会社製のLSI“L7A0948”が利用される。
この動き検出回路20を構成する同じLSIに含まれる
メモリ制御回路22の制御の下で、ディジタルビデオ信
号がフィールド順次にフィールドメモリ24に書き込ま
れる。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A video camera 10 of this embodiment shown in FIG.
Includes a solid-state imaging device 12 such as a CCD that converts a light signal from a subject (not shown) input from a lens 14 into an electric signal. An electric signal from the solid-state imaging device 12 is input to a camera circuit 16. As is well known, the camera circuit 16 includes a sample and hold circuit, and the solid-state imaging device 1
The sample and hold of the electric signal from 2 is performed. The level of the sampled and held electric signal is adjusted by the AGC, and a synchronizing signal is further added by a synchronizing signal adding circuit. Thus, the camera circuit 16 converts the image signal from the solid-state imaging device 12 into an analog video signal. This analog video signal further comprises A
The digital video signal is converted by the / D converter 18. The digital video signal is provided to the motion detection circuit 20. As the motion detection circuit 20, for example, an LSI “L7A0948” manufactured by Sanyo Electric Co., Ltd. is used.
Under the control of a memory control circuit 22 included in the same LSI constituting the motion detection circuit 20, digital video signals are written in a field memory 24 in a field sequence.

【0019】動き検出回路20は、たとえば周知の代表
点マッチング法を用いて図3に示す4個の各検出領域
A,B,CおよびD毎に、もっとも高い相関度(相関値
は最小)を有する1点およびその周囲の4点の位置、な
らびに各相関値を算出する。動き検出回路20からの位
置データおよび相関値データは、マイクロコンピュータ
26に与えられる。
The motion detection circuit 20 uses the well-known representative point matching method, for example, to obtain the highest correlation (the minimum correlation value) for each of the four detection areas A, B, C and D shown in FIG. The position of one point and four points around the point and the respective correlation values are calculated. The position data and the correlation value data from the motion detection circuit 20 are provided to the microcomputer 26.

【0020】すなわち、図2を参照して、動き検出回路
20は、A/D変換器18からのディジタルビデオ信号
を受ける入力端28を含み、この入力端28から入力さ
れたディジタルビデオ信号はフィルタ30を通して代表
点メモリ32および減算回路34に与えられる。フィル
タ30は、一種のディジタルローパスフィルタであり、
S/N比を改善し、少ない代表点で十分な検出精度を確
保するために用いられる。代表点メモリ32は、図3に
示す各検出領域A−Dの各々の範囲内で複数の代表点を
抽出(この実施例では、各検出領域A−Dの各々を30
分割し、したがって、30個の代表点を抽出)し、その
位置データと輝度データとを記憶する。30分割して形
成された各検出エリア42(図4)は、たとえば32画
素×16行で構成される。
More specifically, referring to FIG. 2, motion detecting circuit 20 includes an input terminal 28 for receiving a digital video signal from A / D converter 18, and the digital video signal input from input terminal 28 is filtered. The signal is supplied to a representative point memory 32 and a subtraction circuit 34 through 30. The filter 30 is a kind of digital low-pass filter,
It is used to improve the S / N ratio and ensure sufficient detection accuracy with a small number of representative points. The representative point memory 32 extracts a plurality of representative points in each of the detection areas A to D shown in FIG.
Then, 30 representative points are extracted), and the position data and the luminance data are stored. Each detection area 42 (FIG. 4) formed by dividing into 30 is composed of, for example, 32 pixels × 16 rows.

【0021】減算回路34は、代表点メモリ32から与
えられる前フィールドの代表点の輝度データと入力端2
8から与えられる現フィールドの全ての画素の輝度デー
タとを減算し、その絶対値をとる。すなわち、現フィー
ルドの輝度データと前フィールドの輝度データとの間で
輝度差を求める。求めた輝度差を累積加算回路36に与
える。累積加算回路36では、同じ検出領域内の各検出
エリア42の同じ位置の画素について求めた輝度差を累
積加算(この実施例では30個)し、相関値データを出
力する。相関値データは演算回路38に与えられ、この
演算回路38は最小相関値および平均相関値を各検出領
域A−D毎に演算するとともに、その最小相関値を示す
画素の位置データを各検出領域A−D毎に求める。この
ようにして得られた最小相関値,平均相関値および位置
データが出力端40から前述のマイクロコンピュータ2
6に与えられる。ただし、このような相関値の計算は、
先に述べたLSI“L7A0948”によって実行され
る。
The subtraction circuit 34 calculates the luminance data of the representative point of the previous field given from the representative point memory 32 and the input terminal 2.
8 is subtracted from the luminance data of all the pixels in the current field given by 8 and the absolute value is obtained. That is, a luminance difference is obtained between the luminance data of the current field and the luminance data of the previous field. The obtained luminance difference is given to the accumulation circuit 36. The accumulative addition circuit 36 accumulatively adds (30 in this embodiment) the luminance differences obtained for the pixels at the same position in each detection area 42 in the same detection area, and outputs correlation value data. The correlation value data is supplied to an arithmetic circuit 38, which calculates a minimum correlation value and an average correlation value for each of the detection areas A to D, and calculates the position data of the pixel indicating the minimum correlation value in each of the detection areas. Determined for each AD. The minimum correlation value, average correlation value and position data obtained in this way are output from the output terminal 40 to the microcomputer 2 described above.
6 given. However, the calculation of such a correlation value is
This is executed by the aforementioned LSI “L7A0948”.

【0022】そして、マイクロコンピュータ26では、
位置データおよび相関値データに基づいて、画面すなわ
ちイメージフィールド44(図3)全体の動きベクトル
(以下、単に「全体動きベクトル」という)を計算す
る。まず、最小相関値を示す画素の位置データに基づい
て、最小相関値を示す画素の、代表点に対する偏移を求
め、その偏移を部分動きベクトルとする。なお、部分動
きベクトルの検出精度をよくするために、最小相関値を
有する画素の周囲4画素の相関値を用いて内挿補間し、
最小相関値を有する画素の位置データを計算する。
In the microcomputer 26,
Based on the position data and the correlation value data, a motion vector of the entire screen, that is, the image field 44 (FIG. 3) (hereinafter, simply referred to as “entire motion vector”) is calculated. First, a shift of the pixel having the minimum correlation value with respect to the representative point is obtained based on the position data of the pixel having the minimum correlation value, and the shift is set as a partial motion vector. In order to improve the detection accuracy of the partial motion vector, interpolation is performed using the correlation values of four pixels around the pixel having the minimum correlation value,
The position data of the pixel having the minimum correlation value is calculated.

【0023】そして、マイクロコンピュータ26は、平
均相関値を最小相関値で除算した値が一定の閾値より大
きいか否かおよび平均相関値が所定値以上であるか否か
を各検出領域A−D毎に検出し、各検出領域A−Dから
の部分動きベクトルが手振れ以外の動く物体等によって
誤検出せず信頼できるか否かすなわち各検出領域A−D
が有効領域か否かを判断する。平均相関値を最小相関値
で除算した値が一定の閾値より大きくかつ平均相関値が
所定値以上であれば、その検出領域は有効領域と判断さ
れる。
The microcomputer 26 determines that the value obtained by dividing the average correlation value by the minimum correlation value is larger than a certain threshold value.
Asked whether and average correlation value is detected to or greater than a predetermined value for each of the detection areas A-D, false detection by an object such as a portion motion vector movement other than camera shake from the detection areas A-D Without detecting whether each detection area AD
Is determined as a valid area. If the value obtained by dividing the average correlation value by the minimum correlation value is greater than a certain threshold value and the average correlation value is equal to or greater than a predetermined value, the detection area is determined to be an effective area.

【0024】具体的には、有効領域か否かは以下のよう
に判断される。まず、画面のコントラストが低いときに
は、輝度差が小さいので、相関値が小さくなる。たとえ
ば、画面全体が白いときには相関値は小さくなる。この
ような場合には、信頼性がなくなるため、平均相関値≧
所定値のときに有効と判断される。なお、所定値は実験
により決定される。
Specifically, whether or not an area is an effective area is determined as follows. First, when the contrast of the screen is low, since the luminance difference is small, the correlation value is small. For example, when the entire screen is white, the correlation value becomes small. In such a case, since the reliability is lost, the average correlation value ≧
It is determined to be valid when the value is a predetermined value. The predetermined value is determined by an experiment.

【0025】また、検出領域内に動く物体があるときに
は、動く物体の占める部分と占めない部分とで相関値が
異なり、かつ動く物体の占める部分は様々な相関値をと
り、その相関値は一般的に大きな値となる(相関度は低
い)。したがって、検出領域内に動く物体があるときに
は、最小相関値が大きくなる可能性が高く、検出領域内
の部分動きベクトルを誤検出する恐れがある。部分動き
ベクトルを誤検出すると、全体動きベクトルを誤検出し
てしまう。しかし、平均相関値が大きいときには最小相
関値がある程度大きくても信頼できる。一方、平均相関
値が小さいときには最小相関値はより小さくなければ信
頼できない。したがって、具体的には、(平均相関値)
/(最小相関値)>7のときに有効と判断し、この条件
を満たさない検出領域の部分動きベクトルを用いないよ
うにして、上述の誤検出による弊害を防止する。
When there is a moving object in the detection area, the correlation value differs between the portion occupied by the moving object and the portion not occupied, and the portion occupied by the moving object takes various correlation values. (The correlation degree is low). Therefore, when there is a moving object in the detection area, there is a high possibility that the minimum correlation value increases, and there is a possibility that a partial motion vector in the detection area is erroneously detected. When the partial motion vector is erroneously detected, the entire motion vector is erroneously detected. However, when the average correlation value is large, it is reliable even if the minimum correlation value is somewhat large. On the other hand, when the average correlation value is small, the minimum correlation value cannot be relied on unless it is smaller. Therefore, specifically, (average correlation value)
It is determined to be valid when / (minimum correlation value)> 7, and a partial motion vector of a detection area that does not satisfy this condition is not used, thereby preventing the above-described adverse detection.

【0026】このような2つの条件によって、検出領域
が有効領域か否かが判断される。そして、有効領域の部
分動きベクトルの平均を求め、それをフィールド間の動
き量すなわち全体動きベクトルVn とする。全体動きベ
クトルはフィールド間の動き量とその向きを表す。マイ
クロコンピュータ26では、次いで積分ベクトルSn
求められる。積分ベクトルSn は、イメージフィールド
44のセンタからの抽出エリア48のずれ量すなわち補
正量とその向きを表す。積分ベクトルSn を計算する補
正パターンは、状態に応じて変えられる。状態は、表1
に示すように状態1〜状態4の4通りあり、ビデオカメ
ラ10の状態(たとえば、パンニングやチルティング
等)によって決定される。表1のデータは、マイクロコ
ンピュータ26のメモリ(図示せず)に格納される。
On the basis of these two conditions, it is determined whether the detection area is an effective area. Then, an average of partial motion vectors of valid regions to which the motion amount ie total motion vector V n between fields. The overall motion vector indicates the amount of motion between fields and its direction. In the microcomputer 26, then the integration vector S n is calculated. The integration vector Sn indicates the amount of shift of the extraction area 48 from the center of the image field 44, that is, the amount of correction and its direction. Correction pattern to calculate the integral vector S n is changed depending on the state. The state is shown in Table 1.
As shown in (1), there are four states, State 1 to State 4, which are determined by the state of the video camera 10 (for example, panning and tilting). The data in Table 1 is stored in a memory (not shown) of the microcomputer 26.

【0027】[0027]

【表1】 [Table 1]

【0028】表1において、「状態1」は、従来の積分
ベクトルSn の求め方(数5)と同じである。「状態
2」は、全体動きベクトルVn の向きに関係なく積分ベ
クトルSn を0に近づける、いわゆる強制的なセンタリ
ングをするモードである。「状態3」および「状態4」
は、従来の積分ベクトルSn の求め方と同じであるが、
全体動きベクトルVn が1画素より小さいとき、積分ベ
クトルSn を前フィールドと同じにする。すなわち、た
とえば三脚に固定されているような動きの小さいときに
は、センタリング動作を止めることを示している。な
お、「状態4」の減衰係数(0.992)は、「状態
3」の減衰係数(0.996)より小さいので、「状態
4」の方がセンタリングが早くなる。
[0028] In Table 1, "state 1" is the same as the method for obtaining the conventional integral vector S n (number 5). “State 2” is a mode in which the integral vector Sn is brought close to 0 regardless of the direction of the overall motion vector V n , that is, a mode in which so-called forced centering is performed. "State 3" and "State 4"
Is the same as obtaining the conventional integral vector S n,
When the entire motion vector V n is smaller than one pixel, the integration vector S n the same as the previous field. That is, for example, the centering operation is stopped when the movement is small, such as being fixed to a tripod. Since the attenuation coefficient (0.992) in “state 4” is smaller than the attenuation coefficient (0.996) in “state 3”, centering is faster in “state 4”.

【0029】ここで、表1では、減衰係数として、0.
996と0.992とを用いたが、減衰係数は1以下の
少数であれば足りる。減衰係数は、周波数特性を有し、
また、減衰係数を変化させることによって、センタリン
グの速さを変えることができる。このようにして求めら
れた積分ベクトルSn はメモリ制御回路22に与えら
れ、メモリ制御回路22では、それに基づいてフィール
ドメモリ24の読み出し開始アドレスを決定し、そのア
ドレスからフィールドメモリ24に蓄えられたディジタ
ルビデオ信号を読み出す。すなわち、メモリ制御回路2
2は、マイクロコンピュータ26によって計算された積
分ベクトルSn に従って、フィールドメモリ24のディ
ジタルビデオ信号によって形成される抽出エリア48を
移動する。
Here, in Table 1, 0.
Although 996 and 0.992 were used, it is sufficient if the attenuation coefficient is a small number of 1 or less. The attenuation coefficient has a frequency characteristic,
Further, by changing the damping coefficient, the speed of centering can be changed. Such integral vector S n, which is determined in the given memory control circuit 22, the memory control circuit 22 determines the read start address of the field memory 24 on the basis thereof, stored from the address in the field memory 24 Read the digital video signal. That is, the memory control circuit 2
2, according to the integration vector S n calculated by the microcomputer 26 moves the extraction area 48 which is formed by a digital video signal of the field memory 24.

【0030】ただし、フィールドメモリ24から読み出
されたディジタルビデオ信号そのままでは抽出エリア4
8を移動できないので、電子ズーム回路46を用いる。
図5を参照して、電子ズーム回路46(図1)はイメー
ジフィールド44の大きさに対して、ズーム倍率に従っ
て画像が拡大された抽出エリア48を設定する。この抽
出エリア48の位置は、イメージフィールド44の範囲
内では、フィールドメモリ24の読み出し開始アドレス
を変更することによって、自由に移動できる。そして、
抽出ディジタルビデオ信号に基づいてイメージフィール
ド44全体のビデオ信号を得るために、フィールドメモ
リ24から読み出したディジタルビデオ信号に基づいて
内挿補間法を用いて画像を拡大する。
However, if the digital video signal read from the field memory 24 is not used, the extraction area 4
8 cannot be moved, so the electronic zoom circuit 46 is used.
Referring to FIG. 5, an electronic zoom circuit 46 (FIG. 1) sets an extraction area 48 in which the image is enlarged according to the zoom magnification for the size of image field 44. The position of the extraction area 48 can be freely moved within the range of the image field 44 by changing the read start address of the field memory 24. And
In order to obtain a video signal of the entire image field 44 based on the extracted digital video signal, the image is enlarged using interpolation based on the digital video signal read from the field memory 24.

【0031】このようにして、イメージフィールド44
内の任意の抽出エリア48のイメージを電子ズーム回路
46(図1)で電子的にズームすることによって、イメ
ージフィールド44と抽出エリア48との差に相当する
補正可能範囲50が形成され得る。ビデオカメラ10を
操作する人の手の振動に応じて図6に示すようにビデオ
カメラ10に手振れが生じると、そのビデオカメラ10
からの画像にぶれを生じ、結果的に、イメージフィール
ド44内の左下方に目的の人物が存在する場合(図6
上)や、イメージフィールド44の右上方に目的の人物
が存在する場合(図6下)などが生じる。したがって、
各フィールド毎に抽出エリア48をマイクロコンピュー
タ26によって計算した積分ベクトルSn に応じて移動
させることによって、図6右に示すように抽出エリア4
8には目的の人物がちょうど収まることになる。
Thus, the image field 44
The electronic zoom circuit 46 (FIG. 1) electronically zooms an image of an arbitrary extraction area 48 within the area, thereby forming a correctable range 50 corresponding to the difference between the image field 44 and the extraction area 48. When camera shake occurs in the video camera 10 as shown in FIG. 6 according to the vibration of the hand of the person who operates the video camera 10, the video camera 10
When the target person exists at the lower left in the image field 44 (FIG. 6).
There are cases where the target person exists in the upper right of the image field 44 (lower in FIG. 6) and the like. Therefore,
By moving in accordance with the integral vector S n of the extraction area 48 for each field was calculated by the microcomputer 26, the extraction area 4 as shown in FIG. 6 right
8 just fits the target person.

【0032】このようにして電子ズーム回路46から出
力されるディジタルビデオ信号をD/A変換器52によ
ってアナログ信号に変換して出力端子54から出力す
る。このようなビデオカメラ10は、フィールド毎に図
7ないし図10に示すように動作する。まず、ステップ
S1において、初期値として状態1を設定する。状態の
設定には、たとえば状態フラグが用いられる。次いで、
ステップS3において累積加算結果を基に、各検出領域
の部分動きベクトルの有効・無効を判断する。ステップ
S5において、有効領域があるか否かを判断し、有効領
域があればステップS7において、有効領域の部分動き
ベクトルの平均を求め、それをフィールド間の全体動き
ベクトルVn とする。一方、ステップS5において有効
領域がないと判断されれば、ステップS9において、1
フィールド前の全体動きベクトルを、現フィールドの全
体動きベクトルVn とする。ステップS7およびステッ
プS9の処理後、ステップS11に進み、ステップS1
1において状態1か否かを判断する。ステップS11に
おいて状態1であれば、ステップS13においてSn
0.996*Sn-1 +Vn によって、積分ベクトルSn
を計算する。
The digital video signal output from the electronic zoom circuit 46 is converted into an analog signal by the D / A converter 52 and output from the output terminal 54. Such a video camera 10 operates as shown in FIGS. 7 to 10 for each field. First, in step S1, state 1 is set as an initial value. For setting the status, for example, a status flag is used. Then
In step S3, the validity / invalidity of the partial motion vector of each detection area is determined based on the cumulative addition result. In step S5, it is determined whether there is a valid region, in step S7, if the effective region, an average of partial motion vectors of valid regions is it a whole motion vector V n between fields. On the other hand, if it is determined in step S5 that there is no valid area, then in step S9, 1
The total motion vector of the previous field, the whole motion vector V n of the current field. After the processing of step S7 and step S9, the process proceeds to step S11, and step S1
In step 1, it is determined whether the state is state 1. If the state is 1 in step S11, then in step S13, S n =
0.996 * S n-1 + V n gives the integral vector S n
Is calculated.

【0033】次いで、図8に示すステップS15におい
て、全体動きベクトルVn が連続して30フィールド同
一方向を向いていれば、ステップS17において状態1
から状態2に遷移する。ステップS15で、全体動きベ
クトルVn が連続して30フィールド以上同一方向を向
いていなければ、ステップS19に進む。ステップS1
9において、積分ベクトルSn が大きくなって補正可能
範囲50以上となり、抽出エリア48の切り出し位置が
イメージフィールド44の端に連続して48フィールド
以上あれば、ステップS17において状態2に遷移す
る。そして、ステップS21に進み、積分ベクトルSn
に基づき、抽出エリア48の切り出し位置を計算する。
[0033] Then, in step S15 shown in FIG. 8, if the facing 30 fields the same direction is continuously total motion vector V n, the state in step S17 1
To state 2. In step S15, if not oriented in the same direction 30 fields or more contiguous whole motion vector V n, the process proceeds to step S19. Step S1
In 9, if the integration vector Sn becomes large and becomes the correctable range 50 or more, and if the cutout position of the extraction area 48 is 48 fields or more continuously to the end of the image field 44, the state transits to the state 2 in step S 17. Then, the process proceeds to step S21, where the integration vector S n
, The cutout position of the extraction area 48 is calculated.

【0034】ステップS19において、抽出エリア48
の切り出し位置が、フィールドメモリ44の端に連続し
て48フィールド以上なければ、ステップS23に進
む。ステップS23において、積分ベクトルSn が、3
0画素より大きければステップS25に進む。ステップ
S25において、全体動きベクトルVn が1画素より小
さいフィールドが、連続して10フィールド続けばステ
ップS27において、状態1から状態3に遷移して、ス
テップS21に進む。
In step S19, the extraction area 48
If the cutout position is not more than 48 fields continuously to the end of the field memory 44, the process proceeds to step S23. In step S23, the integral vector Sn is 3
If it is larger than 0 pixels, the process proceeds to step S25. In step S25, the smaller field than one pixel total motion vector V n is, in step S27 if continued for 10 fields in succession, and the transition from state 1 to state 3, the process proceeds to step S21.

【0035】ステップS23において、積分ベクトルS
n が30画素以下であれば、ステップS29に進む。ス
テップS29において積分ベクトルSn が3画素以上で
あれば、ステップS31に進む。ステップS31におい
て、補正量Vn が1画素より小さいフィールドが、連続
して10フィールド続けば、ステップS33において状
態1から状態4に偏移し、ステップS21に進む。ステ
ップS25,S29およびS31の条件をそれぞれ満た
していない場合には、ステップS35において状態1の
ままにして、ステップS21に進む。
In step S23, the integral vector S
If n is 30 pixels or less, the process proceeds to step S29. If an integral vector S n is 3 pixels or more in step S29, the process proceeds to step S31. In step S31, the correction amount V n is smaller fields than one pixel, if continued for 10 fields in succession deviates from the state 1 to state 4 at step S33, the process proceeds to step S21. If the conditions of steps S25, S29, and S31 are not satisfied, the state is left at step S35, and the process proceeds to step S21.

【0036】ステップS11において、状態1でなけれ
ば、図9に示すステップS37に進む。ステップS37
において、状態2であれば、ステップS39において、
n=Sn-1 −(1/4)・|Vn |によって、積分ベ
クトルSn を計算する。次いで、ステップS41におい
て、積分ベクトルSn が0画素より小さくなればステッ
プS43において、Sn =0として、ステップS45に
進む。ステップS41において、積分ベクトルSn が0
画素以上のときは直接ステップS45に進む。ステップ
S45において、全体動きベクトルVn が、状態2に入
る直前の全体動きベクトルVn と逆方向のベクトルにな
るフィールドが、連続して10フィールドに達すれば、
ステップS47に進む。ステップS47において、積分
ベクトルSn が3画素より小さければ、ステップS49
において状態2から状態1に遷移して、ステップS21
に進む。ステップS45の条件を満たしていないときに
は、ステップS51において状態2のままにして、ステ
ップS21に進む。ステップS47の条件を満たしてい
ないときには、ステップS53において状態2から状態
3に遷移して、ステップS21に進む。
If it is determined in step S11 that the state is not the state 1, the process proceeds to step S37 shown in FIG. Step S37
In the case of state 2, in step S39,
S n = S n-1 - (1/4) · | V n | by calculating the integral vector S n. Then, in step S41, in step S43 if the integral vector S n is smaller than 0 pixels, as S n = 0, the process proceeds to step S45. In step S41, the integration vector S n is 0
If the number is equal to or larger than the pixel, the process directly proceeds to step S45. In step S45, the whole motion vector V n is the field that the whole becomes a vector of the motion vector V n in the opposite direction immediately before the state 2, if reached in succession 10 field,
Proceed to step S47. In step S47, the if the integration vector S n is smaller than 3 pixels, step S49
Transitions from state 2 to state 1 in step S21.
Proceed to. When the condition of step S45 is not satisfied, the state is left at step S51, and the process proceeds to step S21. If the condition of step S47 is not satisfied, the state transits from state 2 to state 3 in step S53, and proceeds to step S21.

【0037】一方、ステップS37において、状態2で
なければ、ステップS55に進む。ステップS55にお
いて、状態3であればステップS57に進む。ステップ
S57において、全体動きベクトルVn が1画素より小
さければ、ステップS59において、Sn =Sn-1 とし
てステップS61に進む。ステップS57において、全
体動きベクトルVn が1画素以上であれば、ステップS
63において、Sn =0.996・Sn-1 +Vn によっ
て、積分ベクトルSn を計算して、ステップS61に進
む。ステップS61において、全体動きベクトルV
n が、連続して30フィールド同一方向を向いていれ
ば、ステップS65において状態3から状態2に遷移し
て、ステップS21に進む。ステップS61の条件を満
たしていなければ、ステップS67において、積分ベク
トルSn が大きくなり、抽出エリア48の切り出し位置
がイメージフィールド44の端に連続して48フィール
ド以上あれば、ステップS65に進む。一方、ステップ
S67において連続して48フィールド以上なければ、
ステップS69に進む。ステップS69において、積分
ベクトルSn が30画素以下であれば、ステップS70
に進む。ステップS70において、積分ベクトルSn
3画素より大きければ、ステップS71において状態3
から状態4に遷移してステップS21に進む。ステップ
S70において、積分ベクトルSn が3画素以下であれ
ば、ステップS72において状態3から状態1に遷移し
て、ステップS21に進む。ステップS69において、
積分ベクトルSn が30画素より大きければ、ステップ
S73において状態3のまま、ステップS21に進む。
On the other hand, if it is not state 2 in step S37, the process proceeds to step S55. In step S55, if the state is 3, the process proceeds to step S57. In step S57, the smaller than one pixel total motion vector V n, the process proceeds at step S59, the in step S61 as S n = S n-1. In step S57, the long overall motion vector V n is 1 pixel or more, the step S
In 63, the integral vector Sn is calculated according to S n = 0.996 · S n-1 + V n , and the process proceeds to step S61. In step S61, the entire motion vector V
If n continuously points in the same direction for 30 fields, the state transits from the state 3 to the state 2 in step S65, and proceeds to step S21. Does not satisfy the condition of step S61, in step S67, the integration vector S n becomes large, the extraction position of the extraction area 48 is continuous with the edge of the image field 44 if 48 or more fields, the process proceeds to step S65. On the other hand, if not more than 48 fields continuously in step S67,
Proceed to step S69. In step S69, if the integration vector S n is 30 pixels or less, steps S70
Proceed to. In step S70, the larger integral vector S n is from 3 pixels, state 3 in step S71
To state 4 and proceed to step S21. In step S70, the long integration vector S n is 3 or pixels or less, the transition from state 3 to state 1 at step S72, the process proceeds to step S21. In step S69,
If an integral vector S n is larger than 30 pixels, in the state 3 in step S73, the process proceeds to step S21.

【0038】ステップS55において状態3でなけれ
ば、状態4と判断され、図10に示すステップS75に
進む。ステップS75において、全体動きベクトルVn
が1画素より小さければステップS77において、Sn
=Sn-1 として、ステップS79に進む。ステップS7
5において、全体動きベクトルVn が1画素以上であれ
ば、ステップS81において、Sn =0.992・S
n-1 +Vn によって積分ベクトルSn を求めて、ステッ
プS79に進む。ステップS79において、全体動きベ
クトルVn が、連続して30フィールド同一方向を向け
ば、ステップS83において状態4から状態2に遷移し
て、ステップS21に進む。
If the state is not the state 3 in the step S55, it is determined that the state is the state 4, and the process proceeds to the step S75 shown in FIG. In step S75, the overall motion vector V n
Is smaller than one pixel, in step S77, S n
= S n-1 and the process proceeds to step S79. Step S7
In 5, if the whole motion vector V n is 1 pixel or more, in step S81, S n = 0.992 · S
seeking integral vector S n by n-1 + V n, the process proceeds to step S79. In step S79, the whole motion vector V n is, if directed to 30 fields the same direction continuously, a transition from state 4 to state 2 at step S83, the process proceeds to step S21.

【0039】一方、ステップS79の条件を満たしてい
なければ、ステップS85に進む。ステップS85にお
いて、積分ベクトルSn が大きくなり、抽出エリア48
の切り出し位置が、イメージフィールド44の端に連続
して48フィールド以上あれば、ステップS83におい
て状態4から状態2に遷移して、ステップS21に進
む。ステップS85の条件を満たしていなければ、ステ
ップS87に進む。ステップS87において、積分ベク
トルSn が3画素以下であれば、ステップS89におい
て状態4から状態1に遷移して、ステップS21に進
む。
On the other hand, if the condition in step S79 is not satisfied, the flow advances to step S85. In step S85, the integration vector S n becomes large, the extraction area 48
If the cutout position is 48 fields or more continuously at the end of the image field 44, the state transits from the state 4 to the state 2 in step S83, and proceeds to step S21. If the condition of step S85 is not satisfied, the process proceeds to step S87. In step S87, if the integration vector S n is 3 or pixels or less, a transition from state 4 to state 1 at step S89, the process proceeds to step S21.

【0040】ステップS87において、積分ベクトルS
n が3画素より大きければ、ステップS91に進む。ス
テップS91において、積分ベクトルSn が30画素以
上であれば、ステップS93において、状態4から状態
3に遷移して、ステップS21に進む。ステップS91
において、積分ベクトルSn が30画素より小さけれ
ば、ステップS95において状態4のままでステップS
21に進む。
In step S87, the integral vector S
If n is larger than three pixels, the process proceeds to step S91. In step S91, the long is 30 pixels or more integral vector S n, in step S93, the transition from state 4 to state 3, the process proceeds to step S21. Step S91
In, smaller than 30 pixels integral vector S n, step in the state 4 at step S95 S
Proceed to 21.

【0041】このように動作するビデオカメラ10で
は、状態遷移の結果、ビデオカメラ10の状態が、単な
る手振れのときは「状態1」に、パンニングやチルティ
ングのときは「状態2」に、三脚に固定されているよう
な手振れが少ないときには「状態3」または「状態4」
に遷移する。したがって、パンニングやチルティング中
には強制的にセンタリングされ、従来見られたパンニン
グやチルティング後のセンタリングによる画像の見づら
さが解消できる。また、パンニングやチルティング中に
センタリングが終了しなくても、全体動きベクトルVn
の変化が小さければ、「状態3」や「状態4」に遷移さ
れ、Sn =Sn-1 としてセンタリング動作を止め得るた
め、センタリングによる画像の見づらさを解消できる。
In the video camera 10 operating as described above, as a result of the state transition, the state of the video camera 10 is set to “state 1” when the camera is simply shaken, to “state 2” when panning or tilting is performed, and to a tripod. "State 3" or "State 4" when the camera shake is small as fixed to
Transitions to. Therefore, the centering is forcibly performed during the panning or the tilting, and the difficulty in viewing the image due to the centering after the panning or the tilting, which is conventionally seen, can be eliminated. Also, even if the centering does not end during panning or tilting, the entire motion vector V n
Is small, the state is changed to “state 3” or “state 4”, and the centering operation can be stopped with S n = S n−1 , so that it is possible to eliminate the difficulty in viewing the image due to the centering.

【0042】ここで、ビデオカメラ10が手振れのある
状態からパンニングされ、その後固定されたときのフィ
ールド数とビデオカメラ10等の移動量との関係を図1
1に示す。図11において、実線Aはビデオカメラ10
自体の移動量を示し、破線Bはこの実施例のビデオカメ
ラ10によって手振れ補正をした後抽出エリア48の
移動量を示し、二点鎖線Cは従来技術によって手振れ補
正をした後抽出エリア48の移動量を示す。
FIG. 1 shows the relationship between the number of fields and the amount of movement of the video camera 10 and the like when the video camera 10 is panned from a state of camera shake and then fixed.
It is shown in FIG. In FIG. 11, a solid line A indicates the video camera 10.
The dashed line B indicates the movement amount of the extraction area 48 after the camera shake correction by the video camera 10 of this embodiment, and the broken line C indicates the extraction area 48 after the camera shake correction by the conventional technique. Indicates the amount of movement.

【0043】まず、期間aに示すように手振れがあると
きには、状態1によって手振れが補正されている。範囲
bに示すように手振れからパンニングに入ると、初めは
補正しているが、積分ベクトルSn が補正可能範囲を超
えて、抽出エリア48の切り出し位置がイメージフィー
ルド44の端になる。この動きが48フィールド連続す
ると、状態2に遷移される。そして、Sn =Sn-1
(1/4)・|Vn |によって補正され、ビデオカメラ
10の補正後の動きは、ビデオカメラ10自体の動きに
急速に近づく(実線Aに破線Bが急速に近づく)。すな
わち、抽出エリア48の切り出し位置がイメージフィー
ルド44の中央に移動する強制的なセンタリングが素早
く行われる。そして、期間Cに示すように、パンニング
が終了してビデオカメラ10が固定状態になると、セン
タリングによる積分ベクトルSn が小さくなっているの
で、再び状態1に遷移する。ビデオカメラ10が固定さ
れていると、全体動きベクトルVn が小さく、10フィ
ールド後には状態4に遷移してセンタリングを中止す
る。
First, when there is a camera shake as shown in a period a, the camera shake is corrected in the state 1. When the camera shake as shown in range b enters the panning, but initially is corrected, an integral vector S n exceeds the correctable range, cut-out position of the extraction area 48 is on the edge of the image field 44. When this motion continues for 48 fields, the state is changed to state 2. Then, S n = S n-1
(1/4) · | V n | corrected by the motion after the correction of the video camera 10 approaches rapidly to the movement of the video camera 10 itself (broken line B in the solid line A rapidly approaches). That is, forcible centering in which the cutout position of the extraction area 48 moves to the center of the image field 44 is performed quickly. Then, as shown in a period C, and the video camera 10 panning is completed is in a fixed state, because the integral vector S n according to the centering is small, a transition to state 1 again. When the video camera 10 is fixed, the whole motion vector V n is small, to stop centering the transition to state 4 after 10 field.

【0044】したがって、従来技術ではパンニング終了
後にセンタリングが見られたが(二点鎖線C参照)、こ
の実施例のビデオカメラ10では、パンニング中にセン
タリングがほぼ終了し、またセンタリングが終了してい
なくても三脚に固定されているなど手振れが少ないこと
を検出するので、この実施例によれば、パンニング後の
センタリングによる画像の見づらさがなくなる。
Therefore, in the prior art, centering was observed after the completion of panning (see the two-dot chain line C). However, in the video camera 10 of this embodiment, the centering was almost completed during the panning, and the centering was not completed. However, since it is detected that the camera shake is small, such as being fixed to a tripod, according to this embodiment, it becomes difficult to view the image due to centering after panning.

【0045】なお、動きベクトルは、代表点マッチング
法を用いて求める以外に、たとえば角速度センサを用い
て求めてもよい。また、上述の実施例では、ビデオカメ
ラ10がフィールド毎に動作する場合について述べた
が、これに限定されず、フレーム毎に動作するようにし
てもよい。
The motion vector may be obtained by using, for example, an angular velocity sensor instead of using the representative point matching method. In the above-described embodiment, the case where the video camera 10 operates for each field has been described. However, the present invention is not limited to this, and the video camera 10 may operate for each frame.

【図面の簡単な説明】[Brief description of the drawings]

【図1】この発明の一実施例を示すブロック図である。FIG. 1 is a block diagram showing one embodiment of the present invention.

【図2】動き検出回路を示すブロック図である。FIG. 2 is a block diagram illustrating a motion detection circuit.

【図3】電子ズームの原理を示し、イメージフィールド
内の検出領域を示す図解図である。
FIG. 3 is an illustrative view showing a principle of electronic zoom and showing a detection area in an image field;

【図4】電子ズームの原理を示し、検出領域内の代表点
およびサンプリング点を示す図解図である。
FIG. 4 is an illustrative view showing a principle of electronic zoom and showing a representative point and a sampling point in a detection area.

【図5】手振れ補正の原理を示す図解図である。FIG. 5 is an illustrative view showing a principle of camera shake correction;

【図6】代表点マッチング法を適用するイメージフィー
ルド内の各ブロックを示す図解図である。
FIG. 6 is an illustrative view showing each block in an image field to which a representative point matching method is applied;

【図7】この実施例の動作を示すフロー図である。FIG. 7 is a flowchart showing the operation of this embodiment.

【図8】図7の続きの動作を示すフロー図である。FIG. 8 is a flowchart showing an operation subsequent to FIG. 7;

【図9】図8の続きの動作を示すフロー図である。FIG. 9 is a flowchart showing an operation continued from FIG. 8;

【図10】図9の続きの動作を示すフロー図である。FIG. 10 is a flowchart showing an operation continued from FIG. 9;

【図11】従来との比較において、手振れ補正の状態を
示すグラフである。
FIG. 11 is a graph showing a state of camera shake correction in comparison with the related art.

【符号の説明】 10 …ビデオカメラ 20 …動き検出回路 22 …メモリ制御回路 24 …フィールドメモリ 26 …マイクロコンピュータ 42 …検出エリア 44 …イメージフィールド 46 …電子ズーム回路 48 …抽出エリア[Description of Signs] 10 ... Video camera 20 ... Motion detection circuit 22 ... Memory control circuit 24 ... Field memory 26 ... Microcomputer 42 ... Detection area 44 ... Image field 46 ... Electronic zoom circuit 48 ... Extraction area

フロントページの続き (58)調査した分野(Int.Cl.6,DB名) H04N 5/232 Continuation of front page (58) Field surveyed (Int.Cl. 6 , DB name) H04N 5/232

Claims (6)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】積分ベクトルに応じて画像のぶれを補正す
る手振れ補正方法において、 フィールド間で検出される画像の全体動きベクトルVn
に基づいて画像の積分ベクトルSn を求める補正パター
ンとして、 【数1】Sn =K1 ・Sn-1 +Vnn :nフィールド目の積分ベクトル Sn-1 :n−1フィールド目の積分ベクトル Vn :n−1フィールド目とnフィールド目との間の
画像の全体動きベクトル K1 :1以下の少数の減衰係数 で示される第1補正パターン、および 【数2】Sn =Sn-1 −K2 ・|Vn | K2 :1以下の少数の減衰係数 で示される第2補正パターンを用いることを特徴とす
る、手振れ補正方法。
An image stabilization method for correcting image blur according to an integral vector, comprising: a motion vector V n of an image detected between fields;
To the correction pattern for determining the integral vector S n of the image based on, Equation 1] S n = K 1 · S n -1 + V n S n: n th field of an integral vector S n-1: n-1 th field V n : the whole motion vector of the image between the (n−1) th and n-th fields K 1 : a first correction pattern represented by a small number of attenuation coefficients of 1 or less, and S n = S n-1 -K 2 · | V n | K 2: which comprises using the second correction pattern shown with a small number of damping coefficient of 1 or less, image stabilization method.
【請求項2】 【数3】Sn =K3 ・Sn-1 +Vn3 :1以下の少数の減衰係数 ただし、Vn が、1画素>|Vn |のとき Sn =S
n-1で示される第3補正パターンをさらに用いる、請求
項1記載の手振れ補正方法。
2. A Equation 3] S n = K 3 · S n -1 + V n K 3: 1 decimal attenuation coefficients, however, is V n, 1 pixel> | V n | S n = S when
The method according to claim 1, further comprising using a third correction pattern indicated by n-1 .
【請求項3】前記第1補正パターンにおいて、パンニン
グおよびチルティングの少なくとも一方を検出したとき
は前記第2補正パターンに遷移し、手振れが少ないこと
を検出したときは前記第3補正パターンに遷移し、前記
第2補正パターンにおいて、パンニングおよびチルティ
ングの少なくとも一方の終了を検出したとき、積分ベク
トルSn が大きければ前記第3補正パターンに遷移し、
積分ベクトルSn が小さければ前記第1補正パターンに
遷移し、 前記第3補正パターンにおいて、パンニングおよびチル
ティングの少なくとも一方を検出したとき前記第2補正
パターンに遷移し、積分ベクトルSn が小さいときには
前記第1補正パターンに遷移する、請求項2記載の手振
れ補正方法。
3. A transition to the second correction pattern when at least one of panning and tilting is detected in the first correction pattern, and a transition to the third correction pattern when it is detected that the camera shake is small. , in the second correction pattern, when it detects at least one of the end of panning and tilting, a transition to the third correction pattern larger the integral vector S n,
Smaller integral vector S n transitions to the first correction pattern, in the third correction pattern, a transition to the second correction pattern when detecting at least one of panning and tilting, when the integration vector S n is small The method according to claim 2, wherein a transition is made to the first correction pattern.
【請求項4】積分ベクトルSnが補正可能範囲以上のフ
ィールドが第1閾値以上連続したときまたは画像の全体
動きベクトルVnが同一方向を向くフィールドが第2閾
値以上連続したとき、パンニングおよびチルティングの
少なくとも一方を検出する、請求項3記載の手振れ補正
方法。
Wherein when the integral vector S n is equal to or higher than the correctable range field fields oriented in the same direction the whole motion vector V n or images when a continuous first threshold value or more is continuously smaller than the second threshold value, panning and tilting The camera shake correction method according to claim 3, wherein at least one of the touching is detected.
【請求項5】全体動きベクトルVn の向きが、 【数4】Sn =Sn-1 −K2 ・|Vn | K2 :1以下の少数の減衰係数 で示される補正パターンに遷移する直前の全体動きベク
トルVn の向きと逆になるフィールドが第3閾値以上連
続したとき、パンニングおよびチルティングの少なくと
も一方の終了を検出する、手振れ補正方法。
5. The orientation of the whole motion vector V n is Equation 4] S n = S n-1 -K 2 · | V n | K 2: transition to the correction pattern shown with a small number of damping coefficient of 1 or less when direction and in the opposite field of the whole motion vector V n just before the consecutive third threshold value or more, for detecting at least one end of the panning and tilting, image stabilization method.
【請求項6】全体動きベクトルVnが小さいフィールド
が第4閾値以上連続して続いたとき、手振れが少ないこ
とを検出する、請求項3記載の手振れ補正方法。
6. When the entire field motion vector V n is small lasted continuously fourth threshold value or more, it is detected that the camera shake is small, claim 3 shake correction method according.
JP15946393A 1993-06-29 1993-06-29 Image stabilization method Expired - Fee Related JP2957851B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP15946393A JP2957851B2 (en) 1993-06-29 1993-06-29 Image stabilization method
KR1019940014942A KR100319034B1 (en) 1993-06-29 1994-06-28 Video camera with image stabilization
DE69428838T DE69428838T2 (en) 1993-06-29 1994-06-28 Video camera with electronic image stabilization and generation of addition data
EP94110044A EP0632649B1 (en) 1993-06-29 1994-06-28 Video camera with electronic picture stabilizer and generation of addition data
US08/611,506 US5909242A (en) 1993-06-29 1996-03-06 Video camera with electronic picture stabilizer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15946393A JP2957851B2 (en) 1993-06-29 1993-06-29 Image stabilization method

Publications (2)

Publication Number Publication Date
JPH0723276A JPH0723276A (en) 1995-01-24
JP2957851B2 true JP2957851B2 (en) 1999-10-06

Family

ID=15694319

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15946393A Expired - Fee Related JP2957851B2 (en) 1993-06-29 1993-06-29 Image stabilization method

Country Status (1)

Country Link
JP (1) JP2957851B2 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3460382B2 (en) * 1995-05-30 2003-10-27 ソニー株式会社 Image stabilizer and video camera
JP3538965B2 (en) * 1995-05-30 2004-06-14 ソニー株式会社 Camera shake correction apparatus and method, and camera shake correction processing apparatus and method
JP3423564B2 (en) * 1997-01-28 2003-07-07 キヤノン株式会社 Optical equipment
JP4360147B2 (en) * 2003-07-25 2009-11-11 株式会社ニコン Photography lens and camera system
JP4046673B2 (en) * 2003-09-18 2008-02-13 三洋電機株式会社 Intentional moving imaging scene detection device and detection method, and recording medium recording an intentional moving imaging scene detection program
ATE409390T1 (en) * 2003-12-23 2008-10-15 Nxp Bv METHOD AND SYSTEM FOR STABILIZING VIDEO DATA
JP4404822B2 (en) 2004-08-31 2010-01-27 三洋電機株式会社 Camera shake correction apparatus and imaging device
JP4561282B2 (en) * 2004-09-29 2010-10-13 パナソニック株式会社 Image motion correction device
JP4404864B2 (en) * 2005-03-10 2010-01-27 三洋電機株式会社 Video camera and image extraction apparatus used therefor
JP4942036B2 (en) * 2007-05-31 2012-05-30 富士フイルム株式会社 Image capturing apparatus and image stabilization method
JP6890944B2 (en) * 2016-10-07 2021-06-18 キヤノン株式会社 Image blur correction device and its control method, imaging device

Also Published As

Publication number Publication date
JPH0723276A (en) 1995-01-24

Similar Documents

Publication Publication Date Title
JP2940762B2 (en) Video camera with image stabilization device
US5909242A (en) Video camera with electronic picture stabilizer
JP2902966B2 (en) Camera shake correction device and video camera using the same
US7633525B2 (en) Unintentional hand movement canceling device and imaging apparatus
US8319842B2 (en) Image capturing apparatus to prevent image blurring and control method therefor
JP4872797B2 (en) Imaging apparatus, imaging method, and imaging program
KR19990031401A (en) Image Stabilization Device and Image Stabilization Method Using Motion Correction of Input Image Using Bit Plane Matching
JP2957851B2 (en) Image stabilization method
JP2944369B2 (en) Video camera shake correction device and video camera
JPH07107368A (en) Image processor
JP3208264B2 (en) Camera shake correction device and video camera using the same
JPH05328201A (en) Correction device for camera shake of picture
KR20030085810A (en) Image data storing method using a change detection of image data
JP3213492B2 (en) Camera shake correction device and video camera using the same
JP3395186B2 (en) Video camera and video camera image vibration display method
JP2925890B2 (en) Video camera with image stabilization device
JP3152574B2 (en) Camera shake correction device and video camera using the same
JPH07115583A (en) Video camera with hand-shake correction device
JP3239051B2 (en) Video camera with image stabilization device
JPH07107367A (en) Image processor
JPH06121218A (en) Motion vector detecting method
JPH0591392A (en) Image pickup device
JP2669083B2 (en) Imaging device
JPH05130488A (en) Video camera equipment
JPH07135598A (en) Hand-shake correction method for video camera

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19990629

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080723

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080723

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090723

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090723

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100723

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100723

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110723

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120723

Year of fee payment: 13

LAPS Cancellation because of no payment of annual fees