JPH0646316A - Shaking controller for video camera - Google Patents

Shaking controller for video camera

Info

Publication number
JPH0646316A
JPH0646316A JP4468992A JP4468992A JPH0646316A JP H0646316 A JPH0646316 A JP H0646316A JP 4468992 A JP4468992 A JP 4468992A JP 4468992 A JP4468992 A JP 4468992A JP H0646316 A JPH0646316 A JP H0646316A
Authority
JP
Japan
Prior art keywords
degree
block
camera shake
motion vector
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4468992A
Other languages
Japanese (ja)
Other versions
JP2584383B2 (en
Inventor
Toshiyuki Okino
俊行 沖野
Akio Kobayashi
昭男 小林
Toshiya Iinuma
俊哉 飯沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP4468992A priority Critical patent/JP2584383B2/en
Publication of JPH0646316A publication Critical patent/JPH0646316A/en
Priority to US08/224,076 priority patent/US5371539A/en
Application granted granted Critical
Publication of JP2584383B2 publication Critical patent/JP2584383B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

PURPOSE:To suppress the influence by a passing object by verifying the intrusion of the passing object in a block based on the increase degree, the passing degree, and the change degree of a moving vector at every block dividing image fields and performing the shaking correction only for a no-intrusion block. CONSTITUTION:A video signal at every image block via a camera circuit 3 and an A/D converter 4 is supplied to a frame memory 5 and a shaking detection circuit part 8. This circuit part 8 calculates a correlation value by a representative matching method, detects the shaking based on the correlation value and corrects the contents of a memory 5. At this time, a state that a passing object does not intrude in a block whose correlation value is reliable from the values of the increase degree, the passing degree and the changing degree of a moving vector at every block is verified and whether the block in which the passing object is intruded and the block in which it is not intruded are surely discriminated. Then, the shaking correction is performed for the only block in which the passing object is not intruded, a correction is not performed for an intruded block in which an error becomes large and the influence by the passing object is suppressed.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は映像フィールド内の映像
信号の手ブレによる動きベクトルを算出し、この動きベ
クトルの大きさに基づいて手ブレ補正処理を実行するビ
デオカメラの手ブレ制御装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a camera shake control device for a video camera, which calculates a motion vector of a video signal in a video field due to camera shake and executes camera shake correction processing based on the magnitude of the motion vector. .

【0002】[0002]

【従来の技術】手ブレ補正機能を有するビデオカメラに
ついては、従来例えばNational Techni
cal Report Vol.37 Jun.199
1 P48〜54「純電子式画像揺れ補正技術」に開示
されているものがある。
2. Description of the Related Art A video camera having a camera shake correction function is conventionally known, for example, National Techni
cal Report Vol. 37 Jun. 199
1 P48-54 "Pure electronic image shake correction technology".

【0003】この技術は、代表点マッチング法により映
像フィールド内の4個のブロック各々について画像信号
から画像の動きを抽出する動きベクトルの検出を実行
し、ブロック毎の動きベクトルを特定する。この時、動
きベクトルの平均と各動きベクトルとの差の絶対値の大
きさを発散度として求め、この発散度に応じて得られた
平均の動きベクトルに係数を乗じ、これを手ブレ検出動
きベクトルとして続く映像フィールドの映像抽出フィー
ルドを特定し、手ブレ補正を実行するというものであっ
た。
This technique detects a motion vector for extracting the motion of the image from the image signal for each of the four blocks in the video field by the representative point matching method, and specifies the motion vector for each block. At this time, the magnitude of the absolute value of the difference between the average of the motion vectors and each motion vector is obtained as the divergence, and the average motion vector obtained according to this divergence is multiplied by a coefficient, and this is used as the motion detection motion. The video extraction field of the video field that follows as a vector is specified, and camera shake correction is executed.

【0004】[0004]

【発明が解決しようとする課題】しかしながら上記従来
の発散度を求めて手ブレ補正を実行するか否かの判定に
用いる方法の場合、発散度の小さい部分、即ち映像フィ
ールド内の各ブロックに通過物体が存在しない場合は正
確な手ブレ補正が期待できるものの、特定ブロック内に
通過物体が進入した場合、発散度がある程度大きくなっ
て通過物体の進入したブロックの動きベクトルにより平
均動きベクトルに誤差が発生して手ブレ補正が正確に行
えないという問題点が生じていた。
However, in the case of the conventional method used to determine the divergence and determine whether or not to perform the camera shake correction, a portion having a small divergence, that is, each block in the video field is passed. If there is no object, accurate camera shake correction can be expected, but if a passing object enters a specific block, the divergence becomes large to some extent and there is an error in the average motion vector due to the motion vector of the block where the passing object enters. However, there was a problem in that camera shake correction could not be performed accurately.

【0005】そこで本発明は斯かる従来技術の発散度に
変えて、より信頼度の高い通過物体進入検出の手法を案
出し、通過物体が進入した映像フィールド内の各ブロッ
クの残りのブロックに与える影響を極力取り除き、正確
な手ブレ補正を行うことを課題とするものである。
Therefore, the present invention devises a more reliable method of detecting a passing object entering, in place of the divergence of the prior art, and applies it to the remaining blocks of each block in the video field where the passing object entered. It is an object to remove the influence as much as possible and perform an accurate camera shake correction.

【0006】[0006]

【課題を解決するための手段】本発明の第1発明は、映
像フィールド内を複数のブロックに分割し各ブロック毎
の動きベクトルを相関値演算により算出する手段と、算
出された動きベクトルに応じて必要な手ブレ補正処理を
行う手段と、各映像フィールドの対応ブロックにおける
算出された動きベクトルの方向が同一である期間の指標
となる増加度を算出する手段と、該増加度の値によって
前記各ブロックの手ブレ補正処理の実行を判断する手段
と、よりなる。
According to a first aspect of the present invention, a video field is divided into a plurality of blocks, and a motion vector for each block is calculated by a correlation value calculation method. Means for performing necessary camera shake correction processing, means for calculating an increase degree serving as an index of a period in which the directions of the calculated motion vectors in the corresponding blocks of each video field are the same, and And a means for determining whether to execute the camera shake correction processing of each block.

【0007】また本発明の第2発明は、映像フィールド
内を複数のブロックに分割し各ブロック毎の動きベクト
ルを相関値演算により算出する手段と、算出された動き
ベクトルに応じて必要な手ブレ補正処理を行う手段と、
各映像フィールドの対応ブロックにおける算出された相
関値が信頼できる値となる期間の指標となる通過度を算
出する手段と、該通過度の値によって前記各ブロックの
手ブレ補正処理の実行を判断する手段と、よりなる。
A second invention of the present invention is to divide a video field into a plurality of blocks and calculate a motion vector for each block by calculating a correlation value, and a camera shake required according to the calculated motion vector. Means for performing correction processing,
Means for calculating the degree of passage, which is an index of a period in which the calculated correlation value in the corresponding block of each video field is a reliable value, and execution of the camera shake correction process for each block is determined by the value of the degree of passage. And means.

【0008】さらに本発明の第3の発明は、映像フィー
ルド内を複数のブロックに分割し各ブロック毎の動きベ
クトルを相関値演算により算出する手段と、算出された
動きベクトルに応じて必要な手ブレ補正処理を行う手段
と、各映像フィールドの対応ブロックにおける算出され
た動きベクトルの大きさの差の絶対値を表した変化度を
算出する手段と、該変化度の値によって前記各ブロック
の手ブレ補正処理の実行を判断する手段と、よりなる。
Further, a third invention of the present invention is to divide a video field into a plurality of blocks and calculate a motion vector for each block by calculating a correlation value, and a means required according to the calculated motion vector. Means for performing blur correction processing, means for calculating a degree of change representing the absolute value of the difference in the magnitudes of the calculated motion vectors in the corresponding blocks of each video field, and means for calculating the degree of change of each block according to the value of the degree of change. And means for determining execution of the blur correction process.

【0009】そして本発明の第4発明は、上記3つの発
明を統合したものであり、映像フィールド内を複数のブ
ロックに分割し各ブロック毎の動きベクトルを相関値演
算により算出する手段と、算出された動きベクトルに応
じて必要な手ブレ補正処理を行う手段と、各映像フィー
ルドの対応ブロックにおける算出された動きベクトルの
方向が同一である期間の指標となる増加度を検出する手
段と、各映像フィールドの対応ブロックにおける算出さ
れた相関値が信頼できる値となる期間の指標となる通過
度を算出する手段と、各映像フィールドの対応ブロック
における算出された動きベクトルの大きさの差の絶対値
を正規化した変化度を算出する手段と、前記増加度算出
手段と通過度算出手段及び変化度算出手段の各算出値を
パラメータとし所定のルールに則って前記対応ブロック
の手ブレに対する信頼度を算出しこれに基づいて手ブレ
補正処理の実行を判断する手段と、よりなる。
A fourth invention of the present invention is an integration of the above-mentioned three inventions, a means for dividing an image field into a plurality of blocks, and calculating a motion vector for each block by a correlation value calculation; Means for performing a necessary camera shake correction process according to the motion vector thus calculated, means for detecting an increase degree serving as an index of a period in which the directions of the calculated motion vectors in the corresponding blocks of each video field are the same, Means for calculating the degree of passage, which is an index of the period during which the calculated correlation value in the corresponding block of the video field is a reliable value, and the absolute value of the difference in the magnitude of the calculated motion vector in the corresponding block of each video field. Means for calculating the degree of change that is normalized, and each calculated value of the increase degree calculating means, the passage degree calculating means, and the change degree calculating means as parameters. Means for determining the execution of the shake correction based on and in accordance with the rules calculate the reliability of camera shake of the corresponding block to become more.

【0010】[0010]

【作用】上記第1〜第3の発明によって、夫々通過物体
の進入した映像フィールド内のブロックを特定し、この
ブロックを手ブレ制御すべき映像フィールドから除外で
きるので、手ブレ補正処理が通過物体の進入によって受
ける誤差を少なくすることが可能となる。
According to the first to third inventions, each block in the video field into which a passing object has entered can be specified, and this block can be excluded from the video field to be subjected to camera shake control. It is possible to reduce the error received by the entry of the.

【0011】また上記第4発明によれば、第1〜第3発
明の各手法によって通過物体の進入したブロックの特定
に信頼度が増し、より精度の高い手ブレ補正処理を実現
することが可能となる。
According to the fourth aspect of the invention, the reliability of the block in which the passing object has entered is increased by each of the methods of the first to third aspects of the invention, and more accurate camera shake correction processing can be realized. Becomes

【0012】[0012]

【実施例】以下本発明の手ブレ制御装置をその一実施例
について図面に沿って詳細に説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of a camera shake control device of the present invention will be described in detail below with reference to the drawings.

【0013】まず本発明の対象となるビデオカメラの基
本構成について図1に基づいて簡単に説明する。同図に
おいて1はレンズ、2は撮像素子、3はカメラ回路部、
4はADC(Analog−Degital−Conv
erter)、5はフレームメモリー、6は電子ズーム
回路部、7はDAC(Degital−Analog−
Converter)、8は手ブレ検出回路部、9は手
ブレ制御回路部、10はメモリー制御回路部である。
First, the basic structure of a video camera to which the present invention is applied will be briefly described with reference to FIG. In the figure, 1 is a lens, 2 is an image sensor, 3 is a camera circuit section,
4 is an ADC (Analog-Digital-Conv)
erter), 5 is a frame memory, 6 is an electronic zoom circuit section, and 7 is a DAC (Digital-Analog-).
Converter), 8 is a camera shake detection circuit section, 9 is a camera shake control circuit section, and 10 is a memory control circuit section.

【0014】斯かる構成において被写体からの光はレン
ズ1を通り固体撮像素子(ここではCCD)2で受光し
て電気信号化され、カメラ回路部3を経て映像信号とし
て出力され、この信号はADC4でAD変換されてフレ
ームメモリー5に記憶しておき、手ブレ検出回路部8に
よりさらに次の映像信号(1/60秒後にレンズ1を介
して取り込まれた映像)と比較されて映像フィールド間
の画像の動きを検出し、これに基づいて手ブレ量を代表
点マッチング法を用いて算出する。
In such a structure, the light from the subject passes through the lens 1, is received by the solid-state image sensor (here, CCD) 2, is converted into an electric signal, and is output as a video signal through the camera circuit section 3. This signal is sent to the ADC 4 Is converted into an AD signal and stored in the frame memory 5, and is further compared by the camera shake detection circuit unit 8 with the next video signal (the video captured through the lens 1 after 1/60 seconds) and between the video fields. The movement of the image is detected, and the amount of camera shake is calculated based on this by using the representative point matching method.

【0015】前記手ブレ制御回路部9では上記で求めら
れた手ブレ量に基づいて映像フィールド内の画像の位置
を移動させるのであるが、このままでは移動できないの
で電子ズームの原理を用いて補正を行う。
In the camera shake control circuit section 9, the position of the image in the video field is moved based on the amount of camera shake obtained as described above. However, since it cannot be moved as it is, correction is made using the principle of electronic zoom. To do.

【0016】図2は斯かる電子ズームの原理を説明する
図であり、一つの映像フィールド11の画像の大きさに
対してズーム比率分だけの枠12を決める。この枠12
の位置は元映像フィールド11内では自由に移動できる
ものにしておく。そしてこの枠12の分だけ元の映像フ
ィールド11に対応した大きさになるように補間法を用
いて拡大する。
FIG. 2 is a diagram for explaining the principle of such electronic zoom, in which a frame 12 for the zoom ratio is determined for the size of the image in one video field 11. This frame 12
The position of is allowed to move freely within the original video field 11. Then, the frame 12 is enlarged by an interpolation method so as to have a size corresponding to the original video field 11.

【0017】このようにして映像フィールド11内の任
意の場所の画像を電子ズーム回路部6で電気的にズーム
して元の映像フィールド11と切り出し枠12の差だけ
余裕スペース(補正範囲13)を作ると、図3に示すよ
うにビデオカメラ14の手ブレが起こると映像フィール
ド11の左下方に目的となる人物の像がある場合と、次
の映像フィールド15の右上方に目的となる人物の像が
ある場合とのように画像がブレる。
In this way, the image at an arbitrary place in the video field 11 is electrically zoomed by the electronic zoom circuit section 6 to leave a margin space (correction range 13) by the difference between the original video field 11 and the clipping frame 12. As shown in FIG. 3, when a camera shake of the video camera 14 occurs, an image of a target person is located in the lower left part of the video field 11 and an image of the target person is located in the upper right part of the next video field 15, as shown in FIG. The image blurs as if there were an image.

【0018】従って両映像フィールド11、15のよう
に切り出し枠12を検出された画像の動き量に応じて移
動させることにより、該切り出し枠12には両フィール
ド11、14とも目的の人物の像がきちんと収まる状態
になり、これを前記DAC7でDA変換して元に戻して
やることで手ブレ補正を実現している。
Therefore, by moving the clipping frame 12 as in both video fields 11 and 15 in accordance with the amount of movement of the detected image, both fields 11 and 14 have an image of the target person in the clipping frame 12. It becomes a state where it fits neatly, and the camera shake correction is realized by DA-converting this and returning it to the original state.

【0019】実際には一つの映像フィールド11を図4
に示すように4つのブロック16〜18に分割して個々
のブロックについて2映像フィールド間の比較を行い、
代表点マッチング法により手ブレ量を算出することにな
る。
Actually, one video field 11 is shown in FIG.
As shown in FIG. 4, it is divided into four blocks 16 to 18 and a comparison between two video fields is performed for each block.
The camera shake amount is calculated by the representative point matching method.

【0020】図5は本実施例で用いる代表点マッチング
による動きベクトルの検出方法について説明した機能ブ
ロック図であり、前記図1の手ブレ検出回路部8の中身
に相当し、LSIのロジック回路で組まれたものであ
る。
FIG. 5 is a functional block diagram for explaining the motion vector detection method by representative point matching used in this embodiment, which corresponds to the contents of the camera shake detection circuit unit 8 in FIG. 1 and is a logic circuit of an LSI. It has been assembled.

【0021】同図において20は前記ADC4からのカ
メラの映像信号に対して検出精度を落とすことなくS/
N比を改善し少ない代表点で十分な検出制度を得るため
に設けられたフィルター回路部、21は前記フィルター
回路部20を通過した映像信号から前記各ブロック16
〜19内の複数の代表点エリア内の複数の代表点を抽出
してその位置と輝度信号を記憶する代表点メモリ−、2
2は前記代表点メモリー21の輝度信号と前記各エリア
内の他の画素との相関値を演算により算出する相関値演
算部、23は前記各エリア内の同じ位置の画素の相関値
を累積加算する累積加算部、24は該累積加算部24の
値によって各画素の相関値を比較してその最小値を求
め、且つ一つのブロック内での相関値の平均を求め、更
に前記最小値のある画素の位置を求める最小値、平均値
及び最小位置演算部である。そして前記累積加算部23
と前記最小値、平均値及び最小位置演算部24で得られ
た値は出力として次の手ブレ制御回路部9に渡される。
In the figure, reference numeral 20 designates S / S for the video signal of the camera from the ADC 4 without lowering the detection accuracy.
A filter circuit unit 21 is provided to improve the N ratio and obtain a sufficient detection accuracy with a small number of representative points. Reference numeral 21 denotes each block 16 from the video signal that has passed through the filter circuit unit 20.
Representative point memory for extracting a plurality of representative points in a plurality of representative point areas within 19 and storing their positions and luminance signals-2
Reference numeral 2 denotes a correlation value calculator for calculating the correlation value between the luminance signal of the representative point memory 21 and other pixels in each area, and 23 cumulatively adds the correlation values of pixels at the same position in each area. The cumulative addition unit 24, which compares the correlation value of each pixel with the value of the cumulative addition unit 24 to obtain the minimum value thereof, and also obtains the average of the correlation values within one block, and further has the minimum value. It is a minimum value, an average value, and a minimum position calculation unit for obtaining the position of a pixel. Then, the cumulative addition unit 23
The minimum value, the average value, and the value obtained by the minimum position calculation unit 24 are passed to the next camera shake control circuit unit 9 as outputs.

【0022】図6は前記手ブレ制御回路部9の中身に相
当する機能アルゴリズムを示し、斯かるアルゴリズムは
マイクロプロセッサのソフトウェア−処理によって実行
される。
FIG. 6 shows a functional algorithm corresponding to the contents of the camera shake control circuit section 9. The algorithm is executed by software processing of a microprocessor.

【0023】同図において25は前記手ブレ検出回路部
8からの入力、26は前記入力の内前記最小値を平均値
で割った値が一定の閾値以内に収っているかによって検
出した各ブロックの動きベクトル即ち検出された動きベ
クトルそのものが信頼できるものか否かを判断する相関
値判断、27は動きベクトルの検出精度を上げるため相
関値が最小の画素の周囲4画素の相関値を用いて内挿を
行い相関値の最小位置を補間する最小位置補間、28は
通過物体や移動物体等の手ブレ以外の動きと思われるブ
ロック16〜19を検出してこのブロックを手ブレ補正
のルーティンから逸脱させるファジィ判断、29は信頼
できるブロック16〜19の相関値を用いて該ブロック
16〜19の動きベクトルを算出するベクトル演算、3
0は各映像フィールド11、15・・・毎の動きベクト
ルを積分し各映像フィールド11、15・・・毎の動き
ベクトルを算出する積分補正演算、31は前記積分補正
演算30で算出された動きベクトルからノイズによる影
響を取り除くコアリング補正、32はビデオカメラのパ
ンニング時やチルト操作時の動きベクトルに加わる影響
を取り除くパン・チルト処理、33は前記ベクトル演算
29〜パン・チルト処理32による有効なブロック16
〜19の動きベクトル及び一つ前の前映像フィールド及
び二つ前の前々映像フィールドの動きベクトルから現フ
ィールドの動きベクトル及び積分ベクトルを求めた結果
の出力である。
In the figure, 25 is an input from the camera shake detection circuit unit 8, and 26 is each block detected depending on whether a value obtained by dividing the minimum value of the inputs by an average value is within a certain threshold value. Correlation value judgment to judge whether or not the motion vector, that is, the detected motion vector itself is reliable, and 27 uses the correlation values of the four pixels around the pixel having the smallest correlation value in order to improve the detection accuracy of the motion vector. The minimum position interpolation for performing interpolation to interpolate the minimum position of the correlation value, 28 detects blocks 16 to 19 that are considered to be motions other than camera shake such as passing objects and moving objects, and detects this block from the camera shake correction routine. The fuzzy judgment to deviate, 29 is a vector operation for calculating the motion vector of the blocks 16 to 19 using the reliable correlation values of the blocks 16 to 3, 3
0 is an integral correction calculation for integrating the motion vector of each video field 11, 15 ... to calculate a motion vector of each video field 11, 15 ..., 31 is a motion calculated by the integral correction calculation 30 Coring correction for removing the effect of noise from the vector, 32 is pan / tilt processing for removing the effect added to the motion vector during panning or tilt operation of the video camera, 33 is effective by the vector operation 29 to pan / tilt processing 32. Block 16
It is the output of the result of obtaining the motion vector and the integral vector of the current field from the motion vectors of # 19 to 19 and the motion vectors of the immediately previous video field and the two previous video fields.

【0024】上記アルゴリズムにおいて手ブレか通過物
体及び移動物体の前記ブロック16〜19内への進入か
の判断は正確な手ブレ補正を行う上で重要である。本実
施例ではこの判断を前記ファジィ判断28で行っている
が、以下このファジィ判断28の中身について説明す
る。
In the above algorithm, it is important to determine whether the camera shake or the passing object and the moving object enter the blocks 16 to 19 in order to correct the camera shake accurately. In the present embodiment, this judgment is made by the fuzzy judgment 28. The contents of the fuzzy judgment 28 will be described below.

【0025】図7はファジイ判断28のアルゴリズムを
示す機能流れ図であり、この実施例では後述する増加
度、通過度、変化度の三つのパラメータを全て組み込ん
だ三重のチェックによる無効ブロックの判断を行ってい
るが後に説明するように個々のパラメータによるチェッ
クのみでも十分無効ブロックの判断が行えることは言う
までもない。
FIG. 7 is a functional flow chart showing the algorithm of the fuzzy judgment 28. In this embodiment, the invalid block judgment is carried out by a triple check incorporating all three parameters of the degree of increase, the degree of passage and the degree of change which will be described later. However, as will be described later, it goes without saying that the invalid block can be sufficiently determined only by checking the individual parameters.

【0026】図7において34で前記26の相関値判断
で信頼性の判断された相関値と、補間された最小位置に
より算出された判断しようとする現ブロックの動きベク
トルを入力するとともに保留フラグ、保留回数レジス
タ、前及び前々映像フィールド方向フラグ、増加度レジ
スタを夫々用意し、且つ各フラグ及びレジスタを初期化
する。
In FIG. 7, at 34, the correlation value whose reliability is judged by the above-mentioned 26 correlation value judgment and the motion vector of the current block to be judged which is calculated by the interpolated minimum position are inputted and a hold flag, A holding number register, a pre-previous and pre-previous video field direction flag, and an increment register are prepared respectively, and each flag and register are initialized.

【0027】35は現ブロックの動きベクトルが同じ方
向を向いている継続時間を表す指標となる増加度(整数
値)の演算ルーティンであり、図8にその詳細な中身を
説明する。ここで増加度は通常の手ブレの場合には、動
きベクトルの値が一定方向を基準として正の方向へ向い
たり、負の方向に向いたりして余り大きくはならない
が、通過物体の侵入があればいずれかの方向に向かう動
きベクトルが続くため増加度は増加するという特徴があ
る。
Reference numeral 35 is a calculation routine of the degree of increase (integer value) that serves as an index representing the duration of time that the motion vector of the current block faces the same direction, and the detailed contents will be described in FIG. Here, in the case of normal camera shake, the degree of increase does not become so large that the value of the motion vector is positive or negative with respect to a fixed direction, but the penetration of a passing object If there is, there is a feature that the degree of increase increases because the motion vector in either direction continues.

【0028】この増加度演算ルーティン35ではまず現
ブロックの動きベクトルがゼロか否かの判断36を行
い、ゼロのときは37で増加度=0としてルーティン3
5を38で終了する(増加度の値もインクリメントされ
ないので前映像フィールドの増加度のまま−最初の映像
フィールドの場合はゼロ−となる)。このことは動きベ
クトルが存在せず手ブレも通過物体もないので現ブロッ
クが有効か無効かを判断する必要がないことを意味して
いる。
In this increase degree calculation routine 35, first, it is judged whether the motion vector of the current block is zero or not.
5 ends at 38 (the increment value is not incremented either, so the increment value of the previous video field remains unchanged-zero in the case of the first video field). This means that it is not necessary to determine whether the current block is valid or invalid because there is no motion vector, no camera shake, and no passing object.

【0029】ここで前記動きベクトルがゼロではなく正
か負の値をもっている場合には、後述する保留が前回行
われたか否かを39で判断し、行われていない場合は次
に前映像フィールドの動きベクトルと方向が同じかどう
かを40で判断し、方向が変わっている(正の値から負
の値、あるいは負の値から正の値)場合は前フィールド
の増加度の値が3より小さいか否かを41で判断する。
Here, if the motion vector has a positive or negative value instead of zero, it is judged at 39 whether or not a holding operation described later has been carried out last time. If the direction is changed (positive value to negative value, or negative value to positive value), the increment value of the previous field is 3 or more. It is judged at 41 whether it is small or not.

【0030】一方40で前映像フィールドの動きベクト
ルと現映像フィールドの動きベクトルとの間に変化が見
られないときには、42で前映像フィールドで算出され
た増加度が飽和しているか否か(即ち増加度は0〜31
の間の値をとるように設定するため31に達しているか
否か)の判断を行い、まだ飽和していなければ43で増
加度を1だけインクリメントし、飽和していればこれ以
上インクリメントできないので44で変化なしとして増
加度は前映像フィールドの値を据え置く。
On the other hand, when there is no change between the motion vector of the previous video field and the motion vector of the current video field at 40, it is determined at 42 whether the degree of increase calculated in the previous video field is saturated (ie, The degree of increase is 0 to 31
In order to set to take a value between 3), it is judged whether it has reached 31), and if it is not saturated yet, the increment degree is incremented by 1 at 43, and if it is saturated, it cannot be further incremented. At 44, the value of the previous video field is left unchanged for the degree of increase as no change.

【0031】また前記41で前映像フィールドまでの増
加度が3より小さいときは通過物体が現ブロック内を通
過したと考えるのが妥当であると判断し42で増加度を
1(最小の増加度)に最設定し、以降の増加度の算出に
際しては動きベクトルの変わった方向を基準として先の
36から始まるアルゴリズムを再実行する。
Further, when the increase degree up to the previous video field is smaller than 3 in 41, it is appropriate to consider that the passing object has passed through the current block, and in 42, the increase degree is set to 1 (minimum increase degree). ), And when calculating the degree of increase thereafter, the algorithm starting from 36 is re-executed on the basis of the direction in which the motion vector has changed.

【0032】逆に41で前映像フィールドまでの増加度
が3以上である場合は、現映像フィールドに通過物体が
進入した疑いがあるがまだ確定するには早いと判断し、
46で前映像フィールドの動きベクトル算出までの保留
回数を閾値(この場合は10)と比較し、この閾値より
も小さい回数ならば47で増加度をインクリメントせ
ず、現増加度のまま保留する。この場合本来ならば方向
が変化したら増加度を1から再度初めてインクリメント
していくのが基本ではあるが、全映像フィールドでの増
加度が大きい場合は一度ぐらい動きベクトルの方向が逆
になってもノイズ等の影響もあるのですぐに動きベクト
ルの方向が変化したとは判断しないで保留するほうが誤
差が少ないと考えられるからである。但し保留の判断が
度重なる場合にはノイズ等の影響だけではなくなるため
適当なところ(保留回数10回)でルーティンを抜けら
れるように設定した。
On the other hand, when the increase degree up to the previous video field is 3 or more at 41, it is judged that a passing object has entered the current video field, but it is still early to determine,
At 46, the number of holdings until the motion vector of the previous video field is calculated is compared with a threshold value (10 in this case), and if the number is smaller than this threshold value, the increase degree is not incremented at 47 and the current increase degree is held. In this case, if the direction originally changes, the increment is basically incremented from 1 again for the first time, but if the increment in all video fields is large, even if the direction of the motion vector is reversed once. This is because it is considered that the error will be smaller if it is held without judging that the direction of the motion vector has changed immediately because of the influence of noise and the like. However, when the judgment of holding is repeated, it is set not to be influenced by noise or the like, so that the routine can be exited at an appropriate place (10 times of holding).

【0033】さらに前記39にて前回の映像フィールド
において増加度の処理が保留であった場合には、現映像
フィールドの動きベクトルが前々の映像フィールドの動
きベクトルの方向と同じか否かを48で判断し、同じで
あれば前記42の増加度の飽和を判断し、違っていれば
前々の映像フィールドから動きベクトルの方向が真に変
わっているものと確定して、増加度の値を49で2にセ
ットする。
Further, when the process of increasing degree is suspended in the previous video field in 39, it is checked whether the motion vector of the current video field is the same as the direction of the motion vector of the previous video field. If it is the same, the saturation of the increase degree of 42 is judged, and if it is different, it is determined that the direction of the motion vector has changed from the previous video field to the true value, and the increase value is determined. Set to 2 at 49.

【0034】このようにして1/60秒毎に取り込まれ
る各映像フィールドの動きベクトルの増加度を、前記各
ブロック毎に算出することにより各映像フィールド間で
動きベクトルが同じ方向を向いている積算時間が算出さ
れることになり、少なくとも増加度がインクリメントさ
れている間はそのブロックを通過物体が通過しているこ
とになり、このブロックを手ブレ補正から削除すれば良
いことがわかる。
In this way, the degree of increase of the motion vector of each video field taken in every 1/60 seconds is calculated for each block to integrate the motion vectors in the same direction between the video fields. It means that the time is calculated, and the passing object is passing through the block at least while the increment is being incremented, and it can be understood that this block should be deleted from the camera shake correction.

【0035】前記増加度演算ルーティン35にて増加度
の算出によってブロックの有効あるいは無効を判断でき
るが、さらにこの判断を確定的なものとするために、次
の通過度演算を行う。
The increase degree calculation routine 35 can determine whether the block is valid or invalid by calculating the increase degree. In order to make this determination deterministic, the following passage degree calculation is performed.

【0036】これに際し、まず50で相関値判断フラグ
と通過度レジスタを初期化する。図9は相関値と通過度
とを時系列的に示したタイムチャートであり、これに沿
って通過度の概念を説明すると、ブロック内を通過物体
が通過したとき(51で示す)相関値は急に高くなり、
この後通過物体が当該ブロックから出るまで相関値は低
く保たれ、出る瞬間(52で示す)に再び相関値が急に
高くなる。
At this time, first, at 50, the correlation value judgment flag and the passage degree register are initialized. FIG. 9 is a time chart showing the correlation value and the degree of passage in time series, and the concept of the degree of passage will be explained along with this. When the passing object passes through the block (shown by 51), the correlation value is Suddenly higher
After this, the correlation value is kept low until the passing object leaves the block, and the correlation value suddenly rises again at the moment of exit (indicated by 52).

【0037】斯かる相関値の急激な変化を利用して通過
物体の判断を行おうとするのが通過度の考え方であり、
前記相関値の立ち上がり51で急激に値が下がり、その
後次の急激な立ち上がり52が現れるまで一定のレート
で増加して後一定化し、さらに後の立ち上がり52で再
び急激に値が下がる特徴を有する。この特徴を利用して
通過度が急激に値を下げたときに前記通過度レジスタを
クリアし、その後相関値が低い期間は各映像フィールド
毎に通過度を1づつインクリメントしていくことにより
通過度を算出し、これによって手ブレ補正を行うブロッ
クであるか否かの判定を行おうとするものである。
The idea of passing degree is to try to judge a passing object by utilizing such a rapid change of the correlation value.
The correlation value rises sharply at the rising edge 51, then increases at a constant rate until the next sharp rising edge 52 appears, then becomes constant, and then falls sharply again at the subsequent rising edge 52. By using this feature, the pass-through register is cleared when the pass-through is sharply lowered, and then the pass-through is incremented by 1 for each video field while the correlation value is low. Is calculated, and the determination is made as to whether or not the block is a block for camera shake correction.

【0038】この手法をアルゴリズムで示したものが図
10であり、通過度演算ルーティン53ではまず前記図
5の相関値演算22で得られた値を取り込み、これが所
定値より小さいか否かによって相関値が信頼できるかど
うかを54で判断し、信頼できる即ち小さい場合に55
で通過度レジスタを1つインクリメントし、このレジス
タの値に適当な係数を掛けて57で正規化する。相関値
データは1/60秒毎に取り込まれ、レジスタには8ビ
ット以上カウントされる。
FIG. 10 shows an algorithm of this method. In the pass degree calculation routine 53, the value obtained in the correlation value calculation 22 of FIG. 5 is first fetched, and the correlation is determined depending on whether or not this value is smaller than a predetermined value. At 54, it is judged whether the value is reliable, and if it is reliable, that is, 55,
The pass degree register is incremented by 1 and the value of this register is multiplied by an appropriate coefficient to normalize at 57. Correlation value data is fetched every 1/60 seconds, and 8 bits or more are counted in the register.

【0039】ところで後述するメンバーシップ関数の演
算では5ビットのデータを取り扱うため前記57の正規
化では8ビットデータのうちのどの5ビット分をデータ
として取るかを選択することになる。
By the way, in the operation of the membership function which will be described later, since 5-bit data is handled, in the normalization of 57, which 5-bit portion of 8-bit data is to be taken as data is selected.

【0040】最後にいつまでも通過物体がないと通過度
レジスタはインクリメントされ続けるが余り大きな数に
なっても意味がないので適当なところ(実施例では最大
値31)で制限し、58で当該ルーティンを終了するよ
うにセットしておく。
Finally, if there is no passing object forever, the passing degree register continues to be incremented, but since it does not make sense to have an excessively large number, it is limited at an appropriate place (maximum value 31 in the embodiment), and the routine is 58. Set it to finish.

【0041】また前記54で通過物体のブロック内への
侵入により相関値が急激に大きくなった場合には59で
通過度レジスタをクリアする。
If the correlation value suddenly increases due to the intrusion of the passing object into the block at 54, the passing degree register is cleared at 59.

【0042】このように相関値が信頼できない時には通
過物体の侵入があったものと考えることにすると、その
後相関値が信頼できるものになってもしばらくは物体の
通過中と考えることができる。又通過物体の侵入の場
合、前記図9に示したように次に相関値が信頼できない
ものになって、その後又信頼できるものになり、これ以
降は通過物体の侵入でもないのに通過度が小さい期間が
続くが、無効ブロックの検出に関しては特に悪い影響を
与えるものではない。しかも相関値が信頼できるものと
なってからかなりの時間が経過すると通過度は大きい値
を取り続けることになる。
When the correlation value is unreliable in this way, it can be considered that the passing object is intruding. Even if the correlation value becomes reliable thereafter, it can be considered that the object is passing for a while. Further, in the case of a passing object, as shown in FIG. 9, the correlation value becomes unreliable next time and becomes reliable again thereafter. A small period continues, but it does not have a particularly bad influence on the detection of invalid blocks. Moreover, after a considerable amount of time has passed since the correlation value became reliable, the passing level continues to take a large value.

【0043】前記通過度演算のルーティンのように、1
/60秒毎に取り込まれる映像フィ−ルドにおける相関
値を信頼できるものか否か判断することは、相関値が信
頼できるものであると判断してからの経過時間を算出す
ることを意味し、この経過時間によって現ブロックに通
過物体の侵入があったか否かが精度良く確認できること
になり、この結果信頼のおけないブロックを外して手ブ
レ制御を行うことによって映像の手ぶれによる不自然さ
を除去することができる。
Like the routine for calculating the passage degree, 1
Determining whether or not the correlation value in the video field captured every 60 seconds is reliable means calculating the elapsed time after determining that the correlation value is reliable, With this elapsed time, it is possible to accurately check whether or not there is a passing object in the current block. As a result, untrustworthy blocks are removed and camera shake control is performed to eliminate unnaturalness due to camera shake. be able to.

【0044】更に念を入れて無効ブロックの抽出を行い
たい場合として次の変化度演算ル−ティンを行う。
If it is desired to extract invalid blocks more carefully, the following variation degree calculation routine is performed.

【0045】これに際してまず図7の60で現映像フィ
−ルドの各ブロックの動きベクトル及び前映像フィ−ル
ドの各ブロックの動きベクトルとを入力する。
At this time, first, at 60 in FIG. 7, the motion vector of each block of the current video field and the motion vector of each block of the previous video field are input.

【0046】変化度のル−ティン61は図11に示すよ
うに62でまず現フィ−ルドの動きベクトルから前フィ
−ルドの動きベクトルを差引き、63でその差の絶対値
を取る。 通常の手ぶれ動作では各映像フィ−ルド間で
は上記絶対値には大きな変化は見られない。すなわちも
し大きな変化が存在すればそれが通過物体のブロックへ
の侵入とみなされるので、前記絶対値の算出は言い換え
れば通過物体の検出となる。
As shown in FIG. 11, the routine 61 for the degree of change subtracts the motion vector of the previous field from the motion vector of the current field in 62, and takes the absolute value of the difference in 63. In the normal camera shake operation, no great change is seen in the absolute value between the video fields. That is, if there is a large change, it is regarded as an intrusion of the passing object into the block. Therefore, the calculation of the absolute value is, in other words, the detection of the passing object.

【0047】尚前記63にて得られる値はアナログ的に
大きな値を取る可能性があるので64で前記通過度の場
合と同様に正規化のための係数をかけて0〜31までの
値とし、更に最大値31にするために65で最大値の制
限をつけている。
Since the value obtained at 63 may have a large analog value, a coefficient for normalization is multiplied at 64 to give a value from 0 to 31 as in the case of the passing degree. Further, the maximum value is limited to 65 in order to further increase the maximum value to 31.

【0048】以上のごとく増加度演算ル−ティン35、
通過度演算ル−ティン53、変化度演算ル−ティン61
にてそれぞれ通過物体のブロック内への侵入如何によっ
て定まる0〜31の値がパラメータとして出力される
と、66で次に説明するファジィルールに従ってメンバ
ーシップ演算を行う。
As described above, the increment calculation routine 35,
Passage calculation routine 53, change degree calculation routine 61
At 0, the value of 0 to 31 determined by the penetration of the passing object into the block is output as a parameter, and at 66, membership calculation is performed according to the fuzzy rule described below.

【0049】表1は前記メンバーシップ演算を行うため
のファジィルールを定めた表であり、図12はメンバー
シップ関数を定義した図である。
Table 1 is a table defining fuzzy rules for performing the membership operation, and FIG. 12 is a diagram defining membership functions.

【0050】[0050]

【表1】 [Table 1]

【0051】前記表1は次のようなルールに従って定め
たものである。
Table 1 is defined according to the following rules.

【0052】1、変化度が小さく、増加度が小さけれ
ば、通過度が非常に小さくても当該ブロックをかなり信
頼する。
1. If the degree of change is small and the degree of increase is small, the block is considerably trusted even if the passing degree is very small.

【0053】2、変化度が小さく、増加度が小さく、通
過度が余り小さくなければ当該ブロックを非常に信頼す
る。
2. If the degree of change is small, the degree of increase is small, and the degree of passage is not too small, the block is very reliable.

【0054】3、増加度が大きくて、通過度が余り大き
くなければ、変化度が小さくても当該ブロックは余り信
頼しない。
3. If the degree of increase is large and the degree of passage is not too large, the block is not very reliable even if the degree of change is small.

【0055】4、増加度が大きくても、変化度が小さ
く、通過度が非常に大きければ当該ブロックはかなり信
頼する。
4. Even if the degree of increase is large, if the degree of change is small and the degree of passage is very large, the block is quite reliable.

【0056】5、増加度が小さくても、変化度が大き
く、通過度が余り大きくなければ当該ブロックは余り信
用しない。
5. Even if the degree of increase is small, if the degree of change is large and the degree of passage is not too large, the block is not trusted so much.

【0057】6、変化度が大きくても、増加度が小さ
く、通過度が非常に大きければ当該ブロックはかなり信
頼する。
6. Even if the degree of change is large, if the degree of increase is small and the degree of passage is very large, the block is fairly reliable.

【0058】7、変化度が大きく、増加度が大きく、通
過度が余り大きくなければ当該ブロックはまったく信頼
しない。
7. If the degree of change is large, the degree of increase is large, and the degree of passage is not too large, the block is not reliable at all.

【0059】8、変化度が大きく、増加度が大きくて
も、通過度が非常に大きければ当該ブロックはある程度
信頼する。
8. Even if the degree of change is large and the degree of increase is large, if the passing degree is very large, the block is trusted to some extent.

【0060】このルールによれば、先の図9で説明した
51の通過物体の侵入の後、通過度がある程度大きくな
った時に通過でないと誤判断するのを増加度の値によっ
てカバーできるルールとなっている。
According to this rule, it is possible to cover the erroneous determination that the object is not passing when the passing degree becomes large to some extent after the invasion of the passing object 51 described with reference to FIG. 9 by the value of the increasing degree. Has become.

【0061】前記増加度、通過度、変化度の値は、メン
バシップ関数から対応するメンバーシップ値に変換さ
れ、この値が前記ファジイルールの表1に代入され、6
7でこれらのメンバーシップ値の最大の値が当該ルール
における代表メンバーシップ値とされ、かかる代表メン
バーシップ値の全ルールにおける単純和Zと、代表メン
バーシップ値に信頼度を乗じた値の全ルールにおける積
算和Wとを演算する。
The values of the degree of increase, the degree of passage, and the degree of change are converted from membership functions into corresponding membership values, and these values are substituted into Table 1 of the fuzzy rule.
In 7, the maximum value of these membership values is set as the representative membership value in the rule, and the simple sum Z in all the rules of the representative membership value and all rules of the value obtained by multiplying the representative membership value by the reliability. And the integrated sum W at.

【0062】次に68で前記単純和Zを積算和Wで割っ
た値Tのスレッシュホールドを1未満の値(例えば0.
8)に設定し、ZがTWより小さいか否かの判断を行
う。
Next, at 68, the threshold of the value T obtained by dividing the simple sum Z by the integrated sum W is less than 1 (for example, 0.
8), and it is determined whether Z is smaller than TW.

【0063】ここでは前記Tの値が小さいほどそのブロ
ックの動きベクトルは信頼できるという原則に基づき、
小さい場合には69ですべてのブロックについて検証が
終わったか否かを判断する。もしすべてのブロックにつ
いて有効か無効かの判断が検証されていなければ70で
ブロックカウンタをひとつインクリメントとして次のブ
ロックの検証に移行する。
Here, based on the principle that the smaller the value of T, the more reliable the motion vector of the block,
If it is smaller, it is judged in 69 whether or not the verification is completed for all the blocks. If the determination of validity or invalidity has not been verified for all blocks, the block counter is incremented by one at 70 and the process proceeds to verification of the next block.

【0064】前記68でZがTWより大きくなった時に
は、71でそのブロックを無効ブロックと見做し、手ブ
レ補正からは外す。
When Z becomes larger than TW in 68, the block is regarded as an invalid block in 71 and is excluded from the camera shake correction.

【0065】また前記69ですべてのブロックの検証が
終了すれば、このファジィルーティン28を終了して、
次のベクトル演算29以降の手ぶれ補正ルーティンを実
行する。
When all the blocks have been verified in 69, the fuzzy routine 28 is terminated,
The image stabilization routine after the next vector operation 29 is executed.

【0066】さて最初の方で述べたように前記増加度、
通過度、変化度の各ルーティン35、53、61につい
てはそれぞれ単独に用いても無効ブロックの検証を行う
ことが可能である。
Now, as described in the first section, the degree of increase,
It is possible to verify the invalid block even if each of the routines 35, 53 and 61 of the passage degree and the variation degree is used independently.

【0067】図13及び図14は前記図8のアルゴリズ
ムを少し改良することにより増加度のみによる無効ブロ
ックの検証をなし得たものである。すなわち、図8の終
了38の代わりに66にて得られた増加度が15以上か
否かを判断し、もし15以上ならばこのブロックには通
過物体が侵入したと判断して当該ブロックを67で無効
にする。
FIGS. 13 and 14 show that the invalid blocks can be verified only by the degree of increase by slightly improving the algorithm of FIG. That is, it is determined whether or not the degree of increase obtained at 66 is 15 or more instead of the end 38 of FIG. 8. If it is 15 or more, it is determined that a passing object has entered this block, and the block is set to 67. To disable it.

【0068】逆に15未満ならば当該ブロックの動きベ
クトルは信頼できるものと判断して68ですべてのブロ
ックの検証を行ったか否かを確認し、もしまだなら69
で36に戻って次のブロックの動きベクトルの検証を行
い、完了ならば70で終了する。
On the contrary, if it is less than 15, it is judged that the motion vector of the block is reliable, and it is confirmed in 68 whether or not all blocks have been verified.
Then, the process returns to 36 to verify the motion vector of the next block, and if completed, ends at 70.

【0069】これにより、増加度のみで無効ブロックの
検証が行え、次のベクトル演算29からの作業が引き続
いて実行される。
As a result, the invalid block can be verified only by the degree of increase, and the work from the next vector operation 29 is continuously executed.

【0070】通過度の場合も図15に示されるように増
加度の場合と同様に図10のEND56の代わりに通過
度が15以上か否かを71で判断し、15以上ならばそ
のブロックは信頼できるものとして72で全ブロックの
検証が終了か否かを判断した後、次のブロックの検証を
行うため73のステップに行くか74で終了するかのど
ちらかを選択する。
In the case of the passing degree as well, as in the case of the increasing degree as shown in FIG. 15, instead of the END 56 of FIG. 10, it is judged at 71 whether the passing degree is 15 or more. After it is judged as reliable that the verification of all the blocks is completed at 72, either one of the steps of 73 or 74 is selected to verify the next block.

【0071】また前記71にて通過度が15未満の時は
通過物体のブロック内への侵入があったと見做し、当該
ブロックを無効にして手ブレ補正を行わない。
If the passing degree is less than 15 at 71, it is considered that a passing object has entered the block, and the block is invalidated and the camera shake correction is not performed.

【0072】更に変化度の場合には、図16によって示
されるように先の図11で65で最大値を31に制限し
た後、その得られた変化度が15以上か否かを75で判
断し、15未満であれば76ですべてのブロックの検証
が終了したか否かを確認して、すべて終了ならば77で
このルーティンを抜け、まだなら78で次のブロックの
検証へと進む。
Further, in the case of the degree of change, as shown in FIG. 16, the maximum value is limited to 31 at 65 in FIG. 11, and then it is determined at 75 whether or not the obtained degree of change is 15 or more. If it is less than 15, it is confirmed at 76 whether or not the verification of all blocks is completed. If all are completed, the routine is exited at 77, and if not yet, at 78, the next block is verified.

【0073】また前記75で変化度が15以上の場合に
はこのブロックを無効と判断し、当該ブロックを手ブレ
補正の対象から外すことにする。
If the degree of change is 15 or more in 75, the block is determined to be invalid, and the block is excluded from the subject of camera shake correction.

【0074】尚、以上の説明において増加度並びに通過
度の算出方法は最小を0としてインクリメントする方法
をとっているが、最大を例えば31として逆にデクリメ
ント方法も同様にして適用可能であることは言うまでも
ない。
In the above description, the method of calculating the degree of increase and the degree of passage is such that the minimum is 0 and the increment is performed, but the maximum is set to 31, for example, and conversely the decrement method is also applicable. Needless to say.

【0075】[0075]

【発明の効果】本発明は以上のごとく構成したから、代
表点マッチング法を用いた手ブレ補正の方法において、
映像フィールドの各ブロックにおいて補正をすべきブロ
ックと、通過物体の侵入により補正をすべきでないブロ
ックとを正確に識別することができ、手ぶれ補正によっ
て得られる画像の通過物体による影響を改善することが
可能となる効果が期待できる。
Since the present invention is configured as described above, in the image stabilization method using the representative point matching method,
In each block of the video field, the block to be corrected and the block not to be corrected due to the intrusion of the passing object can be accurately identified, and the effect of the passing object on the image obtained by the image stabilization can be improved. Expected to be possible effect.

【図面の簡単な説明】[Brief description of drawings]

【図1】ビデオカメラの基本的構成を示すブロック図で
ある。
FIG. 1 is a block diagram showing a basic configuration of a video camera.

【図2】電子ズームの原理を示す図である。FIG. 2 is a diagram showing a principle of electronic zoom.

【図3】手ブレ補正の原理を示す図である。FIG. 3 is a diagram showing the principle of camera shake correction.

【図4】1映像フィールド内での代表点マッチングを行
うためのブロック分割を示す図である。
FIG. 4 is a diagram showing block division for performing representative point matching within one video field.

【図5】代表点マッチングの相関値演算の手法を説明す
る機能ブロック図である。
FIG. 5 is a functional block diagram illustrating a method of calculating a correlation value for representative point matching.

【図6】手ブレ補正の手法を説明する機能ブロック図で
ある。
FIG. 6 is a functional block diagram illustrating a camera shake correction method.

【図7】図6のファジィ演算ル−ティンのアルゴリズム
を示す流れ図である。
FIG. 7 is a flowchart showing an algorithm of the fuzzy arithmetic routine of FIG.

【図8】図7の増加度演算ルーティンのアルゴリズムを
示す流れ図である。
FIG. 8 is a flowchart showing an algorithm of the increment calculation routine of FIG.

【図9】通過度と相関値との関係を示す時系列図であ
る。
FIG. 9 is a time-series diagram showing the relationship between the degree of passage and the correlation value.

【図10】図7の通過度演算ルーティンのアルゴリズム
を示す流れ図である。
10 is a flow chart showing an algorithm of the passage calculation routine of FIG.

【図11】図7の変化度演算ル−ティンのアルゴリズム
を示す流れ図である。
11 is a flow chart showing an algorithm of a change degree calculation routine of FIG. 7. FIG.

【図12】メンバーシップ関数と増加度、通過度、変化
度との関係を示す図である。
FIG. 12 is a diagram showing the relationship between the membership function and the degree of increase, the degree of passage, and the degree of change.

【図13】前記図8とは別の増加度演算ルーティンのア
ルゴリズムを示す流れ図の前半部分である。
FIG. 13 is a first half of a flowchart showing an algorithm of an increment calculation routine different from that of FIG. 8;

【図14】図13に続く増加度演算アルゴリズムの後半
部分である。
FIG. 14 is the second half of the increment calculation algorithm following FIG.

【図15】図10とは別の通過度演算ルーティンのアル
ゴリズムを示す流れ図である。
FIG. 15 is a flowchart showing an algorithm of a passage degree calculation routine different from that of FIG. 10;

【図16】図11とは別の変化度演算ル−ティンのアル
ゴリズムを示す流れ図である。
16 is a flowchart showing an algorithm of a variation degree calculation routine different from that of FIG.

【符号の説明】[Explanation of symbols]

8 手ブレ検出回路 9 手ブレ制御回路 11、15 映像フィールド 16〜19 ブロック 28 ファジィルーティン 35 増加度演算ルーティン 53 通過度演算ルーテイン 61 変化度演算ルーティン 8 Camera shake detection circuit 9 Camera shake control circuit 11, 15 Video field 16 to 19 block 28 Fuzzy routine 35 Increase degree calculation routine 53 Passage degree calculation routine 61 Change degree calculation routine

Claims (4)

【特許請求の範囲】[Claims] 【請求項1】 映像フィールド内を複数のブロックに分
割し各ブロック毎の動きベクトルを相関値演算により算
出する手段と、算出された動きベクトルに応じて必要な
手ブレ補正処理を行う手段と、各映像フィールドの対応
ブロックにおける算出された動きベクトルの方向が同一
である期間の指標となる増加度を算出する手段と、該増
加度の値によって前記各ブロックの手ブレ補正処理の実
行を判断する手段と、よりなるビデオカメラの手ブレ制
御装置。
1. A means for dividing a video field into a plurality of blocks and calculating a motion vector for each block by a correlation value calculation means, and a means for performing necessary camera shake correction processing according to the calculated motion vector, Means for calculating an increase degree serving as an index of a period in which the direction of the calculated motion vector in the corresponding block of each video field is the same, and execution of the camera shake correction process for each block is determined based on the value of the increase degree. A camera shake control device for video cameras.
【請求項2】 映像フィールド内を複数のブロックに分
割し各ブロック毎の動きベクトルを相関値演算により算
出する手段と、算出された動きベクトルに応じて必要な
手ブレ補正処理を行う手段と、各映像フィールドの対応
ブロックにおける算出された相関値が信頼できる値とな
る期間の指標となる通過度を算出する手段と、該通過度
の値によって前記各ブロックの手ブレ補正処理の実行を
判断する手段と、よりなるビデオカメラの手ブレ制御装
置。
2. A means for dividing a video field into a plurality of blocks and calculating a motion vector for each block by a correlation value calculation means, and a means for performing necessary camera shake correction processing according to the calculated motion vector, Means for calculating the degree of passage, which is an index of a period in which the calculated correlation value in the corresponding block of each video field is a reliable value, and execution of the camera shake correction process for each block is determined by the value of the degree of passage. A camera shake control device for video cameras.
【請求項3】 映像フィールド内を複数のブロックに分
割し各ブロック毎の動きベクトルを相関値演算により算
出する手段と、算出された動きベクトルに応じて必要な
手ブレ補正処理を行う手段と、各映像フィールドの対応
ブロックにおける算出された動きベクトルの大きさの差
の絶対値を表した変化度を算出する手段と、該変化度の
値によって前記各ブロックの手ブレ補正処理の実行を判
断する手段と、よりなるビデオカメラの手ブレ制御装
置。
3. A means for dividing a video field into a plurality of blocks and calculating a motion vector for each block by a correlation value calculation means, and a means for performing necessary camera shake correction processing according to the calculated motion vector, Means for calculating the degree of change representing the absolute value of the difference between the magnitudes of the calculated motion vectors in the corresponding blocks of each video field, and the execution of the camera shake correction process for each block based on the value of the degree of change A camera shake control device for video cameras.
【請求項4】 映像フィールド内を複数のブロックに分
割し各ブロック毎の動きベクトルを相関値演算により算
出する手段と、算出された動きベクトルに応じて必要な
手ブレ補正処理を行う手段と、各映像フィールドの対応
ブロックにおける算出された動きベクトルの方向が同一
である期間の指標となる増加度を検出する手段と、各映
像フィールドの対応ブロックにおける算出された相関値
が信頼できる値となる期間の指標となる通過度を算出す
る手段と、各映像フィールドの対応ブロックにおける算
出された動きベクトルの大きさの差の絶対値を正規化し
た変化度を算出する手段と、前記増加度算出手段と通過
度算出手段及び変化度算出手段の各算出値をパラメータ
とし所定のルールに則って前記対応ブロックの手ブレに
対する信頼度を算出しこれに基づいて手ブレ補正処理の
実行を判断する手段と、よりなるビデオカメラの手ブレ
制御装置。
4. A means for dividing a video field into a plurality of blocks and calculating a motion vector for each block by a correlation value calculation means, and a means for performing necessary camera shake correction processing according to the calculated motion vector, A means for detecting an increase degree serving as an index of a period in which the direction of the calculated motion vector in the corresponding block of each video field is the same, and a period in which the calculated correlation value in the corresponding block of each video field is a reliable value. Means for calculating the degree of passage serving as an index, means for calculating the degree of change by normalizing the absolute value of the difference in the magnitudes of the calculated motion vectors in the corresponding blocks of each video field, and the increase degree calculating means. Using the calculated values of the passing degree calculating means and the change degree calculating means as parameters, the reliability of the corresponding block against camera shake is calculated according to a predetermined rule. A camera shake control device for a video camera, which includes means for determining whether to perform camera shake correction processing based on the above.
JP4468992A 1991-10-18 1992-03-02 Video camera shake control device Expired - Lifetime JP2584383B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP4468992A JP2584383B2 (en) 1992-03-02 1992-03-02 Video camera shake control device
US08/224,076 US5371539A (en) 1991-10-18 1994-04-07 Video camera with electronic picture stabilizer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4468992A JP2584383B2 (en) 1992-03-02 1992-03-02 Video camera shake control device

Publications (2)

Publication Number Publication Date
JPH0646316A true JPH0646316A (en) 1994-02-18
JP2584383B2 JP2584383B2 (en) 1997-02-26

Family

ID=12698397

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4468992A Expired - Lifetime JP2584383B2 (en) 1991-10-18 1992-03-02 Video camera shake control device

Country Status (1)

Country Link
JP (1) JP2584383B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009260671A (en) * 2008-04-17 2009-11-05 Canon Inc Image processing apparatus and imaging device
US7623154B2 (en) 2005-06-30 2009-11-24 Olympus Imaging Corp. Electronic blurring correction apparatus
US8320452B2 (en) 2005-10-26 2012-11-27 Casio Computer Co., Ltd. Imaging apparatus with motion vector detecting function

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61201584A (en) * 1985-03-04 1986-09-06 Toshiba Corp Dynamic vector detector
JPH02157980A (en) * 1988-12-09 1990-06-18 Matsushita Electric Ind Co Ltd Moving vector detector and oscillation correcting device for picture

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61201584A (en) * 1985-03-04 1986-09-06 Toshiba Corp Dynamic vector detector
JPH02157980A (en) * 1988-12-09 1990-06-18 Matsushita Electric Ind Co Ltd Moving vector detector and oscillation correcting device for picture

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7623154B2 (en) 2005-06-30 2009-11-24 Olympus Imaging Corp. Electronic blurring correction apparatus
US8320452B2 (en) 2005-10-26 2012-11-27 Casio Computer Co., Ltd. Imaging apparatus with motion vector detecting function
JP2009260671A (en) * 2008-04-17 2009-11-05 Canon Inc Image processing apparatus and imaging device

Also Published As

Publication number Publication date
JP2584383B2 (en) 1997-02-26

Similar Documents

Publication Publication Date Title
JP2940762B2 (en) Video camera with image stabilization device
KR100792283B1 (en) Device and method for auto tracking moving object
JP3600755B2 (en) Face image processing device
JP2902966B2 (en) Camera shake correction device and video camera using the same
JPH02261280A (en) Moving vector detector
JPH09163217A (en) Apparatus and method for detecting movement vector in cameraimage
US20090207260A1 (en) Image pickup apparatus and image pickup method
JP2003078807A (en) Device and method for detecting motion vector, device and method for correcting camera shake and imaging apparatus
KR100429858B1 (en) Apparatus and method for adjusting focus using adaptive filter
JP2003134385A (en) Image synthesizing device
JP2004088234A (en) Noise reduction device
JP4668863B2 (en) Imaging device
JPH0646316A (en) Shaking controller for video camera
US20050088532A1 (en) Image pickup apparatus and camera-shake correcting method therefor
JPH0686149A (en) Motion vector detector and video camera
JP3639640B2 (en) Motion vector detection device
KR101592790B1 (en) System for controling exposure of camera and method thereof
JPH05122590A (en) Motion vector specifying circuit for video camera with blurring correcting function
Park et al. Time-derivative estimation of noisy movie data using adaptive control theory
JP2944369B2 (en) Video camera shake correction device and video camera
JP3213492B2 (en) Camera shake correction device and video camera using the same
JP2669987B2 (en) Video camera shake detection device
JP3615909B2 (en) Moving object detection device
JP2001209804A (en) Dynamic image processor and dynamic image processing method
JP2547685B2 (en) Motion vector detector

Legal Events

Date Code Title Description
EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121121

Year of fee payment: 16