JP2941815B2 - Imaging device and blur correction device - Google Patents

Imaging device and blur correction device

Info

Publication number
JP2941815B2
JP2941815B2 JP63226017A JP22601788A JP2941815B2 JP 2941815 B2 JP2941815 B2 JP 2941815B2 JP 63226017 A JP63226017 A JP 63226017A JP 22601788 A JP22601788 A JP 22601788A JP 2941815 B2 JP2941815 B2 JP 2941815B2
Authority
JP
Japan
Prior art keywords
motion
screen
detected
motion vector
positions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP63226017A
Other languages
Japanese (ja)
Other versions
JPH0275284A (en
Inventor
正慶 関根
和宏 野口
宏爾 高橋
正道 当山
敏之 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP63226017A priority Critical patent/JP2941815B2/en
Application filed by Canon Inc filed Critical Canon Inc
Priority to EP95111708A priority patent/EP0682449B1/en
Priority to DE68928217T priority patent/DE68928217T2/en
Priority to DE68929448T priority patent/DE68929448T2/en
Priority to US07/403,455 priority patent/US5107293A/en
Priority to EP89116447A priority patent/EP0358196B1/en
Publication of JPH0275284A publication Critical patent/JPH0275284A/en
Priority to US08/402,735 priority patent/US5561498A/en
Application granted granted Critical
Publication of JP2941815B2 publication Critical patent/JP2941815B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は装置の振動による画像のぶれを補正する機能
を備えた撮像装置に関するものである。
Description: BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an imaging device having a function of correcting image blur caused by vibration of the device.

〔従来の技術〕[Conventional technology]

従来より、カメラで撮影を行う場合、撮影の失敗させ
る原因としてカメラぶれが大きな問題となっていた。そ
してカメラぶれは静止画撮影であれば撮影が瞬間的なも
のであるので、比較的防ぐことができるが、近年映像機
器の発展にともなって急速に普及しているビデオカメラ
等では、動画の撮影が前提となり、しかも小型化にとも
なって手持ち撮影が多く、カメラぶれはモニタ画面及び
再生画面を劣化させるきわめて重要な問題ということが
できる。
2. Description of the Related Art Conventionally, when photographing with a camera, camera shake has been a major problem as a cause of photographing failure. In addition, camera shake can be relatively prevented if a still image is shot, since the shooting is instantaneous, but in recent years, video cameras and the like that have been rapidly spreading with the development of video equipment have been used to shoot moving images. This is a prerequisite, and moreover, hand-held shooting is more common with miniaturization, and camera shake can be said to be a very important problem that deteriorates the monitor screen and the playback screen.

一方、このカメラぶれを検出して自動的にレンズ系を
カメラぶれを相殺する方向に移動する方法が提案されて
いる。これらの方法としては、カメラに取り付けられた
回転ジヤイロや加速度センサ等を用いてカメラぶれを検
出し、そのぶれ量に応じてレンズ系等をアクチュエータ
で移動してぶれを補正するもの、撮像手段より出力され
た映像信号を解析して画像のぶれを検出し、レンズ系を
移動するアクチュエータを制御し、ぶれを補正するもの
が考えられる。
On the other hand, there has been proposed a method of detecting the camera shake and automatically moving the lens system in a direction to cancel the camera shake. As these methods, a camera shake is detected by using a rotating gyroscope or an acceleration sensor attached to the camera, and a lens system or the like is moved by an actuator according to the amount of the shake to correct the camera shake, and a method of correcting the camera shake. It is conceivable to analyze the output video signal to detect image blur, control an actuator that moves the lens system, and correct the blur.

〔発明が解決しようとする問題点〕[Problems to be solved by the invention]

しかしながら、前者の回転ジヤイロ、加速度センサ等
による外部センサのみでは、応答性、精度、感度等の特
性面で十分満足の行くものを得ること難しく、また後者
の方法によれば、外部センサを必要としない特徴である
が、検出された動き情報が、被写体とカメラとの相対的
な動き情報であるため、画像のパターンによっては、画
像の動きがカメラのぶれ等によるものなのか、被写体の
移動によるものであるのかの判断が困難であり、被写体
によってはエラーを生じやすいという問題があった。
However, it is difficult to obtain satisfactory ones in terms of characteristics such as responsiveness, accuracy, and sensitivity by using only the external sensor such as the rotary gyroscope and the acceleration sensor, and the latter method requires an external sensor. However, since the detected motion information is relative motion information between the subject and the camera, depending on the image pattern, whether the motion of the image is due to camera shake or the like, There is a problem that it is difficult to determine whether the object is an object, and an error easily occurs depending on a subject.

〔問題点を解決するための手段〕[Means for solving the problem]

本願発明は、上述した問題点を解決するためになされ
たもので、その請求項(1)に記載の発明によれば、装
置に取り付けられたセンサによって装置の動き情報を物
理的に検出する第1の動き検出手段と、撮影信号中より
画面内の複数位置における動き情報を検出する第2の動
き検出手段と、前記第2の動き検出手段によって検出さ
れた画像信号中の前記複数の動き情報の中から、前記第
1の動き検出手段によって検出された動き情報と同じ動
き方向を持つ動き情報に基づいて、動き補正情報を演算
する演算手段と、前記演算手段の出力にしたがって画像
の動きを補正する補正手段とを備えた撮像装置を特徴と
する。
SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems. According to the invention described in claim (1), a sensor attached to the device physically detects motion information of the device. 1 motion detecting means, second motion detecting means for detecting motion information at a plurality of positions in a screen from a photographing signal, and the plurality of motion information in an image signal detected by the second motion detecting means. Calculating means for calculating motion correction information based on the motion information having the same motion direction as the motion information detected by the first motion detecting means; and calculating the motion of the image in accordance with the output of the calculating means. An image pickup apparatus including a correction unit for performing correction.

また本願の請求項(2)に記載の発明によれば、装置
に取り付けられたセンサによって物理的に検出された装
置の動きベクトルと、撮像信号中より検出された画面内
の複数位置における動きベクトルとから動き補正情報を
演算する演算手段と、前記演算手段の出力に基づいて、
前記装置の動きによる画像の動きを補正する動き補正手
段とを備え、前記演算手段は、前記撮像信号中より検出
された前記画面内の複数位置における動きベクトルのう
ち、前記装置の動きベクトルと実質的に動きの方向が同
じになる動きベクトルの数が所定値以下であるときに
は、カメラの動きに対して被写体の動きが大きいと判定
し、前記装置の動きベクトルを前記動き補正情報として
前記動き補正手段へと出力するように構成されているぶ
れ補正装置を特徴とする。
According to the invention described in claim 2 of the present application, the motion vector of the device physically detected by the sensor attached to the device and the motion vector at a plurality of positions in the screen detected from the imaging signal. And calculating means for calculating the motion correction information from, based on the output of the calculating means,
Motion compensating means for compensating the motion of the image due to the motion of the device, wherein the calculating means is substantially the same as the motion vector of the device among the motion vectors at a plurality of positions in the screen detected from the image signal. When the number of motion vectors having the same direction of motion is less than or equal to a predetermined value, it is determined that the motion of the subject is larger than the motion of the camera, and the motion vector of the device is used as the motion correction information. A shake correction device configured to output the output to the means.

また本願の請求項(3)に記載の発明によれば、装置
に取り付けられたセンサによって物理的に検出された装
置の動きベクトルと、撮像信号中より検出された画面内
の複数位置における動きベクトルとから動き補正情報を
演算する演算手段と、前記演算手段の出力に基づいて、
前記装置の動きによる画像の動きを補正する動き補正手
段とを備え、前記演算手段は、前記撮像信号中より検出
された前記画面内の複数位置における動きベクトルのう
ち、前記装置の動きベクトルと実質的に動きの方向が同
じになる動きベクトルの数が所定値以上であるときに
は、カメラの動きに対して被写体の動きが小さいと判定
し、前記撮像信号中より検出された前記画面内の複数位
置における動きベクトルのうち、前記装置の動きベクト
ルと実質的に動きの方向が同じになる動きベクトルの平
均値を前記動き補正情報として前記動き補正手段へと出
力するように構成されているぶれ補正装置を特徴とす
る。
According to the invention described in claim 3 of the present application, a motion vector of a device physically detected by a sensor attached to the device and a motion vector at a plurality of positions in a screen detected from an image signal. And calculating means for calculating the motion correction information from, based on the output of the calculating means,
Motion compensating means for compensating the motion of the image due to the motion of the device, wherein the calculating means is substantially the same as the motion vector of the device among the motion vectors at a plurality of positions in the screen detected from the image signal. When the number of motion vectors having the same direction of motion is equal to or greater than a predetermined value, it is determined that the motion of the subject is smaller than the motion of the camera, and a plurality of positions in the screen detected from the imaging signal are determined. Wherein the average value of the motion vectors in which the direction of the motion is substantially the same as the motion vector of the device is output to the motion correction means as the motion correction information. It is characterized by.

また本願の請求項(4)に記載の発明によれば、装置
に取り付けられたセンサによって物理的に検出された装
置の動きベクトルと、撮像信号中より検出された画面内
の複数位置における動きベクトルとから動き補正情報を
演算する演算手段と、前記演算手段の出力に基づいて画
像の動きを補正する動き補正手段とを備え、前記演算手
段は、前記撮像信号中より検出された複数位置における
動きベクトルのうち、前記装置の動きベクトルと実質的
に同じ方向の動きべクトルの数が所定の範囲内で、且つ
前記撮像信号中より検出された画面中央部の複数位置に
おける動きベクトルのうち、画面中心の動きベクトルと
実質的に同じ方向の動きベクトルの数が所定数以上であ
る場合には、該画面中央部の動きベクトルに基づいて前
記動き補正情報を演算して前記動き補正手段へと出力
し、前記撮像信号中より検出された画面中央部の複数位
置における動きベクトルのうち、画面中心の動きベクト
ルと実質的に同じ方向の動きベクトルの数が所定数以下
である場合には、前記撮像信号中より検出された前記複
数位置における動きベクトルのうち、前記装置の動きベ
クトルと実質的に同じ方向の動きベクトルの平均値を前
記動き補正情報として前記動き補正手段へと出力するよ
うに構成されているぶれ補正装置を特徴とする。
Further, according to the invention described in claim (4) of the present application, the motion vector of the device physically detected by the sensor attached to the device and the motion vector at a plurality of positions in the screen detected from the imaging signal. And a motion correcting means for correcting the motion of the image based on the output of the calculating means, wherein the calculating means calculates the motion at a plurality of positions detected from the imaging signal. Among the vectors, the number of motion vectors in the direction substantially the same as the motion vector of the device is within a predetermined range, and among the motion vectors at a plurality of positions in the center of the screen detected from the image pickup signal, If the number of motion vectors in substantially the same direction as the center motion vector is equal to or greater than a predetermined number, the motion correction information is performed based on the motion vector at the center of the screen. And outputs the motion vector to the motion correcting means, and among a plurality of motion vectors at a plurality of positions at the center of the screen detected from the image pickup signal, the number of motion vectors in the substantially same direction as the motion vector at the center of the screen is a predetermined number. In the following case, among the motion vectors at the plurality of positions detected from the imaging signal, an average value of motion vectors in a direction substantially the same as the motion vector of the device is used as the motion correction information. A shake correction device configured to output the output to the means.

また本願の請求項(5)に記載の発明によれば、装置
に取り付けられたセンサによって物理的に検出された装
置の動きベクトルと、撮像信号中より検出された画面内
の複数位置における動きベクトルとから動き補正情報を
演算する演算手段と、前記演算手段の出力に基づいて画
像の動きを補正する動き補正手段と、前記装置の動きベ
クトルの方向が所定時間以上変化しないときパンニング
中であることを検出するパンニング制御手段とを備え、
前記演算手段は、前記撮像信号中より検出された複数位
置における動きベクトルのうち、前記装置の動きベクト
ルと実質的に動きの方向の同じになる動きベクトルの数
が所定の範囲内で、且つ前記撮像信号中より検出された
画面中央部の複数位置における動きベクトルのうち、画
面中心の動きベクトルと実質的に動きの方向が同じにな
る動きベクトルの数が所定数以上であるとき、前記パン
ニング制御手段の動作を禁止するように構成されている
ぶれ補正装置を特徴とする。
According to the invention described in claim (5) of the present application, a motion vector of a device physically detected by a sensor attached to the device and a motion vector at a plurality of positions in a screen detected from an image signal. Calculating means for calculating the motion correction information from the above, a motion correcting means for correcting the motion of the image based on the output of the calculating means, and panning is being performed when the direction of the motion vector of the device does not change for a predetermined time or more. Panning control means for detecting
The arithmetic means, among the motion vectors at a plurality of positions detected from the image signal, the number of motion vectors having substantially the same direction of motion as the motion vector of the device is within a predetermined range, and When the number of motion vectors having substantially the same direction of motion as the motion vector at the center of the screen among the motion vectors at a plurality of positions in the center of the screen detected from the imaging signal is equal to or more than a predetermined number, the panning control is performed. It is characterized by a shake correction device configured to inhibit the operation of the means.

〔実施例〕〔Example〕

以下本発明における撮像装置を各図を参照しながらそ
の一実施例について詳述する。
Hereinafter, an embodiment of an imaging apparatus according to the present invention will be described in detail with reference to the drawings.

第1図は本発明における撮像措置のぶれ補正システム
の基本構成を示すブロツク図である。
FIG. 1 is a block diagram showing a basic configuration of a blur correction system for an imaging measure according to the present invention.

同図において、CCD等の撮像素子101と、この撮像素子
101の出力撮像信号中から画像の動きベクトルを抽出す
る画像の動きベクトル抽出102によってカメラ自体の動
きベクトルを検出し、一方外部センサ106、外部センサ1
06の出力にもづいてカメラの動き情報を検出するカメラ
動き情報検出部107によって自体の動きベクトルを検出
し、これらの動きベクトルを比較、評価するベクトル比
較部103によって画像のぶれの成分を表わす動きベクト
ルを演算し、ぶれ補正信号発生部104によって画像ぶれ
を表わす動きベクトルを相殺するためのぶれ補正信号10
4を出力し、ぶれ補正部105によってレンズ系をぶれを補
正する方向に移動させるものである。
In FIG. 1, an image sensor 101 such as a CCD and the image sensor
The motion vector of the camera itself is detected by the motion vector extraction 102 of the image which extracts the motion vector of the image from the output imaging signal of 101, while the external sensor 106 and the external sensor 1 are detected.
The camera motion information detecting unit 107 which detects the motion information of the camera based on the output of 06 detects its own motion vector, and expresses the blur component of the image by the vector comparing unit 103 which compares and evaluates these motion vectors. A motion vector is calculated, and a blur correction signal 10 for canceling a motion vector representing image blur by a blur correction signal generation unit 104.
4 is output, and the lens system is moved by the shake correction unit 105 in the direction of correcting the shake.

第2図は本発明の撮像装置におけるぶれ補正システム
を具体化したときの一実施例を示すブロツク図で、カメ
ラ部A,レンズ状態検出部、ブレ補正信号発生部および補
正部Dより構成されている。
FIG. 2 is a block diagram showing an embodiment in which a blur correction system in the image pickup apparatus according to the present invention is embodied, and comprises a camera section A, a lens state detecting section, a blur correction signal generating section and a correcting section D. I have.

カメラ部Aにおいて、1は撮影レンズを含み、被写体
像を後述する撮像素子の撮像画上に結像させる撮影レン
ズ系、2は撮影レンズ系1によって撮像面に結像された
被写体像を電気信号に変換するたとえばCCD等の撮像素
子、3は撮像素子より出力された電気信号を読み出して
所定の信号処理を行い、輝度信号Y、色信号C等を出力
するカメラ信号処理回路である。
In the camera section A, reference numeral 1 denotes a photographing lens system that includes a photographing lens, and forms a subject image on an image captured by an image sensor described later. 2 denotes an electric signal representing the subject image formed on the imaging surface by the photographing lens system 1. An image pickup device 3 such as a CCD, for example, is a camera signal processing circuit that reads an electric signal output from the image pickup device, performs predetermined signal processing, and outputs a luminance signal Y, a color signal C, and the like.

レンズ状態検出部Bにおいて、11はカメラに取り付け
られた角速度センサ(取付状態については図示せず)、
12は角速度センサ1の出力に所定の信号処理を行い、検
出されたカメラのぶれ量に応じた角速度情報を出力する
センサ信号処理回路、16はレンズ系がズームレンズを備
えていた場合、レンズのズーミングによる焦点距離情報
を検出するズームエンコーダである。
In the lens state detecting unit B, 11 is an angular velocity sensor attached to the camera (the attached state is not shown),
Reference numeral 12 denotes a sensor signal processing circuit that performs predetermined signal processing on the output of the angular velocity sensor 1 and outputs angular velocity information in accordance with the detected camera shake amount, and 16 denotes a lens signal when the lens system includes a zoom lens. This is a zoom encoder that detects focal length information by zooming.

ぶれ補正信号発生部Cにおいて、4はカメラ信号処理
回路3より出力された映像信号を1フイールド(または
1フレーム)単位でデジタル信号に変換するA/D変換
器、5はA/D変換された1画面をn個のブロツクに分割
して前フイールドの画面における各ブロツク内のデイジ
タル情報比較し、両画面上の代表点の変位から各ブロツ
クのブロツク動きベクトル(i=1,2,…,n)をもと
めるブロツク動きベクトル検出回路、13はレンズ状態検
出系Bにおけるセンサ信号処理回路12の角速度情報をデ
ジタル信号に変換するA/D変換器、14はA/D変換器13より
出力されたデジタル角速度情報とズームエンコーダ16よ
り得られたレンズの焦点距離情報にもとづいてぶれ等に
よるカメラの動きベクトルcamを次式より演算するカ
メラ動きベクトル演算回路である。
In the shake correction signal generator C, reference numeral 4 denotes an A / D converter for converting a video signal output from the camera signal processing circuit 3 into a digital signal in units of one field (or one frame), and 5 denotes an A / D converter. One screen is divided into n blocks, digital information in each block in the screen of the previous field is compared, and a block motion vector i (i = 1, 2,..., a block motion vector detecting circuit for obtaining n), 13 is an A / D converter for converting the angular velocity information of the sensor signal processing circuit 12 in the lens state detecting system B into a digital signal, and 14 is an output from the A / D converter 13 This is a camera motion vector calculation circuit that calculates a camera motion vector cam due to blurring or the like based on digital angular velocity information and lens focal length information obtained from the zoom encoder 16 using the following equation.

6はブロツク動きベクトル検出回路5より出力された
画像の動きベクトル(i=1,2,…,n)とカメラ動き
ベクトル演算回路14より出力されたカメラ動きベクトル
camとを比較、評価し、画面の動きとして結合して見
た代表動きベクトルと後述するパンニング,チルテイ
ングの判定信号を制御するためのパン・チルトコントロ
ール信号PTCONTを演算して出力する代表動きベクトル演
算回路である。このアルゴリズムについては後述する。
15はカメラ動きベクトル演算回路14より出力されたカメ
ラ動きベクトルcamを各フイールドごとに比較し、そ
のベクトルの変位に応じてパンニング,チルテイング等
が生じているか否か判定し、その判定結果を表わすパン
チルトモード信号PTMODEを出力するパン・チルト判定回
路である。このパン・チルト判定回路は通常撮影時はパ
ン・チルトモード信号PTMODE=0を出力し、ある所定の
フイールド数以上、カメラ動きベクトルの向きが変らな
ければパン・チルトモードに入ったと判断し、パン・チ
ルトモード信号PTMODE=1を出力し、そのカメラ動きベ
クトルの方向が反転するまで“1"を出力し続ける。
Reference numeral 6 denotes a motion vector i (i = 1, 2,..., N) of an image output from the block motion vector detection circuit 5 and a camera motion vector output from the camera motion vector calculation circuit 14.
comparing the cam, evaluate, panning to be described later as a representative motion vector viewed bound as a motion of the screen, calculates and outputs the pan-tilt control signal PTCONT for controlling the decision signal tilting representative motion vector calculation Circuit. This algorithm will be described later.
Reference numeral 15 compares the camera motion vector cam output from the camera motion vector calculation circuit 14 for each field, determines whether or not panning, tilting, and the like have occurred in accordance with the displacement of the vector, and indicates a pan / tilt indicating the determination result. This is a pan / tilt determination circuit that outputs a mode signal PTMODE. The pan / tilt determination circuit outputs a pan / tilt mode signal PTMODE = 0 during normal shooting, and determines that the camera has entered the pan / tilt mode if the direction of the camera motion vector does not change for a certain number of fields or more. Outputs the tilt mode signal PTMODE = 1 and keeps outputting "1" until the direction of the camera motion vector is inverted.

7はズームエンコーダ16からの焦点距離情報f、パン
・チルト判定回路15からのパン・チルトモード信号PTMO
DE、代表動きベクトル演算回路6からの代表動きベクト
ル及びパン・チルトコントロール信号PTCONTとを取り
込んで総合的なぶれ量を演算し、そのぶれ量に応じたぶ
れ補正信号drivと後述する補正系の光軸回転手段を初
期位置へとリセットするトリガ信号Rを出力する補正信
号発生回路である。8は補正信号発生回路7より出力さ
れたぶれ補正信号driv及びトリガ信号Rを後述する補
正系を制御可能なアナログ信号に変換するD/A変換器8
である。
Reference numeral 7 denotes focal length information f from the zoom encoder 16 and a pan / tilt mode signal PTMO from the pan / tilt determination circuit 15.
DE, the representative motion vector from the representative motion vector calculation circuit 6 and the pan / tilt control signal PTCONT are taken in to calculate a total shake amount, and a shake correction signal driv corresponding to the shake amount and a correction system light described later are calculated. This is a correction signal generating circuit that outputs a trigger signal R for resetting the shaft rotating means to the initial position. Reference numeral 8 denotes a D / A converter 8 that converts the shake correction signal driv and the trigger signal R output from the correction signal generation circuit 7 into analog signals that can control a correction system described later.
It is.

また、17は制御信号C1〜C8等によってぶれ補正信号発
生部C内の各回路を始めとする装置全体を所定のタイミ
ングで動作制御するマイクロコンピュータからなるシス
テムコントロール回路である。
Further, 17 is a system control circuit comprising a microcomputer which controls the operation of the entire apparatus including the respective circuits in the correction signal generating section C blur by such control signals C 1 -C 8 at a predetermined timing.

補正系Dにおいて、9はぶれ補正信号発生系C内の補
正信号発生回路7より出力されたぶれ補正信号driv
D/A変換した信号にもとづいて補正系10を駆動する駆動
回路、10はレンズ系に配されている図示しない光軸回転
手段等のレンズ位置制御機構を含み、駆動回路9に応じ
てこれらを動作し、画面の動きを補正する方向にレンズ
系を移動する補正系である。
In the correction system D, reference numeral 9 denotes a shake correction signal driv output from the correction signal generation circuit 7 in the shake correction signal generation system C.
A drive circuit that drives the correction system 10 based on the D / A-converted signal. The drive circuit 10 includes a lens position control mechanism such as an optical axis rotating unit (not shown) provided in the lens system. This is a correction system that operates and moves the lens system in a direction to correct the movement of the screen.

本願の撮像装置は以上のような構成となっており、次
ち上述のブロツク図中、主要ブロツクについてさらに詳
細に説明する。
The imaging apparatus of the present application has the above-described configuration. Next, main blocks in the above-described block diagram will be described in more detail.

第3図(a)はぶれ補正信号発生系C内の代表動きベ
クトル演算回路6において、画像の代表動きベクトル
およびパン・チルトコントロール信号PTCONTを演算する
アルゴリズムを説明するためのフローチヤートである。
FIG. 3A is a flowchart for explaining an algorithm for calculating a representative motion vector of an image and a pan / tilt control signal PTCONT in the representative motion vector calculation circuit 6 in the blur correction signal generation system C.

同図において、Steplで撮像画面上に設定されたn個
のブロツクbiそれぞれにおける各ブロツク動きベクトル
(i=1,2,…,n)及びカメラ動きベクトルcam
入力される。ただし、第3図(b)に示すように撮像画
面20上に、左上よりb1,b2,…,bnと渦巻状に番号が割り
当てられ、画面中心のブロツクがn個目のブロツクbn
なるように設定されている。カメラ動きベクトルcam
はStep2でそのベクトルの大きさが評価され、|cam|
が所定の値εより小さい場合にはStep3へと進んで代表
動きベクトルを0とし、ぶれ補正動作を停止させる。
すなわちカメラの動きが小さく補正の必要がないと判断
されるものである。
In the figure, each block motion vector in each of n blocks b i set on the imaging screen in Step 1
i (i = 1, 2,..., n) and a camera motion vector cam are input. However, on the imaging screen 20 as shown in FIG. 3 (b), b 1, b 2 from the upper left, ..., b n and is assigned spirally number, block the screen center of the n-th block b It is set to be n . Camera motion vector cam
Evaluates the magnitude of the vector in Step2, and | cam |
Is smaller than the predetermined value ε, the process proceeds to Step 3, the representative motion vector is set to 0, and the blur correction operation is stopped.
That is, it is determined that the movement of the camera is small and no correction is necessary.

またStep3で、|cam|≧εであった場合には、ぶれ
が生じたと判断してStep4へと移行し、各ブロツク動き
ベクトル(i=1,2,…,n)を第3図(c)に示すよ
うに画面20全ブロツクにおいてカメラ動きベクトル
camと比較し、カメラ動きベクトルcamに一致するベク
トルiの個数及びその平均ベクトルCOR1を演算す
る。
If | cam | ≧ ε in Step 3, it is determined that a blur has occurred, and the flow shifts to Step 4, where each block motion vector i (i = 1, 2,..., N) is obtained as shown in FIG. As shown in c), the camera motion vector in all blocks of the screen 20 is shown.
Compared with cam, it calculates the number of vectors i and its mean vector COR1 matching camera motion vector cam.

続いてStep5,Step6へと進み、camに一致するiの
個数Nを所定値N1,N2と比較する。ただし、N1,N2の間に
は、 0≦N1≦N2≦n(nは画面上のブロツク数) の関係がある。
Subsequently, the process proceeds to Step 5 and Step 6, where the number N of i that matches cam is compared with predetermined values N 1 and N 2 . However, N 1 and N 2 have a relationship of 0 ≦ N 1 ≦ N 2 ≦ n (n is the number of blocks on the screen).

そして、camに一致する個数Nが非常に少なく、0
≦N≦N1であった画面パターン1の場合には、Step7へ
と進んでパン・チルトコントロール信号PTCONTを“1"に
し、続いてStep8で代表動きベクトルとしてカメラ動
きベクトルcamを出力するとともに、パン・チルトコ
ントロール信号PTCONT(=1)を出力する。
Then, the number N corresponding to cam is very small and 0
In the case of the screen pattern 1 where ≦ N ≦ N1, the process proceeds to Step 7 to set the pan / tilt control signal PTCONT to “1”, and then outputs the camera motion vector cam as a representative motion vector in Step 8, The pan / tilt control signal PTCONT (= 1) is output.

またcamに一致する個数Nが非常に多く、N≧N2
あった画面パターン2の場合は、Step9でパン・チルト
コントロール信号PTCONTを“1"にし、続いてStep10で代
表動きベクトルとしてStep4でもとめた平均ベクトル
COR1を出力するとともに、パン・チルトコントロール
信号PTCONT(=1)を出力する。
Further, in the case of the screen pattern 2 in which the number N matching the cam is very large and N ≧ N2, the pan / tilt control signal PTCONT is set to “1” in Step 9, and then the representative motion vector is set in Step 4 in Step 10. Average vector determined
Outputs COR1 and outputs a pan / tilt control signal PTCONT (= 1).

尚、上述の画面パターン1、画面パターン2におけ
る。撮像画面上における具体的なベクトルの状態につい
ては後述する。
In the screen pattern 1 and the screen pattern 2 described above. A specific vector state on the imaging screen will be described later.

カメラ動きベクトルcamと一致する各ブロツクの動
きベクトルiの個数NがN1とN2の中間の値をとる(N1
≦N≦N2)のときは、Step11へ進み、第3図(d)に示
す如く、撮像画面の中央部分で画面中心のベクトル
に一致するi(i=m…n−1)の個数M及びその平
均ベクトルCOR2を演算してもとめる。Stup12では、St
ep11でもとめた個数Mを所定値M1と比較し、M<M1であ
った画面パターン3の場合には、Step15へと進みパン・
チルトコントロール信号PTCONTを“1"とし、Step16にお
いて、代表動きベクトルとして前述のカメラ動きベク
トルcamに一致するベクトルiの平均ベクトル
COR1を出力するとともにパン・チルトコントロール信号
PTCONT(=1)を出力する。またStep12においてM≧M1
であった画面パターン4の場合にはStep13へと進み、パ
ン・チルトコントロール信号PTCONTを“0"とし、続いて
Step14において、画面中央部領域のに一致するi
の平均ベクトルCOR2を代表動きベクトルとして出力
するとともにパン・チルトコントロール信号PTCONT(=
0)を出力する。ただし、上述の所定値M1は、 0≦M1≦n−m (mは第3図(d)の画面中央領域の最初のブロツク
の番号) の範囲内で定められた定数である。
The number N of the motion vector i for each block that matches the camera motion vector cam takes an intermediate value of N 1 and N 2 (N 1
≦ the N ≦ N 2) when, the process proceeds to Step11, as shown in FIG. 3 (d), the vector n of the screen center in the central portion of the imaging screen
Is calculated by calculating the number M of i (i = m... N-1) and the average vector COR2 . In Stup12, St
the number M, which stopped even ep11 is compared with a predetermined value M 1, when M <Screen Pattern 3 was M 1 is pan proceeds to Step15
The tilt control signal PTCONT is set to “1”, and in Step 16, the average vector of the vector i that matches the camera motion vector cam as the representative motion vector
Outputs COR1 and pan / tilt control signal
Outputs PTCONT (= 1). In Step 12, M ≧ M 1
In the case of the screen pattern 4 which has been described above, the process proceeds to Step 13, and the pan / tilt control signal PTCONT is set to “0”.
In Step 14, i corresponding to n in the center area of the screen
Is output as the representative motion vector, and the pan / tilt control signal PTCONT (=
0) is output. However, the predetermined value M 1 of the foregoing, (the m first number of blocks of the screen center area of FIG. 3 (d)) 0 ≦ M 1 ≦ n-m is a constant which is determined in the range of.

次に、第4図(a)における4つの場合(1)〜
(4)それぞれについて、そのときの画面上の各ブロツ
クのベクトルの状態を第4図(a)〜(d)を用いて具
体的に説明する。
Next, four cases (1) to (f) in FIG.
(4) The state of the vector of each block on the screen at that time will be specifically described with reference to FIGS. 4 (a) to 4 (d).

I)画面パターン1の場合について:N<N1 この場合は、画面上の各ブロツクの動きベクトル
(i=1,2,…,n)カメラ動きベクトルcamと一致する
個数が非常に少ない状態であり、被写体の動きがカメラ
の動きより大きいことを意味する。この場合は第4図
(a)に示すように、各ブロツクの動きベクトルがそれ
ぞれcamと相異している場合、または同図(b)の各
ブロツクの動きベクトルcamと異なる向きに一
致している場合が考えられる。そして同図(a)の場合
は、細かい被写体がばらばらに動いている場合、同図
(b)は画面の大部分を占める被写体がある方向に動い
ている場合等が想定できる。また同図(a)の状態と
(b)の状態の中間的な状態もあり得る。
I) For screen pattern 1: N <N 1 In this case, the motion vector i of each block on the screen
(I = 1, 2,..., N) The number of coincidences with the camera motion vector cam is very small, which means that the motion of the subject is larger than the motion of the camera. As shown in FIG. 4 in this case (a), in the case where the motion vector of each block is different from the cam, respectively, or the motion vector i is different from the cam orientation of each block in FIG. (B) one May be considered. In the case of FIG. 7A, it can be assumed that the fine subject is moving in a discrete manner, and in the case of FIG. 7B, the subject occupying most of the screen is moving in a certain direction. Further, there may be an intermediate state between the state shown in FIG.

II)画面パターン2の場合について:N>N2 カメラ動きベクトルcamと一致する各ブロツクの動
きベクトルの個数が非常に多い場合、すなわち被写
体の動きが小さく画面の動きがカメラの動きによるもの
である場合である。
For the case of II) Screen Pattern 2: N> when the number of motion vector i for each block that matches the N 2 camera motion vector cam is very large, i.e. those movements small screen a subject moves according to movement of the camera There are cases.

同図(c)に示すように、画面上の各ブロツクの動き
ベクトルはカメラ動きベクトルcamとほぼ等しい
方向に並んでいる。
As shown in FIG. 3C, the motion vector i of each block on the screen is arranged in a direction substantially equal to the camera motion vector cam .

次に画面パターン3,4の場合について説明する。画面
パターン3,4の場合は、上述の画面パターン1と画面パ
ターン2の中間的な値をとる場合であり、これらの場合
は、カメラの動きと被写体の動きによる画面上の影響が
同程度であり、Step12以降の制御フローに示されている
ように、撮影している被写体の状態によりさらに場合分
けすることができる。
Next, the case of screen patterns 3 and 4 will be described. In the case of the screen patterns 3 and 4, the values take an intermediate value between the screen pattern 1 and the screen pattern 2 described above. In these cases, the effects of the camera movement and the subject movement on the screen are almost the same. Yes, as shown in the control flow after Step 12, the cases can be further divided according to the state of the subject being photographed.

III)画面パターン3の場合について:M<Mi この場合は、画面パターン1,2の場合に該当しないの
で、被写体がほぼ画面中央部を主に存在するものと想定
し、第4図(d)にて説明したように、撮像画面の中央
部分で画面中心の動きベクトルに一致する各ブロツ
クの動きベクトル(i=m,m+1,…,n−1)の個数
Mと、そのときの平均ベクトルCOR2とをもとめ、画面
中央部に意識的にとらえる被写体があるか否かを判断す
るものである。すなわち、Mが所定値M1以下の場合
(3)では、第4図(d)に示すように、画面中央部に
意識的にとらえている被写体が存在しないと判断し、代
表動きベクトルとして、平均ベクトルCOR2を出力す
る。
III) For screen pattern 3: M <M i This case does not correspond to screen patterns 1 and 2, so it is assumed that the subject is located substantially at the center of the screen, and FIG. ), The number M of the motion vectors i (i = m, m + 1,..., N−1) of the blocks that match the motion vector n at the center of the screen at the center of the imaging screen, and Based on the average vector COR2, it is determined whether or not there is a conscious subject in the center of the screen. That is, in the case where M is less than the predetermined value M 1 (3), as shown in FIG. 4 (d), it is determined that there is no object that consciously caught in the center of the screen, as the representative motion vector, Output the average vector COR2 .

IV)画面パターン4の場合について:M≧M1 この場合は、画面中央部に意識的にとらえている被写
体が存在する場合で、第4図(e)に示すように、画面
中央部にカメラ動きベクトルcamと異なる被被写体の
一定の動きベクトルが存在している。そして代表動きベ
クトルとしては画面中央部領域において画面中央部の
ブロツクbnの動きベクトルと一致する各ブロツクの
動きベクトル(i=m,…,n−1)の平均ベクトル
COR2を出力する。
IV) In the case of screen pattern 4: M ≧ M 1 In this case, there is a subject consciously captured in the center of the screen, and as shown in FIG. There is a certain motion vector of the subject different from the motion vector cam . As the representative motion vector, the average vector of the motion vector i (i = m,..., N−1) of each block that matches the motion vector m of the block b n at the center of the screen in the center area of the screen
Output COR2 .

以上4つの画像パターンにおいて、画像パターン1,2,
3においては、カメラの動きベクトルcamにもとづく代
表動きベクトルを出力している為に、カメラの意識的な
操作をすなわち、パン,チルト等の判断を必要とする。
しかしながら画像パターン4においては、被写体の動き
にもとづいて動きべクトルを代表動きベクトルとしてい
るため、パン,チルトの判断は必要としない。したがっ
て、パン,チルトコントロール信号PTCONT、画像パター
ン1,2,3についてはその値を“1"としてパン・チルトを
考慮する必要のあることを示す信号を出力する。
In the above four image patterns, image patterns 1, 2,
In (3), since a representative motion vector based on the camera motion vector cam is output, conscious operation of the camera, that is, determination of pan, tilt, etc., is required.
However, in the image pattern 4, since the motion vector is used as the representative motion vector based on the motion of the subject, the pan / tilt determination is not required. Therefore, with respect to the pan / tilt control signal PTCONT and the image patterns 1, 2, and 3, the value is set to "1" and a signal indicating that the pan / tilt needs to be considered is output.

また画像パターン4については、パン、チルトを考慮
する必要がないので、パン・チルトコントロール信号PR
CONTを“0"としてパン・チルト判断を行わないことを示
す信号を出力する。
Since it is not necessary to consider pan and tilt for the image pattern 4, the pan / tilt control signal PR
A signal indicating that pan / tilt determination is not performed is output by setting CONT to “0”.

次に第2図のブロツクダイヤグラムにおいて、代表動
きベクトル演算回路6より出力された代表動きベクトル
及びパン・チルトコントロール信号PTCONTにもとづい
て、ぶれ補正信号発生回路7の構成、動作について説明
する。
Next, the configuration and operation of the shake correction signal generation circuit 7 based on the representative motion vector output from the representative motion vector calculation circuit 6 and the pan / tilt control signal PTCONT in the block diagram of FIG. 2 will be described.

第5図(a)は補正信号発生回路7の内部構成を示す
ブロツク図である。
FIG. 5 (a) is a block diagram showing the internal configuration of the correction signal generating circuit 7.

代表動きベクトル演算回路6より出力された代表動き
ベクトル(x,y)は符号反転回路201により符号が反転
され、レンズ系の焦点距離情報fにもとづいて補正角度
演算回路202でぶれ補正に必要なレンズ補正角度θyaw,
θpitchが演算される(θywaはyawing方向の補正角度、
θpitchはpitching方向の補正角度である)。そしてこ
れらのレンズ補正角度は、次式によってもとめられ、ぶ
れ補正信号drivとして出力する。
The sign of the representative motion vector (x, y) output from the representative motion vector calculation circuit 6 is inverted by the sign inversion circuit 201, and the correction angle calculation circuit 202 uses the correction angle calculation circuit 202 based on the focal length information f of the lens system to correct the blur. Lens correction angle θ yaw ,
θ pitch is calculated (θ ywa is the correction angle in the yawing direction,
θ pitch is a correction angle of the pitching direction). These lens correction angles are obtained by the following equation, and are output as a shake correction signal driv .

一方、代表動きベクトル演算回路6より出力されるパ
ン・チルトコントロール信号PTCONT及びパン・チルト判
定回路15より得られるパン・チルト判定信号PTMODEにも
とづき、乗算器204によって論理積(AND)をとった信号
が出力される。第5図(b)はこれらの信号PTCONTとPT
MODEの、上述の画面の状況に応じた場合(1)〜(4)
のそれぞれにおけるAND出力論理値を示す図である。そ
して乗算器204のAND出力はスイツチ203の切換え制御信
号として用いられ、スイツチ203をANDが“0"のときに
は、接点bに切換えて補正角度演算回路202の出力すな
わち上述の補正角度θyawpitchにもとづくぶれ補正
信号drivを出力させ、乗算器204のANDが出力が“1"の
ときは解放接点aへと切り換えられ、ぶれ補正信号
drivを“0"として出力する。
On the other hand, based on the pan / tilt control signal PTCONT output from the representative motion vector calculation circuit 6 and the pan / tilt determination signal PTMODE obtained from the pan / tilt determination circuit 15, a signal obtained by taking a logical product (AND) by the multiplier 204 Is output. FIG. 5 (b) shows these signals PTCONT and PT
In the case of MODE, depending on the situation of the above screen (1) to (4)
FIG. 6 is a diagram showing an AND output logical value in each of FIG. The AND output of the multiplier 204 is used as a switch control signal for the switch 203. When the switch 203 is at "0", the switch 203 is switched to the contact b to output the output of the correction angle calculation circuit 202, that is, the correction angles θ yaw and θ described above. The shake correction signal driv based on the pitch is output, and when the output of the multiplier 204 is “1”, the output is switched to the open contact a, and the shake correction signal is output.
Outputs driv as “0”.

また立上り検出エツジトリガ回路205は、乗算器204の
出力が“0"から“1"に反転したタイミングに合わせ、ト
リガ信号Rを出力する。このトリガ信号はパン・チルト
モードに入ったことを示すものであるが、パン,チルト
と判断された時点では、レンズ系はすでに数フイールド
分ある一方向へと補正手段によって補正された後であ
り、この位置で補正手段を止めておくと、パン,チルト
が終了して補正が開始されたときに、補正手段の補正可
能な領域がある一方向へとかたよっており、補正が困難
となる。
The rising edge trigger circuit 205 outputs a trigger signal R in accordance with the timing when the output of the multiplier 204 is inverted from “0” to “1”. This trigger signal indicates that the pan / tilt mode has been entered. However, when the pan / tilt mode is determined, the lens system has already been corrected in one direction by several fields by the correction means. If the correction means is stopped at this position, when the correction is started after the pan / tilt is completed, the correction means depends on the direction in which the correctable area exists and the correction becomes difficult.

そこで、このトリガ信号が出力された場合には、駆動
回路9は補正系10の光軸回転手段を画面上で視覚的に目
立たない速度で初期位置へと復帰させ、パン,チルトが
終了してぶれ補正が開始されたときには、常に初期位置
から補正を行うように構成し、補正範囲を最大にとれる
よう考慮されている。
Therefore, when this trigger signal is output, the drive circuit 9 returns the optical axis rotating means of the correction system 10 to the initial position at a speed that is not visually noticeable on the screen, and the pan and tilt are completed. When the shake correction is started, the correction is always performed from the initial position, so that the correction range is maximized.

上述の代表動きベクトル演算回路6と補正信号発生回
路7との動作を第6図を参照しながらまとめると、前述
の画像パターン1,2,3については、カメラの動きの影響
が画面上の各ブロツクの動きベクトルに作用してい
るため、パン・チルトを考慮する必要がある。したがっ
て、これらの場合については、パン・チルト判定回路15
より出力されたパン・チルト判定信号PTMODEを考慮すべ
くパン・チルトコントロール信号PTCONTを“1"にしてPT
MODEに応じたAND出力を得る。
The operation of the above-described representative motion vector calculation circuit 6 and correction signal generation circuit 7 will be summarized with reference to FIG. Since it acts on the motion vector i of the block, it is necessary to consider pan / tilt. Therefore, in these cases, the pan / tilt determination circuit 15
Set the pan / tilt control signal PTCONT to “1” to take into account the pan / tilt determination signal PTMODE output from the PT
Obtains AND output according to MODE.

また、画像パターン4については、カメラの動きベク
トルの影響が小さく被写体の動きベクトルを代表動きベ
クトルとしているので、パン・チルトモード判定信号PT
MODEを考慮する必要はなく、パン・チルトコントロール
信号PTCONTを“0"にし、AND出力を0としている。
For the image pattern 4, since the influence of the camera motion vector is small and the motion vector of the subject is used as the representative motion vector, the pan / tilt mode determination signal PT
There is no need to consider MODE, and the pan / tilt control signal PTCONT is set to “0” and the AND output is set to 0.

上述したように、本発明の撮像装置によれば、カメラ
に取り付けられた角速度センサ11によってカメラ自体の
動きを検出し、センサ信号処理回路12、A/D変換器13、
カメラ動きベクトル演算回路14によってカメラの動きベ
クトルcam及びカメラと動きがある方向に所定期間以
上続くか否かを検出してパン・チルト状態か否かを判別
し、その結果を表わすパン・チルトモード信号PTMODEを
出力する。
As described above, according to the imaging apparatus of the present invention, the movement of the camera itself is detected by the angular velocity sensor 11 attached to the camera, and the sensor signal processing circuit 12, the A / D converter 13,
The camera motion vector calculation circuit 14 detects whether the camera has a motion vector cam and the direction of motion with the camera for a predetermined period or more, determines whether the camera is in a pan / tilt state, and indicates a pan / tilt mode representing the result. Outputs signal PTMODE.

また撮像素子2、カメラ信号処理回路3によって得ら
れた被写体像に応じた映像信号をA/D変換器4でテジタ
ル信号に変換して、各ブロツク動きベクトル検出回路5
によって撮像面上に設定されたn個の各ブロツクにおけ
る動ベクルトの分布状態i(i=1,2,…,n)をもとめ
る。
Further, the A / D converter 4 converts a video signal corresponding to the subject image obtained by the image sensor 2 and the camera signal processing circuit 3 into a digital signal.
, The distribution state i (i = 1, 2,..., N) of the moving vector in each of the n blocks set on the imaging surface is obtained.

そして、カメラ動きベクトルcamと撮像面上の各ブ
ロツクの動きベクトルとを比較して前述のアルゴリ
ズムによってその関連性を評価し、画面を代表する動き
ベクトルをもとめ、同時にパン,チルトを考慮する必
要性を評価し、パン,チルトを考慮する必要があるか否
かを判別するパン・チルトコントロール信号PTCONTをも
とめる。
Then, the camera motion vector cam is compared with the motion vector i of each block on the imaging surface, and the relevance is evaluated by the above-described algorithm. A motion vector representative of the screen is obtained, and at the same time, it is necessary to consider pan and tilt. The pan / tilt control signal PTCONT for evaluating the characteristics and determining whether it is necessary to consider the pan / tilt is determined.

続いて補正信号発生回路7により、代表動きベクトル
とパン・チルトコトロール信号PTCONTさらにパン・チ
ルトモード信号PTMODEによってぶれを補正するためのレ
ンズ補正量drivを演算し、D/A変換器8を介して駆動
回路9へと供給し、ぶれ量を補正するよに補正系10を駆
動し、レンズ系を調節する。
Subsequently, the correction signal generation circuit 7 calculates a lens correction amount driv for correcting blurring by the representative motion vector, the pan / tilt control signal PTCONT, and the pan / tilt mode signal PTMODE, and via the D / A converter 8. To the drive circuit 9 to drive the correction system 10 so as to correct the blur amount, and adjust the lens system.

以上の動作によってカメラの動きと被写体の動きの両
方を考慮したぶれ補正システムを実現することができ
る。
With the above operation, it is possible to realize a shake correction system that considers both the movement of the camera and the movement of the subject.

〔発明の効果〕 以上説明したように、本発明によれば、外部センサの
み、あるいは画像信号中の動き検出のみのシステムと比
較して、高精度、高感度で応対性も改善され、被写体と
装置の相対的な動きによって生じた画像の動きが、被写
体の動きなのか、装置のぶれによるものなのかを正確に
識別にすることができるようにしたので、補正すべき画
像の動きと、補正すべきでない画像の動きとを明確に認
識することができ、ぶれ補正の不要なときにはぶれ補正
動作を停止させる等、誤動作を防止することができる。
[Effects of the Invention] As described above, according to the present invention, as compared with a system that only detects an external sensor or only a motion in an image signal, the response is improved with high accuracy and high sensitivity, and the subject and the subject are improved. Since the movement of the image caused by the relative movement of the device can be accurately distinguished whether the movement of the subject or the shake of the device, the movement of the image to be corrected and the correction of the image It is possible to clearly recognize the motion of the image that should not be performed, and to prevent a malfunction such as stopping the blur correction operation when the blur correction is unnecessary.

【図面の簡単な説明】[Brief description of the drawings]

第1図は本発明における撮像装置のぶれ補正システムの
基本構成を示すブロツク図、 第2図は第1のブロック図を具体化したブロツク図、 第3図(a)は第2図のブロツク図における代表動きベ
クルト演算回路の演算アルゴリズムを示すフローチヤー
ト、 第3図(b)は撮像画面上の動きベクトル検出ブロツク
の設定状態を説明するための図、 第3図(c),(d)は同図(a)の演算フローチヤー
トの説明に用いる撮像画面パターンを示す図、 第4図(a)〜第4図(e)は代表動きベクトル演算回
路で判別される撮像画面上のべクトル分布パターンを示
す図、 第5図は第2図のブロツク図における補正信号発生回路
を内部の構成を示すブロツク図、 第6図は第4図(a)〜第4図(e)の各画像パターン
における補正信号発生回路の動作を説明するための論理
図である。
FIG. 1 is a block diagram showing a basic configuration of a shake correction system for an image pickup apparatus according to the present invention, FIG. 2 is a block diagram embodying the first block diagram, and FIG. 3 (a) is a block diagram of FIG. FIG. 3B is a flow chart showing the calculation algorithm of the representative motion vector calculation circuit in FIG. 3, FIG. 3B is a diagram for explaining the setting state of the motion vector detection block on the imaging screen, and FIGS. 4 (a) to 4 (e) are diagrams showing an imaging screen pattern used for explaining the operation flow chart of FIG. 4 (a). FIG. 4 (a) to FIG. 4 (e) show a vector distribution on the imaging screen determined by the representative motion vector calculation circuit. FIG. 5 is a block diagram showing the internal configuration of the correction signal generating circuit in the block diagram of FIG. 2, and FIG. 6 is each image pattern of FIGS. 4 (a) to 4 (e). Of the correction signal generation circuit in It is a logic diagram for explaining operation.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 当山 正道 神奈川県川崎市高津区下野毛770番地 キヤノン株式会社玉川事業所内 (72)発明者 中島 敏之 東京都大田区下丸子3丁目30番2号 キ ヤノン株式会社内 (56)参考文献 特開 平1−174076(JP,A) (58)調査した分野(Int.Cl.6,DB名) H04N 5/232 ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Masamichi Toyama 770 Shimonoge, Takatsu-ku, Kawasaki-shi, Kanagawa Canon Inc. Tamagawa Works (72) Inventor Toshiyuki Nakashima 3-30-2 Shimomaruko 3-chome, Ota-ku, Tokyo Canon stock (56) References JP-A-1-174076 (JP, A) (58) Fields investigated (Int. Cl. 6 , DB name) H04N 5/232

Claims (5)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】装置に取り付けられたセンサによって装置
の動き情報を物理的に検出する第1の動き検出手段と、 撮影信号中より画面内の複数位置における動き情報を検
出する第2の動き検出手段と、 前記第2の動き検出手段によって検出された画像信号中
の前記複数の動き情報の中から、前記第1の動き検出手
段によって検出された動き情報と同じ動き方向を持つ動
き情報に基づいて、動き補正情報を演算する演算手段
と、 前記演算手段の出力にしたがって画像の動きを補正する
補正手段と、 を備えたことを特徴とする撮像装置。
1. A first motion detection means for physically detecting motion information of a device by a sensor attached to the device, and a second motion detection for detecting motion information at a plurality of positions in a screen from a photographing signal. Means, from the plurality of pieces of motion information in the image signal detected by the second motion detection means, based on motion information having the same motion direction as the motion information detected by the first motion detection means. An image pickup apparatus comprising: a calculating means for calculating motion correction information; and a correcting means for correcting a motion of an image in accordance with an output of the calculating means.
【請求項2】装置に取り付けられたセンサによって物理
的に検出された装置の動きベクトルと、撮像信号中より
検出された画面内の複数位置における動きベクトルとか
ら動き補正情報を演算する演算手段と、 前記演算手段の出力に基づいて、前記装置の動きによる
画像の動きを補正する動き補正手段とを備え、 前記演算手段は、前記撮像信号中より検出された前記画
面内の複数位置における動きベクトルのうち、前記装置
の動きベクトルと実質的に動きの方向が同じになる動き
ベクトルの数が所定値以下であるときには、カメラの動
きに対して被写体の動きが大きいと判定し、前記装置の
動きベクトルを前記動き補正情報として前記動き補正手
段へと出力するように構成されていることを特徴とする
ぶれ補正装置。
2. An arithmetic unit for calculating motion correction information from a motion vector of the device physically detected by a sensor attached to the device and motion vectors at a plurality of positions in a screen detected from an image signal. Motion compensation means for compensating the motion of the image due to the motion of the device based on the output of the computation means, wherein the computation means comprises motion vectors at a plurality of positions in the screen detected from the image signal. When the number of motion vectors in which the direction of motion is substantially the same as the motion vector of the device is equal to or less than a predetermined value, it is determined that the motion of the subject is larger than the motion of the camera, An image stabilizing apparatus characterized in that it is configured to output a vector as the motion correcting information to the motion correcting means.
【請求項3】装置に取り付けられたセンサによって物理
的に検出された装置の動きベクトルと、撮像信号中より
検出された画面内の複数位置における動きベクトルとか
ら動き補正情報を演算する演算手段と、 前記演算手段の出力に基づいて、前記装置の動きによる
画像の動きを補正する動き補正手段とを備え、 前記演算手段は、前記撮像信号中より検出された前記画
面内の複数位置における動きベクトルのうち、前記装置
の動きベクトルと実質的に動きの方向が同じになる動き
ベクトルの数が所定値以上であるときには、カメラの動
きに対して被写体の動きが小さいと判定し、前記撮像信
号中より検出された前記画面内の複数位置における動き
ベクトルのうち、前記装置の動きベクトルと実質的に動
きの方向が同じになる動きベクトルの平均値を前記動き
補正情報として前記動き補正手段へと出力するように構
成されていることを特徴とするぶれ補正装置。
3. An arithmetic means for calculating motion correction information from a motion vector of the device physically detected by a sensor attached to the device and motion vectors at a plurality of positions in a screen detected from an image signal. Motion compensation means for compensating the motion of the image due to the motion of the device based on the output of the computation means, wherein the computation means comprises motion vectors at a plurality of positions in the screen detected from the image signal. When the number of motion vectors in which the direction of motion is substantially the same as the motion vector of the device is equal to or greater than a predetermined value, it is determined that the motion of the subject is smaller than the motion of the camera. Of the motion vectors at a plurality of positions in the screen detected from the motion vector, the motion vectors of which have substantially the same motion direction as the motion vector of the device. Shake correction apparatus characterized by being configured to output to the motion compensation means the value as the motion compensation information.
【請求項4】装置に取り付けられたセンサによって物理
的に検出された装置の動きベクトルと、撮像信号中より
検出された画面内の複数位置における動きベクトルとか
ら動き補正情報を演算する演算手段と、 前記演算手段の出力に基づいて画像の動きを補正する動
き補正手段とを備え、 前記演算手段は、前記撮像信号中より検出された複数位
置における動きベクトルのうち、前記装置の動きベクト
ルと実質的に同じ方向の動きべクトルの数が所定の範囲
内で、且つ前記撮像信号中より検出された画面中央部の
複数位置における動きベクトルのうち、画面中心の動き
ベクトルと実質的に同じ方向の動きベクトルの数が所定
数以上である場合には、該画面中央部の動きベクトルに
基づいて前記動き補正情報を演算して前記動き補正手段
へと出力し、前記撮像信号中より検出された画面中央部
の複数位置における動きベクトルのうち、画面中心の動
きベクトルと実質的に同じ方向の動きベクトルの数が所
定数以下である場合には、前記撮像信号中より検出され
た前記複数位置における動きベクトルのうち、前記装置
の動きベクトルと実質的に同じ方向の動きベクトルの平
均値を前記動き補正情報として前記動き補正手段へと出
力するように構成されていることを特徴とするぶれ補正
装置。
4. An arithmetic unit for calculating motion correction information from a motion vector of a device physically detected by a sensor attached to the device and motion vectors at a plurality of positions in a screen detected from an image signal. A motion correcting means for correcting a motion of an image based on an output of the calculating means, wherein the calculating means is substantially the same as the motion vector of the device among the motion vectors at a plurality of positions detected from the imaging signal. The number of motion vectors in the same direction is within a predetermined range, and among the motion vectors at a plurality of positions in the center of the screen detected from the imaging signal, the motion vectors in the substantially same direction as the motion vector at the center of the screen are detected. When the number of motion vectors is equal to or more than a predetermined number, the motion compensation information is calculated based on the motion vector at the center of the screen and output to the motion compensation unit. If the number of motion vectors in the same direction as the motion vector at the center of the screen among the motion vectors at a plurality of positions in the center of the screen detected from the imaging signal is equal to or less than a predetermined number, the imaging signal Among the motion vectors at the plurality of positions detected from the inside, an average value of the motion vectors in the substantially same direction as the motion vector of the device is output to the motion correction unit as the motion correction information. A shake correction device.
【請求項5】装置に取り付けられたセンサによって物理
的に検出された装置の動きベクトルと、撮像信号中より
検出された画面内の複数位置における動きベクトルとか
ら動き補正情報を演算する演算手段と、 前記演算手段の出力に基づいて画像の動きを補正する動
き補正手段と、 前記装置の動きベクトルの方向が所定時間以上変化しな
いときパンニング中であることを検出するパンニング制
御手段とを備え、 前記演算手段は、前記撮像信号中より検出された複数位
置における動きベクトルのうち、前記装置の動きベクト
ルと実質的に動きの方向の同じになる動きベクトルの数
が所定の範囲内で、且つ前記撮像信号中より検出された
画面中央部の複数位置における動きベクトルのうち、画
面中心の動きベクトルと実質的に動きの方向が同じにな
る動きベクトルの数が所定数以上であるとき、前記パン
ニング制御手段の動作を禁止するように構成されている
ことを特徴とするぶれ補正装置。
5. An arithmetic unit for calculating motion correction information from a motion vector of a device physically detected by a sensor attached to the device and motion vectors at a plurality of positions in a screen detected from an image signal. A motion correction unit that corrects the motion of the image based on an output of the calculation unit; and a panning control unit that detects that panning is in progress when the direction of the motion vector of the device does not change for a predetermined time or more. The calculating means is configured such that, among the motion vectors at a plurality of positions detected from the image signal, the number of motion vectors having substantially the same motion direction as the motion vector of the device is within a predetermined range, and Of the motion vectors at a plurality of positions in the center of the screen detected from the signal, the motion direction is substantially the same as the motion vector at the center of the screen. That when the number of motion vectors is equal to or more than a predetermined number, blur correction apparatus characterized by being configured so as to prohibit the operation of the panning control means.
JP63226017A 1988-09-09 1988-09-09 Imaging device and blur correction device Expired - Fee Related JP2941815B2 (en)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP63226017A JP2941815B2 (en) 1988-09-09 1988-09-09 Imaging device and blur correction device
DE68928217T DE68928217T2 (en) 1988-09-09 1989-09-06 Automatic image stabilization device
DE68929448T DE68929448T2 (en) 1988-09-09 1989-09-06 Automatic image stabilization device
US07/403,455 US5107293A (en) 1988-09-09 1989-09-06 Automatic image stabilization device
EP95111708A EP0682449B1 (en) 1988-09-09 1989-09-06 Automatic image stabilization device
EP89116447A EP0358196B1 (en) 1988-09-09 1989-09-06 Automatic image stabilization device
US08/402,735 US5561498A (en) 1988-09-09 1995-03-13 Automatic image stabilization device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP63226017A JP2941815B2 (en) 1988-09-09 1988-09-09 Imaging device and blur correction device

Publications (2)

Publication Number Publication Date
JPH0275284A JPH0275284A (en) 1990-03-14
JP2941815B2 true JP2941815B2 (en) 1999-08-30

Family

ID=16838483

Family Applications (1)

Application Number Title Priority Date Filing Date
JP63226017A Expired - Fee Related JP2941815B2 (en) 1988-09-09 1988-09-09 Imaging device and blur correction device

Country Status (1)

Country Link
JP (1) JP2941815B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9578241B2 (en) 2015-03-23 2017-02-21 Hanwha Techwin Co., Ltd. Image stabilizing apparatus and method based on a predicted movement position
US10136063B2 (en) 2013-07-12 2018-11-20 Hanwha Aerospace Co., Ltd Image stabilizing method and apparatus

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2791190B2 (en) * 1990-06-19 1998-08-27 キヤノン株式会社 Imaging device and image blur correction device
JP2803072B2 (en) * 1990-10-18 1998-09-24 富士写真フイルム株式会社 Image stabilization device
JP3564247B2 (en) * 1996-11-26 2004-09-08 松下電器産業株式会社 Image motion compensation device
US6678328B1 (en) 1999-05-11 2004-01-13 Sony Corporation Information processor
JP4536865B2 (en) * 2000-03-15 2010-09-01 キヤノン株式会社 Blur detection device and imaging device
JP4612765B2 (en) * 2000-06-16 2011-01-12 キヤノン株式会社 Device with shake detection function
JP4415596B2 (en) * 2003-07-28 2010-02-17 株式会社ニコン Photography lens and camera system
JP4886172B2 (en) * 2004-03-09 2012-02-29 キヤノン株式会社 Image recording apparatus, image recording method, and program
JP5061444B2 (en) * 2005-09-20 2012-10-31 ソニー株式会社 Imaging apparatus and imaging method
JP4926920B2 (en) 2007-11-16 2012-05-09 キヤノン株式会社 Anti-shake image processing apparatus and anti-shake image processing method
JP5268433B2 (en) * 2008-06-02 2013-08-21 キヤノン株式会社 IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10136063B2 (en) 2013-07-12 2018-11-20 Hanwha Aerospace Co., Ltd Image stabilizing method and apparatus
US10848672B2 (en) 2013-07-12 2020-11-24 Hanwha Techwin Co., Ltd. Image stabilizing method and apparatus
US9578241B2 (en) 2015-03-23 2017-02-21 Hanwha Techwin Co., Ltd. Image stabilizing apparatus and method based on a predicted movement position
US9854171B2 (en) 2015-03-23 2017-12-26 Hanwha Techwin Co., Ltd. Image stabilizing apparatus and method based on a predicted movement position

Also Published As

Publication number Publication date
JPH0275284A (en) 1990-03-14

Similar Documents

Publication Publication Date Title
US8922664B2 (en) Image capturing apparatus and image processing method
CN104065868B (en) Image capture apparatus and control method thereof
US7564482B2 (en) Image capturing device, correction device, mobile phone, and correcting method
US8760526B2 (en) Information processing apparatus and method for correcting vibration
JP6727791B2 (en) Tracking control device, tracking control method, and imaging device
JP2941815B2 (en) Imaging device and blur correction device
JP2018189730A (en) Image tremor correction device and control method for the same, program therefor, and storage medium
US20110019016A1 (en) Image processing apparatus, image pickup apparatus, and image processing method
WO2004062270A1 (en) Image processor
US20070098383A1 (en) Motion blur reduction and compensation
JP6128109B2 (en) Image capturing apparatus, image capturing direction control method, and program
JP3250245B2 (en) Anti-vibration camera
JP6643095B2 (en) Image blur correction apparatus and control method thereof, program, storage medium
JP2009216743A (en) Image stabilizing camera
JP6250446B2 (en) Image processing system, image processing apparatus, image processing method, and program
JP4517813B2 (en) Panning camera and video editing program
JP2003189164A (en) Image pickup device
JPH0846856A (en) Hand shake correcting device
JP4957851B2 (en) Camera shake detection device, camera shake detection method, and camera shake detection program
JP3896015B2 (en) Image pickup device with shake correction function
JPH03117278A (en) Image pickup device
JP2019149717A (en) Image processing apparatus, image processing method, imaging apparatus, program, and storage medium
JP7308696B2 (en) Image blur correction device, its control method, program, and imaging device provided with image blur correction device
JPH05232562A (en) Panning device for camera
JP2006295329A (en) Image processing apparatus, imaging apparatus, and image processing method

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees