JP3109808B2 - Electronic camera device - Google Patents

Electronic camera device

Info

Publication number
JP3109808B2
JP3109808B2 JP01343615A JP34361589A JP3109808B2 JP 3109808 B2 JP3109808 B2 JP 3109808B2 JP 01343615 A JP01343615 A JP 01343615A JP 34361589 A JP34361589 A JP 34361589A JP 3109808 B2 JP3109808 B2 JP 3109808B2
Authority
JP
Japan
Prior art keywords
image
subject image
solid
vector
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP01343615A
Other languages
Japanese (ja)
Other versions
JPH03201877A (en
Inventor
達夫 長崎
康宏 小宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optic Co Ltd filed Critical Olympus Optic Co Ltd
Priority to JP01343615A priority Critical patent/JP3109808B2/en
Priority to EP90125675A priority patent/EP0435319B1/en
Priority to DE69030165T priority patent/DE69030165T2/en
Publication of JPH03201877A publication Critical patent/JPH03201877A/en
Priority to US08/208,051 priority patent/US5416557A/en
Application granted granted Critical
Publication of JP3109808B2 publication Critical patent/JP3109808B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】 [産業上の利用分野] 本発明は被写体像のぶれを効果的に補正し得る、所謂
手振れ防止機能を備えた電子カメラ装置に関する。
Description: BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an electronic camera device having a so-called camera shake prevention function capable of effectively correcting a blur of a subject image.

[従来の技術] カメラ装置を用いた被写体像のフィルム露光時、つま
りカメラによる撮影時には、フィルム面に結像される被
写体像のずれ、所謂手振れ(カメラ振れ)が問題とな
る。特に長時間露光を行うような場合や超望遠撮影、マ
クロ撮影を行うような場合、上記手振れが大きな問題と
なる。
[Prior Art] At the time of film exposure of a subject image using a camera device, that is, at the time of photographing by a camera, a shift of a subject image formed on a film surface, so-called camera shake (camera shake) becomes a problem. In particular, when performing long-time exposure, super-telephoto shooting, or macro shooting, the above-mentioned camera shake becomes a serious problem.

従来、このような手振れを防止し、鮮明度(解像度)
の高い撮影を行う為に、専らカメラを三脚に固定した
り、手振れの問題が事実上無視し得る程度の短時間露光
を行うべく、ストロボ等の補助光源を併用することが行
われている。然し乍ら、このような補助手段を併用する
ことは一般的に非常に煩わしく、またカメラの取扱い性
やその機動性が著しく損なわれると云う問題がある。
Conventionally, such camera shake is prevented and sharpness (resolution)
In order to perform high-speed shooting, a camera is exclusively fixed to a tripod, and an auxiliary light source such as a strobe light is used in combination in order to perform exposure for a short time such that a camera shake problem can be practically ignored. However, it is generally very troublesome to use such auxiliary means together, and there is a problem that the handling of the camera and its mobility are significantly impaired.

このような不具合は、固体撮像素子を用いて被写体像
を電子的に撮像入力する電子カメラにおいても問題とな
る。
Such a problem also occurs in an electronic camera that electronically captures and inputs a subject image using a solid-state imaging device.

[発明が解決しようとする課題] このように従来にあってはカメラにおける手振れを防
止するには三脚等の補助手段を併用する必要があり、非
常に煩わしいと云う問題があった。
[Problems to be Solved by the Invention] As described above, in the related art, in order to prevent camera shake in a camera, it is necessary to use an auxiliary means such as a tripod, which is extremely troublesome.

本発明はこのような事情を考慮してなされたもので、
その目的とするところは、被写体像の露光時における画
像の時間的なずれを補正して、所謂手振れを効果的に防
止することのできる電子カメラ装置を提供することにあ
る。
The present invention has been made in view of such circumstances,
It is an object of the present invention to provide an electronic camera device capable of correcting a temporal shift of an image at the time of exposure of a subject image and effectively preventing so-called camera shake.

[課題を解決するための手段] 本発明に係る電子カメラ装置は、被写体像を電子的に
撮像する撮像素子と、この撮像素子の撮像面に被写体像
を結像する為の撮影光学レンズと、前記撮像素子を高速
駆動して被写体像の電子的な撮像を繰り返し行なわせる
撮像素子駆動手段と、前記撮像素子の撮像面に前記撮影
光学レンズの光軸を中心にした左右2つの領域L、Rを
設定し、これらの各領域毎に被写体像のずれのベクトル
fLおよびfRを求める手段と、前記ずれのベクトルfLおよ
びfRに基づいて、光軸と直交する面内での平行移動ベク
トルSおよび前記光軸の周りでの回転移動ベクトルRを
求める手段と、前記平行移動ベクトルSおよび前記回転
移動ベクトルRに基づいて、撮像素子の撮像面に結像さ
れる被写体像のずれを補正する補正手段と、を具備した
ことを特徴とする。
[Means for Solving the Problems] An electronic camera device according to the present invention includes an image sensor for electronically capturing a subject image, a photographic optical lens for forming a subject image on an imaging surface of the image sensor, An image pickup device driving means for driving the image pickup device at high speed to repeatedly perform electronic image pickup of a subject image; and two left and right regions L and R on the image pickup surface of the image pickup device around the optical axis of the photographing optical lens. Is set, and the vector of the displacement of the subject image is set for each of these areas.
means for determining f L and f R, based on the vector f L and f R of the deviation, and determines a rotation movement vector R of around translation vector S and the optical axis in a plane perpendicular to the optical axis Means for correcting a shift of a subject image formed on an imaging surface of an imaging device based on the translation vector S and the rotation vector R.

[作用] 本発明は、撮影光学レンズの光軸を中心にした左右2
つの領域L,Rでのずれ量は光軸Mを中心として対象であ
る点に着目し、これらの2つのそれぞれの領域について
求めた被写体のずれのベクトルfLおよびfRに基づいて、
被写体像全体の平行移動ベクトルSおよび回転移動ベク
トルRを求め、これらの平行移動ベクトルSおよび前記
回転移動ベクトルRに基づいて撮影光学レンズと撮像素
子の撮像面との光学的位置関係を変位させて、撮像素子
の撮像面に結像される被写体像のずれを補正するように
したものである。このような構成により、本発明は、簡
単な演算により撮像面に結像される被写体像のずれを高
精度に求め、この被写体像のずれに基づいて解像度の高
い撮影を簡単に行なうことができる。
[Effect] The present invention relates to a left-right camera having an optical axis of a photographing optical lens.
Focusing on the point that the shift amount in the two regions L and R is the object around the optical axis M, based on the shift vectors f L and f R of the subject obtained for these two regions,
The translation vector S and the rotation vector R of the entire subject image are obtained, and the optical positional relationship between the imaging optical lens and the imaging surface of the image sensor is displaced based on the translation vector S and the rotation vector R. In this case, the displacement of the subject image formed on the imaging surface of the imaging device is corrected. With such a configuration, the present invention can obtain the displacement of the subject image formed on the imaging surface with high accuracy by a simple calculation, and can easily perform high-resolution shooting based on the displacement of the subject image. .

[実施例] 以下、図面を参照して本発明の実施例に係る電子カメ
ラ装置について説明する。
Hereinafter, an electronic camera device according to an embodiment of the present invention will be described with reference to the drawings.

第1図は本発明に関連する電子カメラ装置の要部概略
構成図で、1は撮影光学レンズ、2はこの撮影光学レン
ズ1により結像される被写体像を電子的に撮像する固体
撮像素子である。前記撮影光学レンズ1は撮像素子2の
撮像面上に被写体像を結像するべく、例えば図示しない
測距系によりフォーカシング駆動される。また撮影光学
レンズ1に組み込まれるアパーチャ絞り機構やシャッタ
機構等は、図示しない測光系の制御を受けて前記固体撮
像素子2による被写体像の露光量が一定化されるように
駆動される。
FIG. 1 is a schematic configuration diagram of a main part of an electronic camera device related to the present invention. Reference numeral 1 denotes a photographic optical lens, and 2 denotes a solid-state imaging device that electronically captures a subject image formed by the photographic optical lens 1. is there. The photographing optical lens 1 is driven by focusing, for example, by a distance measuring system (not shown) in order to form a subject image on the imaging surface of the imaging device 2. An aperture stop mechanism, a shutter mechanism, and the like incorporated in the photographing optical lens 1 are driven under the control of a photometric system (not shown) so that the amount of exposure of the subject image by the solid-state imaging device 2 is constant.

ここでこの装置が特徴とするところは、前記撮影光学
レンズ1をアクチュエータ3を介してカメラ本体に支持
し、その光軸と直交する面内で移動可能に設けている点
にある。具体的には、撮影光学レンズ1をx方向アクチ
ュエータ3xとy方向アクチュエータ3yとにより支持し、
これらのアクチュエータ3x,3yを駆動することにより前
記撮影光学レンズ1をその光軸と直交するx方向および
y方向に変位させることで、被写体に対する撮影光学レ
ンズ1と撮像素子2の撮像面との光学的位置関係を変位
させるように構成していることを特徴としている。
The feature of this apparatus is that the photographing optical lens 1 is supported on a camera body via an actuator 3 and is provided so as to be movable in a plane orthogonal to the optical axis. Specifically, the imaging optical lens 1 is supported by an x-direction actuator 3x and a y-direction actuator 3y,
By driving these actuators 3x and 3y, the photographing optical lens 1 is displaced in the x direction and the y direction orthogonal to the optical axis, so that the optics between the photographing optical lens 1 and the imaging surface of the image sensor 2 with respect to the subject. It is characterized in that it is configured to displace the target positional relationship.

しかして撮影光学レンズ1を介して結像される被写体
像を電子的に撮像する撮像素子2としては、例えば高感
度・高速動作型のAMI(増幅型MOSイメージャ)からなる
固体撮像素子が用いられる。図示しない撮像素子駆動回
路はこのような固体撮像素子2を、例えばシャッタレリ
ーズ動作に同期して前述した測光系により定められる所
定の期間に亘って高速駆動する。この高速駆動により前
記固体撮像素子2は、例えば第4図にそのタイミング関
係を模式的に示すように予め定められた動作周期で被写
体像を繰り返し撮像し、その都度、その被写体像信号を
高速度に読み出し出力することになる。
As the image pickup device 2 for electronically picking up a subject image formed via the photographing optical lens 1, for example, a solid-state image pickup device composed of a high-sensitivity, high-speed operation type AMI (amplification type MOS imager) is used. . An image sensor driving circuit (not shown) drives such a solid-state image sensor 2 at a high speed over a predetermined period determined by the above-described photometric system, for example, in synchronization with a shutter release operation. Due to this high-speed driving, the solid-state imaging device 2 repeatedly captures a subject image at a predetermined operation cycle, for example, as schematically shown in FIG. And read out.

このようにして高速駆動される固体撮像素子2から高
速度に繰り返し読み出される被写体像信号は前置増幅器
4を介して所定の信号レベルに増幅された後、ビデオプ
ロセッサ5に入力される。このビデオプロセッサ5は、
前記被写体像信号を輝度信号Yと色差信号(R−Y)と
(B−Y)とに変換して出力するものである。このよう
にしてビデオプロセッサ5から出力される輝度信号Y,お
よび色差信号(R−Y),(B−Y)は、それぞれA/D
変換器6a,6b,6cを介してディジタル符号化される。
The subject image signal repeatedly read at high speed from the solid-state imaging device 2 driven at high speed in this way is amplified to a predetermined signal level via the preamplifier 4 and then input to the video processor 5. This video processor 5
The object image signal is converted into a luminance signal Y and color difference signals (RY) and (BY) and output. The luminance signal Y and the color difference signals (RY) and (BY) output from the video processor 5 in this manner are respectively A / D
It is digitally encoded via converters 6a, 6b, 6c.

しかして被写体像のずれ検出に用いられるフレームメ
モリ7は、シャッタレリーズ動作に同期して前記被写体
像信号(輝度信号Y)の最初の1フレームを格納する。
このフレームメモリ7に格納された1フレーム目の被写
体像信号が、2フレーム目以降に求められる被写体像信
号とのずれ検出の為の基準像信号(基準被写体像)とし
て用いられる。
Thus, the frame memory 7 used for detecting the shift of the subject image stores the first frame of the subject image signal (luminance signal Y) in synchronization with the shutter release operation.
The subject image signal of the first frame stored in the frame memory 7 is used as a reference image signal (reference subject image) for detecting a deviation from the subject image signal obtained in the second and subsequent frames.

2次元相関回路8は上記フレームメモリ7に格納され
た1フレーム目の被写体像信号と2フレーム目以降に取
り込まれる各被写体像信号との間で2次元相関演算を実
行し、それらの像信号(フレーム画像)間でのずれ量を
x変位およびy変位としてそれぞれ検出するものであ
る。この2次元相関演算は、従来より種々提唱されてい
る演算アルゴリズムを適宜用いて行われる。基本的には
第2図に示すように時間的なずれを持つ2枚のフレーム
画像f1,f2のx方向およびy方向の各射影成分を相互に
比較し、そのずれ量を上記各方向の変位として求めるこ
とにより、その2次元相関演算がなされる。
The two-dimensional correlation circuit 8 performs a two-dimensional correlation operation between the subject image signal of the first frame stored in the frame memory 7 and each subject image signal taken in the second and subsequent frames, and these image signals ( The amount of deviation between frame images is detected as x displacement and y displacement, respectively. The two-dimensional correlation operation is performed by appropriately using an operation algorithm that has been conventionally proposed. Basically, as shown in FIG. 2, the projected components in the x and y directions of two frame images f1 and f2 having a temporal shift are compared with each other, and the amount of the shift is determined by the displacement in each of the above directions. , The two-dimensional correlation operation is performed.

具体的には、第2図に示すように被写体像f1が固体撮
像素子2上に結像するものとすると、その像信号をy方
向およびx方向にそれぞれ投影した射影成分はg1,h1と
なる。一方、時間の経過に伴い、前記被写体像がf2に示
すようにずれたとすると、その被写体像f2に対する射影
成分をそれぞれg2,h2となる。つまり被写体像f1がf2に
示すようにx方向およびy方向にずれると、その分だけ
その射影成分もg1,h1からg2,h2へとそれぞれx方向およ
びy方向にずれることになる。
Specifically, as shown in FIG. 2, assuming that the subject image f1 is formed on the solid-state imaging device 2, the projected components obtained by projecting the image signals in the y direction and the x direction are g1 and h1. . On the other hand, if the subject image shifts with time as shown by f2, the projected components for the subject image f2 are g2 and h2, respectively. That is, when the subject image f1 is shifted in the x direction and the y direction as shown by f2, the projected component is also shifted in the x direction and the y direction from g1, h1 to g2, h2, respectively.

しかして2次元相関回路8はこのような各方向につい
ての射影成分の相関を求めることで、前記被写体像f1,f
2間のずれ量dx,dyを求める。例えばその相関演算出力値
として前記各射影成分の差の2乗和を求めれば、第3図
(a)(b)に示すようになる。このような相関演算出
力値を最小とする位置dx,dyを求めれば、その値を前記
被写体像のx方向およびy方向に対するずれ量としてそ
れぞれ求めることが可能となる。2次元相関回路8で
は、基本的には上述したような演算アルゴリズムに基づ
く2次元相関演算により、前述した被写体像信号の輝度
成分Yから簡易に、且つ高速に前記固体撮像素子2の撮
像面に結像される被写体像のずれ量を検出している。こ
のずれ量検出は、前記固体撮像素子2から高速度に繰り
返し被写体像信号が読み出される都度行われる。
Thus, the two-dimensional correlation circuit 8 obtains the correlation between the projected components in each of these directions, thereby obtaining the object images f1, f
The shift amounts dx and dy between the two are obtained. For example, if the sum of squares of the difference between the respective projected components is obtained as the correlation operation output value, the results are as shown in FIGS. 3 (a) and 3 (b). If the positions dx and dy that minimize such a correlation operation output value are obtained, the values can be obtained as the amounts of displacement of the subject image in the x direction and the y direction, respectively. In the two-dimensional correlation circuit 8, the two-dimensional correlation operation based on the above-described operation algorithm is basically performed easily and quickly from the luminance component Y of the subject image signal to the imaging surface of the solid-state imaging device 2. The shift amount of the formed subject image is detected. This shift amount detection is performed each time the subject image signal is repeatedly read from the solid-state imaging device 2 at a high speed.

このようにして前記2次元相関回路8にて求められる
被写体像のx変位およびy変位の情報の系列が補間回路
9x,9yを介して画素単位以下の精度でx変位,y変位がそ
れぞれ検出されてアクチュエータ駆動部10x,10yにそれ
ぞれ与えられる。そしてこれらのアクチュエータ駆動部
10x,10yにより、前記x方向アクチュエータ3xとy方向
アクチュエータ3yとがそれぞれ駆動され、前記撮像光学
レンズ1が前記被写体像のx方向およびy方向の変位を
補正する向きに変位駆動される。そしてx方向アクチュ
エータ3xとy方向アクチュエータ3yとにより撮影光学レ
ンズ1が変位された状態で前記固体撮像素子2の撮像面
に結像される被写体像の前記固体撮像素子2による撮像
入力が行われることになる。
The series of information on the x displacement and the y displacement of the subject image obtained by the two-dimensional correlation circuit 8 is
The x displacement and the y displacement are respectively detected with an accuracy of a pixel unit or less via 9x and 9y, and supplied to the actuator driving units 10x and 10y, respectively. And these actuator drives
By 10x and 10y, the x-direction actuator 3x and the y-direction actuator 3y are respectively driven, and the imaging optical lens 1 is driven to be displaced in a direction for correcting the displacement of the subject image in the x and y directions. Then, the imaging input of the subject image formed on the imaging surface of the solid-state imaging device 2 is performed by the solid-state imaging device 2 while the imaging optical lens 1 is displaced by the x-direction actuator 3x and the y-direction actuator 3y. become.

即ち、前記アクチュエータ3x,3yの上述した駆動制御
系は、被写体像のずれに対して撮影光学レンズ1を逆方
向に変位させるべく負帰還ループを形成するように構成
されている。そして固体撮像素子2はシャッタレリーズ
動作に同期して第4図に示すように高速駆動され、前述
した測光系の制御により定められる撮影期間内に、その
撮像面に結像される被写体像を繰り返し撮像入力する。
このようにして固体撮像素子2にて高速度に繰り返し撮
像される被写体像信号の最初の1フレーム目が前記フレ
ームメモリ7に格納される。そして2次元相関回路8に
て上記フレームメモリ7に格納されたシャッタレリーズ
直後の1フレーム目の被写体像信号と、その後、撮像入
力される2フレーム目以降の各被写体像信号との2次元
相関演算によりそのずれ量を検出し、検出されたずれ量
に応じて前記アクチュエータ3x,3yをそれぞれ駆動して
前記撮影光学レンズ1をその光軸と直交する向きに変位
させるものとなっている。
That is, the above-described drive control system of the actuators 3x and 3y is configured to form a negative feedback loop so as to displace the photographing optical lens 1 in the opposite direction with respect to the displacement of the subject image. Then, the solid-state imaging device 2 is driven at high speed in synchronization with the shutter release operation as shown in FIG. 4, and repeats the subject image formed on the imaging surface within the imaging period determined by the control of the photometric system described above. Input an image.
Thus, the first frame of the subject image signal that is repeatedly imaged at a high speed by the solid-state imaging device 2 is stored in the frame memory 7. Then, the two-dimensional correlation circuit 8 calculates a two-dimensional correlation between the subject image signal of the first frame immediately after the shutter release stored in the frame memory 7 and the subject image signals of the second and subsequent frames that are captured and input. The actuator 3x and 3y are respectively driven in accordance with the detected shift amount to displace the photographing optical lens 1 in a direction orthogonal to the optical axis.

この結果、前記撮影光学レンズ1を介して固体撮像素
子2の撮像面上に結像される被写体像にずれが生じたと
き、上記撮影光学レンズ1の変位により前記撮像面上で
の被写体像のずれが補正され、固体撮像素子2はずれ補
正された被写体像を高速度に繰り返し撮像入力するよう
になっている。
As a result, when a subject image formed on the imaging surface of the solid-state imaging device 2 via the imaging optical lens 1 shifts, the displacement of the imaging optical lens 1 causes the displacement of the subject image on the imaging surface. The shift is corrected, and the solid-state imaging device 2 repeatedly captures and inputs the subject image corrected for the shift at a high speed.

尚、前記固体撮像素子2の高速駆動は、例えば10μSe
c程度の周期でその撮像と画像信号の読み出しとを行う
ようになされる。この結果、前述した測光系により定め
られる撮影動作期間が、例えば250μSec程度と短い場合
であっても、その期間内に固体撮像素子2による被写体
像信号を繰り返して数多く得、前述したアクチュエータ
3x,3yの駆動による撮影光学レンズ1の変位制御を高速
度に応答性良く実行し、固体撮像素子2の撮像面におけ
る被写体像のずれを効果的に補正するものとなってい
る。
Incidentally, the high-speed driving of the solid-state imaging device 2 is, for example, 10 μSe
The imaging and the reading of the image signal are performed at a cycle of about c. As a result, even when the photographing operation period determined by the photometric system described above is as short as, for example, about 250 μSec, a large number of subject image signals by the solid-state imaging device 2 are repeatedly obtained within the period,
The displacement control of the photographing optical lens 1 by the 3x, 3y drive is executed at a high speed with a high response, and the displacement of the subject image on the imaging surface of the solid-state imaging device 2 is effectively corrected.

ところで上述した如く撮影光学レンズ1の変位制御の
下で、その撮像面におけるずれ補正された被写体像を高
速度に繰り返し撮像する固体撮像素子2から求められる
被写体像信号は、前述したようにビデオプロセッサ5に
より輝度信号Y,および色差信号(R−Y),(B−Y)
にそれぞれ変換され、更にA/D変換器6a,6b,6cを介して
ディジタル符号化されている。これらの各信号成分に対
応して設けられた出力画像信号生成用の3つのフレーム
メモリ11a,11b,11cは、前記A/D変換器6a,6b,6cを介して
ディジタル符号化された各信号成分を加算器12a,12b,12
cを介して取り込み、これを格納するものである。
By the way, under the displacement control of the photographing optical lens 1 as described above, the subject image signal obtained from the solid-state imaging device 2 that repeatedly captures the subject image whose displacement is corrected on the imaging surface at a high speed is output from the video processor as described above. 5, the luminance signal Y and the color difference signals (RY), (BY)
, And are digitally encoded through A / D converters 6a, 6b, 6c. Three frame memories 11a, 11b, and 11c for generating output image signals provided in correspondence with these respective signal components are provided with digitally encoded signals through the A / D converters 6a, 6b, and 6c. Add components 12a, 12b, 12
via c and store it.

しかして前記加算器12a,12b,12cは、各フレームメモ
リ11a,11b,11cにそれぞれ格納されている信号成分を読
み出し、新たに入力される信号成分をそれぞれ加算して
前記各フレームメモリ11a,11b,11cに再書き込みするこ
とで、前記フレームメモリ11a,11b,11c上に前記各信号
成分の累積値を得るものである。このフレームメモリ11
a,11b,11cと加算器12a,12b,12cとを用いた累積演算回路
は、メモリコントローラ13により前述したシャッタレリ
ーズ操作に同期し、且つ前述した測光系により求められ
る撮影動作期間に亘って駆動される。
Thus, the adders 12a, 12b, and 12c read out the signal components stored in the frame memories 11a, 11b, and 11c, respectively, add the newly input signal components, and add the respective signal components to the frame memories 11a, 11b. , 11c to obtain the accumulated values of the respective signal components on the frame memories 11a, 11b, 11c. This frame memory 11
The cumulative operation circuit using the a, 11b, 11c and the adders 12a, 12b, 12c is driven by the memory controller 13 in synchronization with the shutter release operation described above and for the photographing operation period obtained by the photometric system described above. Is done.

このようにして前述した如く高速度に繰り返し撮像さ
れる被写体像信号の前記輝度信号Y,および色差信号(R
−Y),(B−Y)の累積加算値を求めることで、個々
の被写体像信号のレベルが増大され、そのダイナミック
レンジの拡大が図られる。
As described above, the luminance signal Y and the color difference signal (R) of the subject image signal repeatedly imaged at a high speed as described above.
By calculating the cumulative addition value of (−Y) and (B−Y), the level of each subject image signal is increased, and the dynamic range is expanded.

即ち、この電子カメラ装置では前記固体撮像素子2に
よる被写体の電子的な撮像入力が高速度に繰り返し行わ
れており、個々の被写体撮像時における露光時間が、本
来的に必要な露光時間に比較して短く設定されている。
しかして固体撮像素子1における被写体光量に応じた信
号電荷の発生量はその露光時間に比例して増大し、上述
した如く露光時間を短く設定した場合には必然的に信号
電荷の発生量が少なくなる。この為、高速度に繰り返し
撮像される個々の被写体像信号のレベルが非常に低くな
ることが否めない。換言すれば露光時間が短い分だけ、
個々の被写体像信号の被写体における低輝度部分に対す
る露光量が不足することになる。
That is, in this electronic camera device, the electronic imaging input of the subject by the solid-state imaging device 2 is repeatedly performed at a high speed, and the exposure time at the time of imaging each subject is compared with the originally required exposure time. It is set short.
However, the amount of signal charge generated in the solid-state imaging device 1 according to the amount of light of the subject increases in proportion to the exposure time, and when the exposure time is set short as described above, the amount of signal charge generated is inevitably small. Become. Therefore, it is unavoidable that the level of each subject image signal repeatedly imaged at a high speed becomes extremely low. In other words, because the exposure time is short,
The exposure amount of each subject image signal for a low-luminance portion in the subject is insufficient.

このような露光量不足を解消するべく、この装置では
前述したずれ検出を行う為に高速度に繰り返し撮像入力
される個々の被写体像信号を複数回に亘って繰り返し累
積加算することで、その画像信号のレベルをその繰り返
し回数分だけ高め、実質的にそのダイナミックレンジの
拡大を図って、必要な信号レベルを確保するものとなっ
ている。従って、例えば測光系の制御により定まる撮影
動作期間内にn回に亘って画像信号を繰り返し読み出
し、その累積加算を行うことで個々の画像信号のダイナ
ミックレンジに比較して累積加算された画像信号のレベ
ル(ダイナミックレンジ)がn倍に拡大されて出力され
るようになっている。
In order to eliminate such a shortage of exposure, this apparatus repeatedly accumulates the individual subject image signals repeatedly imaged and input at a high speed in order to perform the above-described misalignment detection. The signal level is increased by the number of repetitions, and the dynamic range is substantially expanded to secure a necessary signal level. Therefore, for example, the image signal is repeatedly read out n times during the shooting operation period determined by the control of the photometric system, and the cumulative addition thereof is performed, whereby the image signal of the cumulatively added image signal is compared with the dynamic range of each image signal. The level (dynamic range) is output after being enlarged n times.

尚、固体撮像素子2による画像信号に混入する暗電流
のランダム性の雑音成分は、累積加算数nの場合に 倍になる。これに対して信号成分はn倍となる為、被写
体信号のSN比は 倍となる。
The noise component of the randomness of the dark current mixed into the image signal from the solid-state imaging device 2 is equal to the cumulative addition number n. Double. On the other hand, since the signal component becomes n times, the SN ratio of the subject signal is Double.

このようにして信号レベルの拡大がなされた前記輝度
信号Y,および色差信号(R−Y),(B−Y)が前記各
フレームメモリ11a,11b,11cからそれぞれ読み出され、
並列・直列(P/S)変換器14を介して圧縮器15に導か
れ、データ圧縮されて所定の記録媒体に記録される。ま
た或いはNTSC等のテレビジョン信号に変換されて出力さ
れ、TV受像機等による画像再生に供される。
The luminance signal Y and the color difference signals (RY) and (BY) whose signal levels have been expanded in this way are read from the frame memories 11a, 11b and 11c, respectively.
The data is guided to a compressor 15 via a parallel / serial (P / S) converter 14, where the data is compressed and recorded on a predetermined recording medium. Alternatively, it is converted into a television signal such as NTSC and output, and is used for image reproduction by a TV receiver or the like.

かくしてこのように構成された実施例装置によれば、
固体撮像素子2の撮像面に結像する被写体像のずれを効
果的に補正し、所謂画像ぶれのない解像度の高い撮影を
行うことが可能となる。
According to the embodiment apparatus thus configured,
The displacement of the subject image formed on the imaging surface of the solid-state imaging device 2 can be effectively corrected, and high-resolution shooting without so-called image blur can be performed.

ところで上述した装置では固体撮像素子2の撮像面に
結像する被写体像のx方向およびy方向へのずれについ
てのみ、その補正を行った。つまり被写体像の平行移動
成分に対するずれ補正を行った。またそのずれ補正を撮
影光学レンズ1の変位により実現した。
By the way, in the above-described apparatus, only the shift in the x direction and the y direction of the subject image formed on the imaging surface of the solid-state imaging device 2 is corrected. That is, the shift correction for the translation component of the subject image is performed. The shift correction is realized by the displacement of the photographing optical lens 1.

然し乍ら、被写体に対する撮影光学レンズ1と固体撮
像素子2の撮像面との光学的位置関係を補正するには、
固体撮像素子2を変位させることも可能である。また被
写体像のずれには回転ずれも存在することから、この回
転ずれに対する補正も行った方がより解像度(分解能)
の高い撮影を行うことが可能となる。
However, to correct the optical positional relationship between the imaging optical lens 1 and the imaging surface of the solid-state imaging device 2 with respect to the subject,
It is also possible to displace the solid-state imaging device 2. In addition, since there is a rotational deviation in the displacement of the subject image, it is better to perform correction for the rotational deviation to obtain more resolution (resolution).
It is possible to perform high-quality shooting.

第5図はこのような観点に立脚した本発明の実施例を
示す要部概略構成図である。尚、ここでは第1図に示し
た装置と同一部分については同一符号を付して示してあ
る。
FIG. 5 is a schematic configuration diagram of a main part showing an embodiment of the present invention based on such a viewpoint. Here, the same parts as those of the apparatus shown in FIG. 1 are denoted by the same reference numerals.

この実施例装置が特徴とするところは、固体撮像素子
2をx方向,y方向にそれぞれ変位可能で、且つその光軸
Mを中心として回転変位可能なxyθアクチュエータ20を
介して支持し、アクチュエータ駆動部21にて固体撮像素
子2を前記撮影光学レンズ1に対してx方向,y方向,お
よびθ方向にそれぞれ変位制御するように、その制御系
を構成した点にある。
The feature of this embodiment is that the solid-state imaging device 2 is supported via an xyθ actuator 20 which can be displaced in the x direction and the y direction, respectively, and which can be rotationally displaced about its optical axis M. The control system of the unit 21 is configured to control the displacement of the solid-state imaging device 2 with respect to the imaging optical lens 1 in the x direction, the y direction, and the θ direction.

即ち、この実施例における制御系は、前記固体撮像素
子2の撮像面中に、例えば第6図(a)(b)に示すよ
うにその光学的中心(光軸)Mを中心にして左右2つの
領域L,Rを設定し、これらの各領域L,R毎にそれぞれ独立
に被写体のずれ量を検出し、これらの各領域L,Rでのず
れ量に従って被写体像全体のx方向およびy方向への平
行変位量と、光軸Mを中心とする回転変位量θとをそれ
ぞれ求めるように構成される。
In other words, the control system in this embodiment is arranged such that, for example, as shown in FIGS. 6 (a) and 6 (b), the image pickup surface of the solid-state image pickup device 2 has an optical center (optical axis) M as a center. Two regions L and R are set, and the shift amount of the subject is detected independently for each of these regions L and R. According to the shift amount in each of these regions L and R, the x direction and the y direction of the entire subject image are , And a rotational displacement θ about the optical axis M.

具体的には上記各領域L,Rからそれぞれ繰り返し得ら
れる被写体像信号間のずれを各領域L,Rでの中心位置を
基準として前述したような相関演算により求め、前記領
域Lでの被写体のずれ量dxL,dyLと前記領域Rでの被写
体のずれ量dxR,dyRとをそれぞれ求める。
Specifically, the shift between the subject image signals repeatedly obtained from each of the regions L and R is obtained by the correlation calculation as described above with reference to the center position in each of the regions L and R, and the subject in the region L is obtained. The shift amounts dx L and dy L and the shift amounts dx R and dy R of the subject in the region R are obtained, respectively.

ここで上記ずれ量dxL,dyLで示される前記領域Lでの
被写体のずれのベクトルをfL、また上記ずれ量dxR,dyR
で示される前記領域Rでの被写体のずれのベクトルをfR
とすると、これらのずれのベクトルfL,fRは前記光軸M
の周りでの角度θの回転移動ベクトル成分RL,RRと平行
移動ベクトル成分Sとの和、つまり第7図に示すように fL=RL+S,fR=RR+S なるベクトル和として捕らえることができる。尚、上記
回転移動ベクトル成分RL,RRは、シャッタレリーズ操作
に伴うカメラの傾き等によって生じるものである。
Here, the displacement vector of the subject in the area L indicated by the displacement amounts dx L and dy L is represented by f L , and the displacement amounts dx R and dy R
Vector f R of the deviation of the subject in the in the region R shown
Then, the vectors f L and f R of these shifts are equal to the optical axis M.
7, the sum of the rotational motion vector components R L , R R and the translation vector component S of the angle θ around the angle θ, that is, the vector sum f L = R L + S, f R = R R + S as shown in FIG. Can be caught. Incidentally, the rotational movement vector components R L, R R is caused by the camera inclination, etc. with the shutter release operation.

しかしてこのようにして求められる上記各領域L,Rで
のずれ量は基本的には光軸Mを中心として対称であるこ
とから上記回転ベクトル成分RL,RRの間には RL+RR=0 なる関係が成立する。この結果、第7図に模式的に示す
ベクトル図からも明らかなように、被写体像全体のずれ
のベクトルは、 平行移動量;S=(fL+fR)/2 回転移動量;RL=(fL−fR)/2 として求めることが可能となる。従って上記平行移動量
Sをx方向およびy方向に分解すれば、その被写体像の
x方向およびy方向のずれ量をそれぞれ求めることが可
能となり、前述したようにしてそのずれ補正を行うこと
が可能となる。
Since the shift amounts in the respective regions L and R obtained in this manner are basically symmetrical with respect to the optical axis M, the difference between the rotation vector components R L and R R is R L + R. The relationship of R = 0 holds. As a result, as is clear from the vector diagram schematically shown in FIG. 7, the displacement vector of the entire subject image is represented by: parallel movement amount; S = (f L + f R ) / 2 rotation movement amount; R L = (F L −f R ) / 2. Therefore, if the parallel movement amount S is decomposed in the x direction and the y direction, it is possible to determine the displacement amounts of the subject image in the x direction and the y direction, respectively, and the displacement can be corrected as described above. Becomes

同時に被写体像の回転ずれ量に従って回転ずれに対す
る補正が行われる。この結果、被写体像に対するずれ補
正がより高精度に行われることになる。
At the same time, the correction for the rotational deviation is performed according to the rotational deviation amount of the subject image. As a result, the shift correction with respect to the subject image is performed with higher accuracy.

即ち、この実施例では前記固体撮像素子2により高速
度に繰り返し撮像される被写体像信号のディジタル変換
された輝度信号Yをエリア切替器22に導き、前述した各
領域L,Rの被写体像信号(部分画像信号)をそれぞれ抽
出する。そしてこれらの各領域L,Rの画像信号の最初の
1フレーム分をフレームメモリ7L,7Rにそれぞれ格納
し、その後、高速度に繰り返し前記固体撮像素子2から
読み出される前記各領域L,Rの信号との間で2次元相関
回路8L,8Rにてそれぞれ相関演算する。これらの2次元
相関回路8L,8Rにおける相関演算により前記各領域L,Rで
のずれ量(ベクトル)fL(dxL,dyL),fR(dxR,dyR)が
それぞれ求められることになる。
That is, in this embodiment, a digitally converted luminance signal Y of a subject image signal which is repeatedly imaged at a high speed by the solid-state imaging device 2 is guided to the area switch 22 and the above-described subject image signals of the respective regions L and R ( (Partial image signals). Then, the first one frame of the image signal of each of the regions L and R is stored in the frame memories 7L and 7R, respectively, and thereafter, the signals of the regions L and R read out from the solid-state imaging device 2 repeatedly at a high speed. The two-dimensional correlation circuits 8L and 8R respectively perform a correlation operation between them. The shift amounts (vectors) f L (dx L , dy L ) and f R (dx R , dy R ) in the respective regions L and R are obtained by the correlation operation in these two-dimensional correlation circuits 8L and 8R, respectively. become.

そこで前述した如く高速に繰り返し求められる前記各
領域L,Rの被写体像信号からそれぞれ求められる上記各
ずれ量fL(dxL,dyL),fR(dxR,dyR)の系列を補間回路9
Lx,9Ly,9Rx,9Ryを介してそれぞれ補間処理し、画素単位
以下の精度でずれ量を検出した後、これらのずれ量の情
報を減算器23a,23bおよび加算器23c,23dに入力し、その
回転ずれ量と平行移動ずれ量とをそれぞれ求める。
Therefore, as described above, the series of the shift amounts f L (dx L , dy L ) and f R (dx R , dy R ) obtained from the subject image signals of the regions L and R repeatedly obtained at high speed are interpolated. Circuit 9
After performing interpolation processing through Lx, 9Ly, 9Rx, and 9Ry, respectively, and detecting a shift amount with an accuracy equal to or less than a pixel unit, information about these shift amounts is input to subtractors 23a, 23b and adders 23c, 23d, The amount of rotation shift and the amount of translation shift are obtained, respectively.

具体的には減算器23a,23bにて dxL−dxR,dyL−dyR をそれぞれ求め、係数器24a,24bにてこれらの各値をそ
れぞれ1/2にした後、回転量検出部25にて なる演算を行ってその回転ずれ量|RL|を求める。但し、
ここではRLはベクトル量であり、回転ずれ量はスカラー
量であるので|RL|を求めることになる。そしてこの回転
ずれ量|RL|に従ってアクチュエータ駆動部21を制御し、
前記xyθアクチュエータ20を駆動する。このxyθアクチ
ュエータ20の駆動により前記固体撮像素子2をその光軸
周りに回転変位させて回転ずれに対する補正を行う。
Specifically, dx L −dx R and dy L −dy R are obtained by subtracters 23a and 23b, respectively, and these values are halved by coefficient units 24a and 24b, respectively. At 25 The following calculation is performed to obtain the rotational deviation | RL |. However,
Here, RL is a vector amount, and the rotational deviation amount is a scalar amount, so | RL | is obtained. Then, the actuator drive unit 21 is controlled in accordance with the rotation deviation amount | R L |
The xyθ actuator 20 is driven. By driving the xyθ actuator 20, the solid-state imaging device 2 is rotationally displaced around its optical axis to correct for rotational deviation.

一方、加算器23c,23dにて前記各ずれ量から dxL+dxR,dyL+dyR をそれぞれ求める。そしてこれらの各値を係数器24c,24
dにてそれぞれ1/2にすることで、その平行移動量成分を
x方向およびy方向についてそれぞれ求める。
On the other hand, the adder 23c, dx L + dx R from the respective shift amounts at 23d, the dy L + dy R respectively obtained. Then, these values are converted to coefficient coefficients 24c, 24c.
By halving each in d, the translation amount components are obtained in the x and y directions, respectively.

このようにして求められるずれ量に従って前記アクチ
ュエータ駆動部21を作動させ、前述したxyθアクチュエ
ータ20を駆動して前記固体撮像素子2をx方向およびy
方向に変位させて被写体像の平行移動ずれ分を補正す
る。
The actuator driving unit 21 is operated in accordance with the amount of deviation obtained in this manner, and the xyθ actuator 20 is driven to move the solid-state imaging device 2 in the x direction and y direction.
To correct the parallel displacement of the subject image.

このような制御系を構築することにより、固体撮像素
子2の撮像面に結像する被写体像のxy方向のずれのみな
らず、その回転ずれをも効果的に補正し、所謂画像ぶれ
のない解像度の高い撮影を行うことが可能となる。
By constructing such a control system, not only the displacement in the xy direction of the subject image formed on the imaging surface of the solid-state imaging device 2 but also the rotational displacement thereof can be effectively corrected, and the resolution without so-called image blur can be obtained. It is possible to perform high-quality shooting.

ところで上述した実施例では固体撮像素子2による撮
像画面中の光軸Mを中心とする左右2つの領域L,Rでの
ずれ量検出結果に従って画像全体の平行移動量と回転移
動量とを求めたが、上記画像中の任意の1点に着目して
xy方向への変位量と回転変位量とを求めることも可能で
ある。
In the above-described embodiment, the translation amount and the rotational movement amount of the entire image are obtained in accordance with the results of the detection of the shift amounts in the two left and right regions L and R around the optical axis M in the imaging screen by the solid-state imaging device 2. Focus on any one point in the above image
It is also possible to obtain the amount of displacement in the xy direction and the amount of rotational displacement.

この場合には、例えば第8図に示すようにその制御系
が構成される。即ち、固体撮像素子2にて撮像された被
写体像信号の輝度信号Yを格納する2つのフレームメモ
リ7a,7bを設け、第1のフレームメモリ7aには1フレー
ム目の画像信号を格納する。また第2のフレームメモリ
7bには2フレーム目以降の画像信号を次々と格納するよ
うにする。
In this case, for example, the control system is configured as shown in FIG. That is, two frame memories 7a and 7b for storing a luminance signal Y of a subject image signal captured by the solid-state imaging device 2 are provided, and the first frame memory 7a stores an image signal of a first frame. Also a second frame memory
7b stores the image signals of the second and subsequent frames one after another.

そして第2のフレームメモリ7bからはアドレス制御部
27の制御の下で任意の位置の画像信号を読み出し、回転
角検出部26にて前記第1のフレームメモリ7aに格納され
ている画像信号との相関が最大となる回転角θと、その
時の相関値φ(θ)とを求めるようにする。具体的には
回転角検出部26にて前記第1のフレームメモリ7aに格納
されている画像信号と、アドレス制御されて第2のフレ
ームメモリ7bから読み出される任意の位置(x,y)の画
像信号との相関演算を行い、その出力である回転角θと
相関値φ(θ)とをピーク検出器28にてモニタリング
し、その相関値φ(θ)が最大となるときの回転角θを
回転ずれ量として求める。そしてこの時、前記第2のフ
レームメモリ7bから読み出されている画像信号の位置
(x,yアドレス)をxy方向への平行移動量として求め
る。
Then, an address control unit is provided from the second frame memory 7b.
Under the control of 27, an image signal at an arbitrary position is read, and a rotation angle θ at which the correlation with the image signal stored in the first frame memory 7a is maximized by the rotation angle detection unit 26, The correlation value φ (θ) is obtained. Specifically, the image signal stored in the first frame memory 7a by the rotation angle detection unit 26 and the image at an arbitrary position (x, y) read from the second frame memory 7b under address control A correlation operation with the signal is performed, and the output rotation angle θ and the correlation value φ (θ) are monitored by the peak detector 28, and the rotation angle θ when the correlation value φ (θ) becomes the maximum is calculated. It is obtained as the amount of rotation deviation. At this time, the position (x, y address) of the image signal read from the second frame memory 7b is determined as the amount of translation in the xy direction.

このようにして求められる回転ずれ量θと、xy方向へ
のずれ量とを用いて前述したアクチュエータ駆動部21を
作動させ、XYθアクチュエータ20を駆動することにより
固体撮像素子2が変位制御され、そのずれ補正が行われ
ることになる。
The solid-state imaging device 2 is displaced by driving the XYθ actuator 20 by operating the above-described actuator driving unit 21 using the rotation deviation amount θ thus obtained and the deviation amount in the xy direction, and The shift correction is performed.

ここで上記回転角検出部26における回転角検出の演算
について簡単に説明する。
Here, the calculation of the rotation angle detection in the rotation angle detection unit 26 will be briefly described.

今、前記第1のフレームメモリ7aに格納されている画
像をf1(r1,θ1),第2のフレームメモリ7bに格納さ
れている画像をf2(r2,θ2)とする。またこれらの各
画像をそれぞれ半径方向に積分した画像をf1′,f2′と
すると、これらの積分画像f1′,f2′はそれぞれ次のよ
うに表される。
Now, assume that the image stored in the first frame memory 7a is f1 (r1, θ1) , and the image stored in the second frame memory 7b is f2 (r2, θ2) . Assuming that the images obtained by integrating these images in the radial direction are f1 'and f2', these integrated images f1 'and f2' are expressed as follows.

しかして第1の画像f1(r1,θ1)に対して第2の画
像f2(r2,θ2)が角度θだけ回転しているものとす
ると、これらの画像間の相関出力 φ(θ)=f1′(θ)*f2′(θ) が最大となる角度θは前記角度θとなる。従って上記
画像間の相関値が最大となるときの角度θを求めれば、
その角度θは上述した2つの画像間の回転ずれ量を示す
ことになる。尚、この相関演算は1次元演算により実現
することができ、比較的少ない計算量で簡易に実行する
ことができる。
Thus the first image f1 (r1, θ1) a second image f2 (r2, θ2) with respect to when the assumed to be rotated by an angle theta 0, the correlation output between these images φ (θ) = f1 '(θ) * f2' (θ) is the maximum angle θ becomes the angle θ 0. Therefore, if the angle θ at which the correlation value between the images becomes maximum is obtained,
The angle θ indicates the amount of rotational deviation between the two images described above. Note that this correlation operation can be realized by a one-dimensional operation, and can be easily executed with a relatively small amount of calculation.

またこのようなずれ量検出をずれ検出専用の撮像素子
を用いて行うような場合には、例えば第9図に示すよう
に半径方向にその撮像画像信号を加算して出力し得るよ
うな画素配列(撮像アレイ構造)を持つ固体撮像素子を
用いれば良い。
In the case where such a shift amount is detected using an image sensor dedicated to shift detection, for example, as shown in FIG. 9, a pixel array capable of adding and outputting the picked-up image signals in the radial direction. What is necessary is just to use the solid-state image sensor which has (imaging array structure).

またこのような回転角検出については、例えば下記の
文献 『Casasent D and D.Psaltis(1976)“Position,Rotat
ion and scale invariant optical correction"Appl.Op
t.15 1705−1799』 等に紹介されるような2次元Mellin変換を応用して実現
することも可能である。
For such rotation angle detection, see, for example, the following document “Casasent D and D. Psaltis (1976)“ Position, Rotat.
ion and scale invariant optical correction "Appl.Op
t.15 1705-1799 ”and the like can be realized by applying a two-dimensional Mellin transform.

尚、本発明は上述した実施例に限定されるものではな
い。例えば被写体像のずれに対する検出の手法や、その
ずれ補正の手法は実施例に示した手法を適宜組み合わせ
て採用するようにすれば良い。また撮影レンズを着脱自
在に構成するような場合には、撮影光学レンズ1を変位
させる為の機能を撮影レンズ側に内蔵させることも可能
であるが、ボディ側のレンズマウント部等に組み込むこ
とも可能である。更には被写体像のずれを検出する為の
固体撮像素子を撮影レンズ側に個々に組み込むようにし
ても良いが、ボディ側に固定的に設けておくことも勿論
可能である。
Note that the present invention is not limited to the above-described embodiment. For example, a method of detecting a shift of the subject image and a method of correcting the shift may be appropriately combined with the methods described in the embodiments. When the photographing lens is configured to be detachable, a function for displacing the photographing optical lens 1 can be built in the photographing lens side, but it can also be incorporated in a lens mount portion or the like on the body side. It is possible. Further, a solid-state imaging device for detecting a shift of a subject image may be individually incorporated in the photographing lens side, but it is of course possible to fixedly provide the solid-state imaging device in the body side.

またカメラ装置本体の筐体構造を二重化し、被写体に
対して撮影光学レンズ1と固体撮像素子とを一体的に変
位させてずれ補正を行うようにしても良く、電子的に撮
像入力される被写体像信号を電子的にずれ補正すること
も可能である。
In addition, the housing structure of the camera device main body may be doubled, and the shift correction may be performed by integrally displacing the photographing optical lens 1 and the solid-state image sensor with respect to the subject. It is also possible to electronically correct the image signal.

更には撮像素子としてランダムアクセス可能なものを
用い、前述した領域L,Rの部分画像を選択的に読み出す
ように構成することも可能である。また固体撮像素子と
して非破壊型のものを用い、固体撮像素子自体でその撮
像信号を累積していくようにすれば、前述した加算器と
フレームメモリとを用いた画像信号の累積加算処理が不
要となる。その他、本発明はその要旨を逸脱しない範囲
で種々変形して実施することができる。
Furthermore, it is also possible to use a randomly accessible imaging device and selectively read out the partial images of the regions L and R described above. In addition, if a non-destructive solid-state imaging device is used and the imaging signal is accumulated by the solid-state imaging device itself, the above-described cumulative addition processing of the image signal using the adder and the frame memory is unnecessary. Becomes In addition, the present invention can be variously modified and implemented without departing from the gist thereof.

[発明の効果] 以上説明したように、本発明によれば、撮影光学レン
ズの光軸を中心にした左右2つの領域L,Rでのずれ量は
光軸Mを中心として対象である点に着目し、これらの2
つのそれぞれの領域について求めた被写体のずれのベク
トルfLおよびfRに基づいて、平行移動ベクトルSおよび
回転移動ベクトルRを求め、これらの平行移動ベクトル
Sおよび前記回転移動ベクトルRに基づいて撮影光学レ
ンズと撮像素子の画像面との光学的位置関係を変位させ
て、撮像素子の撮像面に結像される被写体像のずれを補
正するようにしたので、簡単な演算により撮像面に結像
される被写体像のずれを高精度に求め、この被写体像の
ずれに基づいて解像度の高い撮影を簡単に行なうことが
できる。
[Effects of the Invention] As described above, according to the present invention, the amount of deviation between the two left and right regions L and R about the optical axis of the photographing optical lens is a point of interest about the optical axis M. Focus on these two
One of the basis of the vector f L and f R of the deviation of the subject obtained for each region, determine the translation vector S and rotational movement vectors R, shooting on the basis of these translation vector S and the rotational moving vector R optical The optical positional relationship between the lens and the image plane of the image sensor is displaced to correct the displacement of the subject image formed on the image plane of the image sensor, so that the image is formed on the image plane by a simple calculation. The displacement of the subject image can be determined with high accuracy, and high-resolution shooting can be easily performed based on the displacement of the subject image.

【図面の簡単な説明】[Brief description of the drawings]

図は本発明に係る電子カメラ装置について示すもので、
第1図は本発明に関連する装置の要部概略構成図、第2
図は固体撮像素子から求められる画像信号について示す
図、第3図は信号相関から求められるずれ量を説明する
為の図、第4図は実施例装置の動作タイミングを示す
図、第5図は本発明の実施例装置の概略構成図、第6図
は本発明の実施例におけるずれ検出の為の部分画像領域
の関係を示す図、第7図は第6図に示す部分画像領域か
らの画像信号を用いたずれ量検出の原理を説明する為の
図、第8図は本発明に関連する他の装置の要部概略構成
図、第9図は回転角検出演算に用いられる固体撮像素子
の構成例を示す図である。 1……撮影光学レンズ、2……固体撮像素子、3x,3y…
…アクチュエータ、5……ビデオプロセッサ、6a,6b,6c
……A/D変換器、7,7L,7R,7a,7b……フレームメモリ、8,
8L,8R……2次元相関回路、9x,9y,9Lx,9Ly,9Rx,9Ry……
補間回路、10x,10y……アクチュエータ駆動部、11a,11
b,11c……フレームメモリ、12a,12b,12c……加算器、13
……メモリコントローラ、14……P/S変換器、15……圧
縮器、20……xyθアクチュエータ、21……アクチュエー
タ駆動部、22……エリア切換器、23a,23b……減算器、2
3c,23d……加算器、24a,24b,24c,24d……係数器、25…
…回転量検出部、26……回転角検出部、27……アドレス
制御部、28……ピーク検出回路。
The figure shows the electronic camera device according to the present invention,
FIG. 1 is a schematic diagram of a main part of an apparatus related to the present invention, and FIG.
FIG. 3 is a diagram showing an image signal obtained from a solid-state image sensor, FIG. 3 is a diagram for explaining a shift amount obtained from a signal correlation, FIG. 4 is a diagram showing operation timing of the embodiment device, and FIG. FIG. 6 is a schematic configuration diagram of an apparatus according to an embodiment of the present invention, FIG. 6 is a diagram showing a relationship between partial image regions for detecting a shift in the embodiment of the present invention, and FIG. FIG. 8 is a diagram for explaining the principle of detection of a shift amount using a signal, FIG. 8 is a schematic configuration diagram of a main part of another device related to the present invention, and FIG. It is a figure showing the example of composition. 1 ... optical lens, 2 ... solid-state image sensor, 3x, 3y ...
... actuator, 5 ... video processor, 6a, 6b, 6c
…… A / D converter, 7,7L, 7R, 7a, 7b …… Frame memory, 8,
8L, 8R ... 2D correlation circuit, 9x, 9y, 9Lx, 9Ly, 9Rx, 9Ry ...
Interpolation circuits, 10x, 10y ... Actuator drive units, 11a, 11
b, 11c: Frame memory, 12a, 12b, 12c: Adder, 13
…… Memory controller, 14… P / S converter, 15… Compressor, 20… xy θ actuator, 21… Actuator drive unit, 22… Area switcher, 23a, 23b… Subtractor, 2
3c, 23d …… Adder, 24a, 24b, 24c, 24d …… Coefficient unit, 25…
... Rotation amount detection unit, 26 ... Rotation angle detection unit, 27 ... Address control unit, 28 ... Peak detection circuit.

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭61−248681(JP,A) 特開 平1−154684(JP,A) 特開 平3−68916(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 5/222 - 5/243 ────────────────────────────────────────────────── ─── Continuation of the front page (56) References JP-A-61-248681 (JP, A) JP-A-1-154684 (JP, A) JP-A-3-68916 (JP, A) (58) Field (Int.Cl. 7 , DB name) H04N 5/222-5/243

Claims (1)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】被写体像を電子的に撮像する撮像素子と、 この撮像素子の撮像面に被写体像を結像する為の撮影光
学レンズと、 前記撮像素子を高速駆動して被写体像の電子的な撮像を
繰り返し行なわせる撮像素子駆動手段と、 前記撮像素子の撮像面に前記撮影光学レンズの光軸を中
心にした左右2つの領域L、Rを設定し、これらの各領
域毎に被写体像のずれのベクトルfLおよびfRを求める手
段と、 前記ずれのベクトルfLおよびfRに基づいて、光軸と直交
する面内での平行移動ベクトルSおよび前記光軸の周り
での回転移動ベクトルRを求める手段と、 前記平行移動ベクトルSおよび前記回転移動ベクトルR
に基づいて、撮像素子の撮像面に結像される被写体像の
ずれを補正する補正手段と、 を具備したことを特徴とする電子カメラ装置。
An image pickup element for electronically picking up an image of a subject; an imaging optical lens for forming an image of the object on an image pickup surface of the image pickup element; Device driving means for repeatedly performing various image capturing operations; and two left and right regions L and R centered on the optical axis of the photographing optical lens are set on the imaging surface of the image sensor. means for determining a vector f L and f R of the deviation, based on the vector f L and f R of the deviation, the rotation motion vector around the translation vector S and the optical axis in a plane perpendicular to the optical axis Means for determining R, said translation vector S and said rotation vector R
An electronic camera device comprising: a correction unit configured to correct a displacement of a subject image formed on an imaging surface of an imaging element based on the following.
JP01343615A 1989-12-28 1989-12-28 Electronic camera device Expired - Fee Related JP3109808B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP01343615A JP3109808B2 (en) 1989-12-28 1989-12-28 Electronic camera device
EP90125675A EP0435319B1 (en) 1989-12-28 1990-12-28 Camera apparatus having drift detecting unit
DE69030165T DE69030165T2 (en) 1989-12-28 1990-12-28 Camera with drift detector
US08/208,051 US5416557A (en) 1989-12-28 1994-03-08 Camera apparatus having drift detecting unit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP01343615A JP3109808B2 (en) 1989-12-28 1989-12-28 Electronic camera device

Publications (2)

Publication Number Publication Date
JPH03201877A JPH03201877A (en) 1991-09-03
JP3109808B2 true JP3109808B2 (en) 2000-11-20

Family

ID=18362905

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01343615A Expired - Fee Related JP3109808B2 (en) 1989-12-28 1989-12-28 Electronic camera device

Country Status (1)

Country Link
JP (1) JP3109808B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009253579A (en) * 2008-04-04 2009-10-29 Panasonic Corp Image capturing apparatus, image processing apparatus, image processing method, and image processing program

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003021854A (en) * 2001-07-06 2003-01-24 Canon Inc Camera and image blur correction device
WO2004062270A1 (en) * 2002-12-26 2004-07-22 Mitsubishi Denki Kabushiki Kaisha Image processor
JPWO2006043315A1 (en) * 2004-10-20 2008-05-22 三菱電機株式会社 IMAGING DEVICE AND PORTABLE DEVICE HAVING IMAGING DEVICE
JP4541335B2 (en) * 2006-09-21 2010-09-08 三菱電機株式会社 Image processing device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009253579A (en) * 2008-04-04 2009-10-29 Panasonic Corp Image capturing apparatus, image processing apparatus, image processing method, and image processing program

Also Published As

Publication number Publication date
JPH03201877A (en) 1991-09-03

Similar Documents

Publication Publication Date Title
US7586518B2 (en) Imaging technique performing focusing on plurality of images
JP5284954B2 (en) Method and system for image stabilization
JP5226600B2 (en) Image deformation apparatus and operation control method thereof
EP1501288B1 (en) CMOS image sensor using high frame rate with frame addition and movement compensation
JP5167094B2 (en) Imaging apparatus and imaging method
EP0435319B1 (en) Camera apparatus having drift detecting unit
JP2014057141A (en) Image processing device, method and program, and imaging apparatus including image processing device
JP6124720B2 (en) Imaging apparatus, image processing method, and image processing program
JP2019109426A (en) Imaging apparatus and its control method
JP2008277896A (en) Imaging device and imaging method
KR20070120012A (en) Photographing apparatus, and photographing method
JP3109808B2 (en) Electronic camera device
JPH11155096A (en) Image pickup device, computer readable storage medium and image processor
JPH11258491A (en) Focus detecting device and its method and storage medium readable through computer
JP2018007205A (en) Image processing apparatus, imaging apparatus, control method for image processing apparatus, and program
JP3105515B2 (en) Electronic camera
JP2804782B2 (en) Imaging device
JP6728005B2 (en) Imaging device, imaging method, and program
KR100819807B1 (en) Image pickup apparatus and method of picking up images
JP3024979B2 (en) Camera device
JPH11258489A (en) Focus detecting device and its method and storage medium readable through computer
WO2023188044A1 (en) Imaging device and control method therefor, and image processing device and method
US20230088836A1 (en) Image processing device and method, and program
JP4533175B2 (en) Imaging device
JPH04211582A (en) Image pickup device

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080914

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080914

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090914

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees