JP6555937B2 - Image processing apparatus, control method therefor, and imaging apparatus - Google Patents
Image processing apparatus, control method therefor, and imaging apparatus Download PDFInfo
- Publication number
- JP6555937B2 JP6555937B2 JP2015116024A JP2015116024A JP6555937B2 JP 6555937 B2 JP6555937 B2 JP 6555937B2 JP 2015116024 A JP2015116024 A JP 2015116024A JP 2015116024 A JP2015116024 A JP 2015116024A JP 6555937 B2 JP6555937 B2 JP 6555937B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- shake
- image
- prediction
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は画像処理装置及びその制御方法、撮像装置に関し、更に詳しくは、撮像装置に設けられた撮像素子から得た信号に基づいて制御を行う画像処理装置及びその制御方法、撮像装置に関する。 The present invention relates to an image processing apparatus, a control method therefor, and an imaging apparatus, and more particularly to an image processing apparatus that performs control based on a signal obtained from an image sensor provided in the imaging apparatus, a control method therefor, and an imaging apparatus.
近年、撮像素子の高機能化が進展しており、画素数、フレームレートの向上などが図られている。また、撮像素子から得られる信号を利用して複数の画像間で対象物の動きを示すベクトルデータ（オプティカルフロー）を求める方法が知られている。更に、オプティカルフローに基づいて複数画像の合成や、移動物体の検知を行う技術が知られている。なお、オプティカルフローの求め方としては、非特許文献１に開示された方法を用いることができる。 In recent years, higher functionality of image sensors has been developed, and the number of pixels and the frame rate have been improved. There is also known a method for obtaining vector data (optical flow) indicating the motion of an object between a plurality of images using a signal obtained from an image sensor. Further, a technique for synthesizing a plurality of images and detecting a moving object based on an optical flow is known. As a method for obtaining the optical flow, the method disclosed in Non-Patent Document 1 can be used.
一方で、信号処理による時系列的な信号の予測や、予測に基づく制御方法についても提案がなされている。特許文献１では、振れ検知をした値に基づいて局所的に直線近似して振れ補正を行うシステムが提案されている。また、特許文献２では、フォーカス方向の振れ検出を行い、露光開始指示から露光開始までの振れを予測して制御する方法が開示されている。 On the other hand, time-series signal prediction by signal processing and a control method based on prediction have also been proposed. Patent Document 1 proposes a system that performs shake correction by locally approximating a straight line based on the value of shake detection. Further, Patent Document 2 discloses a method of performing shake detection in the focus direction and predicting and controlling shake from an exposure start instruction to exposure start.
特許文献１及び特許文献２においては、いわゆる手振れの検出を何らかのセンサで行うことを仮定しているが、手振れ補正を行った後の信号を観察していない。撮像素子からの信号は光学系の状態検出に適しているため、撮像素子からの信号を利用すれば、露光前に光学系の調整を行った場合に、その補正残りのみを観察することができる。しかしながら、特許文献１及び２に記載された方法では、このようなシステムに対応することはできない。 In Patent Document 1 and Patent Document 2, it is assumed that a so-called camera shake is detected by some sensor, but a signal after the camera shake correction is not observed. Since the signal from the image sensor is suitable for detecting the state of the optical system, if the signal from the image sensor is used, only the remaining correction can be observed when the optical system is adjusted before exposure. . However, the methods described in Patent Documents 1 and 2 cannot cope with such a system.
本発明は上記問題点を鑑みてなされたものであり、撮像素子の信号を利用してカメラシステムの構成部材を調整するシステムにおいて、撮像素子の信号が得られない場合にも、構成部材を適切に調整することを目的とする。 The present invention has been made in view of the above problems, and in a system that adjusts a component of a camera system using a signal of an image sensor, the component is appropriately selected even when a signal of the image sensor cannot be obtained. The purpose is to adjust.
上記目的を達成するために、本発明の画像処理装置は、撮像素子から予め決められた周期で出力される画像信号から、予め決められた情報を検知して、該検知した情報を示す検知信号を出力する検知手段と、前記検知した情報に基づいて駆動される、前記画像信号を得るための予め決められた構成部材の位置を示す位置信号を検出する検出手段と、前記位置信号と前記検知信号とを合成した合成信号に基づいて、前記構成部材を制御するための制御信号を生成する生成手段とを有する。 In order to achieve the above object, an image processing apparatus of the present invention detects predetermined information from an image signal output at a predetermined cycle from an image sensor, and a detection signal indicating the detected information. Detecting means for detecting the position signal indicating the position of a predetermined component for obtaining the image signal driven based on the detected information, the position signal and the detection And generating means for generating a control signal for controlling the constituent member based on a synthesized signal obtained by synthesizing the signal.
本発明によれば、撮像素子の信号を利用してカメラシステムの構成部材を調整するシステムにおいて、撮像素子の信号が得られない場合にも、構成部材を適切に調整することができる。 According to the present invention, in a system that adjusts a component of a camera system using a signal of an image sensor, the component can be appropriately adjusted even when a signal of the image sensor is not obtained.
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the accompanying drawings.
＜第１の実施形態＞
図１は、カメラシステムの概略構成を示すブロック図である。本実施形態のカメラシステムは、主に、カメラ本体１と、カメラ本体１に着脱可能なレンズユニット２とからなる。カメラ本体１とレンズユニット２は、電気接点１１を介して電気的に接続される。
<First Embodiment>
FIG. 1 is a block diagram showing a schematic configuration of the camera system. The camera system of the present embodiment mainly includes a camera body 1 and a lens unit 2 that can be attached to and detached from the camera body 1. The camera body 1 and the lens unit 2 are electrically connected via an electrical contact 11.
レンズユニット２は、光軸４上に配された、フォーカスレンズ及び振れ補正レンズ（構成部材）を含む複数のレンズ及び絞り（構成部材）からなる撮影光学系３、レンズシステム制御回路１２、レンズ駆動部１３、位置センサ１５を含む。位置センサ１５は、フォーカスレンズ及び振れ補正レンズの位置を検出して、それぞれのレンズ位置信号を出力する。 The lens unit 2 includes a photographing optical system 3, a lens system control circuit 12, and a lens drive, which are arranged on the optical axis 4 and include a plurality of lenses including a focus lens and a shake correction lens (component) and a diaphragm (component). Part 13 and position sensor 15. The position sensor 15 detects the positions of the focus lens and the shake correction lens and outputs respective lens position signals.
撮影光学系３を介して入射した被写体からの光は、撮像素子６（構成部材）の撮像面に結像される。撮像素子６は、入射した光を光電変換し、光量に応じた電気信号（画像信号）を出力する。 The light from the subject incident through the imaging optical system 3 forms an image on the imaging surface of the imaging element 6 (constituent member). The image sensor 6 photoelectrically converts incident light and outputs an electrical signal (image signal) corresponding to the amount of light.
画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路、色補間処理回路等を有し、所定の画素補間処理や色変換処理を行って、記録用の画像データ及び表示用の画像データを生成することができる。また、画像処理部７は、予め定められた方法を用いて、画像データや音声データの圧縮を行う。更に、Ａ／Ｄ変換された画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて、カメラシステム制御回路５が、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理を行うことができる。これにより、カメラシステム制御回路５は、撮影光学系３に含まれるフォーカスレンズの駆動量、及び、絞りの絞り値と、電荷蓄積時間とを求める。そして、電気接点１１を介してレンズシステム制御回路１２にフォーカスレンズの駆動量及び絞りの絞り値を通知する。レンズシステム制御回路１２は、通知されたフォーカスレンズの駆動量及び絞りの絞り値に基づいてレンズ駆動部１３を制御し、フォーカスレンズ及び絞りを駆動する。 The image processing unit 7 includes an A / D converter, a white balance adjustment circuit, a gamma correction circuit, an interpolation calculation circuit, a color interpolation processing circuit, and the like, and performs predetermined pixel interpolation processing and color conversion processing to perform recording. Image data for display and image data for display can be generated. Further, the image processing unit 7 compresses image data and audio data using a predetermined method. Further, predetermined arithmetic processing is performed using the A / D converted image data, and based on the obtained arithmetic result, the camera system control circuit 5 performs TTL (through-the-lens) autofocus (AF ) Processing and automatic exposure (AE) processing. Thereby, the camera system control circuit 5 obtains the driving amount of the focus lens included in the photographing optical system 3, the aperture value of the diaphragm, and the charge accumulation time. Then, the drive amount of the focus lens and the aperture value of the aperture are notified to the lens system control circuit 12 via the electrical contact 11. The lens system control circuit 12 controls the lens driving unit 13 based on the notified driving amount of the focus lens and the aperture value of the aperture, and drives the focus lens and the aperture.
また、画像処理部７は、撮像素子６から得られた画像信号に基づく複数の画像間の比較を行って、画像内の注目する領域の移動量を表す振れ検知信号を生成する、振れ検知部７０を含む。なお、振れ検知部７０における処理については、詳細に後述する。 In addition, the image processing unit 7 performs a comparison between a plurality of images based on the image signal obtained from the image sensor 6, and generates a shake detection signal that represents the amount of movement of the region of interest in the image. 70. The processing in the shake detection unit 70 will be described in detail later.
画像処理部７により生成された記録用の画像データは、カメラシステム制御回路５によりメモリ８に出力される。一方、表示用の画像データは、カメラシステム制御回路５により表示部９に表示される。また、表示部９を用いて、撮像した画像データを逐次表示することで、電子ビューファインダー（ＥＶＦ）機能を実現することができる。なお、表示部９は、カメラシステム制御回路５の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはカメラ本体１の電力消費を大幅に低減することができる。 The recording image data generated by the image processing unit 7 is output to the memory 8 by the camera system control circuit 5. On the other hand, the display image data is displayed on the display unit 9 by the camera system control circuit 5. Further, an electronic viewfinder (EVF) function can be realized by sequentially displaying captured image data using the display unit 9. The display unit 9 can arbitrarily turn on / off the display according to an instruction from the camera system control circuit 5. When the display is turned off, the power consumption of the camera body 1 can be significantly reduced. it can.
カメラシステム制御回路５は、一時的な記憶領域及び演算部を備え、カメラシステム全体を制御する。上述した制御に加え、撮像の際のタイミング信号などを生成して出力すると共に、ユーザによる外部操作に応じて、撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出部１０が検出すると、撮像素子６の駆動、及び、画像処理部７における画像信号処理及び圧縮処理、記録処理、表示部９に表示する情報の表示内容等を制御する。表示部９はタッチパネルになっており、操作検出部１０に接続されている。 The camera system control circuit 5 includes a temporary storage area and a calculation unit, and controls the entire camera system. In addition to the control described above, a timing signal at the time of imaging is generated and output, and the imaging system, the image processing system, and the recording / reproducing system are controlled according to an external operation by the user. For example, when the operation detection unit 10 detects that a shutter release button (not shown) is pressed, the image sensor 6 is driven and image signal processing and compression processing in the image processing unit 7, recording processing, and information displayed on the display unit 9 are displayed. Control the display content. The display unit 9 is a touch panel and is connected to the operation detection unit 10.
また、カメラシステム制御回路５は、振れ検知部７０から得られる振れ検知信号、及び、振れ補正レンズのレンズ移動量とに基づいて、後述する処理により、振れ補正レンズを駆動するための駆動データを求め、レンズユニット２に送信する。 Further, the camera system control circuit 5 generates drive data for driving the shake correction lens by a process described later based on the shake detection signal obtained from the shake detection unit 70 and the lens movement amount of the shake correction lens. Obtained and transmitted to the lens unit 2.
図２は、振れ検知部７０で行われる、複数の画像間の比較に基づく振れ検知信号である、オプティカルフローの求め方の一例を説明する図である。図２ではいわゆるブロックマッチング法について説明するが、他の方法を用いても良い。本実施形態では、振れ検知信号をライブビューや動画撮影時に求めるものとし、予め決められた周期で撮像素子６に蓄積され、読み出された画像信号が用いられる。 FIG. 2 is a diagram for explaining an example of how to obtain an optical flow that is a shake detection signal based on a comparison between a plurality of images performed by the shake detection unit 70. Although the so-called block matching method will be described with reference to FIG. 2, other methods may be used. In the present embodiment, the shake detection signal is obtained at the time of live view or moving image shooting, and an image signal that is stored in the image sensor 6 and read out at a predetermined cycle is used.
図２（ａ）は、撮像素子６から画像信号を読み出した直近の時刻をtnとした場合に、１周期前の時刻tn-1で読み出した画像、図２（ｂ）は時刻tnで読み出した画像を示す。また、図２（ｃ）は、時刻tn-1及びtnで読み出した画像を重ねて示し、検知されたベクトル（振れ検知信号）を模式的に示した図である。 FIG. 2A shows an image read at time t n−1 one cycle before, where t n is the latest time at which an image signal is read from the image sensor 6, and FIG. 2B shows time t n. The image read out is shown. FIG. 2C is a diagram schematically showing detected vectors (shake detection signals) by superimposing images read at times t n−1 and t n .
まず、図２（ａ）に示す時刻tn-1で読み出した画像において、被写体６２の領域のうち、領域６３に着目する。この領域６３の大きさは任意に設定可能であるが、例えば８ｘ８画素などとすればよい。この領域６３が、図２（ｂ）に示す時刻tnで取得した画像のどこに移動したかを、差分絶対値（ＳＡＤ）などを基準に探索する。具体的には、図２（ｂ）の画像内において、領域６３に位置が対応する領域６５を中心として、予め定められた範囲、矢印６６に示すように領域をずらしながらＳＡＤを計算する。ＳＡＤを基準に用いた場合は、最小となる位置が、領域６３に対応する領域６７となる。結果として、図２（ｃ）に示すように、２つの画像間で、図２（ａ）に示す領域６３はベクトル６９で示すように移動したことが分かる。 First, in the image read out at time t n-1 shown in FIG. The size of the region 63 can be arbitrarily set, but may be 8 × 8 pixels, for example. A search is made based on the absolute value of the difference (SAD) as to where the area 63 has moved in the image acquired at time t n shown in FIG. Specifically, in the image of FIG. 2B, the SAD is calculated while shifting the area as indicated by a predetermined range, arrow 66, with the area 65 corresponding to the area 63 as the center. When SAD is used as a reference, the minimum position is an area 67 corresponding to the area 63. As a result, as shown in FIG. 2C, it can be seen that the region 63 shown in FIG.
上記の動作を画面内に設定された複数の領域について行い、複数の移動ベクトルを検知する。その後、主被写体に注目してベクトルを選択をする、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）などの方法によって推定値を求める、などの方法で２つの画像間の移動ベクトルの評価値を１つ決める。なお、ＲＡＮＳＡＣは既知の技術であり、本願発明の要部ではないので説明は割愛する。このようにして、振れ検知部７０は振れ検知信号を求めて出力する。 The above operation is performed for a plurality of areas set in the screen, and a plurality of movement vectors are detected. Then, one evaluation value of the movement vector between the two images is determined by a method such as selecting a vector by paying attention to the main subject or obtaining an estimated value by a method such as RANSAC (Random Sample Consensus). Since RANSAC is a known technique and is not a main part of the present invention, a description thereof will be omitted. In this way, the shake detection unit 70 obtains and outputs a shake detection signal.
上記処理では、被写体が静止している場合、画像の移動は手振れによって生じているため、手振れが検知される。被写体が移動している場合は、被写体の移動と手振れを合わせた振れが検知される。 In the above processing, when the subject is stationary, the movement of the image is caused by camera shake, so that the camera shake is detected. When the subject is moving, a shake that combines the movement of the subject and camera shake is detected.
図３は、カメラシステム制御回路５に含まれる、第１の実施形態における振れ補正を行うための構成の一例を示すブロック図である。 FIG. 3 is a block diagram illustrating an example of a configuration for performing shake correction in the first embodiment, which is included in the camera system control circuit 5.
図３に示す構成では、Ｒｅｓｅｔ信号、Ｓ０信号、Ｓ１信号、Ｓ２信号に基づいて、動作の切り替えが行われる。Ｒｅｓｅｔ信号は例えば、カメラシステムの電源ＯＮ時やレンズ交換時などのタイミングで出力される。また、Ｓ０信号は、振れ補正処理を行わないことが指示された場合に出力される信号、Ｓ１信号は、振れ補正処理を行うことが指示された場合に出力される信号である。Ｓ２信号は、振れ補正処理を行うことが指示されている場合であって、振れ補正処理を行うことができない状態の時に出力される信号である。例えば、ユーザの操作に応じて、振れ補正処理がオフされると、Ｓ０信号が出力され、振れ補正処理がオンされると、Ｓ１信号が出力され、その状態で不図示のシャッターレリーズ釦が押下されると、Ｓ２信号が出力される。また、ユーザによる操作の他に、カメラシステムが三脚等に固定され、振れ補正処理が必要ないと判断された場合に、Ｓ０信号を出力し、振れ補正処理が必要であると判断された場合にＳ１信号を出力するような制御としても良い。なお、Ｒｅｓｅｔ信号、Ｓ０信号、Ｓ１信号、Ｓ２信号が出力される場合は、上述した例に限られるものではなく、適宜設定することが可能である。 In the configuration shown in FIG. 3, the operation is switched based on the Reset signal, the S0 signal, the S1 signal, and the S2 signal. The Reset signal is output, for example, at timing such as when the camera system is turned on or when a lens is replaced. The S0 signal is a signal that is output when it is instructed not to perform shake correction processing, and the S1 signal is a signal that is output when it is instructed to perform shake correction processing. The S2 signal is a signal that is output when it is instructed to perform shake correction processing and cannot perform shake correction processing. For example, when the shake correction process is turned off according to the user's operation, the S0 signal is output. When the shake correction process is turned on, the S1 signal is output, and a shutter release button (not shown) is pressed in this state. Then, the S2 signal is output. In addition to the operation by the user, when the camera system is fixed to a tripod or the like and it is determined that the shake correction process is not necessary, the S0 signal is output, and when it is determined that the shake correction process is necessary. It is good also as control which outputs S1 signal. In addition, when a Reset signal, S0 signal, S1 signal, and S2 signal are output, it is not restricted to the example mentioned above, It can set suitably.
図３において、ゲイン調整部３０は、位置センサ１５から出力された、異なる時間に取得した複数のレンズ位置信号を比較することによりレンズの移動量を求め、求めたレンズの移動量を撮像素子６における画角の変化量に換算する。レンズの移動量と撮像素子６における画角の変化量との関係は光学系の特性に依存しており、これらの情報に基づいて、撮像素子６における画角の変化量を求め、加算器２２に出力する。 In FIG. 3, the gain adjustment unit 30 obtains a lens movement amount by comparing a plurality of lens position signals output from the position sensor 15 and acquired at different times, and the obtained lens movement amount is obtained by the imaging device 6. It is converted into the amount of change in the angle of view. The relationship between the amount of movement of the lens and the amount of change in the angle of view in the image sensor 6 depends on the characteristics of the optical system. Based on this information, the amount of change in the angle of view in the image sensor 6 is obtained, and the adder 22 Output to.
加算器２２では、ゲイン調整部３０から得られた画角の変化量と、振れ検知部７０からの振れ検知信号とを加算する。このように加算することにより、振れ補正処理を行っていない場合、即ち、振れ補正レンズの中心が光軸と一致している、基準位置にある場合の振れ量u(m)（合成信号）を得ることができる。 The adder 22 adds the amount of change in the angle of view obtained from the gain adjustment unit 30 and the shake detection signal from the shake detection unit 70. By adding in this way, the shake amount u (m) (synthesized signal) when the shake correction process is not performed, that is, when the center of the shake correction lens is at the reference position is coincident with the optical axis. Can be obtained.
予測信号生成部２３は、入力した振れ量u(m)に基づいて現在の振れ量を予測し、予測した振れ量を示す振れ予測信号を出力するもので、Ｒｅｓｅｔ信号、Ｓ０信号、Ｓ１信号、Ｓ２信号に基づいて動作の切り替えが行われる。なお、予測信号生成部２３の内部構成と具体的な動作に関しては、図４を参照して後述する。 The prediction signal generation unit 23 predicts the current shake amount based on the input shake amount u (m), and outputs a shake prediction signal indicating the predicted shake amount. The reset signal, the S0 signal, the S1 signal, The operation is switched based on the S2 signal. The internal configuration and specific operation of the prediction signal generator 23 will be described later with reference to FIG.
リミッタ２４は、予測信号生成部２３により得られた振れ予測信号の上限及び下限を設定し制限する。一般的に、予測に基づく処理は時間の経過とともに予測の精度が下がるため、予め予測信号生成部２３からの振れ予測信号の上限及び下限を設定しておく。その場合、予め決められた振れ予測信号の上限及び下限を設定しておいたり、Ｓ２信号が入力されてからの時間に応じて振れ予測信号の上限及び下限を設定したり、電荷蓄積時間に応じて振れ予測信号の上限及び下限を設定するなどの方法が考えられる。そして、設定された上限または下限を超える振れ予測信号を、上限または下限で打ち切る処理を行う。なお、リミッタ２４は本願発明において必須の構成ではない。 The limiter 24 sets and limits the upper limit and the lower limit of the shake prediction signal obtained by the prediction signal generation unit 23. In general, since the accuracy of prediction of processing based on prediction decreases with time, an upper limit and a lower limit of a shake prediction signal from the prediction signal generation unit 23 are set in advance. In that case, an upper limit and a lower limit of a predetermined shake prediction signal are set, an upper limit and a lower limit of the shake prediction signal are set according to a time after the S2 signal is input, and a charge accumulation time is set. For example, a method of setting an upper limit and a lower limit of the shake prediction signal can be considered. And the process which cuts off the shake prediction signal exceeding the set upper limit or lower limit at the upper limit or the lower limit is performed. The limiter 24 is not an essential component in the present invention.
スイッチ２５は、Ｓ０信号、Ｓ１信号、Ｓ２信号によって切り替え制御される。Ｓ０信号またはＳ１信号が入力されると、加算器２２の信号を選択し、Ｓ２信号が入力されると、リミッタ２４の信号を選択する。制御部２６では、スイッチ２５により選択された信号に対して、フィードバック系が安定するようにゲイン及び位相の補償を行う。 The switch 25 is switch-controlled by the S0 signal, the S1 signal, and the S2 signal. When the S0 signal or S1 signal is input, the signal of the adder 22 is selected, and when the S2 signal is input, the signal of the limiter 24 is selected. The control unit 26 performs gain and phase compensation for the signal selected by the switch 25 so that the feedback system is stabilized.
また、スイッチ２７はＳ０信号、Ｓ１信号、Ｓ２信号によって切り替え制御される。Ｓ０信号が入力されると、接地部２８に接続される。これにより、撮影光学系３の駆動は停止され、振れ補正は行われない。Ｓ１信号またはＳ２信号が入力されるとスイッチ２７が制御部２６に接続するように切り替わり、制御部２６からの制御信号に応じて振れ補正レンズが駆動される。 The switch 27 is switch-controlled by the S0 signal, the S1 signal, and the S2 signal. When the S0 signal is input, the signal is connected to the ground unit 28. As a result, the driving of the photographing optical system 3 is stopped and no shake correction is performed. When the S1 signal or the S2 signal is input, the switch 27 is switched to connect to the control unit 26, and the shake correction lens is driven in accordance with the control signal from the control unit 26.
上記構成及び制御により、Ｓ０信号が入力されている場合には、接地レベルの信号が振れ補正レンズの制御信号として出力され、Ｓ１信号が入力されている場合には、加算器２２から出力された振れ量u(m)に基づく信号が制御信号として出力される。また、Ｓ２信号が入力されている場合には、予測信号生成部２３により推定された振れ量に基づく信号が振れ補正レンズの制御信号として出力される。 With the above configuration and control, when the S0 signal is input, a ground level signal is output as a shake correction lens control signal, and when the S1 signal is input, it is output from the adder 22. A signal based on the shake amount u (m) is output as a control signal. When the S2 signal is input, a signal based on the shake amount estimated by the prediction signal generation unit 23 is output as a shake correction lens control signal.
次に、予測信号生成部２３の構成及び処理について説明する。図４は、第１の実施形態におけるカメラシステム制御回路５に含まれる予測信号生成部２３の構成例を示すブロック図である。上述したように、加算器２２から出力された振れ量u(m)が、予測信号生成部２３に入力する。なお、かっこ内のmはmサンプル目であることを示す。 Next, the configuration and processing of the prediction signal generation unit 23 will be described. FIG. 4 is a block diagram illustrating a configuration example of the prediction signal generation unit 23 included in the camera system control circuit 5 according to the first embodiment. As described above, the shake amount u (m) output from the adder 22 is input to the prediction signal generation unit 23. Note that m in parentheses indicates the mth sample.
入力した振れ量u(m)は、直列に接続された複数の遅延器３１（z-1）によって、それぞれ１周期ずつ遅延される。直近で読み出された画像信号をnサンプル目とした場合に、振れ量u(n)を１つ遅延させたものが振れ量u(n-1)であり、n-1サンプル目にサンプリングされた画像信号に基づく振れ量であることを表している。以下同様に振れ量u(n-2)、…、u(n-M+1)、u(n-M)が定義される。この、複数周期分の振れ量u(n)、u(n-1)、…u(n-M+1)、u(n-M)は、カメラシステム制御回路５内の不図示のバッファメモリに蓄積される。バッファッメモリを、例えばリングバッファで形成し、新しく振れ量u(n)が入力する度に、現在の書き込み位置のデータの置換と、書き込み位置の変更を行うことで、効率的にバッファリングできる。そして、式（１）に示す演算により、フィルタ係数３２とバッファされた振れ量を一連の加算器３３を用いて畳み込み積分する。これにより、バッファメモリに蓄積された複数周期分の振れ量u(m)のうち、１サンプル前の振れ量u(n-1)までの予め決められた数の振れ量u(m)から、直近の振れ量u(n)の予測値y(n)（第１の予測値）を得る。なお、hn-1はn-1サンプル目までに求められたフィルタ係数３２を示している。 The input shake amount u (m) is delayed by one period by each of a plurality of delay devices 31 (z −1 ) connected in series. When the most recently read out image signal is the nth sample, the shake amount u (n) delayed by one is the shake amount u (n-1), which is sampled at the n-1 sample. The amount of shake is based on the image signal. Similarly, shake amounts u (n-2),..., U (n-M + 1), u (nM) are defined. The shake amounts u (n), u (n−1),... U (n−M + 1), u (nM) for a plurality of cycles are stored in a buffer memory (not shown) in the camera system control circuit 5. Is done. The buffer memory is formed by, for example, a ring buffer, and the buffer can be efficiently buffered by replacing the data at the current write position and changing the write position each time a new shake amount u (n) is input. . Then, the filter coefficient 32 and the buffered shake amount are convolved and integrated using a series of adders 33 by the calculation shown in Expression (1). Accordingly, from a predetermined number of shake amounts u (m) up to the shake amount u (n-1) one sample before the shake amounts u (m) for a plurality of periods accumulated in the buffer memory, A predicted value y (n) (first predicted value) of the latest shake amount u (n) is obtained. Note that h n−1 indicates the filter coefficient 32 obtained up to the (n−1) th sample.
式（１）は時系列的な予測を線形結合によって行うことを示している。滑らかな信号や繰り返し性の高い信号は式（１）のような形でよく近似できることが知られている。撮影光学系３を制御するための信号もこのような特徴と持つものは多い。 Equation (1) indicates that time series prediction is performed by linear combination. It is known that a smooth signal or a signal with high repeatability can be approximated well in the form of equation (1). Many signals for controlling the photographing optical system 3 have such characteristics.
この時の誤差eは、次の式（２）で定義することができる。これは、直近の振れ量u(n)から、一連の加算器３３により得られた予測値y(n)を、加算器３４を用いて減算することにより得ることができる。
e = u(n) - y(n) …（２）
The error e at this time can be defined by the following equation (2). This can be obtained by subtracting the predicted value y (n) obtained by the series of adders 33 using the adder 34 from the latest shake amount u (n).
e = u (n)-y (n) (2)
このように定義することで、適応アルゴリズム処理部３５で既知の適応アルゴリズムを用いて適応的に１周期先を予測するフィルタが形成される。適応アルゴリズムの一例として、ＬＭＳアルゴリズムによるフィルタ係数の更新式を式（３）に示す。式（３）は適応アルゴリズムの例であり、他のアルゴリズム（ＮＬＭＳやＲＬＳ等）を用いても良い。
hn(i)=hn-1(i)+μeu(i) …（３）
(i = 1, 2, … ,M)
なお、上記式（３）において、μはステップサイズパラメータを示している。サンプリング毎に式（１）から式（３）の計算を繰り返し、hを更新することで、適応的にフィルタが形成される。
スイッチ３７は、Ｒｅｓｅｔ信号によって切り替わる。Ｒｅｓｅｔ信号が出力されると接地部３６に接続され、フィルタ係数３２はリセットされる。つまりフィルタ係数hn-1の初期化が行われる。Ｒｅｓｅｔ信号が解除されると、スイッチ３７は適応アルゴリズム処理部３５に接続され、フィルタ係数３２の更新が行われる。また、異なる撮影者が撮影する場合やレンズ交換などによって振れの特性が変化した場合でも、リセット動作を行うことにより、フィルタ係数３２を初期化することができる。
By defining in this way, the adaptive algorithm processing unit 35 forms a filter that predicts one cycle ahead adaptively using a known adaptive algorithm. As an example of the adaptive algorithm, an equation for updating the filter coefficient by the LMS algorithm is shown in Equation (3). Equation (3) is an example of an adaptive algorithm, and other algorithms (NLMS, RLS, etc.) may be used.
h n (i) = h n-1 (i) + μeu (i) (3)
(i = 1, 2,…, M)
In the above equation (3), μ represents a step size parameter. A filter is adaptively formed by repeating the calculation of Expressions (1) to (3) for each sampling and updating h.
The switch 37 is switched by a Reset signal. When the Reset signal is output, it is connected to the ground unit 36 and the filter coefficient 32 is reset. That is, the filter coefficient h n-1 is initialized. When the Reset signal is canceled, the switch 37 is connected to the adaptive algorithm processing unit 35, and the filter coefficient 32 is updated. Further, even when a different photographer takes a picture or the shake characteristic changes due to lens exchange or the like, the filter coefficient 32 can be initialized by performing the reset operation.
スイッチ３８は、Ｓ０信号、Ｓ１信号、Ｓ２信号に応じて切り替わり、Ｓ０信号及びＳ１信号が入力されると、スイッチ３８は閉状態となり、Ｓ２信号が入力されると、スイッチ３８は開状態となる。これにより、Ｓ０信号及びＳ１信号が入力された場合にはフィルタ係数３２の更新が行われ、Ｓ２信号が入力されると、フィルタ係数３２の更新が停止する。 The switch 38 is switched according to the S0 signal, the S1 signal, and the S2 signal. When the S0 signal and the S1 signal are input, the switch 38 is closed, and when the S2 signal is input, the switch 38 is opened. . Thereby, when the S0 signal and the S1 signal are input, the filter coefficient 32 is updated, and when the S2 signal is input, the update of the filter coefficient 32 is stopped.
そして、振れ量u(m)を遅延器３１により遅延し、上記のように設定されたフィルタ係数３２を用いて、次の式（４）に示す演算により、一連の加算器３３を用いて畳み込み積分することで、予測値y(n+1)（第２の予測値）を求める。 Then, the shake amount u (m) is delayed by the delay unit 31, and the filter coefficient 32 set as described above is used to perform convolution using a series of adders 33 by the calculation shown in the following equation (4). By integrating, a predicted value y (n + 1) (second predicted value) is obtained.
上記式（４）において、右辺はｎサンプル目までで求められた値であり、左辺はｎ＋１サンプル目における振れ量の予測値である。
スイッチ３９は、スイッチ３８と同様にＳ０信号、Ｓ１信号、Ｓ２信号に応じて切り替わり、Ｓ０信号またはＳ１信号が入力されると、スイッチ３９は、入力した振れ量u(n)を後段に送る状態となる。また、Ｓ２信号が入力されると、上述した予測値y(n+1)を次のサンプルタイミングでの振れ量として入力する。これにより、適応アルゴリズム処理部３５における適応アルゴリズムによって得られた係数を用いて、y(n+1)が振れ量u(n+1)の良い予測値になっていればこの誤差は小さいので、これを振れ量u(n+1)の代わりに用いて、再帰的に計算を行う。Ｓ２信号が入力した後の露光状態では振れ検知信号が得られないので、Ｓ０信号またはＳ１信号が入力するまで、同様にして図４に示すフィルタでの再帰計算によって予測値を得る。
In the above formula (4), the right side is a value obtained up to the nth sample, and the left side is a predicted value of the shake amount at the (n + 1) th sample.
The switch 39 is switched according to the S0 signal, the S1 signal, and the S2 signal similarly to the switch 38, and when the S0 signal or the S1 signal is input, the switch 39 sends the input shake amount u (n) to the subsequent stage. It becomes. Further, when the S2 signal is input, the predicted value y (n + 1) described above is input as the shake amount at the next sample timing. Accordingly, if y (n + 1) is a good predicted value of the shake amount u (n + 1) using the coefficient obtained by the adaptive algorithm in the adaptive algorithm processing unit 35, this error is small. Using this instead of the shake amount u (n + 1), the calculation is performed recursively. Since the shake detection signal cannot be obtained in the exposure state after the S2 signal is input, the predicted value is similarly obtained by recursive calculation using the filter shown in FIG. 4 until the S0 signal or the S1 signal is input.
このように、図４に示す予測信号生成部２３により、Ｓ０信号またはＳ１信号が入力されている間に取得された振れ量u(m)に基づいて適応フィルタを更新するとともに、これに基づいてＳ２信号が入力した後の予測値y(n+1)が出力される。 As described above, the prediction signal generation unit 23 illustrated in FIG. 4 updates the adaptive filter based on the shake amount u (m) acquired while the S0 signal or the S1 signal is input. The predicted value y (n + 1) after the S2 signal is input is output.
なお、図４に示した予測信号生成部２３では、適応フィルタを利用した場合について示したが、Ｓ２信号が入力される直前の数サンプルの信号を線形近似し、その直線に従って動かしても良い。非常に短い露光時間であれば、線形近似しても誤差が小さいためである。 In the prediction signal generation unit 23 shown in FIG. 4, the case where an adaptive filter is used has been described. However, the signal of several samples immediately before the S2 signal is input may be linearly approximated and moved according to the straight line. This is because the error is small even with linear approximation if the exposure time is very short.
次に、図５を用いて、振れ補正の開始前後で検出される信号について説明する。図５において、横軸は時間であり、縦軸は実際の振れ量、振れ補正量、振れの補正残り量を示している。補正残り量は実際の振れ量と振れ補正量の差として定義され、振れ検知部７０で検知される振れ検知信号に対応する。また図５の中間付近の時刻tonでＳ０信号からＳ１信号に変わって、振れ補正処理がオフからオンに変わり、振れ補正処理が開始される場合を示している。 Next, signals detected before and after the start of shake correction will be described with reference to FIG. In FIG. 5, the horizontal axis represents time, and the vertical axis represents the actual shake amount, shake correction amount, and shake correction remaining amount. The remaining correction amount is defined as the difference between the actual shake amount and the shake correction amount, and corresponds to the shake detection signal detected by the shake detection unit 70. Further, FIG. 5 shows a case where the shake correction processing is changed from OFF to ON and the shake correction processing is started at time t on near the middle, changing from the S0 signal to the S1 signal.
時刻tonより前のＳ０信号が出力された状態においては、振れ補正処理は行われていない。従って、振れ補正量は０であり、振れ量と補正残り量は一致する。 In a state where the S0 signal before the time t on is output, the shake correction process is not performed. Accordingly, the shake correction amount is 0, and the shake amount and the remaining correction amount match.
時刻tonより後のＳ１信号が出力された状態においては、振れ補正処理が行われ、振れ補正量は振れ量に類似した波形となり、補正残り量は図５で示すように振れ量とは異なった形状の波形となる。ここで、振れ補正量と振れ量とが完全に一致しないのは、振れ補正量が撮像素子６で読み出された信号に基づく制御量であることなど、追従の遅れなどの制御系の影響による。 In a state where the S1 signal after the time t on is output, shake correction processing is performed, and the shake correction amount has a waveform similar to the shake amount, and the remaining correction amount is different from the shake amount as shown in FIG. The waveform becomes a different shape. Here, the reason why the shake correction amount and the shake amount do not completely match is that the shake correction amount is a control amount based on the signal read out by the image sensor 6, for example, due to the influence of the control system such as a follow-up delay. .
撮影光学系３に含まれる振れ補正レンズで振れを補正すると、Ｓ１信号が出力される時刻tonの前後で、大きく信号の特性が変化する。ここで、図５において点線で示している振れ補正量は、位置センサ１５から得られる振れ補正レンズのレンズ位置信号を用いて求めることができる。また、太実線で示されている振れ量は、上述したように、位置センサ１５の信号をゲイン調整部３０により調整して、振れ検知部７０により得られる振れ検知信号に加算することで、Ｓ１信号が出力された後も、振れ量そのものを検知することができる。振れ量はＳ１信号の前後（振れ補正処理のオフ→オン）でその特性が変化しないため、予測を行うのに都合が良い。 When the shake is corrected by the shake correction lens included in the photographing optical system 3, the signal characteristics largely change before and after the time t on when the S1 signal is output. Here, the shake correction amount indicated by the dotted line in FIG. 5 can be obtained using the lens position signal of the shake correction lens obtained from the position sensor 15. Further, as described above, the shake amount indicated by the thick solid line is adjusted by adjusting the signal of the position sensor 15 by the gain adjustment unit 30 and adding it to the shake detection signal obtained by the shake detection unit 70. Even after the signal is output, the shake amount itself can be detected. The amount of shake does not change before and after the S1 signal (when shake correction processing is turned on), which is convenient for prediction.
図４で説明したように、予測信号生成部２３では適応フィルタを利用して振れ量u(m)の周波数特性をフィルタ係数として内部に保持している。信号の特性が変わるとフィルタ係数も大きく更新する必要があるが、第１の実施形態における構成では、加算器２２によって、Ｓ１信号の前後で信号の特性が変化しないため、それまでのフィルタ係数を用いて予測を継続することができる。 As described with reference to FIG. 4, the prediction signal generation unit 23 uses the adaptive filter to hold the frequency characteristic of the shake amount u (m) as a filter coefficient. When the signal characteristics change, the filter coefficient needs to be greatly updated. However, in the configuration of the first embodiment, the adder 22 does not change the signal characteristics before and after the S1 signal. Can be used to continue the prediction.
このように制御することは、振れ補正処理の開始に伴い、Ｓ１信号が出力された後、すぐにＳ２信号が出力された（例えば、静止画撮影における露光が開始された）場合などに特に効果がある。すなわち、補正残り量（振れ検知信号）を用いて予測をする場合、Ｓ１信号により補正残り量の特性が大きく変化した場合は、フィルタ係数を更新する必要があるが、それが終息する前にＳ２信号が出力されると、予測が不適切となる可能性がある。これに対し、本第１の実施形態における制御では、Ｓ１信号が出力された後、すぐにＳ２信号が出力された場合でも、予測が不適切となることがない。 This control is particularly effective when the S2 signal is output immediately after the S1 signal is output with the start of the shake correction process (for example, when exposure in still image shooting is started). There is. That is, when the prediction is performed using the remaining correction amount (shake detection signal), if the characteristics of the remaining correction amount greatly change due to the S1 signal, the filter coefficient needs to be updated. If the signal is output, the prediction may be inappropriate. On the other hand, in the control according to the first embodiment, even when the S2 signal is output immediately after the S1 signal is output, the prediction does not become inappropriate.
図６は、予測処理を施した場合と、施さない場合の振れ量及び振れの補正残り量を説明するための図である。図６は、説明を分かりやすくするために、カメラシステムに加わる実際の振れが、単純なＳｉｎ波であるものとして示している。また、ここでは、静止画撮影時に、不図示のシャッタ釦の操作により、Ｓ０信号、Ｓ１信号、Ｓ２信号が切り替わるものとする。具体的には、シャッタ釦が押されていない状態ではＳ０信号、シャッタ釦が半押しされ、撮影準備が指示された状態ではＳ１信号、シャッタ釦が全押しされ、画像の記録が指示された状態ではＳ２信号が出力される。 FIG. 6 is a diagram for explaining the shake amount and the shake correction remaining amount when the prediction process is performed and when the prediction process is not performed. FIG. 6 shows that the actual shake applied to the camera system is a simple Sin wave for easy understanding. Here, it is assumed that the S0 signal, the S1 signal, and the S2 signal are switched by operating a shutter button (not shown) during still image shooting. Specifically, when the shutter button is not pressed, the S0 signal is pressed halfway, and when the preparation for shooting is instructed, the S1 signal is pressed and the shutter button is fully pressed, and the image recording is instructed. Then, the S2 signal is output.
図６（ａ）は直前までに得られた複数の信号から線形予測を行った場合を示すグラフ、図６（ｂ）は図４に示すような適応フィルタを用いて振れ予測を行った場合を示すグラフ、図６（ｃ）は振れ予測を行わない場合を示すグラフである。なお、図６において、横軸は時間、縦軸は実際の振れ量、検出された振れ量、振れ補正量、または振れの補正残り量を示している。 FIG. 6A is a graph showing a case where linear prediction is performed from a plurality of signals obtained immediately before, and FIG. 6B is a case where shake prediction is performed using an adaptive filter as shown in FIG. FIG. 6C is a graph showing a case where no shake prediction is performed. In FIG. 6, the horizontal axis represents time, and the vertical axis represents the actual shake amount, the detected shake amount, the shake correction amount, or the remaining shake correction amount.
時刻t1は、Ｓ２信号を受け取ったタイミング（例えば、露光が開始されるタイミング）であり、時刻t1より前の時間は、振れ補正処理が行われている状態、即ち、Ｓ１信号が出力された状態とする。露光後の時刻t2より後の時間は、振れ補正処理が行われない状態、即ち、Ｓ０信号が出力された状態である。Ｓ２信号が出力されている時刻t1から時刻t2の間は露光中の時間であり、撮像素子６から出力された画像信号に基づく振れ検知信号を得ることができない。そのため、この間は、予測値に基づく振れ補正制御を行う。また、図６において、６３，６４，６５はそれぞれの方式による振れの補正残り量の大きさを示している。 The time t1 is the timing at which the S2 signal is received (for example, the timing at which exposure is started), and the time before the time t1 is the state in which shake correction processing is being performed, that is, the state in which the S1 signal is output. And The time after the time t2 after the exposure is in a state where the shake correction process is not performed, that is, the state where the S0 signal is output. The time between the time t1 when the S2 signal is output and the time t2 is a time during exposure, and a shake detection signal based on the image signal output from the image sensor 6 cannot be obtained. Therefore, shake correction control based on the predicted value is performed during this period. In FIG. 6, 63, 64, and 65 indicate the magnitude of the remaining correction amount of shake by each method.
図６において、太実線は、カメラシステムに加わる実際の振れ量、一点鎖線は検出された振れ量u(m)、または、露光中においては予測信号生成部２３によって出力される予測値y(m)を示している。破線は振れ補正量、２点鎖線は補正残り量である振れ検知信号をそれぞれ示している。なお、振れ量u(m)は、正しく振れが検知できている間は、実際の振れ量と略等しく、露光中においては予測値y(m)を示しており、図３においてスイッチ２５から出力される信号に対応する。図５を用いて説明したように、Ｓ１信号が出力されると、上述したように振れ検知信号を画角の変化量に加算することで得られる、振れ量u(m)に基づいて、振れ補正レンズの補正量を求める。振れ補正量は、メカの追従特性などを考慮したのちの振れ制御入力に対する応答であり、図３において制御部２６を介したのちに実現された振れ補正量に対応する。また、振れ補正残りは、実際の振れ量と振れ補正量との差である。露光中に振れ補正残りが小さければ、振れが小さいといえる。 In FIG. 6, the thick solid line indicates the actual shake amount applied to the camera system, the alternate long and short dash line indicates the detected shake amount u (m), or the predicted value y (m) output by the predicted signal generation unit 23 during exposure. ). The broken line indicates the shake correction amount, and the two-dot chain line indicates the shake detection signal that is the remaining correction amount. Note that the shake amount u (m) is substantially equal to the actual shake amount while the shake is correctly detected, and shows the predicted value y (m) during exposure, and is output from the switch 25 in FIG. Corresponds to the signal to be transmitted. As described with reference to FIG. 5, when the S1 signal is output, the shake is detected based on the shake amount u (m) obtained by adding the shake detection signal to the amount of change in the angle of view as described above. The correction amount of the correction lens is obtained. The shake correction amount is a response to the shake control input after considering the follow-up characteristics of the mechanism, and corresponds to the shake correction amount realized after the control unit 26 in FIG. The shake correction remainder is the difference between the actual shake amount and the shake correction amount. If the remaining shake correction is small during exposure, it can be said that the shake is small.
図６（ａ）を用いて線形予測を行う場合について説明する。時刻t1でＳ２信号を受け取ると、その直前までに得られた複数の振れ量u(m)を線形近似し、その傾きを保ったまま延長して露光中の振れ量を予測する。図６（ａ）においては、露光中である時刻t1と時刻t2の間においては、実際の振れ量の上に振れ制御入力の一点鎖線が直線的に見える。これが線形予測された値である。その後露光が完了すると、時刻t2においてＳ０信号が入力し、図３のスイッチ２７の切り替えが行われ、接地部２８に接地される。これにより、振れ補正レンズは、その中心が光軸と一致する基準位置へ移動され、撮像素子６に入射する被写体の画角が変わるが、撮影中の画像への影響は無い。 A case where linear prediction is performed will be described with reference to FIG. When the S2 signal is received at time t1, a plurality of shake amounts u (m) obtained until immediately before is linearly approximated and extended while maintaining the slope, thereby predicting the shake amount during exposure. In FIG. 6A, between the time t1 and the time t2 during the exposure, the one-dot chain line of the shake control input appears linearly on the actual shake amount. This is a linearly predicted value. Thereafter, when the exposure is completed, the S0 signal is input at time t2, the switch 27 of FIG. 3 is switched, and the grounding unit 28 is grounded. As a result, the shake correction lens is moved to the reference position whose center coincides with the optical axis, and the angle of view of the subject incident on the image sensor 6 changes, but there is no influence on the image being shot.
ここで、図６（ａ）において露光中に発生した振れを考えると、図６（ａ）の６３で示された量が振れ残り量の大きさであり、図６（ｃ）を用いて後述する振れ予測を行わない場合に比べて、振れの影響が抑制されていることが分かる。図６（ａ）で説明したような直線で近似できるような振れは、例えば人間が立った状態で撮影するときなどに発生しやすい。立っている場合には非常にゆっくりと体が左右に揺れることが多い。この周波数（例えば０．１Ｈｚ）は手や腕が要因で発生する手振れよりも周波数が低く、揺れの大きさは大きい。そのため、一般的な露光時間（１／６０ｓ程度）で考えると直線で近似することができる。 Here, in consideration of the shake generated during exposure in FIG. 6A, the amount indicated by 63 in FIG. 6A is the size of the remaining shake amount, which will be described later with reference to FIG. 6C. It can be seen that the influence of the shake is suppressed as compared with the case where the shake prediction is not performed. A shake that can be approximated by a straight line as described with reference to FIG. 6A is likely to occur, for example, when shooting in a standing state. When standing, the body often sways from side to side very slowly. This frequency (for example, 0.1 Hz) is lower in frequency than the hand shake caused by the hand or arm, and the magnitude of the shake is large. Therefore, it can be approximated by a straight line when considering a general exposure time (about 1/60 s).
次に、図６（ｂ）を参照して、適応フィルタを用いて予測を行う場合について説明する。時刻t1でＳ２信号を受け取ると、予測信号生成部２３を用いて露光中の振れ量の予測値y(n+1)を生成する。図４を用いて説明したように、露光中は再帰計算を行って予測値を生成し、それを制御に用いる。図６（ｂ）のような単純な波形においてはほぼ正確な予測が為され、露光中である、時刻t1と時刻t2の間でも、振れの予測値は、実際の振れにほぼ一致している。その後露光が完了すると、時刻t2においてＳ０信号が入力し、図３のスイッチ２７の切り替えが行われ、接地部２８に接地される。これにより、振れ補正レンズは基準位置へ移動され、撮像素子６に入射する被写体の画角が変わるが、撮影中の画像への影響は無い。 Next, a case where prediction is performed using an adaptive filter will be described with reference to FIG. When the S2 signal is received at time t1, the predicted signal generation unit 23 is used to generate a predicted value y (n + 1) of the shake amount during exposure. As described with reference to FIG. 4, a recursive calculation is performed during exposure to generate a predicted value, which is used for control. In a simple waveform as shown in FIG. 6B, almost accurate prediction is performed, and the predicted value of shake substantially coincides with the actual shake even during time t1 and time t2 during exposure. . Thereafter, when the exposure is completed, the S0 signal is input at time t2, the switch 27 of FIG. 3 is switched, and the grounding unit 28 is grounded. As a result, the shake correction lens is moved to the reference position and the angle of view of the subject incident on the image sensor 6 changes, but there is no influence on the image being shot.
ここで、図６（ｂ）において露光中に発生した振れを考えると、図６（ｂ）の６４で示された量が振れ残り量の大きさであり、図６（ｃ）を用いて後述する振れ予測を行わない場合に比べて、振れがより良く抑制されていることが分かる。適応フィルタを用いた場合は、予測信号生成部２３において、振れのスペクトル情報をフィルタ係数の形で保持していると考えることができる。そのため予測信号生成部２３におけるフィルタ係数を更新するための適切な情報を得ることができれば、図６（ｂ）に示すように精度よく予測することができる。なお、図６（ｂ）では単純な波形について示したが、実際の手振れも複数の単純な波形の重ねあわせであると考えればよいので、適応フィルタを用いて精度よく予測することが可能な場面が多いと考えられる。 Here, considering the shake that occurred during exposure in FIG. 6B, the amount indicated by 64 in FIG. 6B is the magnitude of the remaining shake amount, which will be described later with reference to FIG. 6C. It can be seen that the shake is better suppressed as compared to the case where the shake prediction is not performed. When an adaptive filter is used, it can be considered that the predicted signal generation unit 23 holds shake spectrum information in the form of filter coefficients. Therefore, if appropriate information for updating the filter coefficient in the prediction signal generation unit 23 can be obtained, the prediction can be accurately performed as shown in FIG. Although a simple waveform is shown in FIG. 6B, it can be considered that the actual camera shake is a combination of a plurality of simple waveforms, and therefore a scene that can be accurately predicted using an adaptive filter. It is thought that there are many.
次に、図６（ｃ）を参照して、露光中に振れ予測を行わない場合について説明する。時刻t1でＳ２信号を受け取ると、振れ補正を停止する。図６（ｃ）において振れ補正量は、時刻t1と時刻t2の間でゼロとなる。当然ではあるが、露光中の振れの補正残り量は実際の振れ量そのものとなる。ここで、図６（ｃ）において露光中に発生した振れを考えると図６（ｃ）の６５で示された量が振れ残りの大きさであり、大きな振れ残りが発生していることが分かる。 Next, with reference to FIG. 6C, a case where no shake prediction is performed during exposure will be described. When the S2 signal is received at time t1, shake correction is stopped. In FIG. 6C, the shake correction amount becomes zero between time t1 and time t2. As a matter of course, the remaining amount of shake correction during exposure is the actual shake amount itself. Here, considering the shake generated during the exposure in FIG. 6C, the amount indicated by 65 in FIG. 6C is the size of the remaining shake, and it can be seen that a large shake remaining has occurred. .
上記の通り第１の実施形態によれば、撮像素子の信号を利用して振れ補正を行うシステムにおいて、補正残り信号を活用した予測処理を行うシステムを構築することができる。結果として、撮影に適したシーケンスを提供しながら映像品質の向上を図ることができる。 As described above, according to the first embodiment, in a system that performs shake correction using a signal from an image sensor, it is possible to construct a system that performs prediction processing using a correction remaining signal. As a result, it is possible to improve video quality while providing a sequence suitable for shooting.
なお、上述した例では、撮影光学系３に含まれる振れ補正レンズを駆動することにより防振制御する場合について説明したが、撮像素子６を駆動することによっても、防振制御を行うことが可能である。 In the above-described example, the case where the image stabilization control is performed by driving the image stabilization lens included in the photographing optical system 3 has been described. However, the image stabilization control can also be performed by driving the image sensor 6. It is.
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第１の実施形態では振れ補正に関して説明したが、第２の実施形態では、予測処理を焦点調節に適用した場合について説明する。なお、基本的なカメラシステムの構成は第１の実施形態で説明したものと同様のため説明を割愛する。第１の実施形態では、撮像素子６から得られた画像信号から振れ補正残りを検出する必要があるため、オプティカルフロー検出に基づく振れ検知を行った。これに対し、第２の実施形態では、撮像素子６から得られた画像信号から、焦点状態を検出する。なお、焦点状態の検出は、画像処理部７にて行われる。
<Second Embodiment>
Next, a second embodiment of the present invention will be described. In the first embodiment, the shake correction has been described. In the second embodiment, a case where the prediction process is applied to the focus adjustment will be described. The basic camera system configuration is the same as that described in the first embodiment, and a description thereof will be omitted. In the first embodiment, since it is necessary to detect a shake correction residue from an image signal obtained from the image sensor 6, shake detection based on optical flow detection is performed. On the other hand, in the second embodiment, the focus state is detected from the image signal obtained from the image sensor 6. The focus state is detected by the image processing unit 7.
図７は、第２の実施形態における撮像素子６の構成を示す図である。第２の実施形態における撮像素子６では、１つのマイクロレンズに対して複数の光電変換部が割り当てられるように構成されており、そのようなマイクロレンズがアレイ状に配置されて、マイクロレンズアレイ１２０を構成している。 FIG. 7 is a diagram illustrating a configuration of the image sensor 6 according to the second embodiment. The imaging device 6 according to the second embodiment is configured such that a plurality of photoelectric conversion units are assigned to one microlens, and such microlenses are arranged in an array so that the microlens array 120 is arranged. Is configured.
図７（ａ）は撮像素子６におけるマイクロレンズアレイ１２０を、正面及び横からを見た場合の模式図である。図７（ａ）に示すように、撮像素子６上には、正面から見て撮像素子６を覆うようにマイクロレンズアレイ１２０が設けられており、マイクロレンズアレイ１２０の前側主点は、撮影光学系３の結像面近傍になるように配置されている。 FIG. 7A is a schematic diagram when the microlens array 120 in the image sensor 6 is viewed from the front and the side. As shown in FIG. 7A, a microlens array 120 is provided on the image pickup device 6 so as to cover the image pickup device 6 when viewed from the front, and the front principal point of the microlens array 120 is a photographing optical. It is arranged so as to be in the vicinity of the imaging plane of the system 3 .
図７（ｂ）は、マイクロレンズアレイ１２０のうち、２×２のマイクロレンズを正面から見た場合の複数の光電変換部との対応を示す模式図である。マイクロレンズアレイ１２０を構成する各マイクロレンズ１２０ａに対して、２つの光電変換部１２１ａ，１２１ｂが対応付けて構成されている。 FIG. 7B is a schematic diagram illustrating correspondence with a plurality of photoelectric conversion units when a 2 × 2 microlens is viewed from the front in the microlens array 120. Two photoelectric conversion units 121a and 121b are associated with each microlens 120a constituting the microlens array 120.
図７（ｃ）は、マイクロレンズ１２０ａによって、マイクロレンズ１２０ａの下に設けられた複数の光電変換部１２１ａ，１２１ｂそれぞれが、撮影光学系３の射出瞳領域の異なる領域と対応づけられることを示す図である。図７（ｃ）は、撮像素子６を、マイクロレンズ１２０ａの光軸を含み、センサの長手方向が図の横方向になるように切断した断面図である。なお、実際には、図７（ｃ）の下方に示した光電変換部１２１ａ，１２１ｂの方向と射出瞳面の方向を合わせると、射出瞳面は、図７（ｃ）の紙面垂直方向になるが、説明のために投影方向を回転させている。 FIG. 7C shows that each of the plurality of photoelectric conversion units 121a and 121b provided below the microlens 120a is associated with a different region of the exit pupil region of the photographing optical system 3 by the microlens 120a. FIG. FIG. 7C is a cross-sectional view of the imaging device 6 cut so that the sensor includes the optical axis of the microlens 120a and the longitudinal direction of the sensor is in the horizontal direction of the drawing. Actually, when the direction of the photoelectric conversion units 121a and 121b shown in the lower part of FIG. 7C and the direction of the exit pupil plane are matched, the exit pupil plane becomes the direction perpendicular to the paper surface of FIG. 7C. However, for the sake of explanation, the projection direction is rotated.
図７（ｃ）に示すように、マイクロレンズ１２０ａによって、光電変換部１２１ａ，１２１ｂそれぞれは、撮影光学系３の射出瞳面上の特定の領域１３１，１３２とそれぞれ共役になるように設計されている。すなわち光電変換部１２１ａには撮影光学系３の射出瞳の一部領域１３１を通過した光束が入射する。また、光電変換部１２１ｂには撮影光学系３の射出瞳の一部領域１３２を通過した光束が入射する。 As shown in FIG. 7C, the photoelectric conversion units 121a and 121b are each designed to be conjugate with specific regions 131 and 132 on the exit pupil plane of the photographing optical system 3 by the micro lens 120a. Yes. That is, the light beam that has passed through the partial area 131 of the exit pupil of the photographing optical system 3 enters the photoelectric conversion unit 121a. Further, the light beam that has passed through a partial region 132 of the exit pupil of the photographing optical system 3 is incident on the photoelectric conversion unit 121b.
このように、第２の実施形態における撮像素子６は、射出瞳の異なる領域を通過した光束に応じた画像信号を独立に取得できるので、いわゆる位相差ＡＦの原理に基づいて焦点状態を検出することができる。具体的には、各マイクロレンズ１２０ａの下に設けられた複数の光電変換部１２１ａ，１２１ｂのうち、領域１３１に対応する光電変換部１２１ａから得られる画像信号を集めて１つの画像を構成する。同様に、領域１３２に対応する光電変換部１２１ｂから得られる画像信号を集めて１つの画像を構成する。このようにして得られた一対の画像信号に基づいて、公知の相関演算を行うことにより、位相差に基いて焦点状態を検出する。 As described above, the image sensor 6 according to the second embodiment can independently acquire an image signal corresponding to a light beam that has passed through different areas of the exit pupil, and thus detects a focus state based on the principle of so-called phase difference AF. be able to. Specifically, among a plurality of photoelectric conversion units 121a and 121b provided under each microlens 120a, image signals obtained from the photoelectric conversion units 121a corresponding to the region 131 are collected to form one image. Similarly, image signals obtained from the photoelectric conversion units 121b corresponding to the region 132 are collected to form one image. Based on the pair of image signals obtained in this manner, a known correlation calculation is performed to detect the focus state based on the phase difference.
そして、Ｓ１信号が入力されている状態で、ＡＦ制御を継続して行ういわゆるサーボＡＦのモードにおいて、焦点状態を検出し、位置センサ１５により検出されたフォーカスレンズの移動量と加算する。このように加算して得られた値（合成信号）を用いて、第１の実施形態で説明した振れ量と同様にして処理することができる。 Then, in a so-called servo AF mode in which AF control is continued with the S1 signal being input, the focus state is detected and added to the amount of movement of the focus lens detected by the position sensor 15. Using the value (combined signal) obtained by the addition in this way, processing can be performed in the same manner as the shake amount described in the first embodiment.
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。上述した第１の実施形態では、振れ検知信号と、位置センサ１５から得られたレンズ位置信号に基づく画角の変化量とを加算したのちに予測を行う方法について説明したが、第３の実施形態では、振れ検知信号のみに基づいて制御を行う場合について説明する。
<Third Embodiment>
Next, a third embodiment of the present invention will be described. In the above-described first embodiment, the method for performing prediction after adding the shake detection signal and the amount of change in the angle of view based on the lens position signal obtained from the position sensor 15 has been described. In the embodiment, a case where control is performed based only on the shake detection signal will be described.
図８は、カメラシステム制御回路５に含まれる、第３の実施形態における振れ補正に関する構成の一例を示すブロック図である。図３に示す構成との違いは、位置センサ１５からのレンズ位置信号を処理するゲイン調整部３０及び、加算器２２が無いこと、また、リセット信号による予測信号生成部２３’の制御を行わない点である。この構成により、予測信号生成部２３’には、振れ量ではなく、振れ検知部７０により検知された振れ検知信号が入力される。それ以外の構成は、図３と同様であるため、同じ参照番号を付して説明を省略する。なお、本第３の実施形態では、振れ量ではなく、振れ検知信号をu(m)と表す。 FIG. 8 is a block diagram illustrating an example of a configuration relating to shake correction in the third embodiment, which is included in the camera system control circuit 5. The difference from the configuration shown in FIG. 3 is that there is no gain adjusting unit 30 and an adder 22 for processing the lens position signal from the position sensor 15, and the prediction signal generating unit 23 ′ is not controlled by the reset signal. Is a point. With this configuration, not the shake amount but the shake detection signal detected by the shake detection unit 70 is input to the predicted signal generation unit 23 ′ . The other configurations are the same as those in FIG. 3, and thus the same reference numerals are given and description thereof is omitted. In the third embodiment, not the shake amount but the shake detection signal is represented as u (m).
第１の実施形態において図５を参照して説明したように、振れ補正の開始前後で振れ検知部７０で検知される振れ検知信号の特性は大きく変化する。第３の実施形態では、図５の破線で示した補正残り量の波形に基づいて予測を行う。補正残り量の波形は振れ補正レンズを動作させないと得られないため、第３の実施形態では、図９を用いて後述するようにフィルタ係数の更新はＳ１信号の入力中に行う。 As described with reference to FIG. 5 in the first embodiment, the characteristics of the shake detection signal detected by the shake detection unit 70 before and after the start of shake correction vary greatly. In the third embodiment, prediction is performed based on the waveform of the remaining correction amount indicated by the broken line in FIG. Since the waveform of the remaining correction amount cannot be obtained unless the shake correction lens is operated, in the third embodiment, as will be described later with reference to FIG. 9, the filter coefficient is updated while the S1 signal is being input.
また、第３の実施形態では、振れ検知信号に基づいてレンズ制御を行う。これは、いわゆるゼロメソッドなどとも呼ばれる制御方法であり、振れ残りが発生した場合にそれを打ち消すように振れ補正レンズの位置の調整を行う。すなわち振れが発生すると振れ検知部７０によって検知され、ただちに（フィードバックの制御周期程度の時間で）補正がなされる。 In the third embodiment, lens control is performed based on the shake detection signal. This is a control method called a so-called zero method, and the position of the shake correction lens is adjusted so as to cancel out any shake remaining. That is, when a shake occurs, the shake detection unit 70 detects the shake and immediately corrects it (with a time of about the feedback control cycle).
なお、スイッチ２５及び２７の切り替えは、第１の実施形態と同様である。一方、Ｓ０信号が入力されると、振れ補正は停止しており、予測信号生成部２３’におけるフィルタ係数の更新は行わない。その後、Ｓ１信号が入力されると、振れ検知信号に基づいて振れ補正が行われるとともに、予測信号生成部２３’におけるフィルタ係数の更新が行われる。 The switching of the switches 25 and 27 is the same as that in the first embodiment. On the other hand, when the S0 signal is input, the shake correction is stopped and the filter coefficient is not updated in the prediction signal generation unit 23 ′ . Thereafter, when the S1 signal is input, shake correction is performed based on the shake detection signal, and the filter coefficient is updated in the prediction signal generation unit 23 ′ .
図９は、第３の実施形態における予測信号生成部２３’の構成を示す図である。第１の実施形態の図４に示す予測信号生成部２３との違いは、接地部３６に接続するタイミング信号のみである。第１の実施形態ではＲｅｓｅｔ信号を受け取ってフィルタ係数の初期化を行った。これに対し、第３の実施形態では、Ｓ１信号が入力してから正しい信号が得られるので、Ｓ１信号の入力前はフィルタ係数が初期化された状態にする。Ｓ１信号が入力された状態となるとスイッチ３７が動作して、適応アルゴリズム処理部３５からの出力に接続されフィルタ係数３２の更新がなされる。このようにすることで図５の破線で示した補正残り量に基づいて、フィルタ係数３２を更新することができる。更に、Ｓ２信号が入力されると、フィルタ係数３２を用いて演算された、予測信号生成部２３’から出力される予測値y(n+1)に基づいて、振れ補正レンズの制御が行われる。 FIG. 9 is a diagram illustrating a configuration of the prediction signal generation unit 23 ′ in the third embodiment. The difference from the prediction signal generation unit 23 shown in FIG. 4 of the first embodiment is only the timing signal connected to the ground unit 36. In the first embodiment, the Reset signal is received and the filter coefficient is initialized. On the other hand, in the third embodiment, since a correct signal is obtained after the S1 signal is input, the filter coefficient is initialized before the S1 signal is input. When the S1 signal is input, the switch 37 operates and is connected to the output from the adaptive algorithm processing unit 35 to update the filter coefficient 32. In this way, the filter coefficient 32 can be updated based on the remaining correction amount indicated by the broken line in FIG. Further, when the S2 signal is input, the shake correction lens is controlled based on the predicted value y (n + 1) output from the predicted signal generation unit 23 ′ calculated using the filter coefficient 32. .
図１０は、予測処理を施した場合と、施さない場合の振れ量及び振れ補正残りを説明するための図である。なお、図１０においても、説明を分かりやすくするために、カメラシステムに加わる実際の振れが単純なＳｉｎ波であるものとして示している。また、図６と同様に、静止画撮影時に、不図示のシャッタ釦の操作により、Ｓ０信号、Ｓ１信号、Ｓ２信号が切り替わるものとする。具体的には、シャッタ釦が押されていない状態ではＳ０信号、シャッタ釦が半押しされ、撮影準備が指示された状態ではＳ１信号、シャッタ釦が全押しされ、画像の記録が指示された状態ではＳ２信号が出力される。 FIG. 10 is a diagram for explaining a shake amount and a shake correction remainder when the prediction process is performed and when the prediction process is not performed. In FIG. 10 as well, in order to make the explanation easy to understand, the actual shake applied to the camera system is shown as a simple Sin wave. Similarly to FIG. 6, it is assumed that the S0 signal, the S1 signal, and the S2 signal are switched by operating a shutter button (not shown) during still image shooting. Specifically, when the shutter button is not pressed, the S0 signal is pressed halfway, and when the preparation for shooting is instructed, the S1 signal is pressed and the shutter button is fully pressed, and the image recording is instructed. Then, the S2 signal is output.
図１０（ａ）は直前までに得られた複数の信号から線形予測を行った場合を示すグラフ、図１０（ｂ）は図９に示すような適応フィルタを用いて振れ予測を行った場合を示すグラフ、図１０（ｃ）は振れ予測を行わない場合を示すグラフである。なお、図１０において、横軸は時間、縦軸は実際の振れ量、検出された振れ量、振れ補正量、または振れの補正残り量を示している。なお、図１０（ｃ）については図６（ｃ）と同様であるため、ここでは説明を省略する。 FIG. 10A is a graph showing a case where linear prediction is performed from a plurality of signals obtained immediately before, and FIG. 10B is a case where shake prediction is performed using an adaptive filter as shown in FIG. FIG. 10C is a graph showing a case where no shake prediction is performed. In FIG. 10, the horizontal axis represents time, and the vertical axis represents the actual shake amount, the detected shake amount, the shake correction amount, or the remaining shake correction amount. Since FIG. 10C is the same as FIG. 6C, the description thereof is omitted here.
時刻t11は、Ｓ２信号を受け取ったタイミング（例えば、露光が開始されるタイミング）であり、時刻t11より前の時間は、振れ補正処理が行われている状態、即ち、Ｓ１信号が出力されている状態とする。露光後の時刻t12より後の時間は、振れ補正処理が行われない状態、即ちＳ０信号が出力されている状態である。Ｓ２信号が出力されている時刻t11から時刻t12の間は露光中の時間であり、撮像素子６から出力された画像信号に基づく振れ検知信号を得ることができない。そのため、この間は、予測値に基づく振れ補正制御を行う。図１０において、１６３，１６４，１６５はそれぞれの方式による振れの補正残り量の大きさを示している。 The time t11 is the timing at which the S2 signal is received (for example, the timing at which exposure is started), and the time before the time t11 is in a state in which shake correction processing is being performed, that is, the S1 signal is output. State. The time after the time t12 after the exposure is in a state where the shake correction process is not performed, that is, the state where the S0 signal is output. Between time t11 and time t12 when the S2 signal is output is a time during exposure, and a shake detection signal based on the image signal output from the image sensor 6 cannot be obtained. Therefore, shake correction control based on the predicted value is performed during this period. In FIG. 10, reference numerals 163, 164, and 165 indicate the magnitudes of the remaining shake correction amounts according to the respective methods.
図１０において、太実線はカメラシステムに加わる実際の振れ量、一点鎖線は振れ検出信号、または、露光中においては予測信号生成部２３’によって出力される予測値y(m)を示している。破線は振れ補正量、２点鎖線は補正残り量をそれぞれ示している。振れ検知信号に適切な位相補償及びゲインの補償を施して振れ補正レンズを駆動するいわゆるゼロメソッドで制御されている。振れ補正レンズにより補正される補正量はメカの追従特性などを考慮したのちの振れ制御入力に対する応答であり、図８において制御部２６を介したのちに実現された振れ補正の量に対応する。また、振れ補正残りである振れ検出信号は実際の振れ量と振れ補正レンズで補正される補正量との差を示す。露光中の振れ補正残りが小さければ、実際の振れが小さいといえる。 In FIG. 10, the thick solid line indicates the actual shake amount applied to the camera system, and the alternate long and short dash line indicates the shake detection signal or the predicted value y (m) output by the predicted signal generation unit 23 ′ during exposure. The broken line indicates the shake correction amount, and the two-dot chain line indicates the remaining correction amount. Control is performed by a so-called zero method in which a shake correction lens is driven by applying appropriate phase compensation and gain compensation to the shake detection signal. The correction amount corrected by the shake correction lens is a response to the shake control input after considering the follow-up characteristics of the mechanism, and corresponds to the shake correction amount realized after the control unit 26 in FIG. . Further, the shake detection signal that is the remaining shake correction indicates the difference between the actual shake amount and the correction amount corrected by the shake correction lens. If the remaining shake correction during exposure is small, it can be said that the actual shake is small.
図１０（ａ）を用いて線形予測を行う場合について説明する。時刻t11でＳ２信号を受け取ると、その直前までに得られた複数の振れ検知信号u(m)を線形近似し、その傾きを保ったまま延長して露光中の振れ検知信号を予測する。図１０（ａ）においては、露光中である時刻t11と時刻t12の間においては、実際の振れ量を示す線と少し乖離するように、振れ検知信号の予測値を示す一点鎖線が直線的に見える。これが線形予測された値である。図１０（ａ）において露光中に発生した振れを考えると、図１０（ａ）の１６３で示された量が振れの大きさであり、図１０（ｃ）に示す、振れ予測を行わない場合に比べて振れの影響が抑制されていることが分かる。 A case where linear prediction is performed will be described with reference to FIG. When the S2 signal is received at time t11, a plurality of shake detection signals u (m) obtained up to that time are linearly approximated, and the shake detection signals during the exposure are predicted by extending while maintaining the inclination. In FIG. 10A, between the time t11 during exposure and the time t12, an alternate long and short dash line indicating the predicted value of the shake detection signal is linearly deviated from the line indicating the actual shake amount. appear. This is a linearly predicted value. In FIG. 10A, when the shake generated during exposure is considered, the amount indicated by 163 in FIG. 10A is the magnitude of shake, and the shake prediction shown in FIG. 10C is not performed. It can be seen that the influence of shake is suppressed compared to.
次に、図１０（ｂ）を参照して、適応フィルタを用いて予測を行う場合について説明する。時刻t11でＳ２信号を受け取ると、予測信号生成部２３’を用いて露光中の振れ検知信号の予測値y(n+1)を生成する。図１０の例では線形での予測の場合と同様に、露光中である、時刻t11と時刻t12の間においては、振れ補正残りの線と少し乖離するように振れ制御入力の一点鎖線が直線的に見える。図１０（ｂ）において露光中に発生した振れを考えると、図１０（ｂ）の１６４で示された量が振れの大きさであり、図１０（ｃ）に示す、振れ予測を行わない場合に比べて振れの影響が抑制されていることが分かる。 Next, a case where prediction is performed using an adaptive filter will be described with reference to FIG. When the S2 signal is received at time t11, the predicted value y (n + 1) of the shake detection signal during exposure is generated using the predicted signal generator 23 '. In the example of FIG. 10, as in the case of linear prediction, the dash-dot line of the shake control input is linear so that it is slightly different from the remaining shake correction line between time t11 and time t12 during exposure. Looks like. In FIG. 10B, when the shake generated during exposure is considered, the amount indicated by 164 in FIG. 10B is the magnitude of the shake, and the shake prediction shown in FIG. 10C is not performed. It can be seen that the influence of shake is suppressed compared to.
上記の通り第３の実施形態によれば、撮像素子の信号を利用して振れ補正を行うシステムにおいて、補正残り信号を活用した予測処理を行うシステムを構築することができる。結果として、撮影に適したシーケンスを提供しながら映像品質の向上を図ることができる。 As described above, according to the third embodiment, in a system that performs shake correction using a signal from an image sensor, it is possible to construct a system that performs a prediction process using a correction remaining signal. As a result, it is possible to improve video quality while providing a sequence suitable for shooting.
なお、上述した実施形態では、カメラ本体１とレンズユニット２からなるカメラシステムに本発明を適用する場合について説明したが、カメラ本体とレンズユニットとが一体的に構成された撮像装置に適用可能であることは言うまでもない。 In the above-described embodiment, the case where the present invention is applied to the camera system including the camera body 1 and the lens unit 2 has been described. However, the present invention is applicable to an imaging apparatus in which the camera body and the lens unit are integrally configured. Needless to say.
＜他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
<Other embodiments>
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１：カメラ本体、２：レンズユニット、３：撮影光学系、４：光軸、５：カメラシステム制御回路、６：撮像素子、７：画像処理部、１１：電気接点、１２：レンズシステム制御回路、１３：レンズ駆動部、１５：位置センサ、２３，２３’：予測信号生成部、３１：遅延器、３２：フィルタ係数、３３，３４：加算器、３５：適応アルゴリズム処理部、７０：振れ検知部 1: camera body, 2: lens unit, 3: photographing optical system, 4: optical axis, 5: camera system control circuit, 6: image sensor, 7: image processing unit, 11: electrical contact, 12: lens system control circuit , 13: lens drive unit, 15: position sensor, 23, 23 ': prediction signal generation unit, 31: delay unit, 32: filter coefficient, 33, 34: adder, 35: adaptive algorithm processing unit, 70: shake detection Part
Claims (13)
前記検知した情報に基づいて駆動される、前記画像信号を得るための予め決められた構成部材の位置を示す位置信号を検出する検出手段と、
前記位置信号と前記検知信号とを合成した合成信号に基づいて、前記構成部材を制御するための制御信号を生成する生成手段と
を有することを特徴とする画像処理装置。 Detecting means for detecting predetermined information from an image signal output at a predetermined cycle from the image sensor and outputting a detection signal indicating the detected information;
Detection means for detecting a position signal indicating a position of a predetermined component for obtaining the image signal, which is driven based on the detected information;
An image processing apparatus comprising: generating means for generating a control signal for controlling the component member based on a combined signal obtained by combining the position signal and the detection signal.
前記記憶手段に記憶された合成信号に基づいて、次の周期で得られる合成信号を予測する予測手段と、を更に有し、
前記生成手段は、前記検知手段により前記予め決められた情報が検知できた場合に、最も新しい合成信号に基づいて前記制御信号を生成し、前記予め決められた情報が検知できなかった場合に、前記予測手段により予測された合成信号に基づいて、前記制御信号を生成することを特徴とする請求項１に記載の画像処理装置。 Storage means for storing the synthesized signal for a plurality of cycles from a newer one;
Predicting means for predicting a composite signal obtained in the next cycle based on the composite signal stored in the storage means;
The generating means generates the control signal based on the newest combined signal when the predetermined information can be detected by the detecting means, and when the predetermined information cannot be detected, The image processing apparatus according to claim 1, wherein the control signal is generated based on a combined signal predicted by the prediction unit.
前記記憶手段に記憶された前記複数周期分の合成信号のうち、前記最も新しい合成信号を除く、新しい方から予め決められた数の合成信号と、予め保持された係数に基づいて、第１の予測値を取得する第１の取得手段と、
前記第１の予測値と、前記最も新しい合成信号との差に基づいて、係数を演算する演算手段と、
前記第１の取得手段で用いた前記係数を、前記演算手段により演算した前記係数により更新する更新手段と、
前記記憶手段に記憶された前記複数周期分の合成信号のうち、前記最も新しい合成信号を含む、新しい方から前記予め決められた数の合成信号と、前記係数とに基づいて、第２の予測値を取得し、該第２の予測値を前記次の周期で得られると予測される合成信号として出力する第２の取得手段と
を有することを特徴とする請求項２に記載の画像処理装置。 The prediction means includes
Based on a predetermined number of synthesized signals from a newer one and excluding the newest synthesized signal among the synthesized signals for the plurality of periods stored in the storage unit, and a first stored coefficient First acquisition means for acquiring a predicted value;
Computing means for computing a coefficient based on a difference between the first predicted value and the newest synthesized signal;
Updating means for updating the coefficient used in the first obtaining means with the coefficient computed by the computing means;
Based on the predetermined number of synthesized signals from the newest one including the newest synthesized signal among the synthesized signals for the plurality of periods stored in the storage means, and a second prediction The image processing apparatus according to claim 2, further comprising: a second acquisition unit configured to acquire a value and output the second predicted value as a synthesized signal predicted to be obtained in the next period. .
請求項１乃至８のいずれか１項に記載の前記画像処理装置と
を有することを特徴とする撮像装置。 The imaging element;
Imaging apparatus characterized by having said image processing apparatus according to any one of claims 1 to 8.
検出手段が、前記検知した情報に基づいて駆動される、前記画像信号を得るための予め決められた構成部材の位置を示す位置信号を検出する検出工程と、
生成手段が、前記位置信号と前記検知信号とを合成した合成信号に基づいて、前記構成部材を制御するための制御信号を生成する生成工程と
を有することを特徴とする画像処理装置の制御方法。 A detecting step for detecting predetermined information from an image signal output at a predetermined cycle from the image sensor and outputting a detection signal indicating the detected information;
A detecting step of detecting a position signal indicating a position of a predetermined component for obtaining the image signal, which is driven based on the detected information;
And a generation step of generating a control signal for controlling the constituent member based on a synthesized signal obtained by synthesizing the position signal and the detection signal. .
予測手段が、前記記憶手段に記憶された合成信号に基づいて、次の周期で得られる合成信号を予測する予測工程と、を更に有し、
前記生成工程では、前記検知工程で前記予め決められた情報が検知できた場合に、最も新しい合成信号に基づいて前記制御信号を生成し、前記予め決められた情報が検知できなかった場合に、前記予測工程で予測された合成信号に基づいて、前記制御信号を生成することを特徴とする請求項１０に記載の画像処理装置の制御方法。 A storage step of storing the synthesized signal in a storage unit for a plurality of cycles from a newer;
A predicting step of predicting a composite signal obtained in the next cycle based on the composite signal stored in the storage unit;
In the generation step, when the predetermined information can be detected in the detection step, the control signal is generated based on the newest synthesized signal, and when the predetermined information cannot be detected, The control method for an image processing apparatus according to claim 10 , wherein the control signal is generated based on the combined signal predicted in the prediction step.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015116024A JP6555937B2 (en) | 2015-06-08 | 2015-06-08 | Image processing apparatus, control method therefor, and imaging apparatus |
| US15/175,849 US9967462B2 (en) | 2015-06-08 | 2016-06-07 | Image processing apparatus, method for controlling the same, and image capturing apparatus |
| US15/946,059 US10298844B2 (en) | 2015-06-08 | 2018-04-05 | Image processing apparatus, method for controlling the same, and image capturing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015116024A JP6555937B2 (en) | 2015-06-08 | 2015-06-08 | Image processing apparatus, control method therefor, and imaging apparatus |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2017005432A JP2017005432A (en) | 2017-01-05 |
| JP2017005432A5 JP2017005432A5 (en) | 2018-07-26 |
| JP6555937B2 true JP6555937B2 (en) | 2019-08-07 |
Family
ID=57752918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015116024A Active JP6555937B2 (en) | 2015-06-08 | 2015-06-08 | Image processing apparatus, control method therefor, and imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6555937B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117440248A (en) * | 2023-12-21 | 2024-01-23 | 西安松果电子科技有限公司 | Method and system for realizing target servo intelligent control based on axial image stabilization technology |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5137556B2 (en) * | 2007-12-19 | 2013-02-06 | オンセミコンダクター・トレーディング・リミテッド | Vibration correction control circuit and imaging apparatus equipped with the same |
| JP2010139734A (en) * | 2008-12-11 | 2010-06-24 | Canon Inc | Photographing apparatus |
-
2015
- 2015-06-08 JP JP2015116024A patent/JP6555937B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017005432A (en) | 2017-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10298844B2 (en) | Image processing apparatus, method for controlling the same, and image capturing apparatus | |
| JP6682360B2 (en) | Anti-vibration control device, optical device, anti-vibration control method, and anti-vibration control program | |
| JP6017381B2 (en) | Image blur correction apparatus and imaging apparatus | |
| US9277102B2 (en) | Audio processing apparatus, audio processing method and imaging apparatus | |
| JP6530602B2 (en) | Image pickup apparatus and control method thereof | |
| US10175451B2 (en) | Imaging apparatus and focus adjustment method | |
| WO2018030166A1 (en) | Image shake correction device, optical device, and method for correcting image shake | |
| JP2008276017A (en) | Imaging apparatus and method, and program | |
| JP4614143B2 (en) | Imaging apparatus and program thereof | |
| KR101653272B1 (en) | A digital photographing apparatus, a method for controlling the same, and a computer-readable medium | |
| JP2017032908A (en) | Image blur correction device, control method thereof, and imaging device | |
| JP2020012879A (en) | Imaging element, focus detection device, imaging method, and focus detection method | |
| JP2019124871A (en) | Image blur correction device, control method of the same, and imaging apparatus | |
| JP2016142999A (en) | Imaging device and control method of the same | |
| US11092774B2 (en) | Lens apparatus, image capturing apparatus, control method of lens apparatus, and control method of image capturing apparatus | |
| JP6555937B2 (en) | Image processing apparatus, control method therefor, and imaging apparatus | |
| JP2019125890A (en) | Image shake correction device, camera body, image shake correction method, and program | |
| JP2019216374A (en) | Imaging apparatus and control method therefor | |
| JP6759019B2 (en) | Blur correction device and its control method, imaging device | |
| US10748255B2 (en) | Image blur correction device, optical apparatus, and control method | |
| JP6521752B2 (en) | Image processing apparatus and control method therefor, imaging apparatus | |
| JP2018205551A (en) | Imaging device and control method of the same | |
| JP7214424B2 (en) | Imaging device and its control method | |
| KR101486773B1 (en) | Image processing method for image-stabilization and imaging device having image-stabilization function | |
| JP4665541B2 (en) | Imaging apparatus and camera shake correction method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180606 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180606 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190314 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190326 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190527 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190610 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190709 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6555937 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |