JP4886492B2 - Imaging apparatus and imaging system - Google Patents
Imaging apparatus and imaging system Download PDFInfo
- Publication number
- JP4886492B2 JP4886492B2 JP2006329925A JP2006329925A JP4886492B2 JP 4886492 B2 JP4886492 B2 JP 4886492B2 JP 2006329925 A JP2006329925 A JP 2006329925A JP 2006329925 A JP2006329925 A JP 2006329925A JP 4886492 B2 JP4886492 B2 JP 4886492B2
- Authority
- JP
- Japan
- Prior art keywords
- camera shake
- imaging
- start position
- unit
- shake correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
本発明は、ビデオカメラなどの撮像装置及び撮像システムにおいて、撮影時の手ぶれを補正する手ぶれ補正機能に関する。 The present invention relates to a camera shake correction function for correcting camera shake at the time of shooting in an imaging apparatus such as a video camera and an imaging system.
近年、ビデオカメラの小型化、軽量化、光学ズームの高倍率化が進んでいる。しかしながら、このような小型軽量のビデオカメラは、撮影時に手ぶれを起こし易く、ズーム倍率が大きいほど手ぶれの影響が大きくなる。そこで、このような撮影時の手ぶれによる映像の乱れを防止する機能として、手ぶれ防止機能を搭載した撮像装置が提案されている。 In recent years, video cameras have become smaller and lighter, and optical zooms have been increased in magnification. However, such a small and light video camera easily causes camera shake at the time of shooting, and the effect of camera shake increases as the zoom magnification increases. In view of this, an image pickup apparatus equipped with a camera shake prevention function has been proposed as a function for preventing image disturbance due to camera shake during shooting.
この手ぶれ防止機能は、手ぶれによる映像の乱れを防止する機能であり、この機能を実現する方式としては、光学式手ぶれ補正方式と電子式手ぶれ補正方式とがある。 This camera shake prevention function is a function for preventing image distortion due to camera shake, and methods for realizing this function include an optical camera shake correction method and an electronic camera shake correction method.
光学式手ぶれ補正方式では、撮像素子に入射される撮像光の光路途中に、光軸変位が可能なプリズムやレンズ部材を配置し、手ぶれに応じて光軸の変位を行うことにより手ぶれ補正を行う。 In the optical image stabilization method, a prism or lens member capable of optical axis displacement is arranged in the middle of the optical path of the imaged light incident on the image sensor, and the image stabilization is performed by displacing the optical axis according to the camera shake. .
電子式手ぶれ補正方式では、撮像素子で得られた画像から記録又は出力する範囲を電子的に選択することにより補正を行う。また、電子式手ぶれ補正方式は、撮像された画像をメモリに保存してその一部を切り出す方式や、放送方式で必要とする標準サイズの撮像素子に比べて画素数の多い撮像素子を用いて、放送方式で必要とする標準サイズを切り出す方式等がある。 In the electronic camera shake correction method, correction is performed by electronically selecting a range to be recorded or output from an image obtained by an image sensor. In addition, the electronic image stabilization method uses a method in which a captured image is stored in a memory and a part thereof is cut out, or an image sensor having a larger number of pixels than a standard size image sensor required in a broadcast method. And a standard size required for the broadcasting system.
光軸変位のために別途部品が必要になる光学式よりも、メモリや撮像素子からの読み出し開始位置の制御によって補正を行う電子式の方が、小型化に有利である。そのため、小型化を優先する場合、電子式手ぶれ補正方式を行うことが一般的である。 The electronic method in which correction is performed by controlling the read start position from the memory or the image sensor is more advantageous for miniaturization than the optical method in which separate components are required for the optical axis displacement. Therefore, when priority is given to downsizing, it is common to use an electronic image stabilization method.
また、CCDイメージセンサと比較して、低電圧・低消費電力であるCMOSイメージセンサを撮像素子とする撮像装置が提案されている。 In addition, an imaging apparatus using a CMOS image sensor having a low voltage and low power consumption as an imaging element as compared with a CCD image sensor has been proposed.
一般的にCCDイメージセンサとCMOSイメージセンサでは、撮像面に配置された画素から信号を読み出す方式と構造に大きな差があり、電荷の蓄積制御方式が異なる。図7は、電荷の蓄積制御方式を示す図である。図7より蓄積制御方式の違いを説明する。 In general, a CCD image sensor and a CMOS image sensor have a large difference in structure from a method of reading signals from pixels arranged on an imaging surface, and a charge accumulation control method is different. FIG. 7 is a diagram showing a charge accumulation control system. The difference in the accumulation control method will be described with reference to FIG.
図7(a)は、グローバルシャッタと称されるCCDイメージセンサの蓄積制御方式であり、全ての画素行の蓄積が同じタイミングで開始され、蓄積期間Δt後にCCDに読み出され、順番に信号が出力される。図7(b)は、ローリングシャッタと称されるCMOSイメージセンサの蓄積制御方式であり、画素行毎に蓄積の開始タイミングがずれる。CMOSイメージセンサの基本的な動作方式から、信号を出力した画素は、その時点から電荷の蓄積を開始する。そのため、図7(b)の破線矢印で示すように、信号出力するタイミングに合わせて蓄積が終了しなければならない。また、蓄積期間Δtの電荷を読み出すためには、読み出しのタイミングからΔt前の時点で画素からリセット用の読み出しを行い、電荷をリセットする必要がある。このため、画素行の読み出しタイミングを△、リセットタイミングを▲とすると、図示するように制御しなければならない。 FIG. 7A shows a CCD image sensor accumulation control method called a global shutter, in which accumulation of all pixel rows is started at the same timing, read out to the CCD after the accumulation period Δt, and signals are sequentially transmitted. Is output. FIG. 7B shows a CMOS image sensor accumulation control method called a rolling shutter, and the accumulation start timing is shifted for each pixel row. From the basic operation method of the CMOS image sensor, a pixel that outputs a signal starts to accumulate electric charges from that point. Therefore, as shown by the broken-line arrow in FIG. 7B, the accumulation must be completed in accordance with the signal output timing. In addition, in order to read out the charge in the accumulation period Δt, it is necessary to reset the charge by performing reset reading from the pixel at a time before Δt from the read timing. For this reason, if the readout timing of the pixel row is Δ and the reset timing is ▲, it must be controlled as shown in the figure.
次に、センサからの読み出し開始位置の制御について説明する。 Next, control of the reading start position from the sensor will be described.
図8は、センサからの読み出しタイミングを示す図である。図8(a)は、CCDイメージセンサからの読み出し開始位置を制御する動作を示している。CCDイメージセンサの場合は、全画素行が同時に蓄積されるため、垂直基準信号に対して信号出力する開始行までを高速に掃き出し、所望の画素行から読み出しを開始する。図8(b)は、CMOSイメージセンサからの読み出し開始位置を制御する動作を示している。CMOSイメージセンサの場合は、垂直基準信号に対して出力される画素行が決まってから、蓄積期間Δt前の時点で電荷をリセットしなければならない。そのため、読み出し開始位置によって各画素行の電荷をリセットするタイミングが変化する。また、電荷の蓄積を開始する前に読み出し開始位置を決めるため、蓄積期間中に発生した手ぶれがセンサ出力に残留するという問題がある。このように、CCDイメージセンサとCMOSイメージセンサでは電荷の蓄積制御方式が違うため、CMOSイメージセンサでは、特性に対応した手ぶれ補正を行う必要がある。 FIG. 8 is a diagram illustrating timing of reading from the sensor. FIG. 8A shows an operation for controlling the reading start position from the CCD image sensor. In the case of a CCD image sensor, since all the pixel rows are accumulated simultaneously, the start row for outputting a signal with respect to the vertical reference signal is swept at a high speed, and reading is started from a desired pixel row. FIG. 8B shows an operation for controlling the reading start position from the CMOS image sensor. In the case of a CMOS image sensor, the charge must be reset at a time before the accumulation period Δt after the pixel row to be output for the vertical reference signal is determined. For this reason, the timing for resetting the charge in each pixel row varies depending on the reading start position. In addition, since the reading start position is determined before charge accumulation is started, there is a problem that camera shake generated during the accumulation period remains in the sensor output. As described above, since the charge accumulation control method is different between the CCD image sensor and the CMOS image sensor, it is necessary to perform camera shake correction corresponding to the characteristics in the CMOS image sensor.
そこで、特許文献1では、手ぶれ情報に基づきCMOSイメージセンサからの読み出し開始位置を制御することで手ぶれを補正する方法が開示されている。また、特許文献1では、CMOSイメージセンサの全有効画素を一旦記録し、手ぶれ情報に基づいて、記憶部からの読み出し開始位置を制御することによって、手ぶれを補正する方法が開示されている。
しかしながら、上記の技術のように、CMOSイメージセンサから読み出し開始位置を制御する手ぶれ補正手段では、蓄積期間中に発生する手ぶれがセンサ出力に残留する、という問題が解決されていない。 However, as in the above-described technique, the camera shake correction unit that controls the reading start position from the CMOS image sensor does not solve the problem that camera shake that occurs during the accumulation period remains in the sensor output.
また、上記の技術のように、全画素を記憶する手法では、上記蓄積期間の手ぶれを補正することができるが、CMOSイメージセンサから必要な画素数を読み出す場合に比べて、読み出しクロックを高速化する必要がある。その結果、消費電力が大きくなるという問題があった。 In addition, as in the technique described above, the method of storing all pixels can correct camera shake during the accumulation period, but speeds up the readout clock compared to reading out the required number of pixels from the CMOS image sensor. There is a need to. As a result, there is a problem that power consumption increases.
本発明は、上記の問題点に鑑みてなされたものであり、高速かつ低消費電力で効果的に手ぶれを補正することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to effectively correct camera shake at high speed and with low power consumption.
本発明の第1の側面は、撮像装置に係り、撮像面に配置された複数の画素の一部から画像信号を読み出す撮像手段と、手ぶれを検出する手ぶれ検出手段と、前記手ぶれ検出手段で検出された、第1の手ぶれ量に基づいて、前記撮像手段の読み出し開始位置を決定し、その読み出しを制御する第1の制御手段と、前記撮像手段から読み出された画像信号を記憶する記憶手段と、前記撮像手段の読み出し開始位置を決定した後に前記手ぶれ検出手段で検出された、第2の手ぶれ量に基づいて、前記記憶手段に記憶された前記画像信号の読み出し開始位置を決定し、その読み出しを制御する第2の制御手段と、
を備えることを特徴とする。
A first aspect of the present invention relates to an imaging apparatus, and includes an imaging unit that reads an image signal from a part of a plurality of pixels arranged on an imaging surface, a camera shake detection unit that detects camera shake, and is detected by the camera shake detection unit. A first control unit for determining a reading start position of the imaging unit based on the first amount of camera shake, and a storage unit for storing the image signal read from the imaging unit; And determining the readout start position of the image signal stored in the storage means based on the second shake amount detected by the shake detection means after determining the readout start position of the imaging means, A second control means for controlling reading;
It is characterized by providing.
本発明の第2の側面は、撮像システムに係り、光学系と、上記の撮像装置と、を備えることを特徴とする。 A second aspect of the present invention relates to an imaging system, and includes an optical system and the imaging device described above.
本発明の第3の側面は、撮像面に配置された複数の画素の一部から画像信号を読み出す撮像手段と、手ぶれを検出する手ぶれ検出手段とを備える撮像装置の制御方法に係り、前記手ぶれ検出手段で検出された、第1の手ぶれ量に基づいて、前記撮像手段の読み出し開始位置を決定し、その読み出しを制御する工程と、前記撮像手段から読み出された画像信号を記憶手段に記憶する工程と、前記撮像手段の読み出し開始位置を決定した後に前記手ぶれ検出手段で検出された、第2の手ぶれ量に基づいて、前記記憶手段に記憶された前記画像信号の読み出し開始位置を決定し、その読み出しを制御する工程と、を含むことを特徴とする。 According to a third aspect of the present invention, there is provided a method for controlling an image pickup apparatus including an image pickup unit that reads an image signal from a part of a plurality of pixels arranged on an image pickup surface, and a camera shake detection unit that detects camera shake. Based on the first amount of camera shake detected by the detection means, a step of determining the readout start position of the imaging means and controlling the readout, and storing the image signal read from the imaging means in the storage means And a reading start position of the image signal stored in the storage means based on a second camera shake amount detected by the camera shake detection means after determining a reading start position of the imaging means. And a step of controlling the reading.
本発明の第4の側面は、光学系と、撮像面に配置された複数の画素の一部から画像信号を読み出す撮像手段と、手ぶれを検出する手ぶれ検出手段とを備える撮像システムの制御方法に係り、前記手ぶれ検出手段で検出された、第1の手ぶれ量に基づいて、前記撮像手段の読み出し開始位置を決定し、その読み出しを制御する工程と、前記撮像手段から読み出された画像信号を記憶手段に記憶する工程と、前記撮像手段の読み出し開始位置を決定した後に前記手ぶれ検出手段で検出された、第2の手ぶれ量に基づいて、前記記憶手段に記憶された前記画像信号の読み出し開始位置を決定し、その読み出しを制御する工程と、を含むことを特徴とする。 According to a fourth aspect of the present invention, there is provided an imaging system control method including an optical system, an imaging unit that reads an image signal from a part of a plurality of pixels arranged on an imaging plane, and a camera shake detection unit that detects camera shake. In accordance with the first camera shake amount detected by the camera shake detection means, the step of determining the readout start position of the imaging means and controlling the readout, and the image signal read from the imaging means And storing the image signal stored in the storage unit based on a second amount of camera shake detected by the camera shake detection unit after determining the reading start position of the imaging unit Determining the position and controlling the reading thereof.
本発明によれば、高速かつ低消費電力で効果的に手ぶれを補正することができる。 According to the present invention, camera shake can be effectively corrected at high speed and with low power consumption.
以下、本発明の好適な実施の形態について、添付図面を参照して詳細に説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the accompanying drawings.
[第1の実施形態]
図1は、本発明の好適な第1の実施形態に係る撮像装置の構成を示す図である。図1において、CMOSイメージセンサ101は入射された被写体像を光電変換し、撮像面に配置された複数の画素の一部から画像信号として出力する撮像手段として機能する。AFE102は、CMOSイメージセンサ101の出力信号をノイズ除去し、A/D変換を行う。メモリ103は、AFE102でデジタル化された画像信号を記録する。CPU104は、撮像装置全体を制御する。例えば、CPU104は、撮影時の設定に合わせてCMOSイメージセンサ101の蓄積時間を算出し、第1の手ぶれ補正制御手段106、第2の手ぶれ補正制御手段108及びセンサ駆動制御手段107に対し、算出した蓄積時間を出力する。ジャイロセンサ105は、一定間隔で手ぶれ量を検出する手ぶれ検出手段として機能する。第1の制御手段110は、ジャイロセンサ105で検出された手ぶれ量に基づいて、CMOSイメージセンサ101の読み出し開始位置を決定し、その読み出しを制御する。第2の制御手段111は、CMOSイメージセンサ101の読み出し開始位置を決定した後にジャイロセンサ105で検出された手ぶれ量に基づいて、メモリ103等の記憶手段に記憶された画像信号の読み出し開始位置を決定し、その読み出しを制御する。第1の制御手段110は、CMOSイメージセンサ101の読み出し開始位置を算出する第1の手ぶれ補正制御手段106と、CMOSイメージセンサ101の駆動を制御するセンサ駆動制御手段107とを含む。第2の制御手段111は、メモリ103等の記憶手段の読み出し開始位置を算出する第2の手ぶれ補正制御手段108と、メモリ103等の記憶手段に記録されている画素から映像出力(読み出し)に使用する範囲を制御するメモリ読出し制御手段109とを含む。
[First Embodiment]
FIG. 1 is a diagram showing a configuration of an imaging apparatus according to a preferred first embodiment of the present invention. In FIG. 1, a
以下、図2を参照して本発明の好適な第1の実施形態に係る撮像装置の動作を説明する。 The operation of the imaging apparatus according to the preferred first embodiment of the present invention will be described below with reference to FIG.
図2は、本実施形態に係る撮像装置の動作を説明するためのタイミングチャートを示す図である。図2において横軸は時間軸を示す。また、図2(g)〜図2(i)において縦軸は行方向の画素位置を示す。なお、図2(h)及び図2(i)では、後述する基準数で表された区間内における出力信号の画素領域を示す。 FIG. 2 is a diagram illustrating a timing chart for explaining the operation of the imaging apparatus according to the present embodiment. In FIG. 2, the horizontal axis indicates the time axis. 2 (g) to 2 (i), the vertical axis indicates the pixel position in the row direction. 2 (h) and 2 (i) show the pixel area of the output signal in a section represented by a reference number described later.
図2(a)に示すパルスは垂直基準信号を示し、撮影時の設定により信号間隔が変動しうる。各垂直基準信号間に付された数字は基準数を示す。図2(b)はジャイロセンサ105からの出力を示し、一定間隔毎で検出される手ぶれ量を表している。図2(c)は各垂直基準信号間で発生した手ぶれ量を積算した基準信号間積算値であり、手ぶれの方向を矢印↑↓、手ぶれの大きさを矢印の横に数字で表している。矢印↑及び矢印↓は、CMOSイメージセンサ101の撮像面に平行かつ逆方向の2方向をそれぞれ示す。図2(d)は、各垂直基準信号の発生時点までに生じた手ぶれ量を積算した全積算値であり、基準信号間積算値と同様に矢印↑↓と数字で表している。図2(e)はCMOSイメージセンサ101の読み出し開始位置を決定するための第1の手ぶれ補正値、図2(f)はメモリ103の読み出し開始位置を決定するための第2の手ぶれ補正値である。図2(g)はCMOSイメージセンサ101の画素領域を示し、CMOSイメージセンサ101の全画素を破線、CMOSイメージセンサ101から読み出される画素を実線で表している。図2(h)はCMOSイメージセンサ101からの出力信号(出力画像)を示し、図2(i)はメモリ103からの出力信号(出力画像)を示している。図2(i)において、CMOSメモリ103に記憶された全画素を破線、メモリ103から外部に読み出され出力される画素を実線で示している。
The pulse shown in FIG. 2A indicates a vertical reference signal, and the signal interval may vary depending on the setting at the time of shooting. A number given between each vertical reference signal indicates a reference number. FIG. 2B shows the output from the
以下、図1及び図2を参照して第1の実施形態について説明する。 Hereinafter, the first embodiment will be described with reference to FIGS. 1 and 2.
図2では、一例として、CMOSイメージセンサ101の全画素の行数を100行、CMOSイメージセンサ101から読み出す画素の行数を80行、手ぶれがない場合の読み出し開始行を第11行目とする。
In FIG. 2, as an example, the number of rows of all pixels of the
まず、基準数1の区間における手ぶれ補正を説明する。ジャイロ出力は、上向きを示しており、撮像面に対して上向きの手ぶれが発生している。基準数1の区間で発生した手ぶれ量を積算した基準信号間積算値は↑10である。基準数1の区間では、この値がそのまま第1の手ぶれ補正値及び第2の手ぶれ補正値となる。
First, camera shake correction in the
CMOSイメージセンサ101の読み出し位置は、撮像面の第1行目〜第100行目のうち、第11行〜第90行である(図2に示す「G1」)。基準数1の区間で発生した手ぶれは、基準数2の区間におけるCMOSイメージセンサ101の読み出し開始行と、基準数1の区間においてCMOSイメージセンサ101から読み出しメモリ103に記憶した画像の読み出し開始行と、にそれぞれ反映される。
The readout positions of the
すなわち、基準数2の区間での読み出し開始行は、基準数1の区間での読み出し開始行である第11行目を、10行上に移動させた第1行目である。また、CMOSイメージセンサ101から読み出された出力信号(図2に示す「H1」)は、メモリ103に記憶された後、その一部を読み出して映像出力(図2に示す「I1」)として出力する。基準数1の区間で手ぶれが生じていない場合には、メモリ103に記憶した画像のうち、CMOSイメージセンサ101の読み出し領域(図2に示す「G1」)に対応した第11行目〜第90行目を読み出す。しかしながら、基準数1の区間では、基準信号間積算値↑10の手ぶれが発生しているため、メモリ103からの読み出し開始行は、第11行目を10行上に移動させた第1行目となり、基準数1の区間で発生した手ぶれが反映される。
That is, the read start line in the
これを基準数2の区間における手ぶれ補正を例にしてより詳細に説明する。
This will be described in more detail with an example of camera shake correction in the interval of the
まず、第1の手ぶれ補正制御手段106は、■の時点までの手ぶれ量を積算し、得られた積算値を第1の手ぶれ補正値として、センサ駆動制御手段107へ出力する。図2では、説明を簡単にするため、■を読み出し開始時点□に最も近い垂直基準信号の発生時点(基準数1と2の間)に設定している。なお、■は、CMOSイメージセンサ101からの読み出し開始時点□から、少なくとも蓄積時間Δtと読み出し開始位置を算出するための時間との合計時間分だけ前に設定されればよい。
First, the first camera shake
次いで、CPU104は、第1の手ぶれ補正値が↑10であるため、CMOSイメージセンサ101の読み出し開始行を、第11行目から10行上に移動させ、第1行目に変更する。これにより読み出し開始時点□が決定される。
Next, since the first camera shake correction value is ↑ 10, the
次いで、CPU104は、撮影時の設定に合わせて、CMOSイメージセンサ101の蓄積時間Δtを算出し、第1の手ぶれ補正制御手段106、第2の手ぶれ補正制御手段108及びセンサ駆動制御手段107に対し、算出した蓄積時間Δtを出力する。これにより、基準数2における読み出し画素領域G2が決定される。
Next, the
次いで、センサ駆動制御手段107は、CMOSイメージセンサ101の読み出し開始時点□から蓄積時間Δt前の時点で、読み出し画素領域G2の読み出し開始行である第1行目から第80行目まで、順番に電荷をリセットする。
Next, the sensor drive control means 107 sequentially starts from the first row to the 80th row, which is the readout start row of the readout pixel region G2, at the time before the accumulation time Δt from the readout start time □ of the
次いで、CMOSイメージセンサ101は、読み出し開始時点□で、第1行目から第80行目まで蓄積された電荷を順番に読み出し、AFE102に出力する。
Next, the
ここで、読み出し画素領域G2からのセンサ出力H2には、■の時点までの手ぶれが補正されているが、■−□間で発生した手ぶれは補正されていない。これは、読み出し開始位置が一旦設定されると、その位置を変更できないからである。そこで、読み出し開始位置を設定された後に発生した手ぶれは、メモリ103側で補正する。
Here, in the sensor output H2 from the readout pixel region G2, the camera shake up to the time of ■ is corrected, but the camera shake occurring between ■ and □ is not corrected. This is because once the reading start position is set, the position cannot be changed. Therefore, camera shake occurring after the read start position is set is corrected on the
まず、AFE102は、センサ出力H2をデジタル化し、メモリ103に記録する。
First, the
次いで、第2の手ぶれ補正制御手段108は、■−□間で発生した手ぶれ量を積算し、得られた積算値を第2の手ぶれ補正値として、メモリ読み出し制御手段109へ出力する。
Next, the second camera shake
ここで、図2(i)に一例として示すように、メモリ103は80行分の画素を記憶できるものとし、メモリ103から読み出される画素の行数を60行、手ぶれがない場合の読み出し開始行を第11行目とする。
Here, as shown in FIG. 2 (i) as an example, the
■−□間に発生した手ぶれ量は、□の時点で基準信号間積算値↓10であるため、第2の手ぶれ補正値は↓10であり、メモリ103からの読み出し開始行は、10行下に移動した第21行目となる。
(2) Since the amount of camera shake occurring between − □ is the integrated value between reference signals ↓ 10 at the time of □, the second camera shake correction value is ↓ 10, and the reading start line from the
メモリ読み出し制御手段109は、読み出し開始行である第21行目から第80行目まで、メモリ103からの読み出しを行う。その結果、■−□間に発生した手ぶれが補正されたメモリ出力I2が得られる。
The memory read control means 109 performs reading from the
以上のように、本実施形態では、CMOSイメージセンサからの読み出し開始位置を制御することによって、読み出し開始位置の決定前(例えば、蓄積期間前)に発生した手ぶれを補正する。そして、メモリからの読み出し開始位置を制御することによって、読み出し開始位置の決定後(例えば、蓄積期間中)に発生した手ぶれを補正する。その結果、全画素を読み出す場合よりも、読み出しクロックを低速化することができ、かつ、消費電力を抑えることができる。 As described above, in the present embodiment, camera shake occurring before the determination of the read start position (for example, before the accumulation period) is corrected by controlling the read start position from the CMOS image sensor. Then, by controlling the read start position from the memory, camera shake occurring after the read start position is determined (for example, during the accumulation period) is corrected. As a result, the readout clock can be made slower than in the case of reading out all pixels, and the power consumption can be suppressed.
[第2の実施形態]
次に、本発明の好適な第2の実施形態について説明する。本実施形態では、CMOSイメージセンサ101からの読み出し開始位置の制御により補正可能な大きさを超えた手ぶれが発生した場合には、補正できなかった手ぶれ量を考慮して、メモリからの読み出し開始位置を制御することによって手ぶれ補正を行う。
[Second Embodiment]
Next, a preferred second embodiment of the present invention will be described. In the present embodiment, when a camera shake exceeding a size that can be corrected by the control of the read start position from the
図3は、本発明の好適な第2の実施形態に係る撮像装置の構成を示す図であり、図4は、第2の実施形態の動作を説明するためのタイミングチャートを示す図である。図3及び図4において、図1及び図2と同様の構成要素には、同一の符号が付されている。なお、図4(j)は手ぶれを補正するための読み出し開始位置と実際にCMOSイメージセンサ101から読み出しを開始した位置との差分値を示す。
FIG. 3 is a diagram showing a configuration of an imaging apparatus according to the preferred second embodiment of the present invention, and FIG. 4 is a diagram showing a timing chart for explaining the operation of the second embodiment. 3 and 4, the same components as those in FIGS. 1 and 2 are denoted by the same reference numerals. FIG. 4J shows a difference value between a reading start position for correcting camera shake and a position where reading is actually started from the
以下、第1の実施形態と異なる部分について説明する。 Hereinafter, a different part from 1st Embodiment is demonstrated.
第1の手ぶれ補正制御手段106は、■の時点までの手ぶれ量を積算し、得られた積算値が補正可能な範囲内の場合には、積算値を第1の手ぶれ補正値として、センサ駆動制御手段107へ出力する。得られた積算値が補正可能な範囲を超える場合には、補正可能な最大値を第1の手ぶれ補正値としてセンサ駆動制御手段107へ出力する。また、積算値と第1の手ぶれ補正値との差分値を第2の手ぶれ補正制御手段108へ出力する。 The first camera shake correction control means 106 integrates the amount of camera shake up to the time of ■, and when the obtained integrated value is within a correctable range, the integrated value is used as the first camera shake correction value to drive the sensor. Output to the control means 107. When the obtained integrated value exceeds the correctable range, the maximum correctable value is output to the sensor drive control means 107 as the first camera shake correction value. Further, the difference value between the integrated value and the first camera shake correction value is output to the second camera shake correction control means 108.
第2の手ぶれ補正制御手段108は、■−□間に発生した手ぶれ量を積算して得られた積算値と、第1の手ぶれ補正制御手段106からの差分値を加算し、第2の手ぶれ補正値としてメモリ読み出し制御手段109へ出力する。
The second camera shake
図4では、CMOSイメージセンサ101の全画素の行数を100行、CMOSイメージセンサ101からの読み出し画素の行数を80行、手ぶれがない場合の読み出し開始行を第11行目、手ぶれ補正範囲を上下10行としている。■の時点で図4(d)の全積算値は↑15であるため、手ぶれ補正範囲の10行を超えている。このため、第1の手ぶれ補正値としては、手ぶれ補正可能な最大値↑10がセンサ駆動制御手段107へ出力される。また、全積算値↑15と手ぶれ補正可能な最大値↑10との差分値↑5が第2の手ぶれ補正制御手段108へ出力される。
In FIG. 4, the number of rows of all pixels of the
センサ駆動制御手段107は、CMOSイメージセンサ101からの読み出し開始時点□から蓄積時間Δt前の時点で、第1の手ぶれ補正値により決まる読み出し画素領域G3に対し、読み出し開始行から順番に電荷をリセットする。次に、CMOSイメージセンサ101からの読み出し開始時点□から、蓄積された電荷を順番に読み出し、CMOSイメージセンサ101から出力する。
The sensor drive control means 107 resets the charge sequentially from the read start row to the read pixel region G3 determined by the first camera shake correction value at the time before the accumulation time Δt from the read start time □ from the
センサ出力H3は、CMOSイメージセンサ101からの読み出しを制御することによって補正できなかった手ぶれと、蓄積期間中に発生した手ぶれとが残留している。
The sensor output H3 includes camera shake that could not be corrected by controlling reading from the
第2の手ぶれ補正制御手段108は、■−□間に発生した手ぶれ量の積算値と、第1の手ぶれ補正制御手段106からの差分値とを加算し、第2の手ぶれ補正値としてメモリ読み出し制御手段109へ出力する。
The second camera shake
□の時点で、■−□間に発生した手ぶれ量は、図4(c)の基準信号間積算値が0である一方で、第1の手ぶれ補正制御手段106からの差分値が↑5である。そのため、第2の手ぶれ補正値は↑5と表され、メモリ103からの読み出し開始行は5行上に移動して第6行目となる(図4に示す「I2」)。
At the time of □, the amount of camera shake occurring between ■ and □ is zero in the integrated value between reference signals in FIG. 4C, while the difference value from the first camera shake correction control means 106 is ↑ 5. is there. For this reason, the second camera shake correction value is represented by ↑ 5, and the reading start row from the
メモリ読み出し制御手段109は、読み出し開始位置に合わせて、メモリ103からの読み出しを制御する。これによって、CMOSイメージセンサ101からの読み出し時に残った手ぶれと、■−□間に発生した手ぶれとが補正されたメモリ出力I3を得ることができる。
The memory read control unit 109 controls reading from the
以上のように本実施形態では、補正可能な範囲を超える手ぶれが発生して、CMOSイメージセンサからの読み出し時に残った手ぶれを、メモリからの読み出し時に補正することが可能となる。 As described above, in this embodiment, camera shake exceeding the correctable range occurs, and the camera shake remaining at the time of reading from the CMOS image sensor can be corrected at the time of reading from the memory.
[第3の実施形態]
次に、本発明の好適な第3の実施形態について説明する。本実施形態では、CMOSイメージセンサ101の読み出し開始行が予め定められた行に制限され、手ぶれを補正するための行から読み出しが出来ない場合には、補正できなかった手ぶれ量を考慮する。そして、メモリからの読み出し開始位置を制御することによって手ぶれ補正を行う。
[Third Embodiment]
Next, a preferred third embodiment of the present invention will be described. In this embodiment, when the readout start row of the
図5は、本発明の好適な第3の実施形態に係る撮像装置の構成を示す図であり、図6は、第3の実施形態の動作を説明するためのタイミングチャートを示す図である。図5及び図6において、図1及び図2と同様の構成要素には、同一の符号が付されている。 FIG. 5 is a diagram showing a configuration of an imaging apparatus according to the preferred third embodiment of the present invention, and FIG. 6 is a timing chart for explaining the operation of the third embodiment. In FIG. 5 and FIG. 6, the same code | symbol is attached | subjected to the component similar to FIG.1 and FIG.2.
以下、第1の実施形態と異なる部分について説明する。 Hereinafter, a different part from 1st Embodiment is demonstrated.
センサ駆動制御手段107は、第1の手ぶれ補正値による手ぶれ補正行が、読み出し開始位置として設定できない行の場合には、手ぶれ補正行の近傍の(例えば、一番近い)読み出し開始位置として設定可能な行から読み出しを行う。これとともに、手ぶれ補正行の行番号と実際に読み出した行の行番号との差分値を第2の手ぶれ補正制御手段108へ出力する。第2の手ぶれ補正制御手段108は、■−□間に発生した手ぶれ量を積算して得られた積算値と、センサ駆動制御手段107からの差分値を加算し、第2の手ぶれ補正値としてメモリ読み出し制御手段109へ出力する。
The sensor
図6では、CMOSイメージセンサ101の全画素の行数を100行、CMOSイメージセンサ101からの読み出し画素の行数を80行、手ぶれがない場合の読み出し開始行を第11行目としている。また、CMOSイメージセンサ101からの読み出し可能な行数を5行毎としている。■の時点で図6(d)の全積算値は↑8であるため、手ぶれ補正をするための読み出し開始行は第3行目となる。しかしながら、第3行目は読み出し開始位置として設定可能な行ではないため、一番近い読み出し開始位置として設定可能な行である第1行目から読み出しを行う。また、手ぶれ補正をするための読み出し行の行番号と実際に読み出しを開始した行の行番号との差分値↓2を、第2の手ぶれ補正制御手段108へ出力する。
In FIG. 6, the number of rows of all pixels of the
センサ出力H3には、CMOSイメージセンサ101からの読み出しにより補正できなかった手ぶれと蓄積期間中に発生した手ぶれとが残留している。
In the sensor output H3, camera shake that could not be corrected by reading from the
第2の手ぶれ補正制御手段108は、■−□間に発生した手ぶれ量の積算値と、センサ駆動制御手段107からの差分値とを加算し、第2の手ぶれ補正値としてメモリ読み出し制御手段109へ出力する。
The second camera shake
□の時点で、■−□間に発生した手ぶれ量は、図6(c)の基準信号間積算値↓5となるが、センサ駆動制御手段からの差分値が↓2であるため、第2の手ぶれ補正値は↓7となる。その結果、メモリ103からの読み出し開始行は7行下に移動して第18行目となる(図6に示す「I3」)。
At the time of □, the amount of camera shake occurring between ■ and □ becomes the inter-reference signal integrated value ↓ 5 in FIG. 6C, but the difference value from the sensor drive control means is ↓ 2. The camera shake correction value is ↓ 7. As a result, the reading start line from the
メモリ読み出し制御手段109は、読み出し開始位置に合わせて、メモリ103からの読み出しを制御する。これによって、CMOSイメージセンサ101からの読み出し時に残った手ぶれと、■−□間に発生した手ぶれとが補正されたメモリ出力I3を得ることができる。
The memory read control unit 109 controls reading from the
以上のように本実施形態では、予め定められた行しか読み出し開始位置を設定できないCMOSイメージセンサ101において、CMOSイメージセンサ101からの読み出し時に残った手ぶれをメモリからの読み出し開始位置を制御する。これによって手ぶれを補正することが可能となる。
As described above, in this embodiment, in the
なお、上述した実施形態の説明においては、CMOSイメージセンサから読み出した画像信号を記憶するメモリを撮像装置内に配置したが、例えば、このようなメモリを撮像装置の外部に配置させる場合にも、本発明は適用可能である。 In the description of the above-described embodiment, the memory for storing the image signal read from the CMOS image sensor is arranged in the imaging device. For example, when such a memory is arranged outside the imaging device, The present invention is applicable.
また、上述した実施形態の説明においては、結像レンズ等を含む光学系の図示を省略したが、このような光学系を搭載したビデオカメラなどの撮像システムにも、本発明は適用可能である。 In the above description of the embodiment, the optical system including the imaging lens is not shown, but the present invention is also applicable to an imaging system such as a video camera equipped with such an optical system. .
101‥‥CMOSイメージセンサ
103‥‥メモリ
105‥‥ジャイロセンサ
110‥‥第1の制御手段
111‥‥第2の制御手段
101 ...
Claims (7)
手ぶれを検出する手ぶれ検出手段と、
前記手ぶれ検出手段で検出された、第1の手ぶれ量に基づいて、前記撮像手段の読み出し開始位置を決定し、その読み出しを制御する第1の制御手段と、
前記撮像手段から読み出された画像信号を記憶する記憶手段と、
前記撮像手段の読み出し開始位置を決定した後に前記手ぶれ検出手段で検出された、第2の手ぶれ量に基づいて、前記記憶手段に記憶された前記画像信号の読み出し開始位置を決定し、その読み出しを制御する第2の制御手段と、
を備えることを特徴とする撮像装置。 Imaging means for reading out image signals from some of the plurality of pixels arranged on the imaging surface;
Camera shake detecting means for detecting camera shake;
A first control unit that determines a reading start position of the imaging unit based on a first amount of camera shake detected by the camera shake detection unit, and controls the reading;
Storage means for storing an image signal read from the imaging means;
Based on the second camera shake amount detected by the camera shake detection unit after determining the readout start position of the imaging unit, the readout start position of the image signal stored in the storage unit is determined, and the readout is performed. Second control means for controlling;
An imaging apparatus comprising:
前記第2の制御手段は、前記撮像手段の読み出し開始位置を決定した後に検出された前記第2の手ぶれ量を積算することによって、第2の手ぶれ補正値を算出する第2の手ぶれ補正制御手段を有し、
前記第1の手ぶれ補正制御手段は、前記第1の手ぶれ補正値に基づいて、前記撮像手段の読み出し開始位置を決定し、
前記第2の手ぶれ補正制御手段は、前記第2の手ぶれ補正値に基づいて、前記記憶手段の読み出し開始位置を決定することを特徴とする請求項1に記載の撮像装置。 The first control unit calculates a first camera shake correction value by integrating the first camera shake amount detected until the reading start position of the imaging unit is determined. Having means,
It said second control means, by integrating the second shake amount detected after determining the reading start position of the imaging means, the second camera shake correction control means for calculating a second camera shake correction values Have
The first camera shake correction control means determines a reading start position of the imaging means based on the first camera shake correction value;
The imaging apparatus according to claim 1, wherein the second camera shake correction control unit determines a reading start position of the storage unit based on the second camera shake correction value.
前記第2の手ぶれ補正制御手段は、前記撮像手段の読み出し開始位置を決定してから電荷蓄積期間が終了するまでに検出された前記第2の手ぶれ量の積算値と前記差分値とに基づいて、前記第2の手ぶれ補正値を算出することを特徴とする請求項2に記載の撮像装置。 When the first camera shake correction value exceeds a set value, the first camera shake correction control unit sets the set value as the first camera shake correction value, and also sets the first camera shake correction value and the first camera shake correction value. A difference value with a set value is output to the second image stabilization control means;
The second camera shake correction control means is based on the integrated value and the difference value of the second camera shake amount detected from when the reading start position of the imaging means is determined until the end of the charge accumulation period. The imaging apparatus according to claim 2, wherein the second camera shake correction value is calculated.
前記第2の手ぶれ補正制御手段は、前記撮像手段の読み出し開始位置が決定されてから電荷蓄積期間が終了するまでに検出された前記第2の手ぶれ量の積算値と前記差分値とに基づいて、前記第2の手ぶれ補正値を算出することを特徴とする請求項2に記載の撮像装置。 The first control unit controls the readout start position of the imaging unit in units of rows, and when the readout start position determined based on the first camera shake amount is not a readable row, the vicinity thereof Read out from the readable row, and output the difference value between the row number of the determined read start position and the row number actually started reading to the second camera shake correction control means,
The second camera shake correction control means is based on the integrated value and the difference value of the second camera shake amount detected from when the reading start position of the imaging means is determined until the end of the charge accumulation period. The imaging apparatus according to claim 2, wherein the second camera shake correction value is calculated.
請求項1乃至請求項4のいずれか1項に記載の撮像装置と、
を備えることを特徴とする撮像システム。 Optical system,
An imaging apparatus according to any one of claims 1 to 4,
An imaging system comprising:
前記手ぶれ検出手段で検出された、第1の手ぶれ量に基づいて、前記撮像手段の読み出し開始位置を決定し、その読み出しを制御する工程と、
前記撮像手段から読み出された画像信号を記憶手段に記憶する工程と、
前記撮像手段の読み出し開始位置を決定した後に前記手ぶれ検出手段で検出された、第2の手ぶれ量に基づいて、前記記憶手段に記憶された前記画像信号の読み出し開始位置を決定し、その読み出しを制御する工程と、
を含むことを特徴とする撮像装置の制御方法。 An imaging apparatus control method comprising: an imaging unit that reads an image signal from a part of a plurality of pixels arranged on an imaging surface; and a camera shake detection unit that detects camera shake,
Determining a reading start position of the imaging unit based on a first amount of camera shake detected by the camera shake detecting unit, and controlling the reading;
Storing an image signal read from the imaging unit in a storage unit;
Based on the second camera shake amount detected by the camera shake detection unit after determining the readout start position of the imaging unit, the readout start position of the image signal stored in the storage unit is determined, and the readout is performed. A controlling step;
A method for controlling an imaging apparatus, comprising:
前記手ぶれ検出手段で検出された、第1の手ぶれ量に基づいて、前記撮像手段の読み出し開始位置を決定し、その読み出しを制御する工程と、
前記撮像手段から読み出された画像信号を記憶手段に記憶する工程と、
前記撮像手段の読み出し開始位置を決定した後に前記手ぶれ検出手段で検出された、第2の手ぶれ量に基づいて、前記記憶手段に記憶された前記画像信号の読み出し開始位置を決定し、その読み出しを制御する工程と、
を含むことを特徴とする撮像システムの制御方法。 An imaging system control method comprising: an optical system; an imaging unit that reads an image signal from a part of a plurality of pixels arranged on an imaging surface; and a camera shake detection unit that detects camera shake,
Determining a reading start position of the imaging unit based on a first amount of camera shake detected by the camera shake detecting unit, and controlling the reading;
Storing an image signal read from the imaging unit in a storage unit;
Based on the second camera shake amount detected by the camera shake detection unit after determining the readout start position of the imaging unit, the readout start position of the image signal stored in the storage unit is determined, and the readout is performed. A controlling step;
An imaging system control method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006329925A JP4886492B2 (en) | 2006-12-06 | 2006-12-06 | Imaging apparatus and imaging system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006329925A JP4886492B2 (en) | 2006-12-06 | 2006-12-06 | Imaging apparatus and imaging system |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008147791A JP2008147791A (en) | 2008-06-26 |
JP2008147791A5 JP2008147791A5 (en) | 2010-01-21 |
JP4886492B2 true JP4886492B2 (en) | 2012-02-29 |
Family
ID=39607513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006329925A Expired - Fee Related JP4886492B2 (en) | 2006-12-06 | 2006-12-06 | Imaging apparatus and imaging system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4886492B2 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3758205B2 (en) * | 1995-06-07 | 2006-03-22 | ソニー株式会社 | Solid-state imaging device, video camera using the same, and driving method of XY address type solid-state imaging device |
JP2000350101A (en) * | 1999-03-31 | 2000-12-15 | Toshiba Corp | Solid-state image pickup device and image information acquisition device |
JP3925415B2 (en) * | 2003-01-22 | 2007-06-06 | ソニー株式会社 | Image processing apparatus and method, recording medium, and program |
JP3829843B2 (en) * | 2003-12-08 | 2006-10-04 | ソニー株式会社 | Image processing device |
JP4916095B2 (en) * | 2004-05-13 | 2012-04-11 | ソニー株式会社 | Solid-state imaging device and driving method of solid-state imaging device |
-
2006
- 2006-12-06 JP JP2006329925A patent/JP4886492B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008147791A (en) | 2008-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4718196B2 (en) | Imaging device | |
US9185308B2 (en) | Imaging apparatus and imaging method | |
CN100589527C (en) | Image processing device and method | |
US8786734B2 (en) | Image pickup apparatus | |
EP2096861B1 (en) | Image capturing apparatus and image capturing apparatus control method | |
US20060262193A1 (en) | Image processing apparatus and method and program | |
JP2009141717A (en) | Imaging device | |
JP2008113141A (en) | Imaging device and signal processing method | |
JP5657184B2 (en) | Imaging apparatus and signal processing method | |
JP5155763B2 (en) | Imaging apparatus and imaging control method | |
JP5014168B2 (en) | IMAGING SYSTEM AND IMAGING SYSTEM CONTROL METHOD | |
JP2006270657A (en) | Image pickup apparatus, solid-state image sensor, and driving method of solid-state image sensor | |
JP5268539B2 (en) | Imaging apparatus and signal control method | |
JP5037078B2 (en) | Solid-state imaging device and driving method thereof | |
JP5530262B2 (en) | Camera shake correction control apparatus, camera shake correction control method, imaging apparatus, and program | |
JP4724400B2 (en) | Imaging device | |
JP2009077047A (en) | Electronic camera | |
JPH11225284A (en) | Image input device | |
JP2007020109A (en) | Electronic blur correction apparatus | |
JP4886492B2 (en) | Imaging apparatus and imaging system | |
JP2006228801A (en) | Solid state imaging element | |
JP4270947B2 (en) | Imaging device with image distortion correction function | |
JP4606989B2 (en) | Imaging device | |
JP4449777B2 (en) | Imaging apparatus, image processing apparatus and method, recording medium, and program | |
JP4569342B2 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091126 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111205 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111209 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141216 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4886492 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141216 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |