JP5530262B2 - Camera shake correction control apparatus, camera shake correction control method, imaging apparatus, and program - Google Patents
Camera shake correction control apparatus, camera shake correction control method, imaging apparatus, and programInfo
- Publication number
- JP5530262B2 JP5530262B2 JP2010137518A JP2010137518A JP5530262B2 JP 5530262 B2 JP5530262 B2 JP 5530262B2 JP 2010137518 A JP2010137518 A JP 2010137518A JP 2010137518 A JP2010137518 A JP 2010137518A JP 5530262 B2 JP5530262 B2 JP 5530262B2
- Authority
- JP
- Japan
- Prior art keywords
- period
- unit
- camera shake
- still image
- centering operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Description
本発明は、手振れ補正制御装置、手振れ補正制御方法、撮像装置およびプログラムに関する。 The present invention relates to a camera shake correction control apparatus, a camera shake correction control method, an imaging apparatus, and a program.
デジタルカメラ、デジタルビデオカメラ、内視鏡などの撮像装置で被写体を撮影する際に、撮影者の手の振動等により撮影画像が不鮮明になる現象を、一般に「手振れ」という。この手振れを防止するための技術として、手振れの状態を振動センサによって検知し、検知した手振れの状態に基づいて、手振れを打ち消すように撮影光学系の一部（手振れ補正レンズ）や、撮像素子をシフト（移動）させる技術が広く知られている。 When a subject is photographed by an imaging device such as a digital camera, a digital video camera, or an endoscope, a phenomenon in which a photographed image becomes unclear due to vibration of a photographer's hand is generally referred to as “hand shake”. As a technology for preventing this camera shake, a state of camera shake is detected by a vibration sensor, and based on the detected camera shake state, a part of the photographing optical system (camera correction lens) or an image sensor is installed. A technique for shifting (moving) is widely known.
一般的な手振れ防止の技術では、撮像装置が手振れ補正の処理を開始するときに、手振れ補正レンズや撮像素子を光軸の中心位置にシフトするということが行われている。そして、撮像装置が手振れ補正モードで被写体を撮影するときには、最初に、手振れ補正レンズや撮像素子を、光軸の中心位置にシフトする。その後、この光軸の中心位置から手振れ補正の処理が始まる。このような光軸の中心位置に手振れ補正レンズや撮像素子をシフトさせる動作は、センタリング動作と呼ばれている。 In a general camera shake prevention technique, when an image pickup apparatus starts a camera shake correction process, a camera shake correction lens and an image sensor are shifted to the center position of the optical axis. When the imaging apparatus captures a subject in the camera shake correction mode, first, the camera shake correction lens and the image sensor are shifted to the center position of the optical axis. Thereafter, the camera shake correction process starts from the center position of the optical axis. Such an operation of shifting the camera shake correction lens or the image sensor to the center position of the optical axis is called a centering operation.
従来から、センタリング動作に関する各種の方法が提案されている。例えば、撮像装置が手振れ補正モード以外のモードとなっているときに、補正用部材の位置を監視して初期位置に復帰させる方法として、特許文献１のような技術が開示されている。特許文献１で開示された技術は、撮像装置が、記録画像再生モードであるときや、光学ファインダ観察モードであるときに、センタリング動作を行うという技術である。
Conventionally, various methods relating to the centering operation have been proposed. For example, as a method for monitoring the position of the correction member and returning it to the initial position when the imaging apparatus is in a mode other than the camera shake correction mode, a technique such as
また、撮像装置の電源をオフする際に補正レンズを初期位置にセンタリングし、その後、手振れ補正を開始する時に、撮像光学系と撮像手段との相対位置を、初期位置から変化させるという技術も開示されている（特許文献２参照）。 Also disclosed is a technique in which the correction lens is centered at the initial position when the power of the imaging apparatus is turned off, and then the relative position between the imaging optical system and the imaging means is changed from the initial position when camera shake correction is started. (See Patent Document 2).
このように、手振れ補正機構のセンタリング動作に関する技術は、従来から各種提案されている。しかしながら、特許文献１に開示された手振れ補正装置では、手振れ補正機構が初期位置に復帰するタイミングが、撮像装置の撮像期間外であるため、初期位置に復帰させるための時間を別途確保しなければならない。このため、撮像装置が連続撮像（連写）をしているときなどでは、手振れ補正機構を初期位置に復帰させることが困難であるという問題がある。
As described above, various techniques related to the centering operation of the camera shake correction mechanism have been conventionally proposed. However, in the camera shake correction apparatus disclosed in
また、特許文献２に開示された手振れ補正装置では、手振れ補正レンズの初期位置へのシフトを、撮影時ではなく、撮像装置の電源をオフする時に行うため、撮像装置の電源がオンしている時の撮像期間において、画像を取得する範囲の位置精度が悪くなってしまうという問題がある。
In the camera shake correction apparatus disclosed in
本発明は、上記の課題認識に基づいてなされたものであり、撮像装置が、撮像動作を行っている期間内であっても、撮像シーケンスに影響を与えることなく、手振れ補正機構のセンタリングを確実に行うことができる手振れ補正制御装置、手振れ補正制御方法、撮像装置およびプログラムを提供することを目的としている。 The present invention has been made on the basis of the above problem recognition, and ensures that the camera shake correction mechanism is centered without affecting the imaging sequence even during the imaging operation period of the imaging apparatus. It is an object of the present invention to provide a camera shake correction control apparatus, a camera shake correction control method, an imaging apparatus, and a program that can be performed in the same manner.
上記の課題を解決するため、本発明のある態様に係る手振れ補正制御装置は、撮像素子上に配置された複数の画素を複数のグループに区分し、それぞれのグループに属する画素から、前記区分したグループ単位で静止画用信号を読み出し、さらに、前記区分したグループ単位に静止画用信号を読み出す期間の合間に、それぞれのグループに属する画素から、前記区分したグループ単位で動画用信号を読み出す撮像制御部と、前記撮像素子を具備した撮像装置の動きを検出する手振れ検出部と、前記手振れ検出部によって検出された動きに基づいて、前記動きを補正するための補正機構を動作させる手振れ補正部と、を備え、１枚の静止画像を生成するための前記静止画用信号を読み出す期間を、静止画周期期間と定義したとき、前記手振れ補正部は、前記補正機構を基準位置に移動させるセンタリング動作を、前記静止画周期期間から、少なくとも前記動画用信号の読み出し期間を除いた期間であるセンタリング動作可能期間内に行う。 In order to solve the above problems, a camera shake correction control device according to an aspect of the present invention divides a plurality of pixels arranged on an image sensor into a plurality of groups, and divides the pixels from the pixels belonging to each group. Imaging control for reading out still image signals in group units, and further reading out moving image signals in divided group units from pixels belonging to each group during the period of reading out still image signals in the divided group units A camera shake detection unit that detects a motion of the imaging device including the imaging device, and a camera shake correction unit that operates a correction mechanism for correcting the motion based on the motion detected by the camera shake detection unit. When the period for reading out the still image signal for generating one still image is defined as a still image cycle period, the image stabilization is performed. Department performs said centering operation to move to the reference position correction mechanism, from the still image period duration, the centering operable within a period which is a period excluding the readout period of at least the video signal.
また、本発明のある態様に係る撮像装置は、上記本発明のある態様に係る手振れ補正制御装置を具備する撮像装置であって、撮像素子は、入射光量に応じた信号電荷を発生させる光電変換部と、前記光電変換部が発生した信号電荷を蓄積する電荷蓄積部と、を具備した画素を２次元状に複数配列した画素部、を備える。 An imaging device according to an aspect of the present invention is an imaging device including the camera shake correction control device according to the above aspect of the present invention, wherein the imaging element generates a photoelectric charge corresponding to an incident light amount. And a pixel unit in which a plurality of pixels are arranged in a two-dimensional manner. The pixel unit includes a charge storage unit that stores signal charges generated by the photoelectric conversion unit.
また、本発明のある態様に係る手振れ補正制御方法は、撮像素子上に配置された複数の画素を複数のグループに区分し、それぞれのグループに属する画素から、前記区分したグループ単位で静止画用信号を読み出し、さらに、前記区分したグループ単位に静止画用信号を読み出す期間の合間に、それぞれのグループに属する画素から、前記区分したグループ単位で動画用信号を読み出す撮像制御ステップと、前記撮像素子を具備した撮像装置の動きを検出する手振れ検出ステップと、前記手振れ検出部によって検出された動きに基づいて、前記動きを補正するための補正機構を動作させる手振れ補正ステップと、を含む手振れ補正制御方法であって、１枚の静止画像を生成するための前記静止画用信号を読み出す期間を、静止画周期期間と定義したとき、前記手振れ補正ステップは、前記補正機構を基準位置に移動させるセンタリング動作を指示するセンタリング動作指示ステップと、前記センタリング動作指示ステップによる指示にしたがって、前記静止画周期期間から、少なくとも前記動画用信号の読み出し期間を除いた期間であるセンタリング動作可能期間内にセンタリング動作を行うセンタリング動作をステップと、を有する。 In addition, in the camera shake correction control method according to an aspect of the present invention, a plurality of pixels arranged on an image sensor are divided into a plurality of groups, and the still image for each divided group is divided from the pixels belonging to each group. An imaging control step of reading out a signal for a moving image in units of divided groups from pixels belonging to each group between periods of reading out signals and reading out signals for still images in units of the divided groups; and And a camera shake correction step including: a camera shake detection step for detecting a motion of the image pickup apparatus, and a camera shake correction step for operating a correction mechanism for correcting the motion based on the motion detected by the camera shake detection unit. In this method, a period for reading out the still image signal for generating one still image is defined as a still image cycle period. Then, the camera shake correction step includes at least the moving image for the moving image from the still image cycle period according to a centering operation instruction step for instructing a centering operation for moving the correction mechanism to a reference position, and an instruction by the centering operation instruction step. And a centering operation for performing a centering operation within a centering operation possible period that is a period excluding a signal readout period.
また、本発明のある態様に係るプログラムは、撮像素子上に配置された複数の画素を複数のグループに区分し、それぞれのグループに属する画素から、前記区分したグループ単位で静止画用信号を読み出し、さらに、前記区分したグループ単位に静止画用信号を読み出す期間の合間に、それぞれのグループに属する画素から、前記区分したグループ単位で動画用信号を読み出す撮像制御ステップと、前記撮像素子を具備した撮像装置の動きを検出する手振れ検出ステップと、前記手振れ検出部によって検出された動きに基づいて、前記動きを補正するための補正機構を動作させる手振れ補正ステップと、をコンピュータに実行させるプログラムであって、１枚の静止画像を生成するための前記静止画用信号を読み出す期間を、静止画周期期間と定義したとき、前記手振れ補正ステップは、前記補正機構を基準位置に移動させるセンタリング動作を指示するセンタリング動作指示ステップと、前記センタリング動作指示ステップによる指示にしたがって、前記静止画周期期間から、少なくとも前記動画用信号の読み出し期間を除いた期間であるセンタリング動作可能期間内にセンタリング動作を行うセンタリング動作をステップと、を有する。 A program according to an aspect of the present invention divides a plurality of pixels arranged on an image sensor into a plurality of groups, and reads out still image signals from the pixels belonging to the respective groups in the divided group units. Furthermore, an imaging control step of reading out a moving image signal in the divided group unit from pixels belonging to each group during a period of reading out the still image signal in the divided group unit, and the imaging element is provided. A program for causing a computer to execute a camera shake detection step for detecting a motion of the imaging apparatus and a camera shake correction step for operating a correction mechanism for correcting the motion based on the motion detected by the camera shake detection unit. The period for reading out the still image signal for generating one still image is a still image cycle period. When defined, the camera shake correction step includes at least the moving image from the still image cycle period according to a centering operation instruction step for instructing a centering operation for moving the correction mechanism to a reference position, and an instruction by the centering operation instruction step. And a centering operation for performing a centering operation within a centering operation possible period that is a period excluding the read-out period of the signal for use.
また、本発明のある態様に係る撮像装置は、入射光量に応じた信号電荷を発生させる光電変換部と、前記光電変換部が発生した信号電荷を蓄積する電荷蓄積部と、を具備した画素を２次元状に複数配列した画素部を有する固体撮像素子と、前記固体撮像素子の前記画素部の全ての画素の露光開始タイミングと露光期間とを同一とするグローバルシャッター動作を行うとともに、前記固体撮像素子上に配置された複数の画素を複数のグループに区分し、それぞれのグループに属する画素から、前記区分したグループ単位で静止画用信号を読み出し、さらに、前記区分したグループ単位に静止画用信号を読み出す期間の合間に、それぞれのグループに属する画素から、前記区分したグループ単位で動画用信号を読み出す撮像制御部と、前記固体撮像素子を具備した撮像装置の動きを検出する手振れ検出部と、前記手振れ検出部によって検出された動きに基づいて、前記動きを補正するための補正機構を動作させる手振れ補正部と、を備え、１枚の静止画像を生成するための前記静止画用信号を読み出す期間を、静止画周期期間と定義したとき、前記手振れ補正部は、前記補正機構を基準位置に移動させるセンタリング動作を、前記静止画周期期間から、少なくとも前記動画用信号の読み出し期間を除いた期間であるセンタリング動作可能期間内に行う。 Further, an imaging apparatus according to an aspect of the present invention includes a pixel including a photoelectric conversion unit that generates a signal charge according to an incident light amount, and a charge storage unit that stores the signal charge generated by the photoelectric conversion unit. A solid-state imaging device having a plurality of two-dimensionally arranged pixel units, and a global shutter operation in which the exposure start timing and the exposure period of all the pixels of the pixel unit of the solid-state imaging device are the same, and the solid-state imaging A plurality of pixels arranged on the element are divided into a plurality of groups, a still image signal is read out from the pixels belonging to each group in the divided group unit, and a still image signal is further divided in the divided group unit. Between the pixels belonging to the respective groups and the imaging control unit that reads out the moving image signal in units of the divided groups, and the solid-state imaging A camera shake detection unit that detects a motion of the imaging apparatus including the element, and a camera shake correction unit that operates a correction mechanism for correcting the motion based on the motion detected by the camera shake detection unit. When the period for reading out the still image signal for generating a still image is defined as a still image cycle period, the camera shake correction unit performs a centering operation for moving the correction mechanism to a reference position. It is performed within the period of the centering operation which is a period excluding at least the readout period of the video signal from the period period.
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の説明は、例示のために特定の詳細な内容が含まれている。しかし、当業者であれば、以下に説明する詳細な内容に様々な変更を加えた場合であっても、本発明の範囲を超えないことは理解できるであろう。従って、以下に説明する本発明の例示的な実施形態は、権利を請求された発明に対して、一般性を失わせることなく、また、何ら限定をすることもなく、述べられたものである。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The following description includes specific details for illustrative purposes. However, those skilled in the art will understand that even if various modifications are made to the detailed contents described below, the scope of the present invention is not exceeded. Accordingly, the exemplary embodiments of the invention described below are set forth without loss of generality or limitation to the claimed invention. .
図１は、本実施形態における撮像装置の構成を示したブロック図である。ここに示した各構成要素は、ハードウェア的には、コンピュータのＣＰＵやメモリをはじめとする素子で実現することができ、ソフトウェア的にはコンピュータプログラムなどによって実現されるものであるが、ここでは、これらの連携によって実現される機能ブロックとして示している。従って、これらの機能ブロックは、ハードウェア、ソフトウェアの組合せによって、様々な形式で実現できるということは、当業者には理解できるであろう。 FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to the present embodiment. Each component shown here can be realized in terms of hardware by elements such as a CPU and a memory of a computer, and in terms of software, it can be realized by a computer program. These are shown as functional blocks realized by these linkages. Therefore, those skilled in the art will understand that these functional blocks can be realized in various forms by a combination of hardware and software.
図１に示した撮像装置１００は、レンズ１と、撮像部２と、画像処理部３と、ＡＦ評価値演算部４と、ＡＥ評価値演算部５と、表示部６と、メモリーカード７と、手振れ検出部８と、手振れ補正部９と、撮像・露光制御部１０と、ＡＦ制御部１１と、カメラ操作部１２と、カメラ制御部１３と、を備えている。なお、図１に示した撮像装置１００の構成要素であるメモリーカード７は、撮像装置１００に対して着脱可能に構成されており、撮像装置１００に固有の構成でなくてもよい。
An
レンズ１は、ＡＦ制御部１１によってレンズ１内に備えるフォーカスレンズの駆動が制御され、被写体の光学像を撮像部２の撮像面に結像するための撮影レンズである。
The
撮像部２は、レンズ１によって結像された被写体の光学像を光電変換する固体撮像素子を備え、被写体光に応じた画像信号（デジタル信号）を出力する。また、撮像部２は、少なくとも、全画素の露光開始時刻および露光終了時刻を同一とするグローバルシャッター機能を有しており、撮像・露光制御部１０による駆動制御によって、グローバルシャッター動作を行う。また、撮像部２は、例えば、画素の行単位または画素単位で、露光および画素信号の読み出しを順次行うローリングシャッター機能も有しており、撮像・露光制御部１０による駆動制御によって、ローリングシャッター動作を行う。そして、撮像部２は、グローバルシャッター動作またはローリングシャッター動作によって得た画像信号を、画像処理部３、ＡＦ評価値演算部４、およびＡＥ評価値演算部５に出力する。
The
画像処理部３は、撮像部２から出力された画像信号に種々のデジタル的な画像処理を行う。画像処理部３による画像処理には、例えば、画像信号を記録するための記録用の画像処理や、被写体の画像を表示部６に表示させるための表示用の画像処理が含まれる。そして、記録用の画像処理を行った画像信号をカメラ制御部１３に、表示用の画像処理を行った画像信号を表示部６に出力する。
The
ＡＦ評価値演算部４は、撮像部２から出力された画像信号中の、例えば、被写体の明るさを表す輝度信号（あるいは輝度相当信号）などに基づいて、被写体に対する合焦の度合いなどを示すＡＦ評価値を演算する。また、ＡＦ評価値演算部４は、算出したＡＦ評価値を、カメラ制御部１３に出力する。本実施形態の撮像装置１００の合焦パラメータ（例えば、フォーカスレンズの位置など）は、ＡＦ評価値演算部４が演算したＡＦ評価値に基づいて決定される。
The AF evaluation
ＡＥ評価値演算部５は、撮像部２から出力された画像信号中の、例えば、被写体の明るさを表す輝度信号（あるいは輝度相当信号）などに基づいて、取得した画像の明るさの度合いなどを示すＡＥ評価値を演算する。また、ＡＥ評価値演算部５は、算出したＡＥ評価値を、カメラ制御部１３に出力する。本実施形態の撮像装置１００の露出パラメータ（例えば、レンズ絞りやシャッター速など）は、ＡＥ評価値演算部５が演算したＡＥ評価値に基づいて決定される。
The AE evaluation value calculation unit 5 is based on, for example, a luminance signal (or luminance equivalent signal) indicating the brightness of the subject in the image signal output from the
表示部６は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示装置を備え、画像処理部３によって表示用の画像処理がされた画像信号に基づいた画像を表示する。表示部６は、撮像装置１００が撮影した静止画像や、メモリーカード７に保存されている画像の再生表示をすることができる共に、撮像装置１００が撮影する被撮像範囲をリアルタイムに表示するライブビュー画像の表示を行うことができる。
The
メモリーカード７は、撮像装置１００によって撮影された静止画像を保存するための記録媒体である。メモリーカード７には、画像処理部３によって記録用の画像処理がされた画像信号に基づいて、カメラ制御部１３が、例えば、圧縮処理などの画像処理を行った静止画像のデータが記録される。
The memory card 7 is a recording medium for storing still images taken by the
手振れ検出部８は、例えば、ジャイロセンサーなどを備え、手振れなど、撮像装置１００自体の動きを検出する。また、手振れ検出部８は、検出した撮像装置１００自体の動きの情報（以下、「手振れ情報」という）を、カメラ制御部１３に出力する。
The camera
手振れ補正部９は、手振れ検出部８によって検出された手振れ情報に基づいたカメラ制御部１３からの手振れ補正の制御指令に応じて、撮像装置１００が撮像する画像への手振れの影響を相殺するように、レンズ１や撮像部２の駆動を制御する「ブレ補正部」である。
The camera
撮像・露光制御部１０は、カメラ制御部１３から入力された撮像・露光指令に基づいて、撮像部２を駆動し、撮像部２による撮像および露光を制御する。
The imaging /
ＡＦ制御部１１は、ＡＦ評価値算出部４からＡＦ評価値を受けたカメラ制御部１３から入力されたＡＦ制御指令に基づいて、レンズ１に備えるフォーカスレンズを駆動し、撮像部２に結像される被写体像を合焦させる。
The
カメラ操作部１２は、撮像装置１００の使用者が、撮像装置１００に対して各種の操作を入力するための操作部である。このカメラ操作部１２に含まれる操作部材の例としては、撮像装置１００の電源をオン／オフするための電源スイッチ、撮像装置１００に静止画（被写体）の撮影を指示入力するための２段式押圧ボタンであるレリーズボタン、撮像装置１００の撮影モードを単写モードと連写モードとに切り替えるための撮影モードスイッチ、撮像装置１００のＡＦモードをシングルＡＦモードとコンティニュアスＡＦモードとに切り替えるためのＡＦモードスイッチなどがある。カメラ操作部１２は、これらの操作部材によって設定されたカメラの操作情報を、カメラ制御部１３に出力する。
The
カメラ制御部１３は、撮像装置１００の全体を制御する。カメラ制御部１３は、ＡＦ評価値演算部４から入力されたＡＦ評価値、ＡＥ評価値演算部５から入力されたＡＥ評価値、手振れ検出部８から入力された手振れ情報、カメラ操作部１２からの操作入力などに基づいて、画像処理部３、メモリーカード７、手振れ補正部９、撮像・露光制御部１０、ＡＦ制御部１１に対応した制御指令を出力する。
The
次に、本実施形態の撮像装置に備えた撮像部について説明する。図２は、本実施形態の撮像装置１００における撮像部２のより詳細な構成を示したブロック図である。図２において、撮像部２は、グローバルシャッター機能を持った、例えば、ＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：金属酸化膜半導体）型の固体撮像素子２１と、Ａ／Ｄ（アナログ／デジタル）変換部２２と、ＫＴＣノイズ除去部２３と、を備えている。また、固体撮像素子２１は、画素部２４と、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）部２５と、垂直制御回路２６と、水平走査回路２７と、を備えている。
Next, an imaging unit provided in the imaging apparatus of the present embodiment will be described. FIG. 2 is a block diagram illustrating a more detailed configuration of the
画素部２４は、複数の画素２８が、行方向および列方向（図２においては、９行９列）の２次元状に配列されている。なお、画素２８の構成については後述する。
In the
垂直制御回路２６は、画素部２４に配列された画素２８を行（ライン）単位で制御するための制御信号を画素２８の行毎に出力する垂直走査回路である。また、垂直制御回路２６は、垂直走査回路の他に、画素２８をリセットするためのリセット制御部、画素２８から信号を読み出すための信号読出制御部を含んでいる。この垂直制御回路２６によって選択された行の画素２８から出力された信号は、列毎に設けられている画素２８の出力信号線（後述する図３の垂直転送線ＶＴＬ）に出力される。
The
ＣＤＳ部２５は、撮像・露光制御部１０による駆動制御によって、撮像部２がローリングシャッター動作を行うときに、垂直転送線ＶＴＬを介して転送されてくる画素信号に、相関二重サンプリングの処理を行う。
The
水平走査回路２７は、垂直制御回路２６に選択され、垂直転送線ＶＴＬおよびＣＤＳ部２５を介して転送されてきた１行分の画素信号を取り込む。そして、水平走査回路２７は、画素２８の水平方向の並び順で取り込んだ画素信号（アナログ画素信号）を、時系列にＡ／Ｄ変換部２２に出力する。
The
Ａ／Ｄ変換部２２は、固体撮像素子２１から出力されたアナログ画素信号を、デジタルの画素信号（デジタル画素信号）に変換する。そして、Ａ／Ｄ変換部２２は、変換したデジタル画像信号をＫＴＣノイズ除去部２３に出力する。
The A /
ＫＴＣノイズ除去部２３は、撮像部２がグローバルシャッター動作を行うときに、Ａ／Ｄ変換部２２から出力されたデジタル画像信号に、ＫＴＣノイズ除去の処理を行う。このＫＴＣノイズ除去の処理が行われたデジタル画像信号が、撮像部２から出力される被写体光に応じた画像信号として、画像処理部３、ＡＦ評価値演算部４、およびＡＥ評価値演算部５に出力される。
The KTC
＜第１の画素構成＞
次に、本実施形態の撮像装置に備えた撮像部における画素の構成例について説明する。図３は、本実施形態の撮像部２内の画素部２４における画素２８の第１の構成例をより詳細に示した回路図である。なお、図３では、２つの画素２８を表している。図３に示した画素２８は、フォトダイオードＰＤ、電荷蓄積部ＦＤ、転送トランジスタＭｔｘ１、リセットトランジスタＭｔｘ２、増幅トランジスタＭａ、選択トランジスタＭｂ、リセットトランジスタＭｒから構成される。図３に示した画素２８では、電荷蓄積部ＦＤを画素内メモリとして用いることにより、グローバルシャッター機能を可能としている。
<First pixel configuration>
Next, a configuration example of pixels in the imaging unit provided in the imaging apparatus of the present embodiment will be described. FIG. 3 is a circuit diagram illustrating in more detail the first configuration example of the
フォトダイオードＰＤは、被写体光を光電変換して信号電荷を発生する光電変換部である。電荷蓄積部ＦＤは、フォトダイオードＰＤで発生した信号電荷を一時的に保持する電荷蓄積部（フローティングディフュージョン）である。リセットトランジスタＭｔｘ２は、ＰＤリセットパルスＴＸ２に応じて、フォトダイオードＰＤで発生した信号電荷を、電圧源ＶＤＤのレベルにリセットする。転送トランジスタＭｔｘ１は、行転送パルスＴＸ１に応じて、フォトダイオードＰＤで発生した信号電荷を電荷蓄積部ＦＤに転送する。増幅トランジスタＭａは、電荷蓄積部ＦＤに保持された信号電荷を増幅して出力する。この増幅トランジスタＭａは、電圧源ＶＤＤとでソースフォロアアンプが構成されている。選択トランジスタＭｂは、行選択パルスＳＥＬに応じて、増幅トランジスタＭａによって増幅された信号電荷を選択し、画素２８の出力信号線である垂直転送線ＶＴＬに出力する。リセットトランジスタＭｒは、ＦＤリセットパルスＲＥＳに応じて、電荷蓄積部ＦＤおよび増幅トランジスタＭａの入力部を、電圧源ＶＤＤのレベルにリセットする。
The photodiode PD is a photoelectric conversion unit that photoelectrically converts subject light to generate signal charges. The charge accumulation unit FD is a charge accumulation unit (floating diffusion) that temporarily holds signal charges generated in the photodiode PD. The reset transistor Mtx2 resets the signal charge generated in the photodiode PD to the level of the voltage source VDD in response to the PD reset pulse TX2. The transfer transistor Mtx1 transfers the signal charge generated by the photodiode PD to the charge storage unit FD in response to the row transfer pulse TX1. The amplification transistor Ma amplifies and outputs the signal charge held in the charge storage unit FD. The amplification transistor Ma constitutes a source follower amplifier with the voltage source VDD. The selection transistor Mb selects the signal charge amplified by the amplification transistor Ma according to the row selection pulse SEL, and outputs it to the vertical transfer line VTL that is the output signal line of the
なお、図３に示した画素２８の構成例において、行転送パルスＴＸ１とＦＤリセットパルスＲＥＳとを同時に印加し、転送トランジスタＭｔｘ１とリセットトランジスタＭｒとを同時にオンすることによって、電荷蓄積部ＦＤをリセットするのみではなく、同時にフォトダイオードＰＤもリセットすることができる。このように、転送トランジスタＭｔｘ１とリセットトランジスタＭｒとの組み合わせによって、リセットトランジスタＭｔｘ２と同様に、フォトダイオードＰＤをリセットすることもできる。
In the configuration example of the
＜グローバルシャッター動作＞
次に、本実施形態の撮像装置におけるグローバルシャッター動作について説明する。図４は、本実施形態の撮像装置１００の第１の画素構成によるグローバルシャッター動作のタイミングを示したタイミングチャートである。図４に示したグローバルシャッター動作のタイミングは、撮像装置１００が静止画像を撮影する際に、撮像・露光制御部１０によって行われる撮像部２の駆動制御を示している。
<Global shutter operation>
Next, the global shutter operation in the imaging apparatus according to the present embodiment will be described. FIG. 4 is a timing chart showing the timing of the global shutter operation by the first pixel configuration of the
なお、撮像部２は、撮像・露光制御部１０によってその駆動が制御されるが、図４に示したグローバルシャッター動作のタイミングにおいては、撮像・露光制御部１０による駆動制御に応じて垂直制御回路２６から出力される画素部２４の制御パルス（行選択パルスＳＥＬ、ＦＤリセットパルスＲＥＳ、行転送パルスＴＸ１、ＰＤリセットパルスＴＸ２）を示す。
The drive of the
グローバルシャッター動作によって静止画像の露光を行う前に、まず、リセットデータ読出期間において、電荷蓄積部ＦＤのリセット信号（リセットノイズ）の読み出しを行う。より具体的には、まず、画素部２４の第１行目に配列された各画素２８のリセットトランジスタＭｒに、“Ｈ”レベルのＦＤリセットパルスＲＥＳを印加して、第１行目の電荷蓄積部ＦＤのリセットを行う。さらに、画素部２４の第１行目に配列された各画素２８の選択トランジスタＭｂに、“Ｈ”レベルの行選択パルスＳＥＬを印加する。これにより、画素部２４の第１行目の各画素２８に備えた電荷蓄積部ＦＤのリセットレベルの信号が、増幅トランジスタＭａによって増幅されたリセットノイズ（アナログリセットノイズ信号）として、垂直転送線ＶＴＬに読み出される。
Before a still image is exposed by the global shutter operation, first, a reset signal (reset noise) of the charge storage unit FD is read in a reset data reading period. More specifically, first, an “H” level FD reset pulse RES is applied to the reset transistor Mr of each
同様に、画素部２４の第２行目〜最終行目（図２に示した撮像部２においては、第９行目）の各画素２８を駆動し、全ての画素２８に備えた電荷蓄積部ＦＤのリセットノイズを読み出す。このリセットノイズの読み出し動作によって読み出されたアナログリセットノイズ信号は、ＣＤＳ部２５、水平走査回路２７を介してＡ／Ｄ変換部２２に出力にされ、Ａ／Ｄ変換部２２によってデジタルのリセットノイズ（以下、「リセットデータ」という）に変換された後に、ＫＴＣノイズ除去部２３に記憶される。なお、グローバルシャッター動作によるリセットノイズの読み出し動作においては、ＣＤＳ部２５による相関二重サンプリングの処理は行わない。
Similarly, each
なお、リセットデータ読出期間において、行転送パルスＴＸ１は“Ｌ”レベル、ＰＤリセットパルスＴＸ２は“Ｈ”レベルである。従って、画素部２４の全ての画素２８に備えたフォトダイオードＰＤはリセットされており、フォトダイオードＰＤのリセットされた信号電荷は、電荷蓄積部ＦＤに転送されていない状態である。
In the reset data reading period, the row transfer pulse TX1 is at the “L” level, and the PD reset pulse TX2 is at the “H” level. Therefore, the photodiodes PD provided in all the
続いて、露光期間において、グローバルシャッター動作による静止画像の露光を行う。より具体的には、まず、画素部２４の全ての画素２８のＰＤリセットパルスＴＸ２を“Ｌ”レベルとする。これにより、全ての画素２８に備えたリセットトランジスタＭｔｘ２がオフ状態（フォトダイオードＰＤのリセットが解除）となり、全ての画素２８のフォトダイオードＰＤへの信号電荷の蓄積が開始される。つまり、全ての画素２８の露光を同時に開始する。
Subsequently, the still image is exposed by the global shutter operation in the exposure period. More specifically, first, the PD reset pulse TX2 of all the
その後、所定の露光時間が経過した後に、画素部２４の全ての画素２８に、“Ｈ”レベルの行転送パルスＴＸ１を印加して、フォトダイオードＰＤに蓄積された信号電荷を、電荷蓄積部ＦＤに転送する。つまり、全ての画素２８の露光を同時に終了する。なお、露光の開始から終了までの露光期間は、ＡＥ評価値演算部５によって演算されたＡＥ評価値に基づいて、カメラ制御部１３が撮像装置１００のシャッター速度を決定し、決定されたシャッター速度に応じて、撮像部２における露光時間が制御される。より具体的には、カメラ制御部１３が決定したシャッター速度に基づいて、撮像・露光制御部１０に撮像・露光指令を出力する。そして、撮像・露光制御部１０は、カメラ制御部１３から入力された撮像・露光指令に基づいて、撮像部２を駆動する。
Thereafter, after a predetermined exposure time has elapsed, the row transfer pulse TX1 of “H” level is applied to all the
続いて、画素データ読出期間において、露光した画素信号を読み出す。より具体的には、まず、画素部２４の第１行目に配列された各画素２８の選択トランジスタＭｂに、“Ｈ”レベルの行選択パルスＳＥＬを印加する。これにより、画素部２４の第１行目の各画素２８に備えた電荷蓄積部ＦＤに転送された信号電荷が、増幅トランジスタＭａによって増幅された画素信号（アナログ画素信号）として、選択トランジスタＭｂを介して垂直転送線ＶＴＬに読み出される。
Subsequently, the exposed pixel signal is read in the pixel data reading period. More specifically, first, the row selection pulse SEL of “H” level is applied to the selection transistor Mb of each
同様に、画素部２４の第２行目〜最終行目（図２に示した撮像部２においては、第９行目）の各画素２８を駆動し、全ての画素２８に備えた電荷蓄積部ＦＤの信号電荷を、行（ライン）単位で、垂直転送線ＶＴＬへ順次読み出す。この画素信号の読み出し動作によって読み出されたアナログ画素信号は、ＣＤＳ部２５、水平走査回路２７を介してＡ／Ｄ変換部２２に出力にされ、Ａ／Ｄ変換部２２によってデジタルの画素信号（デジタル画素信号）に変換された後に、ＫＴＣノイズ除去部２３に出力される。そして、ＫＴＣノイズ除去部２３において、リセットデータ読出期間に記憶したリセットデータと、画素データ読出期間に読み出されたデジタル画素信号との差分処理を行う。このＫＴＣノイズが除去されたデジタル画素信号を、撮像部２から出力する画素データとして、画像処理部３、ＡＦ評価値演算部４、およびＡＥ評価値演算部５に出力する。なお、グローバルシャッター動作による画素信号の読み出し動作においても、ＣＤＳ部２５による相関二重サンプリングの処理は行わない。
Similarly, each
＜ライブビュー動作＞
次に、本実施形態の撮像装置におけるライブビュー動作について説明する。ライブビュー動作は、画素２８を行単位での露光および行単位での画素信号の読み出しを順次行う、ローリングシャッター動作によって、撮像部２からの画素データを取得する。図５は、本実施形態の撮像装置１００の第１の画素構成においてライブビューのときに読み出される画素部２４の行（ライン）の例を示した図である。図５においては、画素部２４に備えられた画素２８の全ての行（ライン）数が、３０００ラインである場合を示している。また、図５では、全ラインの内、３ラインに１ラインの割合で、ライブビュー用の画素データの読み出しを行う例を示している。なお、図５においては、３Ｎライン（Ｎは０以上の整数）を、ライブビュー用の画素データを読み出すライン（以下、「ＬＶライン」という）として選択している例を示しているが、ＬＶラインとして、３Ｎライン、（３Ｎ＋１）ライン、または（３Ｎ＋２）ラインのいずれかを選択して読み出すようにすることもできる。
<Live view operation>
Next, a live view operation in the imaging apparatus according to the present embodiment will be described. In the live view operation, the pixel data from the
図５に示したようなライン数が３０００ラインの画素部２４から、ローリングシャッター動作の読み出し動作によって、全てのラインの画素データを読み出すのに要する時間が、例えば、１００ｍｓである場合を考える。この場合、読み出した全てのラインの画素データに基づいて表示用の画像処理を行い、表示部６にライブビュー表示（以下、「ＬＶ表示」という）をすると、ＬＶ表示の更新は、１秒間に１０回となる。このとき、図５に示したように、３ラインに１ラインの割合で画素部２４のラインを間引きして、１０００ラインのライブビュー用の画素データ（以下、「ＬＶデータ」という）を読み出すようにすると、画素データの読み出しに要する時間が短縮（図５の例では、１／３に短縮）され、例えば、３３．３３ｍｓとなる。これは、ＬＶ表示の更新が、１秒間に３０回、すなわち、毎秒３０フレームとなることを表している。なお、画素部２４のラインを間引きすることによって、ＬＶデータは、全てのラインの画素データに比べて少なくなる。しかし、画素部２４に備えた画素２８の総数に対して、表示部６に備えた表示素子の総数は少ないため、表示部６への表示のみの目的であれば、画素部２４のラインを間引きしてＬＶデータを取得しても問題とはならない。
Consider a case where the time required to read out pixel data of all lines from the
＜第１の駆動方法＞
次に、本実施形態の撮像装置におけるライブビュー動作とグローバルシャッター動作との関係について説明する。図６は、本実施形態の撮像装置１００の第１の画素構成においてライブビュー中に静止画像を撮像するための第１の駆動方法の例を示した図である。
<First driving method>
Next, the relationship between the live view operation and the global shutter operation in the imaging apparatus according to the present embodiment will be described. FIG. 6 is a diagram illustrating an example of a first driving method for capturing a still image during live view in the first pixel configuration of the
第１の駆動方法においては、ＬＶ表示を行う際に、図５に示したように画素部２４のラインを間引いて、例えば、毎秒３０フレームでＬＶデータを取得し、取得したＬＶデータに基づいて表示用の画像処理をした後に、表示部６にＬＶ表示を行う。そして、静止画（被写体）の撮影を行う際に、一旦ＬＶ表示を停止し、静止画用の画素データの取得が終了した後に、ＬＶデータの取得およびＬＶ表示を再開する。
In the first driving method, when performing LV display, the lines of the
より具体的には、図６に示すように、撮像装置１００に静止画の撮影を指示入力するレリーズボタンの押圧（例えば、２段式押圧ボタンの２段目の押圧）がされるまで、ＬＶ表示を繰り返し行う。図６では、ＬＶデータＬＶ＿Ａ〜ＬＶ＿Ｆを取得し、取得したＬＶ＿Ａ〜ＬＶ＿Ｆに基づいて表示用の画像処理を行い、次のフレームで表示部６にＬＶ表示（Ａ〜Ｆ）をする例を示している。
More specifically, as shown in FIG. 6, the LV is pressed until the release button for inputting an instruction to take a still image to the
そして、ライブビューの表示を行っている最中に、レリーズボタンによって、静止画の撮影が指示されると、ＬＶデータの取得を中止し、図４に示したグローバルシャッター動作による静止画像の撮像動作が行われる。この撮像動作を行っている最中は、ＬＶデータが取得されないため、表示部６では、最後に取り込んだＬＶデータ（図６においては、ＬＶデータＬＶ＿Ｆ）に基づいたＬＶ表示が続けられる。すなわち、撮像動作を行っている間のＬＶ表示が固定される（図６においては、ＬＶ表示（Ｆ）に固定）。なお、最後に取り込んだＬＶデータに基づいたＬＶ表示を続ける代わりに、撮像動作のライブビュー表示を行わない（例えば、黒色の表示とする）ようにすることもできる。
When a still image is instructed by the release button while the live view is being displayed, the acquisition of the LV data is stopped and the still image capturing operation by the global shutter operation shown in FIG. 4 is performed. Is done. During this imaging operation, since LV data is not acquired, the
その後、グローバルシャッター動作による静止画像の撮像動作が終了すると、再びＬＶデータを取得し、次のフレームから、取得したＬＶデータに基づいた表示部６のＬＶ表示を再開する。なお、図６においては、ＬＶ表示が固定される期間を少なくするために、グローバルシャッター動作による静止画像の撮像動作が終了した次のフレームで、静止画像の撮像動作によって取得した静止画用の画素データに基づいて表示用の画像処理をしたＬＶ表示（α）を、表示部６に表示する例を示している。
Thereafter, when the still image capturing operation by the global shutter operation is completed, the LV data is acquired again, and the LV display of the
＜第２の駆動方法＞
図７は、本実施形態の撮像装置１００の第１の画素構成においてライブビュー中に静止画像を撮像するための第２の駆動方法の例を示した図である。
<Second Driving Method>
FIG. 7 is a diagram illustrating an example of a second driving method for capturing a still image during live view in the first pixel configuration of the
第２の駆動方法においては、図５に示したように、画素部２４のラインを複数のフィールド（図５においては、３つのフィールド）に分割したときのフィールド毎に、静止画用の画素データを取得する。図７に示す第２の駆動方法においては、図５に示したように、画素部２４のラインを３つのフィールドに分割した撮像部２を駆動する場合について説明する。また、静止画用の画素データのそれぞれのフィールドは、例えば、図５に示した３Ｎラインをフィールド＿１、（３Ｎ＋１）ラインをフィールド＿２、（３Ｎ＋２）ラインをフィールド＿３とする。
In the second driving method, as shown in FIG. 5, pixel data for a still image is obtained for each field when the line of the
また、第２の駆動方法においては、静止画用の画素データを取得するフィールドの合間に、ＬＶデータの取得を行うことによって、ＬＶ表示が固定される期間を少なくする。すなわち、撮像部２を図６に示した第１の駆動方法によって駆動する場合には、レリーズボタンが押されてから静止画像の撮像動作が終了するまでの間は、ＬＶデータが取得されないために、ＬＶ表示が更新されない。これに対して、図７に示した第２の駆動方法によって撮像部２を駆動する場合には、レリーズボタンが押されてから静止画像の撮像動作が終了するまでの間においても、ＬＶデータを取得し、ＬＶ表示の更新を行うようにする。なお、第１の駆動方法においては、ＬＶデータを取得するフィールドが、例えば、フィールド＿１に固定されていたが、第２の駆動方法においては、静止画用の画素データの取得が完了していないフィールドを用いてＬＶデータを取得する。
In the second driving method, the LV display period is fixed by acquiring LV data between fields for acquiring still image pixel data. That is, when the
より具体的には、図７に示すように、撮像装置１００に静止画の撮影を指示入力するレリーズボタンの押圧がされるまで、ＬＶ表示を繰り返し行う。図７では、図６に示した第１の駆動方法と同様に、ＬＶデータＬＶ＿Ａ〜ＬＶ＿Ｆを取得し、次のフレームで表示部６にＬＶ表示（Ａ〜Ｆ）をする例を示している。
More specifically, as shown in FIG. 7, the LV display is repeatedly performed until the release button for inputting an instruction to capture a still image to the
そして、ライブビューの表示を行っている最中に、レリーズボタンによって、静止画の撮影が指示されると、リセットデータの読み出しが行われるが、第２の駆動方法では、最初に、フィールド＿１のリセットデータの読み出しを行う。そして、フィールド＿１のリセットデータの読み出しが終了した後に、リセットデータの読み出しを行っていない、例えば、フィールド＿３を用いてＬＶデータＬＶ＿Ｇを取得し、取得したＬＶ＿Ｇに基づいて表示用の画像処理をしたＬＶ表示（Ｇ）を、表示部６に表示する。続いて、フィールド＿２のリセットデータの読み出しを行う。フィールド＿２のリセットデータの読み出しが終了した後に、リセットデータの読み出しを行っていない、例えば、フィールド＿３を用いてＬＶデータＬＶ＿Ｈを取得し、取得したＬＶ＿Ｈに基づいて表示用の画像処理をしたＬＶ表示（Ｈ）を、表示部６に表示する。そして、最後に、フィールド＿３のリセットデータの読み出しを行う。
During the live view display, the reset data is read out when the release button is instructed to shoot a still image. In the second driving method, first, in the field_1. Read the reset data. Then, after the reading of the reset data of the field_1 is completed, the reset data is not read, for example, the LV data LV_G is acquired using the field_3, and the display image processing is performed based on the acquired LV_G. The LV display (G) is displayed on the
このように、静止画像の撮像動作において、画素部２４の全てのラインのリセットデータの読み出しが終了するまでの間に、ＬＶデータの取得を、１回以上行うことができる。そして、ＬＶデータの取得に用いたフィールドの各ラインのリセットデータは、リセットデータ読出期間の最後に取得するようにする。また、図７に示したように、リセットデータ読出期間中に２回以上のＬＶデータの取得を行う場合には、リセットデータの読み出しの間に、ＬＶデータを取得する。このようにすることによって、リセットデータ読出期間中に固定されていたＬＶ表示を更新することができる。
As described above, in the still image capturing operation, LV data can be acquired once or more before the reading of the reset data of all the lines of the
その後、静止画像の露光期間において、図６に示した第１の駆動方法と同様に、画素部２４内の全ての画素２８の露光を同時に開始する。
Thereafter, in the exposure period of the still image, exposure of all the
続いて、静止画像の露光期間が終了すると、静止画用の画素データの読み出しが行われるが、第２の駆動方法では、最初に、フィールド＿１の画素データの読み出しを行う。そして、フィールド＿１の画素データの読み出しが終了した後に、画素データの読み出しが終了した、例えば、フィールド＿１を用いてＬＶデータＬＶ＿Ｉを取得し、取得したＬＶ＿Ｉに基づいて表示用の画像処理をしたＬＶ表示（Ｉ）を、表示部６に表示する。続いて、フィールド＿２の画素データの読み出しを行う。フィールド＿２の画素データの読み出しが終了した後に、画素データの読み出しが終了した、例えば、フィールド＿１を用いてＬＶデータＬＶ＿Ｊを取得し、取得したＬＶ＿Ｊに基づいて表示用の画像処理をしたＬＶ表示（Ｊ）を、表示部６に表示する。そして、最後に、フィールド＿３の画素データの読み出しを行う。なお、図７においては、図６に示した第１の駆動方法と同様に、ＬＶ表示が固定される期間を少なくするために、静止画像の露光期間が終了した次のフレームで、フィールド＿１の画素データに基づいて表示用の画像処理をしたＬＶ表示（α）を、表示部６に表示する例を示している。
Subsequently, when the exposure period of the still image ends, the pixel data for the still image is read. In the second driving method, the pixel data of the field_1 is first read. Then, after the reading of the pixel data in the field_1 is finished, the reading of the pixel data is finished. For example, the LV data LV_I is acquired using the field_1, and the image processing for display is performed based on the acquired LV_I. The display (I) is displayed on the
このように、静止画像の撮像動作において、画素部２４の全てのラインの画素データの読み出しが終了するまでの間に、ＬＶデータの取得を、１回以上行うことができる。なお、ＬＶデータの取得は、画素データ読出期間の最初に静止画用の画素データを読み出したフィールドを用いて行うようにする。また、図７に示したように、画素データ読出期間中に２回以上のＬＶデータの取得を行う場合には、画素データの読み出しの間に、ＬＶデータを取得する。このようにすることによって、画素データ読出期間中に固定されていたＬＶ表示を少しでも多く更新することができる。
As described above, in the still image capturing operation, LV data can be acquired once or more before the reading of the pixel data of all the lines of the
その後、静止画像の撮像動作が終了すると、図６に示した第１の駆動方法と同様に、再びＬＶデータを取得し、次のフレームから、取得したＬＶデータに基づいた表示部６のＬＶ表示を再開する。
After that, when the still image capturing operation is completed, the LV data is acquired again in the same manner as in the first driving method shown in FIG. 6, and the LV display of the
次に、本実施形態の撮像装置における手振れ補正機構のセンタリング動作について説明する。本実施形態の撮像装置１００における静止画像の撮像動作期間では、手振れ検出部８が、撮像装置１００自体の動きを検出し、検出した手振れ情報をカメラ制御部１３に出力する。そして、カメラ制御部１３は、静止画像の露光期間の前および露光期間中に、手振れ情報に基づいた手振れ補正のための制御指令を、手振れ補正部９に出力する。この制御指令に応じて、手振れ補正部９が、手振れ補正機構をシフト（移動）させることによって、静止画像に対する撮像装置１００自体の動きの影響を相殺して、撮像される静止画像の手振れを防止している。なお、本実施形態の撮像装置１００における手振れ補正機構とは、図１に示したレンズ１または撮像部２のいずれか１つを用いて手振れ補正を行う機構を指し示すものとする。従って、手振れ補正部９は、レンズ１または撮像部２のいずれか１つの手振れ補正機構をシフトさせることによって、撮像される静止画像の手振れを防止することとなる。
Next, the centering operation of the camera shake correction mechanism in the imaging apparatus according to the present embodiment will be described. In the imaging operation period of the still image in the
なお、本実施形態の撮像装置１００においては、静止画像の撮像動作期間外は、手振れ検出部８による撮像装置１００自体の動きの検出を行わないが、静止画像の撮像動作期間外でも、手振れ検出部８が撮像装置１００自体の動きを検出し、手振れ情報をカメラ制御部１３に出力することもできる。この場合であっても、本実施形態の撮像装置１００においては、カメラ制御部１３が手振れ補正のための制御指令を、手振れ補正部９に出力しないため、手振れ補正の処理は行われない。すなわち、本実施形態の撮像装置１００においては、静止画像の撮像動作期間のみで、手振れ補正機構のシフトが行われる。
In the
そして、センタリング動作では、カメラ制御部１３が、手振れ補正部９によってシフト（移動）した手振れ補正機構を基準位置（光軸中心位置）に戻すための制御指令を、手振れ補正部９に出力する。この制御指令に応じて、手振れ補正部９が、手振れ補正機構を基準位置にシフト（移動）させることによって、センタリング動作が行われる。
In the centering operation, the
＜第２の駆動方法における従来のセンタリング動作タイミング＞
図８は、本実施形態の撮像装置１００の第１の画素構成の第２の駆動方法における手振れ補正処理の従来の例を示した図である。図８は、第１の画素構成の画素部２４を第２の駆動方法で駆動しているときの静止画像の撮像動作期間を示している。そして、手振れ補正の処理において、手振れ補正機構を基準位置（光軸中心位置）に移動させるセンタリング動作を、従来のタイミングで行った場合を示している。
<Conventional Centering Operation Timing in Second Driving Method>
FIG. 8 is a diagram illustrating a conventional example of camera shake correction processing in the second driving method of the first pixel configuration of the
図８に示した従来の手振れ補正処理では、レリーズボタンが押された時点から手振れ検出部８による撮像装置１００自体の動き検出（以下、「手振れ検出処理」という）が開始される。同時に、カメラ制御部１３が、手振れ検出部８から出力された手振れ情報に基づいて、手振れ補正量を算出し、算出した手振れ補正量に基づいて、手振れ補正のための制御指令を手振れ補正部９に出力する。そして、手振れ補正部９は、カメラ制御部１３から出力された制御指令に応じて、手振れ補正機構をシフトさせる。以下の説明においては、手振れ検出部８による動き検出、カメラ制御部１３による制御指令の出力、および手振れ補正部９による手振れ補正機構をシフトなどの手振れ補正に関する処理を、「手振れ補正処理」という。この手振れ補正処理は、静止画像の撮像動作中の露光期間が開始する直前のタイミングから露光期間が終了する、すなわち、静止画像の露光動作が完了するまでの間行われる。
In the conventional camera shake correction process shown in FIG. 8, motion detection of the
そして、従来のセンタリング動作の実施タイミングにおいては、画素部２４の全てのフィールドの画素データの読み出しが終了した後、すなわち、画素データ読出期間が終了した後に、手振れ補正部９は、カメラ制御部１３から出力された制御指令に応じて、手振れ補正処理によってシフトされていた手振れ補正機構を基準位置に戻す動作、すなわち、センタリング動作を行う。従って、従来のセンタリング動作の実施タイミングにおいては、手振れ補正機構のセンタリング動作が完了したときに、静止画の撮影の一連の処理および動作が完了することになる。
Then, at the execution timing of the conventional centering operation, after the reading of the pixel data of all the fields of the
このように、従来のセンタリング動作の実施タイミングにおいては、静止画像の撮像動作が終了した後に、センタリング動作が行われ、その後、ＬＶ表示が再開されることとなる。このため、ＬＶ表示の再開や、次の静止画像の撮像動作を開始するタイミングが遅くなる。また、ＬＶ表示の再開や、次の静止画像の撮像動作を開始するタイミングは、例えば、手振れ補正機構をシフトした量などによって異なるセンタリング動作に要する時間によって変わってしまう。なお、手振れ検出部８の手振れ検出処理によって手振れが検出されなかった場合には、手振れ補正機構のシフトおよびセンタリング動作は行われないため、ＬＶ表示の再開や、次の静止画像の撮像動作を開始するタイミングが遅くなることはない。
As described above, at the execution timing of the conventional centering operation, the centering operation is performed after the still image capturing operation is completed, and then the LV display is resumed. For this reason, the restart timing of LV display and the timing for starting the next still image capturing operation are delayed. In addition, the timing for restarting the LV display or starting the next still image capturing operation varies depending on the time required for the centering operation, which differs depending on the amount of shift of the camera shake correction mechanism, for example. If camera shake is not detected by the camera shake detection process of the camera
＜第２の駆動方法における本実施形態のセンタリング動作タイミング＞
図９は、本実施形態の撮像装置１００の第１の画素構成の第２の駆動方法における手振れ補正処理の例を示した図である。図９は、図８に示した従来のセンタリング動作の実施タイミングと同様に、第１の画素構成の画素部２４を第２の駆動方法で駆動しているときの静止画像の撮像動作期間を示している。そして、手振れ補正の処理において、手振れ補正機構を基準位置（光軸中心位置）に移動させるセンタリング動作を、静止画像の撮像動作期間中に行う場合を示している。
<Centering operation timing of the present embodiment in the second driving method>
FIG. 9 is a diagram illustrating an example of camera shake correction processing in the second driving method of the first pixel configuration of the
図９に示した本実施形態のセンタリング動作の実施タイミングは、図８に示した従来のセンタリング動作の実施タイミングに対して、画素データ読出期間中にセンタリング動作を行っていることである。そして、図９に示した本実施形態のセンタリング動作の実施タイミングでは、センタリング動作を３回に分割し、各フィールドの画素データの読み出しと同時に行う場合を示している。 The execution timing of the centering operation of this embodiment shown in FIG. 9 is that the centering operation is performed during the pixel data reading period with respect to the execution timing of the conventional centering operation shown in FIG. The timing of performing the centering operation of the present embodiment shown in FIG. 9 shows a case where the centering operation is divided into three times and performed simultaneously with the reading of the pixel data of each field.
なお、図９に示した本実施形態のセンタリング動作の実施タイミングにおいても、手振れ補正機構をセンタリングする方法は、従来と変わりないが、以下の説明では、センタリング動作を行う動作期間の決定方法について、図１０を参照して説明する。図１０は、本実施形態の撮像装置１００の第１の画素構成の第２の駆動方法における露光期間および手振れ補正機構の駆動期間とＡＥ評価値との関係を示した図である。図１０は、図９に示した手振れ補正処理の例に、ＬＶデータに基づいてＡＥ評価値演算部５が演算するＡＥ評価値と、ＡＥ評価値に基づいて行う手振れ補正機構の駆動（シフトおよびセンタリング）させる制御指令との関係を併記して示している。すなわち、ライブビューのフレームデータ（ＬＶデータ）の明るさの度合いを表すＡＥ評価値が、静止画とライブビューの露光期間や手振れ補正機構の駆動期間（図９に示したセンタリング１〜３）に連動していることを示している。以下に、図９に示した本実施形態のセンタリング動作の実施タイミングにおけるセンタリング１〜３の動作期間の決定方法について説明する。
Although the method for centering the camera shake correction mechanism is not different from the conventional method even at the execution timing of the centering operation of the present embodiment shown in FIG. 9, in the following description, the method for determining the operation period for performing the centering operation will be described. This will be described with reference to FIG. FIG. 10 is a diagram illustrating the relationship between the exposure period, the driving period of the camera shake correction mechanism, and the AE evaluation value in the second driving method of the first pixel configuration of the
センタリング１は、フィールド＿１の画素データの読み出し期間に行われるセンタリング動作である。このセンタリング１の期間は、静止画像の画素データの読み出しが終了した後から、その後にＬＶデータを取得するためのライブビューの第１フレームの第１ラインの露光を開始するまでの期間である。例えば、フィールド＿１を用いてＬＶデータを取得する場合には、図５に示した２９９７ラインの画素データの読み出しが終了してから０ラインの露光を開始するまでの期間である。なお、このセンタリング１の期間は、ライブビュー用の露光を行う露光期間に依存する。そして、ライブビュー用の露光を行う露光期間は、静止画像の撮像動作に際して決定されたシャッター速度に応じて制御される。すなわち、ライブビュー用の露光期間は、静止画像の撮像動作を開始する前のＬＶデータから、ＡＥ評価値演算部５が演算したＡＥ評価値に基づいて決定された露光時間（シャッター速度）を、ライブビュー用の露光期間として再度算出した期間となる。なお、画像処理部３において行われる記録用の画像処理と表示用の画像処理とでは、例えば、画素混合の度合いが異なるなど、画像処理の内容が異なる場合がある。このような場合においては、静止画像を取得するための露光時間に対して、予め定められた係数を乗じた時間を、ライブビュー用の露光時間とする。そして、センタリング１の期間は、再度算出したライブビュー用の露光期間が開始されるまでの期間となる。
The centering 1 is a centering operation performed during the readout period of the pixel data in the field_1. The centering 1 period is a period from the end of reading of pixel data of a still image to the start of exposure of the first line of the first frame of the live view for acquiring LV data thereafter. For example, when LV data is acquired using field_1, it is a period from the end of reading of 2997 lines of pixel data shown in FIG. 5 to the start of exposure of 0 lines. Note that the centering 1 period depends on the exposure period during which live view exposure is performed. The exposure period during which live view exposure is performed is controlled according to the shutter speed determined in the still image capturing operation. That is, the exposure period for live view is the exposure time (shutter speed) determined based on the AE evaluation value calculated by the AE evaluation value calculation unit 5 from the LV data before starting the still image capturing operation. This is a period calculated again as the exposure period for live view. Note that the image processing for recording and the image processing for display performed in the
センタリング２は、フィールド＿２の画素データの読み出し期間に行われるセンタリング動作である。このセンタリング２の期間は、ＬＶデータを取得するための第１フレームの最終ラインの読み出しが終了した後から、その後にＬＶデータを取得するためのライブビューの第２フレームの第１ラインの露光を開始するまでの期間である。なお、このセンタリング２の期間も、センタリング１の期間と同様に、ライブビュー用の露光を行う露光期間に依存する。そして、第２フレームのライブビュー用の露光を行う露光期間は、センタリング１の期間を決定する方法と同様の方法で決定される。ただし、センタリング１の期間は、静止画像の撮像動作を開始する前のＬＶデータから演算したＡＥ評価値に基づいて決定されたライブビュー用の露光時間に基づいて決定されたのに対し、センタリング２の期間は、第１フレームのＬＶデータから演算したＡＥ評価値に基づいて決定された第２フレームのライブビュー用の露光期間（シャッター速度）に基づいて決定される。 Centering 2 is a centering operation performed during the readout period of the pixel data in field_2. During the centering 2 period, after the reading of the last line of the first frame for acquiring the LV data is completed, the exposure of the first line of the second frame of the live view for acquiring the LV data is performed thereafter. This is the period until it starts. The centering 2 period also depends on the exposure period during which live view exposure is performed, similarly to the centering 1 period. The exposure period for performing the live view exposure for the second frame is determined by a method similar to the method for determining the centering 1 period. However, the centering 1 period is determined based on the exposure time for live view determined based on the AE evaluation value calculated from the LV data before starting the still image capturing operation. This period is determined based on the exposure period (shutter speed) for the live view of the second frame determined based on the AE evaluation value calculated from the LV data of the first frame.
センタリング３は、フィールド＿３の画素データの読み出し期間に行われるセンタリング動作である。このセンタリング３の期間は、センタリング２の期間と同様に、直前のライブビューのフレームの最終ラインの読み出しが終了した後から、当該ライブビューのフレームの第１ラインの露光を開始するまでの期間である。そして、このセンタリング３の期間も、センタリング２の期間と同様の方法で決定される。すなわち、センタリング２の期間は、第１フレームのＬＶデータのＡＥ評価値に応じたライブビュー用の露光時間に基づいて決定されたのに対し、センタリング３の期間は、直前のフレーム（図９においては第２フレーム）のＬＶデータのＡＥ評価値に応じたライブビュー用の露光時間に基づいて決定される。 Centering 3 is a centering operation performed during the readout period of the pixel data of field_3. Similar to the centering 2 period, the centering 3 period is a period from the end of reading of the last line of the previous live view frame to the start of exposure of the first line of the live view frame. is there. The period of the centering 3 is also determined by the same method as the period of the centering 2. That is, the period of centering 2 is determined based on the exposure time for live view corresponding to the AE evaluation value of the LV data of the first frame, whereas the period of centering 3 is the previous frame (in FIG. 9). Is determined based on the exposure time for live view corresponding to the AE evaluation value of the LV data of the second frame).
このように、カメラ制御部１３が、ＡＥ評価値演算部５が演算したＡＥ評価値を用いて、センタリングの期間を決定することによって、手振れ補正部９がセンタリング動作を行う期間を決定することができる。そして、センタリング動作を複数回に分割して行うことができる。なお、センタリング動作は、必ずしも複数回に分割して行う必要はない。
As described above, the
例えば、手振れ補正機構をシフトした量が少なく、センタリング１の期間でセンタリング動作が完了すると判断される場合には、センタリング２およびセンタリング３の期間におけるセンタリング動作を行わないようにすることもできる。これにより、撮像装置１００において手振れ補正機構の駆動に要する消費電力を抑えることができ、撮像装置１００の電池寿命を延ばすことができる。なお、センタリング動作がセンタリング１の期間で完了するか否かの判断は、手振れ補正処理によって手振れ補正部９が手振れ補正機構をシフトした量と、センタリング１の期間の長さによって判断することができる。すなわち、センタリング動作によって手振れ補正機構を基準位置に戻すのに要する時間がセンタリング１の期間よりも短い場合には、センタリング動作がセンタリング１の期間で完了すると判断し、手振れ補正機構を基準位置に戻すのに要する時間がセンタリング１の期間よりも長い場合には、センタリング動作がセンタリング１の期間で完了しないと判断する。
For example, if it is determined that the centering operation is completed during the centering 1 period when the amount of shift of the camera shake correction mechanism is small, the centering operation during the centering 2 and centering 3 periods may be omitted. Thereby, the power consumption required for driving the camera shake correction mechanism in the
また、例えば、センタリング１の期間を、センタリング動作のために使用することができない場合には、センタリング２の期間またはセンタリング３の期間を用いてセンタリング動作を行うことによって、撮像部２の撮像中心と光軸中心とを一致させ、次の静止画像の撮像動作に備えることができる。なお、この場合においても、例えば、センタリング２の期間でセンタリング動作が完了する場合には、センタリング３の期間におけるセンタリング動作を省略することができる。 Also, for example, when the centering 1 period cannot be used for the centering operation, the centering operation is performed using the centering 2 period or the centering 3 period, so that The center of the optical axis can be matched to prepare for the next still image capturing operation. Also in this case, for example, when the centering operation is completed in the centering 2 period, the centering operation in the centering 3 period can be omitted.
なお、図９および図１０に示した本実施形態のセンタリング動作の実施タイミングは、手振れ補正処理による手振れ補正機構のシフト量が大きく、センタリング動作を分割して行う必要がある場合の例を示している。すなわち、センタリング動作を分割してでも行わないと、次の静止画像の撮像動作のために、撮像部２の撮像中心と光軸中心とを一致させることができない場合の例である。このように、本実施形態のセンタリング動作では、手振れ補正処理による手振れ補正機構のシフト量が大きい場合でも、ＬＶ表示の再開や、次の静止画像の撮像動作を開始するタイミングに影響を与えることなく、効率的にセンタリング動作を行うことができる。
The timing of performing the centering operation of the present embodiment shown in FIGS. 9 and 10 shows an example in which the shift amount of the camera shake correction mechanism by the camera shake correction process is large and the centering operation needs to be performed separately. Yes. In other words, this is an example of the case where the imaging center of the
なお、センタリング動作を、静止画像の露光期間後の画素データ読出期間内の適当な期間に行わない理由は、センタリング動作と、ライブビュー用の露光期間や読出し期間とが重複し、ＬＶ表示をするためのライブビュー画像がボケたり、歪んだりする現象が起こってしまうことをなくすためである。 The reason why the centering operation is not performed in an appropriate period within the pixel data reading period after the still image exposure period is that the centering operation overlaps with the exposure period and readout period for live view, and LV display is performed. This is to eliminate the phenomenon that the live view image is blurred or distorted.
なお、実際に手振れが検出されて手振れ補正機構をシフトした後、静止画像の画素データ読出期間にセンタリング動作を分割して行う場合、各センタリング動作の合間に表示されるライブビュー画像（図９および図１０では、第１フレームと第２フレームのフレームデータ）の視野範囲にズレが生じてしまう可能性がある。これは、図９および図１０におけるセンタリング１およびセンタリング２によって、ライブビュー用の露光を行うときの光軸ズレによる視野範囲のズレである。この視野範囲のズレは、撮像装置１００が撮影する被写体が動いているものであれば影響は少ないと考えられるが、被写体が静止しているものである場合などには、撮像装置１００の使用者（撮影者）に違和感を覚える要因となる。
When the centering operation is divided and performed during the pixel data reading period of the still image after the camera shake is actually detected and the camera shake correction mechanism is shifted, the live view image displayed between the centering operations (see FIG. 9 and FIG. 9). In FIG. 10, there is a possibility that the visual field range of the first frame and the second frame) will be shifted. This is a deviation of the visual field range due to the deviation of the optical axis when the live view exposure is performed by the centering 1 and the centering 2 in FIGS. 9 and 10. This shift in the field of view is considered to have little effect if the subject to be photographed by the
このような、撮像装置１００の使用者（撮影者）に与える違和感を回避するため、本実施形態の撮像装置１００では、以下のような方法で、手振れ補正機構のセンタリング動作の途中に発生するライブビュー画像の視野範囲のズレを軽減する。図１１は、本実施形態の撮像装置１００の第１の画素構成におけるライブビュー画像の視野範囲ズレの補正方法を模式的に示した図である。図１１（ａ）には、各センタリング動作を行った後の光軸の位置の変化を示している。また、図１１（ｂ）には、光軸ズレを軽減したライブビュー画像の例を示している。
In order to avoid such a sense of discomfort given to the user (photographer) of the
図１１（ａ）に示すように、静止画の撮影における手振れ補正処理によって、手振れ補正機構の光軸の位置が、Ａ点に移動している状態から、センタリング動作によって、最終的に、撮像部２の撮像中心と光軸中心とが一致するＤ点の位置にセンタリングする場合を考える。そして、光軸の位置がＡ点からＤ点にセンタリングされる際に、光軸の位置が、分割した第１センタリングによるＢ点、第２センタリングによるＣ点を経由するものとする。
As shown in FIG. 11A, from the state in which the position of the optical axis of the camera shake correction mechanism is moved to the point A by the camera shake correction process in the still image shooting, the imaging unit is finally operated by the centering operation. Consider a case where centering is performed at the position of point D where the center of
本実施形態の撮像装置１００では、手振れ補正機構の光軸位置（ズレ量）をカメラ制御部１３が、が予め算出している。従って、分割した各センタリング動作によってセンタリングされた後の光軸位置、すなわち、ライブビュー用の露光を行うときの光軸ズレも、カメラ制御部１３によって容易に算出することができる。カメラ制御部１３は、算出したズレ量に基づいて、ライブビュー画像の中心と光軸とが一致するようにライブビュー画像を切り出すための制御指令を、画像処理部３に出力する。そして、画像処理部３は、各フレームのＬＶデータに対して表示用の画像処理を行う際に、カメラ制御部１３から入力されたライブビュー画像を切り出すための制御指令に応じた画像処理を行う。画像処理部３では、例えば、ＬＶデータに基づいて生成されるライブビュー画像の範囲から、光軸の位置を中心とした予め定められた範囲（表示部６に表示する範囲）を切り出す画像処理が行われる。
In the
図１１（ｂ）には、第１センタリングによるＢ点、第２センタリングによるＣ点におけるライブビュー画像（切り出し画像）と、最終的に撮像部２の撮像中心と光軸中心とが一致するＤ点におけるライブビュー画像とを示している、図１１（ｂ）からは、Ｂ点およびＣ点の切り出し画像の範囲が、Ｄ点のライブビュー画像の範囲をほぼ同一であることがわかる。
FIG. 11B shows a live view image (cut-out image) at point B by the first centering and point C by the second centering, and finally the point D where the imaging center of the
このように、ＬＶデータに基づいて生成されるライブビュー画像の範囲から、センタリングされた後の光軸ズレに応じたライブビュー画像（切り出し画像）を生成することによって、センタリング動作が途中（撮像部２の撮像中心と光軸中心とが一致する位置までの移動が完了していない）の状態で取得したライブビュー画像の視野範囲のズレを軽減することができる。
As described above, by generating a live view image (cut-out image) corresponding to the optical axis deviation after being centered from the range of the live view image generated based on the LV data, the centering operation is performed in the middle (imaging unit). The shift of the field-of-view range of the live view image acquired in a state where the movement to the position where the
上記に述べたように、本実施形態のセンタリング動作タイミングでは、手振れ補正機構のセンタリング動作を分割し、分割したそれぞれのセンタリング動作を、静止画像の画素データ読出期間の各フィールドの画素データの読み出し動作中に行うことができる。これにより、静止画像の画素データ読出期間中のＬＶ表示に影響を与えることなく、効率的にセンタリング動作を完了することができる。 As described above, at the centering operation timing of the present embodiment, the centering operation of the camera shake correction mechanism is divided, and the divided centering operations are divided into pixel data reading operations for each field in the still image pixel data reading period. Can be done inside. Thereby, the centering operation can be efficiently completed without affecting the LV display during the pixel data reading period of the still image.
また、センタリング動作を、静止画像の画素データ読出期間中に完了することができるので、センタリング動作が、次の静止画像の撮像動作を開始するタイミングに影響を与えることがなくなる。このため、撮像装置１００では、手振れ補正処理の有無に関係なく、撮像期間が変わることがない撮影シーケンスを実現することができ、例えば、撮像装置１００における静止画の連続撮影（連写）において、連写速度を一定に保った撮影が行える撮影シーケンスとすることができる。
Further, since the centering operation can be completed during the pixel data reading period of the still image, the centering operation does not affect the timing of starting the next still image capturing operation. For this reason, in the
＜連写動作＞
次に、本実施形態の撮像装置における連写時の動作について説明する。図１２は、本実施形態の撮像装置１００の第１の画素構成においてライブビュー中に静止画像を連続撮像（連写）する例を示した図である。図１２は、レリーズボタンが押された時点から、Ｎ枚目の静止画像を取得するまでのタイミングを示している。図１２に示すように、撮像装置１００がライブビュー中に静止画像を連写する場合においても、それぞれの静止画像の画素データ読出期間の各フィールドの画素データの読み出し動作中に、センタリング動作を行うことができる。
<Continuous shooting operation>
Next, the operation at the time of continuous shooting in the imaging apparatus of the present embodiment will be described. FIG. 12 is a diagram illustrating an example in which still images are continuously captured (continuous shooting) during live view in the first pixel configuration of the
また、撮像装置１００の連写動作においては、例えば、手振れ補正処理による手振れ補正機構のシフト量が大きく、分割した全てのセンタリング動作が、静止画像の画素データ読出期間中に完了しなかった場合においても、次の静止画の撮影を行うときのリセットデータ読出期間を用いてセンタリング動作を行うことができる。例えば、図１２に示した連写においては、センタリング動作を、静止画連写＿１枚目の画素データ読出期間と静止画連写＿２枚目のリセットデータ読出期間との両方の期間を用いて行うことによって、静止画連写＿２枚目の撮影における手振れ補正処理に備えることができる。これは、撮像装置１００が静止画像を撮影する際の露出条件によって、分割したセンタリング動作を連続的に行えない場合などに有効な手段である。
Further, in the continuous shooting operation of the
＜第２の画素構成＞
次に、本実施形態の撮像装置に備えた撮像部における画素の第２の構成例について説明する。図１３は、本実施形態の撮像部２内の画素部２４における画素２８の第２の構成例をより詳細に示した回路図である。なお、図１３では、２画素分の領域の画素２８を表している。そして、図２に示した固体撮像素子２１は、例えば、上下に隣接する２画素毎に、図１３に示した画素２８の構成をとなっている。以下の説明においては、第２の構成例の画素２８を、「画素２９」という。また、画素２９の画素構成を備えた撮像装置１００を、「撮像装置２００」という。なお、本実施形態の撮像装置２００の構成および撮像部２の構成は、図１および図２に示した撮像装置１００のブロック図と同様であり、画素部２４内の画素２８に代わって、図１３に示した画素２９となっていることのみが異なる。従って、撮像装置２００において撮像装置１００と同様の構成要素には、同一の符号を付与し、詳細な説明は省略する。
<Second pixel configuration>
Next, a second configuration example of the pixels in the imaging unit provided in the imaging apparatus of the present embodiment will be described. FIG. 13 is a circuit diagram illustrating in more detail the second configuration example of the
図１３に示した画素２９は、フォトダイオードＰＤ１およびＰＤ２、転送トランジスタＭｔｘ１ａおよびＭｔｘ１ｂ、リセットトランジスタＭｔｘ２ａおよびＭｔｘ２ｂ、電荷蓄積部Ｃ１およびＣ２、ＰＤ転送トランジスタＭｔｘ３およびＭｔｘ４、電荷蓄積部ＦＤ、増幅トランジスタＭａ、選択トランジスタＭｂ、リセットトランジスタＭｒから構成される。図１３に示した画素２９では、電荷蓄積部Ｃ１、Ｃ２および電荷蓄積部ＦＤを画素内メモリとして用いることにより、グローバルシャッター機能を可能としている。
13 includes photodiodes PD1 and PD2, transfer transistors Mtx1a and Mtx1b, reset transistors Mtx2a and Mtx2b, charge storage units C1 and C2, PD transfer transistors Mtx3 and Mtx4, charge storage unit FD, amplification transistor Ma, It consists of a selection transistor Mb and a reset transistor Mr. In the
フォトダイオードＰＤ１、ＰＤ２は、被写体光を光電変換して信号電荷を発生する光電変換部である。リセットトランジスタＭｔｘ２ａ、Ｍｔｘ２ｂは、ＰＤリセットパルスＴＸ２に応じて、フォトダイオードＰＤ１、ＰＤ２で発生した信号電荷を、それぞれ電圧源ＶＤＤのレベルにリセットする。転送トランジスタＭｔｘ１ａ、Ｍｔｘ１ｂは、行転送パルスＴＸ１に応じて、フォトダイオードＰＤ１、ＰＤ２で発生した信号電荷を、それぞれ電荷蓄積部Ｃ１、Ｃ２に転送する。電荷蓄積部Ｃ１、Ｃ２は、フォトダイオードＰＤ１、ＰＤ２のそれぞれで発生した信号電荷を、それぞれ一時的に保持する電荷蓄積部である。ＰＤ転送トランジスタＭｔｘ３は、ＰＤ転送パルスＴＸ３に応じて、電荷蓄積部Ｃ１に保持しているフォトダイオードＰＤ１が発生した信号電荷を電荷蓄積部ＦＤに転送する。ＰＤ転送トランジスタＭｔｘ４は、ＰＤ転送パルスＴＸ４に応じて、電荷蓄積部Ｃ２に保持しているフォトダイオードＰＤ２が発生した信号電荷を電荷蓄積部ＦＤに転送する。電荷蓄積部ＦＤ、増幅トランジスタＭａ、選択トランジスタＭｂ、リセットトランジスタＭｒのそれぞれは、図３に示した第１の構成の画素２８と同様であるため、詳細な説明は省略する。
The photodiodes PD1 and PD2 are photoelectric conversion units that photoelectrically convert subject light to generate signal charges. The reset transistors Mtx2a and Mtx2b reset the signal charges generated in the photodiodes PD1 and PD2 to the level of the voltage source VDD, respectively, in response to the PD reset pulse TX2. The transfer transistors Mtx1a and Mtx1b transfer the signal charges generated in the photodiodes PD1 and PD2 to the charge storage units C1 and C2, respectively, according to the row transfer pulse TX1. The charge storage units C1 and C2 are charge storage units that temporarily hold signal charges generated in the photodiodes PD1 and PD2, respectively. The PD transfer transistor Mtx3 transfers the signal charge generated by the photodiode PD1 held in the charge storage unit C1 to the charge storage unit FD in response to the PD transfer pulse TX3. The PD transfer transistor Mtx4 transfers the signal charge generated by the photodiode PD2 held in the charge storage unit C2 to the charge storage unit FD in response to the PD transfer pulse TX4. Since each of the charge storage unit FD, the amplification transistor Ma, the selection transistor Mb, and the reset transistor Mr is the same as the
＜第２のグローバルシャッター動作＞
次に、本実施形態の撮像装置において、第２の構成の画素２９におけるグローバルシャッター動作について説明する。図１４は、本実施形態の撮像装置２００の第２の画素構成によるグローバルシャッター動作のタイミングを示したタイミングチャートである。図１４に示したグローバルシャッター動作のタイミングは、撮像装置２００が静止画像を撮影する際に、撮像・露光制御部１０によって行われる撮像部２の駆動制御を示している。そして、図１３に示した画素２９の画素構成である固体撮像素子２１は、グローバルシャッター動作が開始されると、最初に露光を行い、その後にリセットデータと画素データとを読み出すように制御される。
<Second global shutter operation>
Next, a global shutter operation in the
なお、撮像部２は、撮像・露光制御部１０によってその駆動が制御されるが、図１４に示したグローバルシャッター動作のタイミングにおいては、撮像・露光制御部１０による駆動制御に応じて垂直制御回路２６から出力される画素部２４の制御パルス（ＦＤリセットパルスＲＥＳ、行転送パルスＴＸ１、ＰＤリセットパルスＴＸ２、ＰＤ転送パルスＴＸ３、ＰＤ転送パルスＴＸ４）を示す。
The driving of the
カメラ操作部１１のレリーズボタンが押圧され、グローバルシャッター動作が開始されると、露光期間において、グローバルシャッター動作による静止画像の露光を行う。より具体的には、まず、画素部２４の全ての画素２９のＰＤリセットパルスＴＸ２を“Ｌ”レベルとする。これにより、全ての画素２９に備えたリセットトランジスタＭｔｘ２ａ、Ｍｔｘ２ｂが同時にオフ状態（フォトダイオードＰＤ１およびＰＤ２のリセットが解除）となり、全ての画素２９のフォトダイオードＰＤ１、ＰＤ２への信号電荷の蓄積が開始される。つまり、全ての画素２９の露光を同時に開始する。
When the release button of the
その後、所定の露光時間が経過した後に、画素部２４の全ての画素２９に、“Ｈ”レベルの行転送パルスＴＸ１を印加して、フォトダイオードＰＤ１、ＰＤ２にそれぞれ蓄積された信号電荷を、電荷蓄積部Ｃ１、Ｃ２にそれぞれ転送する。つまり、全ての画素２９の露光を同時に終了する。なお、露光の開始から終了までの露光期間は、第１の構成の画素２８を備えた撮像装置１００と同様に、ＡＥ評価値演算部５によって演算されたＡＥ評価値に基づいて決定されたシャッター速度に応じて、撮像部２における露光時間が制御される。
Thereafter, after a predetermined exposure time has elapsed, the row transfer pulse TX1 of “H” level is applied to all the
続いて、リセットデータおよび画素データ読出期間において、リセットデータおよび露光した画素信号を読み出す。より具体的には、まず、画素部２４の第１行目および第２行目となる各画素２９のリセットトランジスタＭｒに、“Ｈ”レベルのＦＤリセットパルスＲＥＳを印加して、第１行目および第２行目に共通の電荷蓄積部ＦＤのリセットを行う。さらに、選択トランジスタＭｂに、“Ｈ”レベルの行選択パルスＳＥＬを印加する。これにより、画素部２４の第１行目および第２行目の各画素２９で共通に備えた電荷蓄積部ＦＤのリセットレベルの信号が、増幅トランジスタＭａによって増幅されたアナログリセットノイズ信号として、垂直転送線ＶＴＬに読み出される。
Subsequently, the reset data and the exposed pixel signal are read in the reset data and pixel data reading period. More specifically, first, an “H” level FD reset pulse RES is applied to the reset transistor Mr of each
その直後に、画素部２４の第１行目となる各画素２９のＰＤ転送トランジスタＭｔｘ３に“Ｈ”レベルのＰＤ転送パルスＴＸ３を印加する。これにより、画素部２４の第１行目となる各画素２９に備えた電荷蓄積部Ｃ１に蓄積されたフォトダイオードＰＤ１の信号電荷を電荷蓄積部ＦＤに転送する。さらに、画素部２４の第１行目および第２行目の各画素２９に共通に備えた選択トランジスタＭｂに、“Ｈ”レベルの行選択パルスＳＥＬを印加する。これにより、画素部２４の第１行目となる各画素２９に備えた電荷蓄積部ＦＤに転送された信号電荷が、増幅トランジスタＭａによって増幅されたアナログ画素信号として、選択トランジスタＭｂを介して垂直転送線ＶＴＬに読み出される。
Immediately thereafter, the PD transfer pulse TX3 of “H” level is applied to the PD transfer transistor Mtx3 of each
このように、画素２９においては、アナログリセットノイズ信号に続いてアナログ画素信号が垂直転送線ＶＴＬに読み出される。そして、ＣＤＳ部２５によって、アナログリセットノイズ信号が減算されたアナログ画素信号が、水平走査回路２７を介してＡ／Ｄ変換部２２に出力にされる。従って、図１３に示した画素構成の画素２９を備えた撮像部２においては、図２に示した撮像部２の構成要素であるＫＴＣノイズ除去部２３は、必ずしも必要な構成要素ではない。そして、図１３に示した画素構成の画素２９を備えた撮像部２は、Ａ／Ｄ変換部２２によって変換されたデジタル画素信号を、撮像部２から出力する画素データとして、画像処理部３、ＡＦ評価値演算部４、およびＡＥ評価値演算部５に出力する。
Thus, in the
同様に、画素部２４の奇数行（第３行目〜最終行の１行前）の各画素２９を駆動し、リセットノイズが除去された、全ての奇数行の画素データを画像処理部３、ＡＦ評価値演算部４、およびＡＥ評価値演算部５に出力する。
Similarly, each
その後、画素部２４の偶数行（第２行目〜最終行目）の画素データを画像処理部３、ＡＦ評価値演算部４、およびＡＥ評価値演算部５に出力する。より具体的には、まず、画素部２４の第１行目および第２行目となる各画素２９のリセットトランジスタＭｒに、“Ｈ”レベルのＦＤリセットパルスＲＥＳを印加して、第１行目および第２行目に共通の電荷蓄積部ＦＤのリセットを行う。さらに、選択トランジスタＭｂに、“Ｈ”レベルの行選択パルスＳＥＬを印加する。これにより、画素部２４の第１行目および第２行目の各画素２９で共通に備えた電荷蓄積部ＦＤのリセットレベルの信号が、増幅トランジスタＭａによって増幅されたアナログリセットノイズ信号として、再度、垂直転送線ＶＴＬに読み出される。
Thereafter, the pixel data of the even-numbered rows (second to last rows) of the
その直後に、画素部２４の第２行目となる各画素２９のＰＤ転送トランジスタＭｔｘ４に“Ｈ”レベルのＰＤ転送パルスＴＸ４を印加する。これにより、画素部２４の第２行目となる各画素２９に備えた電荷蓄積部Ｃ２に蓄積されたフォトダイオードＰＤ２の信号電荷を電荷蓄積部ＦＤに転送する。さらに、画素部２４の第１行目および第２行目の各画素２９に共通に備えた選択トランジスタＭｂに、“Ｈ”レベルの行選択パルスＳＥＬを印加する。これにより、画素部２４の第２行目となる各画素２９に備えた電荷蓄積部ＦＤに転送された信号電荷が、増幅トランジスタＭａによって増幅された２行目のアナログ画素信号として、選択トランジスタＭｂを介して垂直転送線ＶＴＬに読み出される。
Immediately thereafter, the PD transfer pulse TX4 of “H” level is applied to the PD transfer transistor Mtx4 of each
そして、ＣＤＳ部２５によって、アナログリセットノイズ信号が減算された２行目のアナログ画素信号が、水平走査回路２７を介してＡ／Ｄ変換部２２に出力にされる。そして、Ａ／Ｄ変換部２２によって変換された２行目のデジタル画素信号が、撮像部２から出力する２行目の画素データとして、画像処理部３、ＡＦ評価値演算部４、およびＡＥ評価値演算部５に出力される。
Then, the analog pixel signal in the second row from which the analog reset noise signal has been subtracted by the
同様に、画素部２４の偶数行（第２行目〜最終行目）の各画素２９を駆動し、リセットノイズが除去された、全ての偶数行の画素データを画像処理部３、ＡＦ評価値演算部４、およびＡＥ評価値演算部５に出力する。
Similarly, the
＜第３の駆動方法＞
次に、本実施形態の撮像装置におけるライブビュー動作とグローバルシャッター動作との関係について説明する。図１５は、本実施形態の撮像装置２００の第２の画素構成においてライブビュー中に静止画像を撮像するための第３の駆動方法の例を示した図である。
<Third driving method>
Next, the relationship between the live view operation and the global shutter operation in the imaging apparatus according to the present embodiment will be described. FIG. 15 is a diagram illustrating an example of a third driving method for capturing a still image during live view in the second pixel configuration of the imaging apparatus 200 of the present embodiment.
第３の駆動方法においては、図７に示した第２の駆動方法と同様に、複数のフィールドに分割した画素部２４から、静止画用の画素データを、分割したフィールド毎に取得する。なお、画素２９の画素構成は、上述したように、例えば、上下に隣接する２画素が組となっている構成であるため、図７に示した第２の駆動方法と同様に画素部２４のライン毎にフィールドを分割することができない。しかし、以下の説明においては、説明を容易にすること、および図７に示した第２の駆動方法との比較を容易に行えること、を考慮して、図７に示した第２の駆動方法と同様に画素部２４を３つのフィールドに分割した撮像部２を駆動する場合について説明する。そして、分割したそれぞれのフィールドは、第１フィールドをフィールド＿１、第２フィールドをフィールド＿２、第３フィールドをフィールド＿３とする。なお、上述したように、フィールド＿１〜フィールド＿３には、リセットデータと画素データとが含まれている。
In the third driving method, as in the second driving method shown in FIG. 7, still image pixel data is acquired for each divided field from the
また、第３の駆動方法においては、静止画用のリセットデータと画素データと（以下「静止画用データ」という）を取得するフィールドの合間に、図７に示した第２の駆動方法と同様に、ＬＶデータの取得を行うことによって、ＬＶ表示が固定される期間を少なくする。 In the third driving method, the same as the second driving method shown in FIG. 7 is performed between fields for acquiring still image reset data and pixel data (hereinafter referred to as “still image data”). In addition, the period during which the LV display is fixed is reduced by acquiring the LV data.
より具体的には、図１５に示すように、撮像装置２００に静止画の撮影を指示入力するレリーズボタンの押圧がされるまで、ＬＶ表示を繰り返し行う。図１５では、図７に示した第２の駆動方法と同様に、ＬＶデータＬＶ＿Ａ〜ＬＶ＿Ｈを取得し、次のフレームで表示部６にＬＶ表示（Ａ〜Ｈ）をする例を示している。
More specifically, as shown in FIG. 15, LV display is repeatedly performed until the release button for inputting an instruction to capture a still image to the imaging apparatus 200 is pressed. FIG. 15 illustrates an example in which LV data LV_A to LV_H are acquired and LV display (A to H) is displayed on the
そして、ライブビューの表示を行っている最中に、レリーズボタンによって、静止画の撮影が指示されると、まず、静止画像の露光期間において、画素部２４内の全ての画素２９のフォトダイオードＰＤ１およびＰＤ２をリセットすることによって、全ての画素２９の露光を同時に開始する。そして、全ての画素２９のフォトダイオードＰＤ１、ＰＤ２にそれぞれ蓄積された信号電荷を、電荷蓄積部Ｃ１、Ｃ２にそれぞれ同時に転送して、全ての画素２９の露光を同時に終了する。
When a still image is instructed by the release button during live view display, first, the photodiodes PD1 of all the
続いて、リセットデータおよび画素データ読出期間において、上述したように、リセットデータの読み出しと画素データの読み出しとの連続した読み出しを、フィールド＿１に対して、最初に行う。このフィールド＿１は、ＬＶ表示において、ＬＶデータを取得していたフィールドである。そして、フィールド＿１から読み出した静止画用データ内の画素データに基づいて表示用の画像処理をしたＬＶ表示（α）を、直後の表示フレームで表示部６に表示する。
Subsequently, in the reset data and pixel data reading period, as described above, the reading of the reset data and the reading of the pixel data are first performed on the field_1. This field_1 is a field from which LV data has been acquired in LV display. Then, the LV display (α) subjected to the display image processing based on the pixel data in the still image data read from the field_1 is displayed on the
以降、図７に示した第２の駆動方法と同様に、フィールド＿１を用いたＬＶデータの取得を、例えば、複数のライブビューの表示フレームに１回の割合で行う。ただし、上述したように、リセットデータおよび画素データ読出期間においては、ＬＶデータの取得をライブビューの表示フレームに同期したタイミングで行う必要があるわけではない。 Thereafter, as in the second driving method shown in FIG. 7, the acquisition of the LV data using the field_1 is performed at a rate of once per display frame of a plurality of live views, for example. However, as described above, it is not necessary to acquire LV data at a timing synchronized with the display frame of the live view in the reset data and pixel data reading period.
続いて、ＬＶデータを取得していない期間に、図７に示した第２の駆動方法と同様に、各フィールド（非ライブビュー用フィールド）の静止画用データの読み出しを、所定の順序（例えば、ライン番号が若い順、奇数ラインを先に偶数ラインを後に、など）で行う。 Subsequently, during the period when the LV data is not acquired, the readout of still image data of each field (non-live view field) is performed in a predetermined order (for example, as in the second driving method illustrated in FIG. 7). In this order, the line numbers are in ascending order, odd lines are first, even lines are later, and so on.
その後、静止画像の撮像動作が終了すると、図７に示した第２の駆動方法と同様に、再びＬＶデータを取得し、次のフレームから、取得したＬＶデータに基づいた表示部６のＬＶ表示を再開する。
Thereafter, when the still image capturing operation is completed, the LV data is acquired again in the same manner as in the second driving method shown in FIG. 7, and the LV display of the
次に、本実施形態の撮像装置２００における手振れ補正機構のセンタリング動作について説明する。本実施形態の撮像装置２００においても、本実施形態の撮像装置１００と同様に、静止画像の撮像動作期間において、手振れ補正処理を行う。そして、同様にセンタリング動作が行われる。
Next, the centering operation of the camera shake correction mechanism in the imaging apparatus 200 of the present embodiment will be described. In the imaging apparatus 200 of the present embodiment, as in the
＜第３の駆動方法における従来のセンタリング動作タイミング＞
図１６は、本実施形態の撮像装置２００の第２の画素構成の第３の駆動方法における手振れ補正処理の従来の例を示した図である。図１６は、第２の画素構成の画素部２４を第３の駆動方法で駆動しているときの静止画像の撮像動作期間を示している。そして、手振れ補正の処理において、手振れ補正機構を基準位置（光軸中心位置）に移動させるセンタリング動作を、従来のタイミングで行った場合を示している。なお、図１６に示した第３の駆動方法における従来のセンタリング動作タイミングは、図８に示した従来の手振れ補正処理と同様であるため、詳細な説明は省略する。
<Conventional Centering Operation Timing in Third Driving Method>
FIG. 16 is a diagram illustrating a conventional example of camera shake correction processing in the third driving method of the second pixel configuration of the imaging apparatus 200 of the present embodiment. FIG. 16 shows a still image capturing operation period when the
図１６に示した従来の手振れ補正処理では、図８に示した従来の手振れ補正処理と同様に、レリーズボタンが押された時点から手振れ検出部８による撮像装置２００自体の手振れ検出処理が開始される。そして、静止画像の露光期間に入るまでのＬＶデータの読出し期間に、手振れ補正処理が行われて、静止画像の露光期間に合わせて手振れ補正機構のシフトが行われる。
In the conventional camera shake correction process illustrated in FIG. 16, the camera shake detection process of the imaging apparatus 200 itself by the camera
そして、図８に示した従来の手振れ補正処理と同様に、リセットデータおよび画素データ読出期間で、静止画用データの読み出しが完了した後に、手振れ補正機構のセンタリング動作が行われる。 Similarly to the conventional camera shake correction process shown in FIG. 8, the centering operation of the camera shake correction mechanism is performed after the reading of the still image data is completed in the reset data and pixel data reading period.
＜第３の駆動方法における本実施形態のセンタリング動作タイミング＞
図１７は、本実施形態の撮像装置２００の第２の画素構成の第３の駆動方法における手振れ補正処理の例を示した図である。図１７は、図１６に示した従来のセンタリング動作の実施タイミングと同様に、第２の画素構成の画素部２４を第３の駆動方法で駆動しているときの静止画像の撮像動作期間を示している。そして、手振れ補正の処理において、手振れ補正機構を基準位置（光軸中心位置）に移動させるセンタリング動作を、静止画像の撮像動作期間中に行う場合を示している。
<Centering Operation Timing of the Present Embodiment in the Third Driving Method>
FIG. 17 is a diagram illustrating an example of camera shake correction processing in the third driving method of the second pixel configuration of the imaging device 200 of the present embodiment. FIG. 17 shows a still image capturing operation period when the
図１７に示した本実施形態のセンタリング動作の実施タイミングは、図９に示したセンタリング動作の実施タイミングと同様に、図１６に示した従来のセンタリング動作の実施タイミングに対して、リセットデータおよび画素データ読出期間中に、分割したセンタリング動作を行っている。なお、図１７では、図９に示したセンタリング動作の実施タイミングと同様に、センタリング動作を３回に分割し、各フィールドの静止画用データの読み出しと同時に行う場合を示している。なお、図１７に示した第３の駆動方法における本実施形態のセンタリング動作タイミングは、図９に示したセンタリング動作の実施タイミングと同様であるため、詳細な説明は省略する。また、図１７に示した本実施形態のセンタリング動作の実施タイミングにおいても、リセットデータおよび画素データ読出期間中に、図１１に示したライブビュー画像の視野範囲ズレの補正方法を用いて、ライブビュー画像の視野範囲のズレを軽減することができる。 The execution timing of the centering operation of the present embodiment shown in FIG. 17 is similar to the execution timing of the centering operation shown in FIG. 9 with respect to the execution timing of the conventional centering operation shown in FIG. A divided centering operation is performed during the data reading period. Note that FIG. 17 illustrates a case where the centering operation is divided into three times and performed simultaneously with the reading of the still image data of each field, in the same manner as the execution timing of the centering operation illustrated in FIG. The centering operation timing of this embodiment in the third driving method shown in FIG. 17 is the same as the execution timing of the centering operation shown in FIG. Also, at the execution timing of the centering operation of the present embodiment shown in FIG. 17, during the reset data and pixel data readout period, the live view image field-of-view range correction method shown in FIG. It is possible to reduce the deviation of the visual field range of the image.
上記に述べたように、本実施形態の撮像装置２００におけるセンタリング動作タイミングでは、本実施形態の撮像装置１００におけるセンタリング動作タイミングと同様に、手振れ補正機構のセンタリング動作を分割して、リセットデータおよび画素データ読出期間の各フィールドの静止画用データの読み出し動作中に行うことができる。これにより、本実施形態の撮像装置１００と同様に、静止画像の画素データ読出期間中のＬＶ表示に影響を与えることなく、効率的にセンタリング動作を完了することができ、センタリング動作が、次の静止画像の撮像動作を開始するタイミングに影響を与えることがなくなる。
As described above, at the centering operation timing in the imaging apparatus 200 of the present embodiment, the centering operation of the camera shake correction mechanism is divided into the reset data and the pixel as in the centering operation timing of the
上記に述べたように、本発明を実施するための形態によれば、撮像装置が、撮像動作を行っている期間内であっても、撮像シーケンスに影響を与えることなく、手振れ補正機構のセンタリングを確実に行うことができる。また、本発明を実施するための形態によれば、手振れ補正機構のシフトの有無に関係なく、撮像期間が変わることがない撮影シーケンスを実現することができ、例えば、撮像装置における静止画の連写においても、連写速度を一定に保った撮影を行うことができる。 As described above, according to the embodiment for carrying out the present invention, the centering of the camera shake correction mechanism is performed without affecting the imaging sequence even during the period in which the imaging apparatus performs the imaging operation. Can be performed reliably. Further, according to the embodiment for carrying out the present invention, it is possible to realize a shooting sequence in which the shooting period does not change regardless of whether or not the camera shake correction mechanism is shifted. Even in the case of shooting, it is possible to perform shooting while keeping the continuous shooting speed constant.
なお、本発明のある態様に係る手振れ補正制御装置は、本実施形態においては、例えば、撮像部２の一部と、手振れ検出部８と、手振れ補正部９と、撮像・露光制御部１０と、カメラ制御部１３とに対応し、撮像制御部は、例えば、撮像・露光制御部１０と、垂直制御回路２６と、水平走査回路２７とに対応する。
In the present embodiment, for example, a part of the
また、本発明を実施するための形態におけるセンタリング動作は、撮像装置に備えた手振れ補正機構が、例えば、レンズシフト型や撮像素子シフト型など、いかなるシフト型式の手振れ補正機構に対しても適用することができる。 In addition, the centering operation in the embodiment for carrying out the present invention is applied to any shift type camera shake correction mechanism such as a lens shift type or an image pickup element shift type. be able to.
なお、本発明を実施するための形態では、静止画像を３つのフィールドに分割して読み出したときの例について説明したが、静止画像を分割するフィールドの数は、本発明を実施するための形態に限定されるものではない。例えば、フィールドの分割数は、静止画およびライブビューの解像度、さらにはライブビューのフレームレートを鑑みて決定され、それに基づき、センタリング動作の分割数も変更することができる。 In the embodiment for carrying out the present invention, an example in which a still image is divided into three fields and read has been described. However, the number of fields into which a still image is divided is the form for carrying out the present invention. It is not limited to. For example, the division number of the field is determined in consideration of the resolution of the still image and the live view, and also the frame rate of the live view, and based on this, the division number of the centering operation can be changed.
また、本発明を実施するための形態では、レリーズボタンが押されたことによって静止画の撮影が開始されたときから手振れ補正処理を開始している。例えば、撮像装置１００では、少なくとも画素の露光期間の開始時から静止画像の画素データ読出期間の終了時までは、手振れ検出部８が検出した手振れ情報に基づいて、手振れ補正部９が手振れ補正機構をシフトさせるようになっている。また、撮像装置２００では、カメラ制御部１２が、ＰＤリセットパルスＴＸ２によるフォトダイオードＰＤ１およびＰＤ２のリセット解除（露光期間の開始）と、ＦＤリセットパルスＲＥＳによる電荷蓄積部ＦＤのリセット開始（アナログリセットノイズ信号の読み出し期間の開始）と、のいずれか遅くない方から、リセットデータおよび画素データ読出期間の終了時までは、少なくとも手振れ補正を行うように制御しているということができる。しかし、手振れ補正処理を開始するタイミングは、本発明を実施するための形態に限定されるものではなく、例えば、撮像装置の電源がオンされたときから手振れ補正処理を行うこともできる。そして、１枚目の静止画像の画素データの読み出し動作中に、センタリング動作を行うことができる。従って、従来の方式のセンタリング動作よりも、効率的にセンタリング動作を行うことができる。
Further, in the embodiment for carrying out the present invention, the camera shake correction process is started from the time when shooting of a still image is started by pressing the release button. For example, in the
なお、撮像装置においては、図８および図１６に示した静止画像の撮像動作期間が終了した後にセンタリング動作を行う場合と、図９および図１７に示した静止画像の撮像動作期間中にセンタリング動作を行う場合とを、例えば、撮像装置の撮影モードやＡＦモードなどのモード設定、あるいはその他の要因に応じて選択する構成とすることもできる。 In the imaging apparatus, the centering operation is performed after the still image capturing operation period illustrated in FIGS. 8 and 16 is completed, and the centering operation is performed during the still image capturing operation period illustrated in FIGS. 9 and 17. For example, it may be configured to select according to mode setting such as a shooting mode or AF mode of the imaging apparatus or other factors.
なお、本発明を実施するための形態において、図１６および図１７に示した、レリーズボタンが押されてから静止画像の露光期間が開始されるまでの間にＬＶデータを取得する回数（図１６および図１７においては４回）は、一連の手振れ補正処理に必要となる期間を表すものではない。従って、実際には、レリーズボタンが押された直後に手振れ検出処理、手振れ補正量の算出が直ちに行われ、手振れ補正機構をシフトする処理に移行することにより、ＬＶデータの取得を行うことなく、静止画像の露光を開始することができる。 In the embodiment for carrying out the present invention, the number of times LV data is acquired from when the release button shown in FIGS. 16 and 17 is pressed until the exposure period of the still image is started (FIG. 16). And 4 times in FIG. 17 do not represent a period required for a series of camera shake correction processing. Therefore, in practice, immediately after the release button is pressed, the camera shake detection process and the calculation of the camera shake correction amount are performed immediately, and the process shifts to the process of shifting the camera shake correction mechanism without acquiring the LV data. The exposure of the still image can be started.
なお、本発明における回路構成および駆動方式の具体的な構成は、本発明を実施するための形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更をすることができる。例えば、分割するフィールド数を増やすこともできる。また、画素の構成要素および駆動方法が変わった場合においても、例えば、撮像部２や固体撮像素子２１内の構成要素や回路構成に応じて駆動方法を変更することによって対応することができる。
In addition, the specific configuration of the circuit configuration and the driving method in the present invention is not limited to the mode for carrying out the present invention, and various modifications can be made without departing from the spirit of the present invention. . For example, the number of fields to be divided can be increased. In addition, even when the pixel components and the driving method are changed, for example, the driving method can be changed according to the components and circuit configuration in the
また、画素の行方向および列方向の配置は、本発明を実施するための形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において画素を配置する行方向および列方向の数を変更することができる。 Further, the arrangement of the pixels in the row direction and the column direction is not limited to the mode for carrying out the present invention, and the number of pixels in the row direction and the column direction in which the pixels are arranged without departing from the gist of the present invention. Can be changed.
以上、本発明を実施するための形態をもとに説明したが、各構成要素や各処理プロセスの任意の組み合わせ、本発明の表現をコンピュータプログラムプロダクトなどに変換したものもまた、本発明の態様として有効である。ここで、コンピュータプログラムプロダクトとは、プログラムコードが記録された記録媒体（ＤＶＤ媒体、ハードディスク媒体、メモリ媒体など）、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）など、プログラムコードが記録された記録媒体、装置、機器やシステムをいう。この場合、上述した各構成要素や各処理プロセスは各モジュールで実装され、その実装されたモジュールからなるプログラムコードはコンピュータプログラムプロダクト内に記録される。 As described above, the description has been given based on the embodiment for carrying out the present invention. However, any combination of each component, each processing process, and the expression of the present invention converted into a computer program product or the like is also an aspect of the present invention. It is effective as Here, the computer program product includes a recording medium (DVD medium, hard disk medium, memory medium, etc.) on which a program code is recorded, a computer on which the program code is recorded, and an Internet system (for example, a server and the like) on which the program code is recorded. A recording medium, apparatus, device or system in which a program code is recorded, such as a system including a client terminal. In this case, each component and each processing process described above are mounted in each module, and a program code including the mounted module is recorded in a computer program product.
例えば、本発明のある態様に係るコンピュータプログラムプロダクトは、撮像素子上に配置された複数の画素を複数のグループに区分し、それぞれのグループに属する画素から、前記区分したグループ単位で静止画用信号を読み出し、さらに、前記区分したグループ単位に静止画用信号を読み出す期間の合間に、それぞれのグループに属する画素から、前記区分したグループ単位で動画用信号を読み出す撮像制御モジュールと、前記撮像素子を具備した撮像装置の動きを検出する手振れ検出モジュールと、前記手振れ検出部によって検出された動きに基づいて、前記動きを補正するための補正機構を動作させる手振れ補正モジュールと、をコンピュータに実行させるためのプログラムコードが記録されたコンピュータプログラムプロダクトであって、前記プログラムコードは、１枚の静止画像を生成するための前記静止画用信号を読み出す期間を、静止画周期期間と定義したとき、前記手振れ補正モジュールは、前記補正機構を基準位置に移動させるセンタリング動作を指示するセンタリング動作指示モジュールと、前記センタリング動作指示モジュールによる指示にしたがって、前記静止画周期期間から、少なくとも前記動画用信号の読み出し期間を除いた期間であるセンタリング動作可能期間内にセンタリング動作を行うセンタリング動作をモジュールと、を含む。 For example, a computer program product according to an aspect of the present invention divides a plurality of pixels arranged on an image sensor into a plurality of groups, and outputs a still image signal from the pixels belonging to each group in the divided group unit. In addition, an imaging control module that reads out a moving image signal in units of divided groups from pixels belonging to each group during a period of reading out still image signals in the divided group units, and the imaging element To cause a computer to execute a camera shake detection module that detects a motion of the imaging device provided, and a camera shake correction module that operates a correction mechanism for correcting the motion based on the motion detected by the camera shake detection unit. A computer program product with recorded program code Accordingly, when the program code defines a period for reading out the still image signal for generating one still image as a still image cycle period, the camera shake correction module sets the correction mechanism to a reference position. A centering operation instruction module for instructing a centering operation to be moved, and in accordance with an instruction from the centering operation instruction module, a centering operation enabling period that is a period excluding at least the readout period of the video signal from the still image cycle period A centering operation for performing the centering operation is included.
また、例えば、図１に示した撮像装置１００の各構成要素による処理を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、撮像装置１００に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
Further, for example, a program for realizing processing by each component of the
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。 Further, the “computer-readable recording medium” refers to a volatile memory (for example, DRAM (Dynamic) in a computer system serving as a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. Random Access Memory)) that holds a program for a certain period of time is also included. The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。 The embodiment of the present invention has been described above with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes various modifications within the scope of the present invention. It is.
また、本発明のある態様に係る手振れ補正制御装置は、撮像素子上に配置された複数の画素を複数のグループに区分し、それぞれのグループに属する画素から、前記区分したグループ単位で静止画用信号を読み出し、さらに、前記区分したグループ単位に静止画用信号を読み出す期間の合間に、それぞれのグループに属する画素から、前記区分したグループ単位で動画用信号を読み出す撮像制御手段と、前記撮像素子を具備した撮像装置の動きを検出する手振れ検出手段と、前記手振れ検出手段によって検出された動きに基づいて、前記動きを補正するための補正機構を動作させる手振れ補正手段と、を備え、１枚の静止画像を生成するための前記静止画用信号を読み出す期間を、静止画周期期間と定義したとき、前記手振れ補正手段は、前記補正機構を基準位置に移動させるセンタリング動作を、前記静止画周期期間から、少なくとも前記動画用信号の読み出し期間を除いた期間であるセンタリング動作可能期間内に行う、ことを特徴とする手振れ補正制御装置であってもよい。 Further, the camera shake correction control device according to an aspect of the present invention divides a plurality of pixels arranged on the image sensor into a plurality of groups, and uses the pixels belonging to each group for a still image unit. An imaging control unit that reads out a signal and further reads out a moving image signal in units of divided groups from pixels belonging to each group during a period of reading out still image signals in units of the divided groups; and the imaging element And a camera shake correction unit that operates a correction mechanism for correcting the movement based on the motion detected by the camera shake detection unit. When the period for reading out the still image signal for generating a still image is defined as a still image cycle period, the image stabilization unit A camera shake correction control device characterized in that a centering operation for moving the correction mechanism to a reference position is performed within a centering operation possible period that is a period excluding at least the moving image signal readout period from the still image cycle period. It may be.
また、本発明のある態様に係る撮像装置は、入射光量に応じた信号電荷を発生させる光電変換手段と、前記光電変換手段が発生した信号電荷を蓄積する電荷蓄積手段と、を具備した画素を２次元状に複数配列した画素手段を有する固体撮像手段と、前記固体撮像手段の前記画素手段の全ての画素の露光開始タイミングと露光期間とを同一とするグローバルシャッター動作を行うとともに、前記固体撮像手段上に配置された複数の画素を複数のグループに区分し、それぞれのグループに属する画素から、前記区分したグループ単位で静止画用信号を読み出し、さらに、前記区分したグループ単位に静止画用信号を読み出す期間の合間に、それぞれのグループに属する画素から、前記区分したグループ単位で動画用信号を読み出す撮像制御手段と、前記固体撮像手段を具備した撮像装置の動きを検出する手振れ検出手段と、前記手振れ検出手段によって検出された動きに基づいて、前記動きを補正するための補正機構を動作させる手振れ補正手段と、を備え、１枚の静止画像を生成するための前記静止画用信号を読み出す期間を、静止画周期期間と定義したとき、前記手振れ補正手段は、前記補正機構を基準位置に移動させるセンタリング動作を、前記静止画周期期間から、少なくとも前記動画用信号の読み出し期間を除いた期間であるセンタリング動作可能期間内に行う、ことを特徴とする撮像装置であってもよい。 In addition, an imaging apparatus according to an aspect of the present invention includes a pixel including a photoelectric conversion unit that generates a signal charge according to an incident light amount, and a charge storage unit that stores a signal charge generated by the photoelectric conversion unit. A solid-state imaging unit having a plurality of two-dimensionally arranged pixel units, and a global shutter operation in which the exposure start timing and the exposure period of all the pixels of the pixel unit of the solid-state imaging unit are the same, and the solid-state imaging A plurality of pixels arranged on the means are divided into a plurality of groups, a still image signal is read out from the pixels belonging to each group in the divided group unit, and further, a still image signal is output in the divided group unit. Imaging control means for reading out video signals in units of the divided groups from pixels belonging to the respective groups during the period of reading out A camera shake detecting unit that detects a movement of the imaging apparatus including the solid-state imaging unit; and a camera shake correcting unit that operates a correction mechanism for correcting the movement based on the motion detected by the camera shake detecting unit. Provided, when the period for reading out the still image signal for generating one still image is defined as a still image cycle period, the camera shake correction means performs a centering operation for moving the correction mechanism to a reference position, The imaging apparatus may be configured to perform within a centering operation possible period that is a period excluding at least the moving image signal readout period from the still image cycle period.
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の代替物、変形、等価物による変更を行うこともできる。従って、本発明の範囲は、上記の説明を参照して決められるものではなく、請求項によって決められるべきであり、均等物の全ての範囲も含まれる。また、上述した特徴は、いずれも、好ましいか否かを問わず、他の特徴と組み合わせてもよい。また、請求項において、明示的に断らない限り、各構成要素は１またはそれ以上の数量である。また、請求項において「〜のための手段」のような語句を用いて明示的に記載する場合を除いて、請求項が、ミーンズ・プラス・ファンクションの限定を含むものと解してはならない。 The embodiment of the present invention has been described above with reference to the drawings. However, the specific configuration is not limited to this embodiment, and various alternatives and modifications can be made without departing from the spirit of the present invention. The equivalent can also be changed. Accordingly, the scope of the invention should not be determined with reference to the above description, but should be determined by the claims, including the full scope of equivalents. In addition, any of the features described above may be combined with other features regardless of whether or not they are preferable. Also, in the claims, each component is one or more quantities unless explicitly stated otherwise. In addition, the claims should not be construed as including means-plus-function limitations unless explicitly stated in the claims using words such as “means for”.
１００・・・撮像装置
１・・・レンズ
２・・・撮像部
３・・・画像処理部
４・・・ＡＦ評価値演算部
５・・・ＡＥ評価値演算部
６・・・表示部
７・・・メモリーカード
８・・・手振れ検出部
９・・・手振れ補正部
１０・・・撮像・露光制御部
１１・・・ＡＦ制御部
１２・・・カメラ操作部
１３・・・カメラ制御部
２１・・・固体撮像素子
２２・・・Ａ／Ｄ変換部
２３・・・ＫＴＣノイズ除去部
２４・・・画素部
２５・・・ＣＤＳ部
２６・・・垂直制御回路
２７・・・水平走査回路
２８，２９・・・画素
ＰＤ，ＰＤ１，ＰＤ２・・・フォトダイオード
ＦＤ・・・電荷蓄積部
Ｃ１，Ｃ２・・・電荷蓄積部
Ｍａ・・・増幅トランジスタ
Ｍｂ・・・選択トランジスタ
Ｍｒ・・・リセットトランジスタ
Ｍｔｘ１，Ｍｔｘ１ａ，Ｍｔｘ１ｂ・・・転送トランジスタ
Ｍｔｘ２，Ｍｔｘ２ａ，Ｍｔｘ２ｂ・・・リセットトランジスタ
Ｍｔｘ３，Ｍｔｘ４・・・ＰＤ転送トランジスタ
DESCRIPTION OF
Claims (18)
前記撮像素子を具備した撮像装置の動きを検出する手振れ検出部と、
前記手振れ検出部によって検出された動きに基づいて、前記動きを補正するための補正機構を動作させる手振れ補正部と、
を備え、
１枚の静止画像を生成するための前記静止画用信号を読み出す期間を、静止画周期期間と定義したとき、
前記手振れ補正部は、
前記補正機構を基準位置に移動させるセンタリング動作を、前記静止画周期期間から、少なくとも前記動画用信号の読み出し期間を除いた期間であるセンタリング動作可能期間内に行う、
ことを特徴とする手振れ補正制御装置。 A plurality of pixels arranged on the image sensor are divided into a plurality of groups, a still image signal is read out from the pixels belonging to each group in the divided group unit, and further, the still image is output in the divided group unit. An imaging control unit that reads out a moving image signal in units of the divided groups from pixels belonging to each group between signal reading periods;
A camera shake detection unit that detects the movement of the imaging device including the imaging element;
A camera shake correction unit that operates a correction mechanism for correcting the movement based on the motion detected by the camera shake detection unit;
With
When the period for reading out the still image signal for generating one still image is defined as a still image cycle period,
The image stabilization unit is
A centering operation for moving the correction mechanism to a reference position is performed within a centering operation possible period that is a period excluding at least the moving image signal readout period from the still image cycle period.
And a camera shake correction control device.
前記センタリング動作を、前記静止画周期期間から、前記動画用信号の読み出し期間と前記補正機構を動作させる期間とを除いた期間内に行う
ことを特徴とする請求項１に記載の手振れ補正制御装置。 The image stabilization unit is
2. The camera shake correction control device according to claim 1, wherein the centering operation is performed in a period excluding a period in which the moving image signal is read and a period in which the correction mechanism is operated from the still image cycle period. .
前記動画用信号の読み出しに先立って、前記撮像素子に動画用の露光を行わせ、
前記手振れ補正部は、
前記センタリング動作を、前記静止画周期期間から、前記動画用信号の読み出し期間と前記動画用の露光期間とを除いた期間内に行う、
ことを特徴とする請求項１に記載の手振れ補正制御装置。 The imaging control unit
Prior to reading out the moving image signal, the image sensor is exposed to moving image,
The image stabilization unit is
The centering operation is performed within a period excluding the moving image signal readout period and the moving image exposure period from the still image cycle period.
The camera shake correction control device according to claim 1.
前記センタリング動作可能期間のうち、時系列的に最も早い前記静止画用信号の読み出し期間に、前記センタリング動作を行う、
ことを特徴とする請求項１に記載の手振れ補正制御装置。 The image stabilization unit is
The centering operation is performed in the readout period of the still image signal that is earliest in time series among the centering operation possible periods.
The camera shake correction control device according to claim 1.
前記手振れ補正部は、
前記第１のセンタリング動作可能期間を優先して、前記センタリング動作を行う、
ことを特徴とする請求項４に記載の手振れ補正制御装置。 When the centering operable period is a plurality of periods discontinuously, and each of the plurality of centering operable periods is first to nth (n is an integer of 2 or more) from the earliest in time series,
The image stabilization unit is
Giving priority to the first centering operation possible period and performing the centering operation;
The camera shake correction control apparatus according to claim 4.
前記センタリング動作が、前記第１のセンタリング動作可能時間内に完了していない場合、
該未完了のセンタリング動作を継続して、第２〜第ｎのセンタリング動作可能時間内に順次行う、
ことを特徴とする請求項５に記載の手振れ補正制御装置。 The image stabilization unit is
When the centering operation is not completed within the first centering operation possible time,
The incomplete centering operation is continued and sequentially performed within the second to nth centering operation possible time.
The camera shake correction control apparatus according to claim 5.
をさらに備え、
前記手振れ補正部は、
前記評価値算出部が算出した前記評価値に基づいて、前記センタリング動作に要する時間を算出し、該算出した時間が前記第１のセンタリング動作可能時間を超えた場合に、前記センタリング動作が、前記第１のセンタリング動作可能時間内に完了していないと判定し、
該センタリング動作を、前記複数のセンタリング動作可能期間に分けて行う、
ことを特徴とする請求項６に記載の手振れ補正制御装置。 An evaluation value calculation unit that calculates an evaluation value indicating a degree of brightness of a subject image included in the still image signal or the moving image signal based on the still image signal or the moving image signal;
Further comprising
The image stabilization unit is
Based on the evaluation value calculated by the evaluation value calculation unit, a time required for the centering operation is calculated, and when the calculated time exceeds the first centering operation possible time, the centering operation It is determined that it has not been completed within the first centering operation possible time,
The centering operation is performed by dividing the plurality of centering operation possible periods.
The camera shake correction control apparatus according to claim 6.
前記静止画用信号として、前記区分したグループに属する画素から、静止画用のリセット信号と光信号とを読み出し、
さらに、前記撮像制御部が、
前記撮像装置の連続撮像に応じて、第１〜第ｍ（ｍは２以上の整数）の静止画周期期間を繰り返すとき、
前記手振れ補正部は、
第１の静止画周期期間内に前記センタリング動作が完了していない場合、
前記第１の静止画周期期間に続く前記第２の静止画周期期間のうち、前記静止画用のリセット信号を読み出す期間中の前記センタリング動作可能期間内に、該未完了のセンタリング動作を継続して行う、
ことを特徴とする請求項１に記載の手振れ補正制御装置。 The imaging control unit
As the still image signal, a still image reset signal and an optical signal are read from the pixels belonging to the divided group,
Further, the imaging control unit
When the first to m-th (m is an integer of 2 or more) still image cycle periods are repeated according to the continuous imaging of the imaging device,
The image stabilization unit is
If the centering operation is not completed within the first still image cycle period,
The incomplete centering operation is continued within the centering operation possible period during the period of reading out the reset signal for the still image in the second still image cycle period following the first still image cycle period. Do,
The camera shake correction control device according to claim 1.
をさらに備え、
前記手振れ補正部は、
前記評価値算出部が算出した前記評価値に基づいて、前記センタリング動作に要する時間を算出し、
前記センタリング動作可能期間内の該算出した時間の間、前記センタリング動作を行う、
ことを特徴とする請求項１に記載の手振れ補正制御装置。 An evaluation value calculation unit that calculates an evaluation value indicating a degree of brightness of a subject image included in the still image signal or the moving image signal based on the still image signal or the moving image signal;
Further comprising
The image stabilization unit is
Based on the evaluation value calculated by the evaluation value calculation unit, the time required for the centering operation is calculated,
Performing the centering operation during the calculated time within the centering operation possible period;
The camera shake correction control device according to claim 1.
撮像素子は、
入射光量に応じた信号電荷を発生させる光電変換部と、前記光電変換部が発生した信号電荷を蓄積する電荷蓄積部と、を具備した画素を２次元状に複数配列した画素部、
を備える、
ことを特徴とする撮像装置。 An imaging apparatus comprising the camera shake correction control apparatus according to claim 1,
The image sensor
A pixel unit in which a plurality of pixels each having a photoelectric conversion unit that generates a signal charge according to an incident light amount and a charge storage unit that stores a signal charge generated by the photoelectric conversion unit are arranged two-dimensionally;
Comprising
An imaging apparatus characterized by that.
前記静止画用の露光を行うとき、
全ての前記画素の露光開始タイミングと露光期間とを同一とするグローバルシャッター動作を行う、
ことを特徴とする請求項１に記載の手振れ補正制御装置。 The imaging control unit
When performing exposure for the still image,
A global shutter operation is performed so that the exposure start timing and the exposure period of all the pixels are the same.
The camera shake correction control device according to claim 1.
前記手振れ検出部によって検出された動きに基づいて、動画像の光軸中心からのズレ量を動画像のフレーム毎に算出し、算出したズレ量に基づいて前記動画像が光軸中心と一致するように動画用信号を切り出す範囲を決定し、決定した切り出し範囲の情報を出力する、
ことを特徴とする請求項１に記載の手振れ補正制御装置。 The image stabilization unit is
Based on the motion detected by the camera shake detection unit, a shift amount from the optical axis center of the moving image is calculated for each frame of the moving image, and the moving image matches the optical axis center based on the calculated shift amount. To determine the range to cut out the video signal and output the information of the determined clipping range,
The camera shake correction control device according to claim 1.
前記画素における静止画の露光期間が終了した後から前記動画像の第１フレームにおける第１ラインの露光を開始するまでの期間、
を含む、
ことを特徴とする請求項１に記載の手振れ補正制御装置。 The centering operation possible period is
A period from the end of the exposure period of the still image in the pixel to the start of exposure of the first line in the first frame of the moving image;
including,
The camera shake correction control device according to claim 1.
前記撮像制御部によって前記動画像を取得する周期において、前記撮像素子に動画用の露光を行わせる期間と、前記動画用信号を読み出す期間とを減算した期間、
を含む、
ことを特徴とする請求項１に記載の手振れ補正制御装置。 The centering operation possible period is
In a period for acquiring the moving image by the imaging control unit, a period obtained by subtracting a period in which the imaging element performs exposure for moving images and a period for reading the moving image signals,
including,
The camera shake correction control device according to claim 1.
前記センタリング動作可能期間中において、
前記静止画用信号の読み出しと並行して前記センタリング動作を行う、
ことを特徴とする請求項１に記載の手振れ補正制御装置。 The image stabilization unit is
During the centering operation possible period,
Performing the centering operation in parallel with reading of the still image signal;
The camera shake correction control device according to claim 1.
前記撮像素子を具備した撮像装置の動きを検出する手振れ検出ステップと、
前記手振れ検出部によって検出された動きに基づいて、前記動きを補正するための補正機構を動作させる手振れ補正ステップと、
を含む手振れ補正制御方法であって、
１枚の静止画像を生成するための前記静止画用信号を読み出す期間を、静止画周期期間と定義したとき、
前記手振れ補正ステップは、
前記補正機構を基準位置に移動させるセンタリング動作を指示するセンタリング動作指示ステップと、
前記センタリング動作指示ステップによる指示にしたがって、前記静止画周期期間から、少なくとも前記動画用信号の読み出し期間を除いた期間であるセンタリング動作可能期間内にセンタリング動作を行うセンタリング動作をステップと、
を有する、
ことを特徴とする手振れ補正制御方法。 A plurality of pixels arranged on the image sensor are divided into a plurality of groups, a still image signal is read out from the pixels belonging to each group in the divided group unit, and further, the still image is output in the divided group unit. An imaging control step of reading out a moving image signal in units of the divided groups from pixels belonging to each group between signal reading periods;
A camera shake detection step for detecting movement of an image pickup apparatus including the image pickup device;
Based on the movement detected by the camera shake detection unit, a camera shake correction step for operating a correction mechanism for correcting the movement;
A camera shake correction control method including
When the period for reading out the still image signal for generating one still image is defined as a still image cycle period,
The image stabilization step includes
A centering operation instruction step for instructing a centering operation for moving the correction mechanism to a reference position;
In accordance with an instruction by the centering operation instruction step, a centering operation for performing a centering operation within a centering operation possible period that is a period excluding at least a readout period of the video signal from the still image cycle period; and
Having
And a camera shake correction control method.
前記撮像素子を具備した撮像装置の動きを検出する手振れ検出ステップと、
前記手振れ検出部によって検出された動きに基づいて、前記動きを補正するための補正機構を動作させる手振れ補正ステップと、
をコンピュータに実行させるプログラムであって、
１枚の静止画像を生成するための前記静止画用信号を読み出す期間を、静止画周期期間と定義したとき、
前記手振れ補正ステップは、
前記補正機構を基準位置に移動させるセンタリング動作を指示するセンタリング動作指示ステップと、
前記センタリング動作指示ステップによる指示にしたがって、前記静止画周期期間から、少なくとも前記動画用信号の読み出し期間を除いた期間であるセンタリング動作可能期間内にセンタリング動作を行うセンタリング動作をステップと、
を有する、
ことを特徴とするプログラム。 A plurality of pixels arranged on the image sensor are divided into a plurality of groups, a still image signal is read out from the pixels belonging to each group in the divided group unit, and further, the still image is output in the divided group unit. An imaging control step of reading out a moving image signal in units of the divided groups from pixels belonging to each group between signal reading periods;
A camera shake detection step for detecting movement of an image pickup apparatus including the image pickup device;
Based on the movement detected by the camera shake detection unit, a camera shake correction step for operating a correction mechanism for correcting the movement;
A program for causing a computer to execute
When the period for reading out the still image signal for generating one still image is defined as a still image cycle period,
The image stabilization step includes
A centering operation instruction step for instructing a centering operation for moving the correction mechanism to a reference position;
In accordance with an instruction by the centering operation instruction step, a centering operation for performing a centering operation within a centering operation possible period that is a period excluding at least a readout period of the video signal from the still image cycle period; and
Having
A program characterized by that.
前記固体撮像素子の前記画素部の全ての画素の露光開始タイミングと露光期間とを同一とするグローバルシャッター動作を行うとともに、前記固体撮像素子上に配置された複数の画素を複数のグループに区分し、それぞれのグループに属する画素から、前記区分したグループ単位で静止画用信号を読み出し、さらに、前記区分したグループ単位に静止画用信号を読み出す期間の合間に、それぞれのグループに属する画素から、前記区分したグループ単位で動画用信号を読み出す撮像制御部と、
前記固体撮像素子を具備した撮像装置の動きを検出する手振れ検出部と、
前記手振れ検出部によって検出された動きに基づいて、前記動きを補正するための補正機構を動作させる手振れ補正部と、
を備え、
１枚の静止画像を生成するための前記静止画用信号を読み出す期間を、静止画周期期間と定義したとき、
前記手振れ補正部は、
前記補正機構を基準位置に移動させるセンタリング動作を、前記静止画周期期間から、少なくとも前記動画用信号の読み出し期間を除いた期間であるセンタリング動作可能期間内に行う、
ことを特徴とする撮像装置。 Solid-state imaging having a pixel unit in which a plurality of pixels are arranged two-dimensionally, each of which includes a photoelectric conversion unit that generates a signal charge corresponding to the amount of incident light and a charge storage unit that stores the signal charge generated by the photoelectric conversion unit. Elements,
A global shutter operation is performed in which the exposure start timing and the exposure period of all the pixels of the pixel portion of the solid-state image sensor are the same, and a plurality of pixels arranged on the solid-state image sensor are divided into a plurality of groups. From the pixels belonging to the respective groups, the still image signals are read out in the divided group units, and further, the pixels belonging to the respective groups are read from the pixels belonging to the respective groups during the period of reading out the still image signals in the divided group units. An imaging control unit that reads out video signals in divided group units;
A camera shake detection unit that detects the movement of the imaging apparatus including the solid-state imaging device;
A camera shake correction unit that operates a correction mechanism for correcting the movement based on the motion detected by the camera shake detection unit;
With
When the period for reading out the still image signal for generating one still image is defined as a still image cycle period,
The image stabilization unit is
A centering operation for moving the correction mechanism to a reference position is performed within a centering operation possible period that is a period excluding at least the moving image signal readout period from the still image cycle period.
An imaging apparatus characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010137518A JP5530262B2 (en) | 2010-06-16 | 2010-06-16 | Camera shake correction control apparatus, camera shake correction control method, imaging apparatus, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010137518A JP5530262B2 (en) | 2010-06-16 | 2010-06-16 | Camera shake correction control apparatus, camera shake correction control method, imaging apparatus, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012004818A JP2012004818A (en) | 2012-01-05 |
| JP5530262B2 true JP5530262B2 (en) | 2014-06-25 |
Family
ID=45536307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010137518A Expired - Fee Related JP5530262B2 (en) | 2010-06-16 | 2010-06-16 | Camera shake correction control apparatus, camera shake correction control method, imaging apparatus, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5530262B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6489879B2 (en) * | 2015-03-09 | 2019-03-27 | キヤノン株式会社 | Image reproducing apparatus and image reproducing method |
| JP2017142356A (en) | 2016-02-10 | 2017-08-17 | ソニー株式会社 | Image pickup apparatus, and control method for the same |
| JP2023051392A (en) | 2021-09-30 | 2023-04-11 | 富士フイルム株式会社 | Blur correction device, imaging device, blur correction method, and blur correction program |
| CN114500834B (en) * | 2022-01-19 | 2023-11-21 | 上汽通用五菱汽车股份有限公司 | Reset method, device, equipment and storage medium of vehicle-mounted panoramic image system |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4445662B2 (en) * | 2000-11-17 | 2010-04-07 | オリンパス株式会社 | Electronic camera |
| JP4844305B2 (en) * | 2005-09-12 | 2011-12-28 | 日本ビクター株式会社 | Imaging device |
| JP5203018B2 (en) * | 2008-04-10 | 2013-06-05 | オリンパスイメージング株式会社 | Imaging device and camera |
| JP2010078635A (en) * | 2008-09-24 | 2010-04-08 | Sanyo Electric Co Ltd | Blur correcting device and imaging apparatus |
-
2010
- 2010-06-16 JP JP2010137518A patent/JP5530262B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012004818A (en) | 2012-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5226552B2 (en) | Imaging device | |
| JP5835996B2 (en) | Imaging device | |
| JP6476065B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| JP6944846B2 (en) | Imaging device, control method of imaging device | |
| JP5317591B2 (en) | Imaging device | |
| JP2012023497A (en) | Imaging device, imaging control method, and program | |
| CN109474781B (en) | Image pickup apparatus, control method for image pickup apparatus, and recording medium | |
| JP5631643B2 (en) | Read control device, read control method, imaging device, solid-state imaging device, and program | |
| JP5530262B2 (en) | Camera shake correction control apparatus, camera shake correction control method, imaging apparatus, and program | |
| US8531537B2 (en) | Imaging apparatus for processing still picture signals and live view signals output from an image sensor | |
| JP2012004819A (en) | Reading control device, reading control method, imaging device, solid state imaging device, and program | |
| JP2016123012A (en) | Imaging device, focus detection apparatus, and focus detection method | |
| JP5452269B2 (en) | Imaging device | |
| JP5123826B2 (en) | Imaging device | |
| JP5530279B2 (en) | Imaging apparatus, imaging control method, and program | |
| JP2013146001A5 (en) | ||
| JP2011182321A (en) | Solid-state imaging apparatus, driving method and imaging apparatus | |
| JP7292962B2 (en) | Imaging device and its control method | |
| JP5127510B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| JP5624804B2 (en) | Read control device, read control method, program, imaging device, and solid-state imaging device | |
| JP2010171856A (en) | Imaging apparatus | |
| JP2014057196A (en) | Imaging apparatus | |
| JP2012015721A (en) | Reading control device, reading control method, program, solid-state imaging device, and imaging device | |
| JP2015064500A (en) | Imaging device and method for controlling the same | |
| JP2014236251A (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130524 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140320 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140401 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140418 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5530262 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |