JP6230365B2 - Imaging apparatus and control method thereof - Google Patents
Imaging apparatus and control method thereof Download PDFInfo
- Publication number
- JP6230365B2 JP6230365B2 JP2013213929A JP2013213929A JP6230365B2 JP 6230365 B2 JP6230365 B2 JP 6230365B2 JP 2013213929 A JP2013213929 A JP 2013213929A JP 2013213929 A JP2013213929 A JP 2013213929A JP 6230365 B2 JP6230365 B2 JP 6230365B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- period
- pixel
- row
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、撮像装置及びその制御方法に関する。 The present invention relates to an imaging apparatus and a control method thereof.
デジタルスチルカメラやデジタルビデオカメラなど、撮像素子を用いて撮像し、撮像画像をデジタルデータとして保存する撮像装置が普及している。このような撮像装置に用いる撮像素子は、ＣＣＤ（Charge Coupled Device）型イメージセンサ（以下、ＣＣＤセンサ）が一般的であった。近年では、撮像素子の多画素化が進むにつれ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ（以下、ＣＭＯＳセンサ）が注目されている。 2. Description of the Related Art Imaging devices that capture an image using an image sensor and store the captured image as digital data, such as a digital still camera and a digital video camera, are widely used. An image pickup element used in such an image pickup apparatus is generally a CCD (Charge Coupled Device) type image sensor (hereinafter referred to as a CCD sensor). In recent years, CMOS (Complementary Metal Oxide Semiconductor) type image sensors (hereinafter referred to as CMOS sensors) have attracted attention as the number of pixels in an image sensor increases.
ＣＭＯＳセンサの特徴の一つに、ローリングシャッタ動作（フォーカルプレーンシャッタ動作とも呼ばれる）がある。ローリングシャッタ動作は、２次元配列された複数の画素を画素行毎に順次走査して信号の読み出しと出力を行うため、画素行毎に信号の読み出しと出力のための時間差を持った動作となっている（例えば、特許文献１の図９参照）。 One of the features of the CMOS sensor is a rolling shutter operation (also called a focal plane shutter operation). The rolling shutter operation scans a plurality of two-dimensionally arranged pixels sequentially for each pixel row to read out and output a signal, and thus has a time difference for reading and outputting a signal for each pixel row. (For example, refer to FIG. 9 of Patent Document 1).
さらに、ＣＭＯＳセンサは、画素信号のランダムアクセスが可能である点や、ＣＣＤセンサと比較して画素信号の読み出しが高速で、高感度、低消費電力といった特徴がある。ＣＭＯＳセンサを高速に動作させて高いフレームレートを実現する方法として、画素信号の読み出しから外部へ出力するまでの手段を複数持つ方法が提案されている（例えば、特許文献２の図５参照）。この方法によれば、例えば１行目の画素の信号と２行目の画素の信号を異なる読み出し手段及び異なる出力手段を用いて、２行の信号を同時に出力することが可能となり、２倍のフレームレートを実現することが可能となる。 Further, the CMOS sensor has features such that the pixel signal can be randomly accessed, and the pixel signal can be read out at a higher speed, higher sensitivity, and lower power consumption than the CCD sensor. As a method for realizing a high frame rate by operating a CMOS sensor at high speed, a method having a plurality of means from reading a pixel signal to outputting it to the outside has been proposed (see, for example, FIG. 5 of Patent Document 2). According to this method, for example, it is possible to simultaneously output two rows of signals using different readout means and different output means for the pixels of the first row and the pixels of the second row. A frame rate can be realized.
ＣＭＯＳセンサの高画素化・高精細化に伴い、画素サイズの縮小が強く求められており、特に画素において飽和・感度といった特性を維持したまま複数の読み出し手段を持つことは非常に困難になっている。これに対して、画素の信号を列方向に読み出す信号線は共通にして、出力手段は複数持つ方法が提案されている（例えば、特許文献２の図１参照）。 With the increase in pixels and resolution of CMOS sensors, there is a strong demand for reduction in pixel size, and it becomes extremely difficult to have multiple readout means while maintaining characteristics such as saturation and sensitivity, especially in pixels. Yes. On the other hand, a method has been proposed in which signal lines for reading out pixel signals in the column direction are shared and a plurality of output means are provided (see, for example, FIG. 1 of Patent Document 2).
この方法では、まず、１行目の画素の信号を列方向に共通の信号線を通して、画素領域外にある第１の回路部に読み出す。読み出された１行目の画素の信号は、第１の回路部で所定の処理を施された後に、第１の出力手段からデジタル信号として出力される。また、１行目の画素の信号を第１の回路部に読み出した後に、２行目の画素の信号を列方向に共通の信号線を通して、画素領域外にある第２の回路部に読み出す。読み出された２行目の画素の信号は、第２の回路部で所定の処理を施された後に、第２の出力手段からデジタル信号として出力される。この方法によれば、１行目の画素の信号と２行目の画素の信号を共通の読み出し手段と異なる出力手段を用いて、２行の信号を別々に出力することが可能となり、２倍のフレームレートを実現することが可能となる。この方法は、２行の信号を完全同時に出力しているわけではないので、２行の信号を並列的に出力すると表現する。 In this method, first, the signal of the pixel in the first row is read out to the first circuit portion outside the pixel region through a common signal line in the column direction. The read signal of the pixels in the first row is subjected to a predetermined process in the first circuit unit and then output as a digital signal from the first output means. Further, after reading the signal of the pixel in the first row to the first circuit portion, the signal of the pixel in the second row is read out to the second circuit portion outside the pixel region through a common signal line in the column direction. The read pixel signals in the second row are subjected to predetermined processing in the second circuit unit, and then output as digital signals from the second output means. According to this method, it is possible to output the signals of the pixels in the first row and the signals of the pixels in the second row separately from the common readout means, and to output the signals in the two rows separately. The frame rate can be realized. Since this method does not output two rows of signals at the same time, it expresses that two rows of signals are outputted in parallel.
この方法は、１行目の画素の信号を第１の回路部に読み出した後に、２行目の画素の信号を第２の回路部に読み出す。そのため、１行目の画素の出力信号の出力タイミングと２行目の画素の出力信号の出力タイミングとの間には、１行目の画素の信号を第１の回路部に読み出す時間分の時間差が生じる。また、１行目の画素の信号を第１の出力手段から出力させた後に、３行目の画素の信号を第１の回路部に読み出すことになる。そのため、第１の出力手段から出力される１行目の画素の信号の出力タイミングと３行目の画素の信号の出力タイミングとの間には、水平同期期間分の時間差が生じていることになる。これにより、２行目の画素の出力信号の出力タイミングと３行目の画素の出力信号の出力タイミングとの間には、１行目の画素の信号を第１の回路部に読み出す時間を、水平同期期間から差し引いた時間分の時間差が生じることになる。したがって、１行目の画素と２行目の画素の読み出しタイミングのずれと、２行目の画素と３行目の画素の信号の読み出しタイミングのずれが異なることになる。 In this method, the signal of the pixel in the first row is read out to the first circuit portion, and then the signal of the pixel in the second row is read out to the second circuit portion. Therefore, there is a time difference between the output timing of the output signal of the pixel in the first row and the output timing of the output signal of the pixel in the second row by the time for reading the signal of the pixel in the first row to the first circuit unit. Occurs. In addition, after the signal of the pixel in the first row is output from the first output means, the signal of the pixel in the third row is read out to the first circuit portion. Therefore, there is a time difference corresponding to the horizontal synchronization period between the output timing of the first row pixel signal output from the first output means and the output timing of the third row pixel signal. Become. Thereby, between the output timing of the output signal of the pixel of the second row and the output timing of the output signal of the pixel of the third row, the time for reading the signal of the pixel of the first row to the first circuit unit, A time difference corresponding to the time subtracted from the horizontal synchronization period will occur. Therefore, the difference in readout timing between the pixels in the first row and the pixel in the second row is different from the difference in readout timing of signals from the pixels in the second row and the pixels in the third row.
ＣＭＯＳセンサにおいて、高速読み出し動作を実現させるために、前述した２行の信号を並列的に出力する方法を用いた場合には、１行目の画素と２行目の画素の読み出しタイミングのずれと、２行目の画素と３行目の画素の読み出しタイミングのずれが異なる。その結果、移動している被写体を撮像した画像等において、読み出しタイミングのずれが異なることにより、被写体の動きがぎくしゃくしたり、被写体の境界がギザついたりする。本発明の目的は、撮像素子の高速読み出し動作及びローリングシャッタ動作時の画質の向上をともに実現できる撮像装置及び撮像装置の制御方法を提供することである。 In the CMOS sensor, when the above-described method of outputting the signals of the two rows in parallel is used in order to realize a high-speed readout operation, a difference in readout timing between the pixels of the first row and the pixels of the second row The difference in readout timing between the pixels in the second row and the pixels in the third row is different. As a result, in an image or the like obtained by imaging a moving subject, the movement of the subject becomes jerky or the boundary of the subject becomes jagged due to a difference in reading timing. An object of the present invention is to provide an image pickup apparatus and an image pickup apparatus control method capable of realizing both high-speed reading operation of an image pickup element and improvement of image quality during a rolling shutter operation.
本発明に係る撮像装置は、光電変換手段をそれぞれ有する行列状に配列された複数の画素と、前記複数の画素からの信号を列毎に出力する垂直信号線と、前記複数の画素を１行ずつ選択する垂直走査手段と、前記垂直信号線に接続し画素から読み出した信号をそれぞれ処理する複数の列信号処理手段と、前記複数の列信号処理手段にそれぞれ対応し前記列信号処理手段からの信号に同期信号を付加して出力する出力手段とを有する撮像素子と、先に読み出した画素の信号の前記出力手段からの出力が完了する前に、当該出力手段に対応する前記列信号処理手段とは異なる前記列信号処理手段への次の行の画素の信号の読み出しを開始して、１水平同期期間にＮ行（Ｎは２以上の整数）の画素の信号を読み出すように前記撮像素子を制御するとともに、１水平同期期間をＮ分割した間隔で信号を読み出す画素の行を順に切り換えるように前記撮像素子を制御する制御手段とを備え、前記制御手段は、信号を読み出す画素の行の切り換え順に従って、画素の信号の読み出し動作を開始する前に、読み出す行とは異なる１つの行の画素の信号をリセットするように前記撮像素子を制御することを特徴とする。 An imaging apparatus according to the present invention includes a plurality of pixels arranged in a matrix each having photoelectric conversion means, a vertical signal line for outputting a signal from the plurality of pixels for each column, and the plurality of pixels in one row. Vertical scanning means for selecting each one, a plurality of column signal processing means for processing signals read from the pixels connected to the vertical signal lines, and a plurality of column signal processing means respectively corresponding to the plurality of column signal processing means from the column signal processing means An image pickup device having an output means for adding a synchronization signal to the signal and outputting the signal, and the column signal processing means corresponding to the output means before the output of the signal of the previously read pixel from the output means is completed. The image sensor is configured to start reading out signals of pixels in the next row to the column signal processing means different from the above, and read out signals of pixels in N rows (N is an integer of 2 or more) in one horizontal synchronization period. Control Moni, and control means for controlling the imaging device to switch sequentially the rows of pixels for reading out a signal at one interval of the horizontal synchronizing period is divided into N portions, the control means, the switching order of the rows of pixels for reading out signal Accordingly, before the pixel signal readout operation is started, the image sensor is controlled to reset the pixel signals of one row different from the readout row .
本発明によれば、撮像素子において複数行の画素の信号を並列的に出力することが可能になり、撮像装置における高速読み出し動作を実現することができる。また、並列的に出力される複数行について行毎の読み出しタイミングを等間隔にすることができ、なめらかなローリングシャッタ動作を実現し撮影した画像の品質を向上させることが可能になる。 According to the present invention, it is possible to output the signals of pixels in a plurality of rows in parallel in the imaging device, and it is possible to realize a high-speed reading operation in the imaging device. In addition, the readout timing for each row can be set at regular intervals for a plurality of rows output in parallel, and a smooth rolling shutter operation can be realized to improve the quality of the captured image.
以下、本発明の実施形態を図面に基づいて説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The embodiment described below is an example as means for realizing the present invention, and should be appropriately modified or changed according to the configuration and various conditions of the apparatus to which the present invention is applied. It is not limited to the embodiment.
（第１の実施形態）
図１から図５を参照して、本発明の第１の実施形態について説明する。図１は、本実施形態に係る撮像装置の構成例を示すブロック図である。本実施形態の撮像装置は、デジタルスチルカメラやデジタルビデオカメラなどに応用可能である。本実施形態の撮像装置は、図１に示すように、光学系１１、撮像素子１２、信号処理部１３、圧縮伸張部１４、同期制御部１５、操作部１６、画像表示部１７、及び画像記録部１８を有する。
(First embodiment)
A first embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a block diagram illustrating a configuration example of an imaging apparatus according to the present embodiment. The imaging device of this embodiment can be applied to a digital still camera, a digital video camera, and the like. As shown in FIG. 1, the imaging apparatus according to the present embodiment includes an
光学系１１は、被写体からの光を撮像素子１２に集光するためのレンズ、レンズを移動させてズームや合焦を行うための駆動機構、メカニカルシャッタ機構、絞り機構などを備えている。これらのうちの可動部は、同期制御部１５からの制御信号に基づいて駆動される。
The
撮像素子１２は、ＣＭＯＳ型イメージセンサ（ＣＭＯＳセンサ）、ＣＤＳ（Correlated Double Sampling）回路、ＡＧＣ（Auto Gain Control）回路、ＡＤ（Analog Digital）変換器などからなる。撮像素子１２は、同期制御部１５からの制御信号により制御される。ここで、ＣＭＯＳセンサは、ＸＹアドレス方式で画像信号を読み出す。また、ＣＭＯＳセンサは、同期制御部１５からの制御信号に応じて、露光や信号読み出し、リセットなどの動作タイミングが制御されて撮像動作を実施する。そして、ＣＤＳ回路によるノイズ除去、ＡＧＣ回路による利得制御、及び、ＡＤ変換器によるアナログデジタル変換を経て、デジタル化された画像信号が出力される。
The
信号処理部１３は、同期制御部１５の制御の下で、撮像素子１２から入力されるデジタル化された画像信号に対して、ホワイトバランス調整処理や色補正処理、ＡＦ（Auto Focus）処理、ＡＥ（Auto Exposure）処理などの信号処理を施す。圧縮伸張部１４は、同期制御部１５の制御の下で動作し、信号処理部１３からの画像信号に対して、所定の静止画像データフォーマットで圧縮符号化処理を行う。所定の静止画像データフォーマットは、例えばＪＰＥＧ（Joint Photographic Coding Experts Group）方式などである。また、圧縮伸張部１４は、同期制御部１５から供給された静止画像の符号化データを伸張復号化処理する。さらに、ＭＰＥＧ（Moving Picture Experts Group）方式などにより動画像の圧縮符号化／伸張復号化処理を実行可能なようにしても良い。
The
同期制御部１５は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコントローラである。同期制御部１５は、ＲＯＭなどに記憶されたプログラムをＣＰＵが実行することにより、撮像装置の各部を統括的に制御する。操作部１６は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどから構成され、ユーザによる入力操作に応じた制御信号を同期制御部１５に出力する。
The
画像表示部１７は、ＬＣＤ（Liquid Crystal Display）などの表示デバイスや、これに対するインタフェース回路などからなる。画像表示部１７は、同期制御部１５から供給された画像信号から表示デバイスに表示させるための画像信号を生成し、この信号を表示デバイスに供給して画像を表示させる。画像記録部１８は、例えば、可搬型の半導体メモリや、光ディスク、ＨＤＤ（Hard Disk Drive）、磁気テープなどとして実現され、圧縮伸張部１４により符号化された画像データファイルを同期制御部１５から受け取って記憶する。また、画像記録部１８は、同期制御部１５からの制御信号により指定されたデータを読み出し、同期制御部１５に出力する。
The
ここで、本実施形態の撮像装置における基本的な動作について説明する。
静止画像の撮像前には、撮像素子１２から出力された画像信号が信号処理部１３に順次供給される。信号処理部１３は、撮像素子１２からのデジタル画像信号に対して画質補正処理を施し、カメラスルー画像の信号として、同期制御部１５を通じて画像表示部１７に供給する。これにより、カメラスルー画像が表示され、ユーザは表示画像を見て画角合わせを行うことが可能となる。
Here, a basic operation in the imaging apparatus of the present embodiment will be described.
Prior to capturing a still image, image signals output from the
この状態で、操作部１６のシャッタレリーズボタンが押下されると、同期制御部１５の制御により、撮像素子１２からの１フレーム分の画像信号が信号処理部１３に取り込まれる。信号処理部１３は、取り込んだ１フレーム分の画像信号に画質補正処理を施し、処理後の画像信号を圧縮伸張部１４に供給する。圧縮伸張部１４は、入力された画像信号を圧縮符号化し、生成した符号化データを同期制御部１５を通じて画像記録部１８に供給する。これにより、撮像された静止画像のデータファイルが画像記録部１８に記録される。
In this state, when the shutter release button of the
画像記録部１８に記録された静止画像のデータファイルを再生する場合には、同期制御部１５は、操作部１６からの操作入力に応じて、選択されたデータファイルを画像記録部１８から読み込み、圧縮伸張部１４に供給して伸張復号化処理を実行させる。復号化された画像信号は、同期制御部１５を介して画像表示部１７に供給され、これにより静止画像が再生表示される。
When reproducing the still image data file recorded in the
また、動画像を記録する場合には、信号処理部１３で順次処理された画像信号に圧縮伸張部１４で圧縮符号化処理を施し、生成された動画像の符号化データを順次画像記録部１８に転送して記録する。画像記録部１８から動画像のデータファイルを読み出して圧縮伸張部１４に供給し、伸張復号化処理させて、画像表示部１７に供給することで、動画像が表示される。
When recording a moving image, the image signal sequentially processed by the
図２は、本実施形態に係る撮像素子（ＣＭＯＳセンサ）１２の概略構成を示す図である。撮像素子１２は、複数の画素１００が配された画素領域１０１、垂直走査部１０２、第１信号選択部１０５ａ及び第２信号選択部１０５ｂ、第１列信号処理部１０６ａ及び第２列信号処理部１０６ｂ、第１列ＡＤ部１０７ａ及び第２列ＡＤ部１０７ｂを有する。また、撮像素子１２は、第１水平メモリ部１０８ａ及び第２水平メモリ部１０８ｂ、第１水平走査部１０９ａ及び第２水平走査部１０９ｂ、第１出力部１１０ａ及び第２出力部１１０ｂ、信号生成部（ＴＧ：Timing Generator）１１２を有する。
FIG. 2 is a diagram showing a schematic configuration of the image sensor (CMOS sensor) 12 according to the present embodiment. The
画素領域１０１は、図２にＰ１１〜Ｐ８４で示すように複数の画素１００が行方向（水平方向）・列方向（垂直方向）に行列状（マトリクス状）に配列されている。各画素１００は、不図示の光電変換部とトランジスタとを有する。ここで、例えば、Ｐ１１〜Ｐ１４は１行目となる４画素を示し、Ｐ８１〜Ｐ８４は８行目となる４画素を示す。本実施形態においては、４×８配列（４列８行）の画素領域１０１を例として説明するが、画像領域１０１における画素配列は、この数に限定されるものではない。
In the
垂直走査部１０２は、画素領域１０１に配列されている画素を１行ずつ選択し、選択した画素行のリセット動作や読み出し動作を駆動制御する。画素制御線１０３は、画素行毎に配置されて同一行の画素に共通して接続され、垂直走査部１０２による行単位の駆動制御信号を伝達する。
The
垂直信号線１０４は、画素列毎に配置されて同一列の画素に共通して接続され、画素制御線１０３により選択された行の画素の信号がそれぞれ対応する垂直信号線１０４に読み出される。垂直信号線１０４は、第１信号選択部１０５ａを介して第１列信号処理部１０６ａに接続可能であるとともに、第２信号選択部１０５ｂを介して第２列信号処理部１０６ｂに接続可能である。すなわち、信号選択部１０５ａ、１０５ｂは、垂直信号線１０４を第１列信号処理部１０６ａ或いは第２列信号処理部１０６ｂのどちらか一方に選択的に接続するスイッチとして機能する。
The
列信号処理部１０６ａ、１０６ｂは、それぞれ垂直信号線１０４毎に設けられる不図示のＣＤＳ回路やＡＧＣ回路を有する。列信号処理部１０６ａ、１０６ｂは、垂直信号線１０４を通して送られてくる行単位の各列の画素の信号に対して、ＣＤＳ処理により固定パターンノイズを除去して、Ｓ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行う。固定パターンノイズは、画素回路内のトランジスタのしきい値のばらつきに起因するノイズである。また、列信号処理部１０６ａ、１０６ｂは、必要であれば、ＡＧＣ回路による利得制御を実施する。
The column
列ＡＤ部１０７ａ、１０７ｂは、垂直信号線１０４毎に設けられるＡＤ変換器を有する。列ＡＤ部１０７ａ、１０７ｂは、それぞれ対応する列信号処理部１０６ａ、１０６ｂから送られてくる行単位の各列の画素の信号のそれぞれをアナログデジタル変換する。ここで、本実施形態の列ＡＤ部１０７ａ、１０７ｂは、すべて８ビット（ｂｉｔ）精度のＡＤ変換器を有するものとするが、ビット精度においては、１０ビット、１２ビット、１４ビット等のさらに高精度なＡＤ変換器を用いても良い。
The
水平メモリ部１０８ａ、１０８ｂは、それぞれ対応する列ＡＤ部１０７ａ、１０７ｂにおいてデジタル化された行単位の各列の画素信号を記憶する。ここで、本実施形態の水平メモリ部１０８ａ、１０８ｂは、対応する列ＡＤ部１０７ａ、１０７ｂにあわせて各列毎に８ビットのデジタル信号を記憶できるものとするが、ＡＤ変換器のビット精度に応じたビット数のデジタル信号が記憶できれば良い。
The
水平走査部１０９ａ、１０９ｂは、それぞれ対応する水平メモリ部１０８ａ、１０８ｂに記憶しているデジタル化された画素信号を、それぞれ対応する出力部１１０ａ、１１０ｂに列毎に選択して転送するように、水平メモリ部１０８ａ、１０８ｂを制御する。
The
出力部１１０ａ、１１０ｂは、デジタル化された行単位の画素信号の前或いは前後に同期信号を付加する。また、出力部１１０ａ、１１０ｂは、同期信号付きのデジタル画素信号を、それぞれ対応する出力端子１１１ａ、１１１ｂから信号処理部１３へ出力する。ＴＧ１１２は、制御端子１１３を介した同期制御部１５からの制御信号に基づいて、撮像素子１２の各部の動作に必要な各種のクロック信号や制御信号などを出力する。
The
本実施形態に係る出力部１１０ａ、１１０ｂについて説明する。以下では、第１出力部１１０ａについて説明するが、第２出力部１１０ｂについても同様である。図３は、本実施形態に係る出力部１１０ａの構成を示す図である。第１出力部１１０ａは、第１信号変換部２０１ａ、第１同期信号付加部２０２ａ、及び第１差動送信バッファ２０３ａを有する。
The
第１信号変換部２０１ａには、８ビットに対応する８本の水平信号線を介して、第１水平メモリ部１０８ａから送られてくる画素信号Ｄ０ａ、Ｄ１ａ、Ｄ２ａ、Ｄ３ａ、Ｄ４ａ、Ｄ５ａ、Ｄ６ａ及びＤ７ａが入力される。また、第１信号変換部２０１ａには、ＴＧ１１２からクロック信号として送られてくる画素クロック信号Ｓｃｋａが入力される。画素クロック信号Ｓｃｋａは、第１水平走査部１０９ａの転送と同じ周期の信号である。第１信号変換部２０１ａは、画素クロック信号Ｓｃｋａの位相と同期するように、８ビットの画素信号Ｄ０ａ〜Ｄ７ａの位相を調整する。
The first
第１信号変換部２０１ａは、さらに、例えば黒レベル調整、列ばらつき補正、信号増幅、色関係処理等を実施しても良い。黒レベル調整は、画素領域１０１の周辺に配置された不図示の遮光された画素の信号レベルが、予め同期制御部１５によって設定されたレベルになるように、すべての画素信号のレベルを同じだけシフトする機能である。列ばらつき補正は、画素領域１０１の上部或いは下部に配置された不図示の遮光された画素の信号から列方向のばらつき補正データを作成し、列信号処理部１０６及び列ＡＤ部１０７で発生する画素信号における列方向のばらつきを補正する機能である。信号増幅は、画像処理において適正な信号レベルとなるように、画素信号にゲインをかける機能である。例えば、信号処理部１３が事前に撮像された画像から適切なゲイン量を算出して、同期制御部１５がゲインを設定するような制御が可能である。色関係処理は、例えばホワイトバランス（ＷＢ）処理である。画素領域１０１の各画素１００に対して、不図示のＲＧＢの色フィルタが、例えばベイヤ配列等の配列に従って設けられている。例えば、信号処理部１３が事前に撮像された画像から適切なＷＢ処理を施す色毎のゲイン量を算出して、同期制御部１５が色毎のゲインを設定するような制御が可能である。
The first
第１同期信号付加部２０２ａは、画素クロック信号Ｓｃｋａの位相と同期した状態で、画素信号Ｄ０ａ〜Ｄ７ａのそれぞれに対して、スタート同期信号及び、必要に応じてエンド同期信号を付加する。ここで、同期信号を付加するタイミングは、同期制御部１５からの制御信号に基づいて、ＴＧ１１２から出力される制御信号により制御される。
The first synchronization
第１差動送信バッファ２０３ａは、同期信号を付加した画素信号Ｄ０ａ〜Ｄ７ａ及び画素クロック信号Ｓｃｋａのそれぞれに対して設けられ、それぞれのパルス信号と同極性の正転信号と逆極性の反転信号とを同時に出力する。本実施形態においては、正転画素信号がＤ０Ｐａ〜Ｄ７Ｐａ、反転画素信号がＤ０Ｎａ〜Ｄ７Ｎａとなり、正転画素クロック信号がＳｃｋＰａ、反転画素クロック信号がＳｃｋＮａとなっている。
The first
ここで、出力部１１０ａ、１１０ｂに入力される画素クロック信号は、同じ信号がＴＧ１１２から送られてくるものとするが、ＴＧ１１２から出力部１１０ａ、１１０ｂのそれぞれまでの距離に応じた遅延が発生する。そのため、出力部１１０ａ、１１０ｂにそれぞれ入力される画素クロック信号Ｓｃｋａ、Ｓｃｋｂは区別して用いるものとする。
Here, the pixel clock signal input to the
また、図３に示す第１出力部１１０ａの第１差動送信バッファ２０３ａは、電流モードで差動動作をさせるＬＶＤＳ（Low Voltage Differential Signaling）を利用することができる。こうすることで、耐ノイズ性や不要輻射の問題に対して有利になる。
In addition, the first
すなわち、正転信号に相当するパルス信号のみの単相（シングル）出力では、高速になるほどパルス波形に鈍りやリンギングなどの成分が発生し易くなり、その影響を直接に被る。これに対して、差動動作をさせるＬＶＤＳにおいては、差動出力の両方を使って波形再生することが可能となるので、耐ノイズ性が改善する。この点は、画素信号に限らず、画素クロック信号についても同様の効果が得られる。 That is, in the single-phase (single) output of only the pulse signal corresponding to the normal rotation signal, components such as blunting and ringing are more likely to occur in the pulse waveform as the speed increases, and the influence is directly affected. On the other hand, in the LVDS that performs the differential operation, it is possible to reproduce the waveform by using both differential outputs, so that the noise resistance is improved. In this respect, the same effect can be obtained not only for pixel signals but also for pixel clock signals.
さらに、正転信号に相当するパルス信号のみの単相出力では、パルスの変化に対応して送信側である出力回路と受信側である入力回路の間で電流が行き来するので、そのたびに不要輻射の原因となる電磁界が発生し、周辺回路や固体撮像装置の外部に影響を与える。これに対して、電流モードで差動動作をさせるＬＶＤＳにおいては、送信側出力回路と受信側入力回路の間で電流が行き来するものの、常に正転信号と反転信号における切り換わりのタイミングが同時であり、発生する電磁界の向きが互いに逆方向となる。よって、双方が発生した電磁界を打ち消し合うようになり、不要輻射の原因となる電磁界の発生が大幅に低減されることになる。なお、この効果をより高めるには、差動信号における正転信号と反転信号の２つの出力線を近接して配置するとともに、差動送信バッファと差動受信バッファの間の接続距離が極力同じになるように回路設計をする必要がある。 Furthermore, in the single-phase output of only the pulse signal corresponding to the normal rotation signal, current flows back and forth between the output circuit on the transmission side and the input circuit on the reception side in response to the change of the pulse, so it is unnecessary each time. An electromagnetic field that causes radiation is generated, which affects the peripheral circuits and the outside of the solid-state imaging device. On the other hand, in LVDS that performs differential operation in the current mode, although current flows back and forth between the transmission side output circuit and the reception side input circuit, the switching timing of the normal signal and the inverted signal is always the same. Yes, the directions of the generated electromagnetic fields are opposite to each other. Therefore, the electromagnetic fields generated by both parties cancel each other, and the generation of electromagnetic fields that cause unnecessary radiation is greatly reduced. In order to further enhance this effect, the two output lines of the normal signal and the inverted signal in the differential signal are arranged close to each other, and the connection distance between the differential transmission buffer and the differential reception buffer is the same as much as possible. It is necessary to design the circuit so that
次に、図４を用いて、第１の実施形態での動作を説明する。図４は、第１の実施形態に係る撮像素子１２の動作例を示すタイミングチャートである。図４において、ＨＤは、撮像素子１２を駆動するための水平同期信号を示し、立ち下がりで有効となり、Ｔｈｄが１つの水平同期期間となっている。また、ＨＳは、水平同期信号のサブ水平同期信号を示し、立ち下がりで有効となり、Ｔｈｓが１つのサブ水平同期期間となっている。ここで、サブ水平同期信号ＨＳは、撮像素子１２がＮ個（Ｎは２以上の整数）の出力部を有する場合、１水平同期期間ＴｈｄにＮ行の画素の信号を読み出すよう、１水平同期期間ＴｈｄをＮ分割した周期（間隔毎）で立ち下がるよう作られている。本実施形態に係る撮像素子１２は、第１出力部１１０ａ及び第２出力部１１０ｂの２つの出力部を有するため、２行分の画素を並列的に出力することが可能となっている。そこで、サブ水平同期信号ＨＳは、水平同期期間Ｔｈｄを２等分した周期で立ち下がるよう作られている。このため、水平同期期間Ｔｈｄが、サブ水平同期期間Ｔｈｓの２倍の長さとなっている。
Next, the operation in the first embodiment will be described with reference to FIG. FIG. 4 is a timing chart illustrating an operation example of the
Ｏｐｒ１は、第１信号選択部１０５ａが選択されたときの第１の読み出し動作を示し、Ｏｐｒ２は、第２信号選択部１０５ｂが選択されたときの第２の読み出し動作を示す。第１の読み出し動作Ｏｐｒ１は、水平同期信号ＨＤに同期して、或いは、水平同期信号ＨＤに同期するサブ水平同期信号ＨＳの１回目に同期して動作を開始する。第２の読み出し動作Ｏｐｒ２は、水平同期信号ＨＤに同期するサブ水平同期信号ＨＳの２回目に同期して動作を開始する。ここで、画素領域１０１に配列されている画素のうち、奇数行目の画素の信号を第１の読み出し動作Ｏｐｒ１を用いて読み出し、偶数行目の画素の信号を第２の読み出し動作Ｏｐｒ２を用いて読み出すことにする。
Opr1 indicates a first read operation when the first
まず、はじめに、第１の読み出し動作Ｏｐｒ１について説明する。撮像素子１２は、水平同期信号ＨＤに同期するサブ水平同期信号ＨＳの１回目に同期して第１の読み出し動作Ｏｐｒ１を開始する（時刻ｔ００）。期間Ｒｄ１ｒにおいて、第１信号選択部１０５ａが選択された状態で、垂直走査部１０２からの駆動制御信号により、１行目の画素の信号がそれぞれ対応する垂直信号線１０４に読み出される（時刻ｔ００〜ｔ０１）。このとき、最初に画素をリセットした状態のＮ信号が、第１列信号処理部１０６ａでサンプルホールドされ、続いて光電変換部の信号を読み出した状態のＳ信号が、第１列信号処理部１０６ａでサンプルホールドされる。
First, the first read operation Opr1 will be described. The
次に、期間ＣＤＳ１ｒにおいて、第１列信号処理部１０６ａが、ＣＤＳ回路でＳ信号からＮ信号を減算することによってＣＤＳ処理によるノイズ除去を実施し、必要であればＡＧＣ回路による利得制御を実施する（時刻ｔ０１〜ｔ０２）。そして、期間ＡＤ１ｒにおいて、第１列ＡＤ部１０７ａが、ノイズ除去された１行目の画素の信号をアナログデジタル変換して、第１水平メモリ部１０８ａへ記憶させる（時刻ｔ０２〜ｔ０３）。ここまでの時刻ｔ００〜ｔ０３での処理が、１行目の各画素の信号に対する列毎の並列処理になる。
Next, in the period CDS1r, the first column
続いて、期間ＳＤ１ｒにおいて、第１出力部１１０ａ内の第１同期信号付加部２０２ａが画素クロック信号Ｓｃｋａの位相と同期した状態で、８ビットの画素信号が送られてくる前にスタート同期信号を付加する（時刻ｔ０３〜ｔ０４）。このとき、スタート同期信号は、８ビットの画素信号が取り得ない値の組み合わせに設定しておく必要がある。黒レベル調整後の黒レベルが０より高い値に設定されている場合には、画素信号を構成する８ビットのそれぞれの信号に対して、例えば、スタート同期信号として“１１１１００００”を付加することで実現できる。
Subsequently, in the period SD1r, the first synchronization
具体的には、期間ＳＤ１ｒとして画素クロック信号Ｓｃｋａの８クロックを割り当てる。そして、期間ＳＤ１ｒの間に、８ビットの正転画素信号であるＤ０Ｐａ〜Ｄ７Ｐａのそれぞれが、Ｄ０Ｐａ＝１１１１００００からＤ７Ｐａ＝１１１１００００を出力する。同様に、期間ＳＤ１ｒの間に、８ビットの反転画素信号であるＤ０Ｎａ〜Ｄ７Ｎａのそれぞれが、Ｄ０Ｎａ＝００００１１１１からＤ７Ｎａ＝００００１１１１を出力する。このとき、正転画素クロック信号ＳｃｋＰａ及び反転画素クロック信号ＳｃｋＮａには、スタート同期信号を付加しない。 Specifically, 8 clocks of the pixel clock signal Skca are assigned as the period SD1r. During the period SD1r, D0Pa to D7Pa, which are 8-bit normal pixel signals, output D0Pa = 11110000 to D7Pa = 11110000. Similarly, during the period SD1r, D0Na to D7Na, which are 8-bit inverted pixel signals, output D0Na = 00001111 to D7Na = 00001111. At this time, the start synchronization signal is not added to the normal pixel clock signal SckPa and the inverted pixel clock signal SckNa.
次に、期間ＳｉｇＯｕｔ１ｒにおいて、第１水平走査部１０９ａが第１水平メモリ部１０８ａを列毎に選択し、第１水平メモリ部１０８ａに記憶しているデジタル化された８ビットの画素信号Ｄ０ａ〜Ｄ７ａを第１出力部１１０ａに転送する。そして、第１信号変換部２０１ａが、ＴＧ１１２から送られてくる画素クロック信号Ｓｃｋａの位相と同期するように、８ビットの画素信号Ｄ０ａ〜Ｄ７ａの位相を調整する。その後、第１差動送信バッファ２０３ａが、８ビットそれぞれの信号に対応する正転信号と反転信号に変換して、第１出力端子１１１ａから出力する（時刻ｔ０４以降）。
Next, in the period SigOut1r, the first
さらに、続けて、期間ＥＤ１ｒにおいて、第１出力部１１０ａ内の第１同期信号付加部２０２ａが画素クロック信号Ｓｃｋａの位相と同期した状態で、８ビットの画素信号が送り出された後にエンド同期信号を付加する（時刻ｔ０７まで）。このとき、エンド同期信号は、８ビットの画素信号が取り得ない値の組み合わせに設定しておく必要がある。また、スタート同期信号と区別するために、画素信号を構成する８ビットのそれぞれの信号に対して、例えば、エンド同期信号として“１１００１１００”を付加することで実現できる。
Further, in the period ED1r, after the 8-bit pixel signal is sent out in a state where the first synchronization
具体的には、期間ＥＤ１ｒとして画素クロック信号Ｓｃｋａの８クロックを割り当てる。そして、期間ＥＤ１ｒの間に、８ビットの正転画素信号であるＤ０Ｐａ〜Ｄ７Ｐａのそれぞれが、Ｄ０Ｐａ＝１１００１１００からＤ７Ｐａ＝１１００１１００を出力する。同様に、期間ＥＤ１ｒの間に、８ビットの反転画素信号であるＤ０Ｎａ〜Ｄ７Ｎａのそれぞれが、Ｄ０Ｎａ＝００１１００１１からＤ７Ｎａ＝００１１００１１を出力する。このとき、正転画素クロック信号ＳｃｋＰａ及び反転画素クロック信号ＳｃｋＮａには、エンド同期信号を付加しない。ここまでの時刻ｔ０３〜ｔ０７の期間が、スタート同期信号及びエンド同期信号を付加した１行目の各画素の信号の出力期間になる。 Specifically, 8 clocks of the pixel clock signal Skca are assigned as the period ED1r. Then, during the period ED1r, D0Pa to D7Pa, which are 8-bit normal pixel signals, output D0Pa = 1001100 to D7Pa = 1001100. Similarly, during the period ED1r, D0Na to D7Na, which are 8-bit inverted pixel signals, output D0Na = 00110011 to D7Na = 00110011. At this time, the end synchronization signal is not added to the normal pixel clock signal SckPa and the inverted pixel clock signal SckNa. The period from time t03 to t07 is the signal output period of each pixel in the first row to which the start synchronization signal and end synchronization signal are added.
第１の読み出し動作Ｏｐｒ１においては、１行目の画素の信号の出力後、続けて３行目の画素の信号を出力する。時刻ｔ０８〜ｔ１１の期間が、３行目の各画素の信号について、列毎の読み出し、ＣＤＳ処理、アナログデジタル変換、水平メモリ部への記憶といった列毎の並列処理を実施する期間になる。そして、時刻ｔ１１〜ｔ１５の期間が、スタート同期信号及びエンド同期信号を付加した３行目の各画素の信号の出力期間になる。さらに、第１の実施形態においては、画素領域１０１に配列されている画素１００は８行であるため、時刻ｔ１６以降で、５行目及び７行目の画素の信号を同様に読み出し、その後、再び１行目の画素の信号の読み出し動作が開始される。
In the first read operation Opr1, after the pixel signal of the first row is output, the signal of the pixel of the third row is output continuously. A period from time t08 to t11 is a period in which parallel processing for each column such as readout for each column, CDS processing, analog-digital conversion, and storage in the horizontal memory unit is performed for the signal of each pixel in the third row. A period from time t11 to t15 is an output period of the signal of each pixel in the third row to which the start synchronization signal and the end synchronization signal are added. Furthermore, in the first embodiment, since the
次に、第２の読み出し動作Ｏｐｒ２について説明する。撮像素子１２は、水平同期信号ＨＤに同期するサブ水平同期信号ＨＳの２回目に同期して第２の読み出し動作Ｏｐｒ２を開始する（時刻ｔ０４）。ここで、撮像素子１２においては、垂直信号線１０４が垂直画素列共通に配線されているため、第２の読み出し動作Ｏｐｒ２は、１行目の画素の信号を読み出す期間Ｒｄ１ｒ終了以降（時刻ｔ０１以降）に動作を開始する必要がある。本実施形態においては、水平同期期間Ｔｈｄを２分割したサブ水平同期期間Ｔｈｓが、期間Ｒｄ１ｒより長く設定されているので、２回目のサブ水平同期信号ＨＳは、期間Ｒｄ１ｒ終了後、十分に時間が経過した後に設けられている（時刻ｔ０４）。
Next, the second read operation Opr2 will be described. The
まず、期間Ｒｄ２ｒにおいて、第２信号選択部１０５ｂが選択された状態で、垂直走査部１０２からの駆動制御信号により、２行目の画素の信号がそれぞれ対応する垂直信号線１０４に読み出される。すなわち、２行目の画素の信号のＮ信号とＳ信号をそれぞれ対応する垂直信号線１０４を介して第２列信号処理部１０６ｂに読み出す（時刻ｔ０４〜ｔ０５）。
First, in the period Rd2r, with the second
次に、期間ＣＤＳ２ｒにおいて、第２列信号処理部１０６ｂが、ＣＤＳ回路でＣＤＳ処理によるノイズ除去を実施し、必要であればＡＧＣ回路による利得制御を実施する（時刻ｔ０５〜ｔ０６）。そして、期間ＡＤ２ｒにおいて、第２列ＡＤ部１０７ｂが、２行目の画素の信号をアナログデジタル変換して、第２水平メモリ部１０８ｂへ記憶させる（時刻ｔ０６〜ｔ０７）。ここまでの時刻ｔ０４〜ｔ０７での処理が、２行目の各画素の信号に対する列毎の並列処理になる。
Next, in the period CDS2r, the second column
続いて、期間ＳＤ２ｒにおいて、第２出力部１１０ｂ内の不図示の第２同期信号付加部が画素クロック信号Ｓｃｋｂの位相と同期した状態で、８ビットの画素信号が送られてくる前にスタート同期信号を付加する（時刻ｔ０７〜ｔ０８）。このとき、スタート同期信号は、８ビットの画素信号が取り得ない値の組み合わせに設定しておく必要があり、画素信号を構成する８ビットのそれぞれの信号に対して、例えば、スタート同期信号として“１１１１００００”を付加することで実現できる。具体的な８ビットのそれぞれの信号に対するスタート同期信号は、第１の読み出し動作Ｏｐｒ１におけるスタート同期信号と同様であるので、説明は省略する。
Subsequently, in a period SD2r, start synchronization is performed before an 8-bit pixel signal is sent in a state where a second synchronization signal adding unit (not shown) in the
ここで、第２の読み出し動作Ｏｐｒ２においては、期間Ｒｄ１ｒの開始から１サブ水平同期期間Ｔｈｓ後に、期間Ｒｄ２ｒが開始している。そのため、スタート同期信号を付加する期間ＳＤ２ｒも期間ＳＤ１ｒから１サブ水平同期期間Ｔｈｓに相当する時間だけ遅れて開始する必要がある。 Here, in the second read operation Opr2, the period Rd2r starts one sub-horizontal synchronization period Ths after the start of the period Rd1r. Therefore, the period SD2r to which the start synchronization signal is added needs to be delayed from the period SD1r by a time corresponding to one sub-horizontal synchronization period Ths.
次に、期間ＳｉｇＯｕｔ２ｒにおいて、第２水平走査部１０９ｂが第２水平メモリ部１０８ｂを列毎に選択し、第２水平メモリ部１０８ｂに記憶しているデジタル化された８ビットの画素信号Ｄ０ｂ〜Ｄ７ｂを第２出力部１１０ｂに転送する。そして、第２出力部１１０ｂの不図示の第２信号変換部が、ＴＧ１１２から送られてくる画素クロック信号Ｓｃｋｂの位相と同期するように、８ビットの画素信号Ｄ０ｂ〜Ｄ７ｂの位相を調整する。その後、第２出力部１１０ｂの不図示の第２差動送信バッファが、８ビットそれぞれの信号に対応する正転信号と反転信号に変換して、第２出力端子１１１ｂから出力する（時刻ｔ０８以降）。
Next, in the period SigOut2r, the second
さらに、続けて、期間ＥＤ２ｒにおいて、第２出力部１１０ｂ内の第２同期信号付加部が画素クロック信号Ｓｃｋｂの位相と同期した状態で、８ビットの画素信号が送り出された後にエンド同期信号を付加する（時刻ｔ１１まで）。このとき、エンド同期信号は、８ビットの画素信号が取り得ない値の組み合わせに設定しておく必要がある。また、スタート同期信号と区別するために、画素信号を構成する８ビットのそれぞれの信号に対して、例えば、エンド同期信号として“１１００１１００”を付加することで実現できる。具体的な８ビットのそれぞれの信号に対するエンド同期信号は、第１の読み出し動作Ｏｐｒ１におけるエンド同期信号と同様であるので、説明は省略する。ここまでの時刻ｔ０７〜ｔ１１の期間が、スタート同期信号及びエンド同期信号を付加した２行目の各画素の信号の出力期間になる。
Further, subsequently, in the period ED2r, the end synchronization signal is added after the 8-bit pixel signal is sent out while the second synchronization signal addition unit in the
第２の読み出し動作Ｏｐｒ２においては、２行目の画素の信号の出力後、続けて４行目の画素の信号を出力する。時刻ｔ１２〜ｔ１５の期間が、４行目の各画素の信号について、列毎の読み出し、ＣＤＳ処理、アナログデジタル変換、水平メモリ部への記憶といった列毎の並列処理を実施する期間になる。そして、時刻ｔ１５以降が、スタート同期信号及びエンド同期信号を付加した４行目の各画素の信号の出力期間になる。さらに、第１の実施形態においては、画素領域１０１に配列されている画素１００は８行であるため、４行目の各画素の信号の出力後で、６行目及び８行目の画素の信号を同様に読み出し、その後、再び２行目の画素の信号の読み出し動作が開始される。
In the second read operation Opr2, after the pixel signal of the second row is output, the signal of the pixel of the fourth row is output continuously. A period from time t12 to t15 is a period in which parallel processing for each column such as readout for each column, CDS processing, analog-digital conversion, and storage in the horizontal memory unit is performed on the signals of the pixels in the fourth row. After time t15 is the signal output period of each pixel in the fourth row to which the start synchronization signal and end synchronization signal are added. Furthermore, in the first embodiment, since the
このように、第１の実施形態においては、第１の読み出し動作Ｏｐｒ１と第２の読み出し動作Ｏｐｒ２を、１サブ水平同期期間Ｔｈｓに相当する時間だけずらせて動作させる。このため、ＴＧ１１２は、期間Ｒｄ１ｒ、期間ＣＤＳ１ｒ、期間ＡＤ１ｒの間に実施する１行目の画素の信号の読み出しから第１水平メモリ部１０８ａへの記憶までの列毎の並列処理動作を制御することが可能となっている。また、ＴＧ１１２は、同時に、１サブ水平同期期間Ｔｈｓに相当する時間だけずらせて、２行目の画素の信号の読み出しから第２水平メモリ部１０８ｂへの記憶までの列毎の並列処理動作を制御することが可能となっている。
Thus, in the first embodiment, the first read operation Opr1 and the second read operation Opr2 are operated while being shifted by a time corresponding to one sub-horizontal synchronization period Ths. For this reason, the
さらに、ＴＧ１１２は、前述した列毎の並列処理動作とは別に、スタート同期信号及びエンド同期信号を付加した１行目の画素の信号及び２行目の画素の信号の出力動作をそれぞれ制御することが可能となっている。ここで、１行目の画素の信号に付加したスタート同期信号の出力動作は、１行目の画素の信号の並列処理動作の終了後で、３行目の画素に係る期間Ｒｄ３ｒの開始前にエンド同期信号の出力が完了するのであれば、その間のどこでも構わない。また、２行目の画素の信号に付加したスタート同期信号の出力動作も、２行目の画素の信号の並列処理動作の終了後で、４行目の画素に係る期間Ｒｄ４ｒの開始前にエンド同期信号の出力が完了するのであれば、その間のどこでも構わない。さらに、１行目の画素の信号に付加したスタート同期信号と２行目の画素の信号に付加したスタート同期信号の出力開始タイミングの差も、期間Ｒｄ３ｒの開始及び期間Ｒｄ４ｒの開始に影響しなければ、１サブ水平同期期間Ｔｈｓである必要はない。
Furthermore, the
これら期間Ｒｄ１ｒの開始タイミング、期間Ｒｄ２ｒの開始タイミング、期間ＳＤ１ｒの開始タイミング及び期間ＳＤ２ｒの開始タイミングは、同期制御部１５からの制御信号に基づいて、ＴＧ１１２が個別にかつ適宜設定できる。
The start timing of the period Rd1r, the start timing of the period Rd2r, the start timing of the period SD1r, and the start timing of the period SD2r can be individually and appropriately set based on the control signal from the
以上の説明は、第１の読み出し動作Ｏｐｒ１と第２の読み出し動作Ｏｐｒ２の関係について述べたものである。読み出し動作が繰り返される場合には、２行目の画素の信号を読み出す第２の読み出し動作Ｏｐｒ２と３行目の画素の信号を読み出す第１の読み出し動作Ｏｐｒ１の関係についても同様であり、その後に読み出されるすべての画素行に適応可能である。 The above description describes the relationship between the first read operation Opr1 and the second read operation Opr2. When the readout operation is repeated, the same applies to the relationship between the second readout operation Opr2 that reads out the signals of the pixels in the second row and the first readout operation Opr1 that reads out the signals of the pixels in the third row. Applicable to all pixel rows to be read out.
また、本実施形態において、スタート同期信号及びエンド同期信号は、それぞれ“１１１１００００”及び“１１００１１００”に設定したが、これに限定されるものではない。スタート同期信号及びエンド同期信号が区別でき、かつ、８ビットの画素信号が取り得ない値の組み合わせであれば良いので、例えば、スタート同期信号を“１１００１１００”及びエンド同期信号を“１１１１００００”のように逆にしても良い。また、例えば、スタート同期信号を“１１１１１１１１００００００００”及びエンド同期信号を“１１１１００００１１１１００００”のように長さを長くしても良い。さらに、撮像素子１２の出力信号の画素数は、予め決まっているので、同期制御部１５が信号処理部１３に対して、１行分の画素に相当する処理の制御を実施可能であれば、エンド同期信号は省略可能である。
In this embodiment, the start synchronization signal and the end synchronization signal are set to “11110000” and “11001100”, respectively, but the present invention is not limited to this. Since the start synchronization signal and the end synchronization signal can be distinguished from each other, and any combination of values that cannot be taken by the 8-bit pixel signal is acceptable, for example, the start synchronization signal is “11001100” and the end synchronization signal is “11110000”. It may be reversed. In addition, for example, the length may be increased such that the start synchronization signal is “1111111100000000” and the end synchronization signal is “1111000011110000”. Furthermore, since the number of pixels of the output signal of the
図５は、本実施形態に係る信号処理部１３の入力部分の構成を示す図であり、信号処理部１３での信号処理が可能となるように、撮像素子１２から出力される行単位でタイミングがずれたデジタル画素信号を受け取ることが可能な構成になっている。信号処理部１３は、第１入力部４０１ａ、第２入力部４０１ｂ、同期信号解読部４０３、及び内部メモリ４０４を有する。
FIG. 5 is a diagram illustrating a configuration of an input portion of the
第１入力部４０１ａ及び第２入力部４０１ｂには、第１出力部１１０ａ及び第２出力部１１０ｂからの画素の信号が、それぞれ第１入力端子４０２ａ及び第２入力端子４０２ｂを介して入力される。信号処理部１３に入力される信号は、図３を用いて説明した、１つの信号が正転画素信号及び反転画素信号からなる差動信号であるので、不図示の差動受信バッファにより受信して、通常のパルス信号に変換する。このとき、同時に入力される画素クロック信号と信号処理部１３の信号処理クロック信号の位相を比較して、デジタル画素信号の位相を信号処理部１３の信号処理クロック信号の位相に同期させる処理も行う。
Pixel signals from the
同期信号解読部４０３は、同期信号付きの行単位の画素信号の同期信号を解読して、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号を内部メモリ４０４に記憶させる。内部メモリ４０４は、行単位の画素信号を記憶する。１行目から８行目までの画素信号を記憶する領域を、便宜的にそれぞれｍＰ１ｒ〜ｍＰ８ｒとして示している。
The synchronization
ここで、図４に示した動作が実施された場合について説明する。第１入力部４０１ａから同期信号解読部４０３に１行目の画素の信号が入力されると、同期制御部１５からの制御信号に基づいて、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号を内部メモリ４０４の領域ｍＰ１ｒに記憶する。次に、第２入力部４０１ｂから同期信号解読部４０３に２行目の画素の信号が入力されると、同期制御部１５からの制御信号に基づいて、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号を内部メモリ４０４の領域ｍＰ２ｒに記憶する。
Here, a case where the operation shown in FIG. 4 is performed will be described. When the pixel signal of the first row is input from the
このとき、内部メモリ４０４に対しては、１行目の画素の信号の記憶動作と２行目の画素の信号の記憶動作を同時に行うことになるが、内部メモリ４０４の異なる領域に対する記憶動作なので、制御可能となっている。１行目及び２行目の画素の信号の記憶動作に続いて、３行目及び４行目の画素の信号の記憶動作も同様に行う。
At this time, for the
そして、内部メモリ４０４の領域ｍＰ１ｒ〜ｍＰ８ｒに記憶された１行目〜８行目の画素の信号は、同期制御部１５からの制御信号に基づいて、内部メモリ端子４０５から１行毎に信号処理されていくことになる。その後、続けて１行目の画素の信号が入力された場合には、また最初から領域ｍＰ１ｒに記憶すればよい。
Then, the signals of the pixels in the first to eighth rows stored in the areas mP1r to mP8r of the
以上のように、本実施形態においては、複数の出力手段の信号それぞれに対して、読み出し時間差に応じて個別にスタート同期信号を設定することで、出力信号の同期制御の手段を提供することができる。そして、信号処理部の入力部分において、解読した同期信号に応じて画素の信号を記憶するメモリ領域を割り当てることで、読み出し時間差に対応した信号処理部の入力信号の同期制御が実現可能である。これにより、複数の画素の信号を共通の読み出し手段と異なる出力手段を用いて別々に出力することが可能となるので、撮像装置における高速読み出し動作が実現できる。 As described above, in the present embodiment, it is possible to provide a means for controlling the synchronization of output signals by individually setting the start synchronization signal for each of the signals of the plurality of output means in accordance with the read time difference. it can. Then, by assigning a memory area for storing the pixel signal in accordance with the decoded synchronization signal in the input portion of the signal processing unit, it is possible to realize synchronization control of the input signal of the signal processing unit corresponding to the read time difference. As a result, signals of a plurality of pixels can be output separately using output means different from the common readout means, so that a high-speed readout operation in the imaging apparatus can be realized.
さらに、本実施形態においては、サブ水平同期信号ＨＳが水平同期期間Ｔｈｄを２分割した周期で作られ、奇数行目の画素の信号をサブ水平同期信号ＨＳの１回目に同期して読み出し、偶数行目の画素の信号をサブ水平同期信号ＨＳの２回目に同期して読み出す。これにより、行毎の読み出しタイミングが等間隔になるので、なめらかなローリングシャッタ動作を実現することができ、被写体の動きがぎくしゃくしたり、被写体の境界がギザついたりするのを防止することができる。 Further, in the present embodiment, the sub horizontal synchronization signal HS is generated in a cycle obtained by dividing the horizontal synchronization period Thd into two, and the signals of the pixels in the odd-numbered rows are read in synchronization with the first time of the sub horizontal synchronization signal HS. The pixel signal in the row is read out in synchronization with the second sub-horizontal synchronization signal HS. As a result, the readout timing for each row is equally spaced, so that a smooth rolling shutter operation can be realized, and it is possible to prevent the movement of the subject from becoming jerky and the subject boundary from being jagged. .
ここで、本実施形態における水平同期信号ＨＤは、一般に水平走査部１０９の転送と同じ周期の画素クロック信号Ｓｃｋと同期していることが多い。そして、水平同期信号ＨＤを２分割したサブ水平同期信号ＨＳが画素クロック信号Ｓｃｋで奇数になる場合、サブ水平同期信号ＨＳをカウントするときの１回目と２回目で奇数カウントと偶数カウントを繰り返すことになる。その場合には、カウンタはすべて偶数カウントの方が設計しやすいので、サブ水平同期信号ＨＳのクロック数を、画素クロック信号Ｓｃｋで偶数カウントすなわち２の倍数にして、水平同期信号ＨＤを、サブ水平同期信号ＨＳの２倍のクロック数にしてやればよい。 Here, the horizontal synchronization signal HD in this embodiment is generally synchronized with the pixel clock signal Sck having the same cycle as the transfer of the horizontal scanning unit 109 in general. Then, when the sub horizontal synchronization signal HS obtained by dividing the horizontal synchronization signal HD into two becomes an odd number by the pixel clock signal Sck, the odd and even counts are repeated at the first and second times when the sub horizontal synchronization signal HS is counted. become. In that case, since all counters are easier to design with an even number count, the number of clocks of the sub horizontal synchronization signal HS is set to an even number of pixels clock signal Sck, that is, a multiple of 2, and the horizontal synchronization signal HD is changed to the sub horizontal level What is necessary is just to make it the clock number of 2 times of the synchronizing signal HS.
また、本実施形態においては、２回目のサブ水平同期信号ＨＳが、期間Ｒｄ１ｒの終了後、十分に時間が経過した後に設けられている。しかしながら、垂直信号線１０４が垂直画素列に共通に配線されているため、期間Ｒｄ１ｒがサブ水平同期期間Ｔｈｓより長い場合には、第２の読み出し動作Ｏｐｒ２を開始することができない。そのときには、第２信号選択部１０５ｂ以降を停止させ、第１水平メモリ部１０８ａ及び第１出力部１１０ａを用いて、１行毎に水平同期期間に同期させて読み出せば良い。
In the present embodiment, the second sub-horizontal synchronization signal HS is provided after a sufficient time has elapsed after the period Rd1r ends. However, since the
（第２の実施形態）
次に、図１に加えて、図６〜図９を参照して、本発明の第２の実施形態について説明する。なお、第２の実施形態では、撮像装置の基本的な構成及び動作は、第１の実施形態と同様であるので、図及び符号を流用して説明する。第１の実施形態における撮像素子１２は、水平メモリ部及び出力部をそれぞれ２組ずつ備えることで、２行同時出力による高速読み出し動作を実現している。以下に説明する第２の実施形態においては、水平メモリ部及び出力部をそれぞれ４組ずつ備えることで、さらなる高速読み出し動作を実現する。
(Second Embodiment)
Next, a second embodiment of the present invention will be described with reference to FIGS. 6 to 9 in addition to FIG. In the second embodiment, since the basic configuration and operation of the imaging apparatus are the same as those in the first embodiment, the description will be made with reference to the drawings and reference numerals. The
図６は、本実施形態に係る撮像素子１２の概略構成を示す図である。撮像素子１２は、複数の画素１００が配された画素領域１０１、垂直走査部１０２、第１信号選択部１０５ａ及び第２信号選択部１０５ｂ、第１列信号処理部１０６ａ及び第２列信号処理部１０６ｂ、第１列ＡＤ部１０７ａ及び第２列ＡＤ部１０７ｂを有する。また、撮像素子１２は、第１メモリ選択部１１４ａ及び第２メモリ選択部１１４ｂ、第１水平メモリ部１０８ａ、第２水平メモリ部１０８ｂ、第３水平メモリ部１０８ｃ及び第４水平メモリ部１０８ｄを有する。また、撮像素子１２は、第１水平走査部１０９ａ及び第２水平走査部１０９ｂ、第１出力部１１０ａ、第２出力部１１０ｂ、第３出力部１１０ｃ及び第４出力部１１０ｄ、及びＴＧ（Timing Generator）１１２を有する。
FIG. 6 is a diagram illustrating a schematic configuration of the
画素領域１０１は、図６にＰ１１〜Ｐ１６４で示すように複数の画素１００が行方向（水平方向）・列方向（垂直方向）に行列状（マトリクス状）に配列されている。各画素１００は、不図示の光電変換部とトランジスタとを有する。ここで、例えば、Ｐ１１〜Ｐ１４は１行目となる４画素を示し、Ｐ１６１〜Ｐ１６４は１６行目となる４画素を示す。本実施形態においては、４×１６配列（４列１６行）の画素領域１０１を例として説明するが、画像領域１０１における画素配列は、この数に限定されるものではない。
In the
垂直走査部１０２、画素制御線１０３、垂直信号線１０４、信号選択部１０５ａ、１０５ｂ、列信号処理部１０６ａ、１０６ｂ、及び列ＡＤ部１０７ａ、１０７ｂは、図２に示した第１の実施形態における撮像素子と同じ動作を行うため、説明は省略する。
The
第１メモリ選択部１１４ａは、第１列ＡＤ部１０７ａにおいてアナログデジタル変換された行単位の画素の信号を、第１水平メモリ部１０８ａ或いは第３水平メモリ部１０８ｃのどちらか一方に選択的に接続するスイッチとなっている。第２メモリ選択部１１４ｂは、第２列ＡＤ部１０７ｂにおいてアナログデジタル変換された行単位の画素の信号を、第２水平メモリ部１０８ｂ或いは第４水平メモリ部１０８ｄのどちらか一方に選択的に接続するスイッチとなっている。
The first
第１水平メモリ部１０８ａ及び第３水平メモリ部１０８ｃは、第１列ＡＤ部１０７ａにおいてデジタル化された行単位の各列の画素信号を記憶する。第２水平メモリ部１０８ｂ及び第４水平メモリ部１０８ｄは、第２列ＡＤ部１０７ｂにおいてデジタル化された行単位の各列の画素信号を記憶する。ここで、水平メモリ部１０８ａ、１０８ｂ、１０８ｃ、１０８ｄは、対応する列ＡＤ部１０７ａ、１０７ｂにあわせて各列毎に８ビットのデジタル信号を記憶できるものとするが、ＡＤ変換器のビット精度に応じたビット数のデジタル信号が記憶できれば良い。
The first
第１水平走査部１０９ａは、水平メモリ部１０８ａ、１０８ｃに記憶しているデジタル化された画素信号を、それぞれ対応する出力部１１０ａ、１１０ｃに列毎に選択して転送するように、水平メモリ部１０８ａ、１０８ｂを制御する。第２水平走査部１０９ｂは、水平メモリ部１０８ｂ、１０８ｄに記憶しているデジタル化された画素信号を、それぞれ対応する出力部１１０ｂ、１１０ｄに列毎に選択して転送するように、水平メモリ部１０８ｂ、１０８ｄを制御する。
The first
出力部１１０ａ、１１０ｂ、１１０ｃ及び１１０ｄは、デジタル化された行単位の画素信号の前或いは前後に同期信号を付加する。また、出力部１１０ａ、１１０ｂ、１１０ｃ及び１１０ｄは、同期信号付きのデジタル画素信号を、それぞれ対応する出力端子１１１ａ、１１１ｂ、１１１ｃ及び１１１ｄから信号処理部１３へ出力する。ＴＧ１１２は、制御端子１１３を介した同期制御部１５からの制御信号に基づいて、撮像素子１２の各部の動作に必要な各種のクロック信号や制御信号などを出力する。
The
本実施形態に係る出力部１１０ａ、１１０ｂ、１１０ｃ、１１０ｄについて説明する。以下では、第１出力部１１０ａについて説明するが、第２出力部１１０ｂ、第３出力部１１０ｃ、第４出力部１１０ｄについても同様である。図７は、本実施形態に係る出力部１１０ａの構成を示す図である。第１出力部１１０ａは、第１信号変換部２０１ａ、第１パラシリ変換部２０４ａ、第１同期信号付加部２０２ａ、及び第１差動送信バッファ２０３ａを有する。
The
第１信号変換部２０１ａには、８ビットに対応する８本の水平信号線を介して、第１水平メモリ部１０８ａから送られてくる画素信号Ｄ０ａ、Ｄ１ａ、Ｄ２ａ、Ｄ３ａ、Ｄ４ａ、Ｄ５ａ、Ｄ６ａ及びＤ７ａが入力される。また、第１信号変換部２０１ａには、ＴＧ１１２からクロック信号として送られてくる画素クロック信号Ｓｃｋａが入力される。画素クロック信号Ｓｃｋａは、第１水平走査部１０９ａの転送と同じ周期の信号である。第１信号変換部２０１ａは、画素クロック信号Ｓｃｋａの位相と同期するように、８ビットの画素信号Ｄ０ａ〜Ｄ７ａの位相を調整する。第１信号変換部２０１ａは、さらに、図３に示した第１の実施形態における第１信号変換部において説明した黒レベル調整、列ばらつき補正、信号増幅、色関係処理等を実施しても良い。
The first
第１パラシリ変換部２０４ａには、画素クロック信号Ｓｃｋａの位相と同期した８ビットの画素信号Ｄ０ａ〜Ｄ７ａ、及びＴＧ１１２からクロック信号として送られてくる画素クロック信号Ｓｃｋａの２倍の周波数をもつ逓倍クロック信号Ｈ２ｃｋａが入力される。第１パラシリ変換部２０４ａは、逓倍クロック信号Ｈ２ｃｋａを用いて、８ビットがそれぞれ８本並列に入力される画素信号Ｄ０ａ〜Ｄ７ａをパラレル・シリアル変換する。例えば、画素信号Ｄ０ａ〜Ｄ７ａを、画素信号Ｄ０ａ・Ｄ１ａ、画素信号Ｄ２ａ・Ｄ３ａ、画素信号Ｄ４ａ・Ｄ５ａ及び画素信号Ｄ６ａ・Ｄ７ａのように、逓倍クロック信号Ｈ２ｃｋａに同期した２ビット直列の４本並列した画素信号に変換して出力する。ここで、逓倍クロック信号Ｈ２ｃｋａは、画素クロック信号Ｓｃｋａの２倍の周波数をもつので、画素クロック信号Ｓｃｋａ当たりのデータ転送量は変化しない。
The first parallel-
第１同期信号付加部２０２ａは、逓倍クロック信号Ｈ２ｃｋａの位相と同期した状態で、画素信号Ｄ０ａ・Ｄ１ａ、Ｄ２ａ・Ｄ３ａ、Ｄ４ａ・Ｄ５ａ及びＤ６ａ・Ｄ７ａのそれぞれに対して、スタート同期信号及び、必要に応じてエンド同期信号を付加する。ここで、同期信号を付加するタイミングは、同期制御部１５からの制御信号に基づいて、ＴＧ１１２から出力される制御信号により制御される。
The first synchronization
第１差動送信バッファ２０３ａは、同期信号を付加した画素信号Ｄ０ａ・Ｄ１ａ、Ｄ２ａ・Ｄ３ａ、Ｄ４ａ・Ｄ５ａ及びＤ６ａ・Ｄ７ａ、及び逓倍クロック信号Ｈ２ｃｋａのそれぞれに対して設けられる。第１差動送信バッファ２０３ａは、それぞれのパルス信号と同極性の正転信号と逆極性の反転信号とを同時に出力する。本実施形態においては、正転画素信号がＤ０Ｐａ〜Ｄ７Ｐａ、反転画素信号がＤ０Ｎａ〜Ｄ７Ｎａとなり、正転逓倍クロック信号がＨ２ｃｋＰａ、反転逓倍クロック信号がＨ２ｃｋＮａとなっている。
The first
ここで、出力部１１０ａ、１１０ｂ、１１０ｃ、１１０ｄに入力される画素クロック信号及び逓倍クロック信号は、同じ信号がＴＧ１１２から送られてくるものとする。しかし、ＴＧ１１２から出力部１１０ａ、１１０ｂ、１１０ｃ、１１０ｄのそれぞれまでの距離に応じた遅延が発生する。そのため、出力部１１０ａ、１１０ｂ、１１０ｃ、１１０ｄにそれぞれ入力される画素クロック信号Ｓｃｋａ、Ｓｃｋｂ、Ｓｃｋｃ、Ｓｃｋｄ、及び逓倍クロック信号Ｈ２ｃｋａ、Ｈ２ｃｋｂ、Ｈ２ｃｋｃ、Ｈ２ｃｋｄは区別して用いるものとする。
Here, it is assumed that the same signal is transmitted from the
次に、図８を用いて、第２の実施形態での動作を説明する。図８は、第２の実施形態に係る撮像素子１２の動作例を示すタイミングチャートである。図８において、ＨＤは、撮像素子１２を駆動するための水平同期信号を示し、立ち下がりで有効となり、Ｔｈｄが１つの水平同期期間となっている。また、ＨＳは、水平同期信号のサブ水平同期信号を示し、立ち下がりで有効となり、Ｔｈｓが１つのサブ水平同期期間となっている。本実施形態に係る撮像素子１２は、第１出力部１１０ａ、第２出力部１１０ｂ、第３出力部１１０ｃ及び第４出力部１１０ｄの４つの出力部を有するため、４行分の画素を並列的に出力することが可能となっている。そこで、サブ水平同期信号ＨＳは、水平同期期間Ｔｈｄを４等分した周期で立ち下がるよう作られている。このため、水平同期期間Ｔｈｄが、サブ水平同期期間Ｔｈｓの４倍の長さとなっている。
Next, the operation in the second embodiment will be described with reference to FIG. FIG. 8 is a timing chart showing an operation example of the
Ｏｐｒ１は、第１信号選択部１０５ａが選択され、かつ、第１メモリ選択部１１４ａにより第１水平メモリ部１０８ａに接続したときの第１の読み出し動作を示す。Ｏｐｒ２は、第２信号選択部１０５ｂが選択され、かつ、第２メモリ選択部１１４ｂにより第２水平メモリ部１０８ｂに接続したときの第２の読み出し動作を示す。Ｏｐｒ３は、第１信号選択部１０５ａが選択され、かつ、第１メモリ選択部１１４ａにより第３水平メモリ部１０８ｃに接続したときの第３の読み出し動作を示す。Ｏｐｒ４は、第２信号選択部１０５ｂが選択され、かつ、第２メモリ選択部１１４ｂにより第４水平メモリ部１０８ｄに接続したときの第４の読み出し動作を示す。
Opr1 indicates a first read operation when the first
画素領域１０１に配列されている画素のうち、１行目、５行目、９行目及び１３行目の画素の信号を第１の読み出し動作Ｏｐｒ１を用いて読み出し、２行目、６行目、１０行目及び１４行目の画素の信号を第２の読み出し動作Ｏｐｒ２を用いて読み出すことにする。また、３行目、７行目、１１行目及び１５行目の画素の信号を第３の読み出し動作Ｏｐｒ３を用いて読み出し、４行目、８行目、１２行目及び１６行目の画素の信号を第４の読み出し動作Ｏｐｒ４を用いて読み出すことにする。
Of the pixels arranged in the
まず、はじめに、第１の読み出し動作Ｏｐｒ１について説明する。撮像素子１２は、水平同期信号ＨＤに同期するサブ水平同期信号ＨＳの１回目に同期して第１の読み出し動作Ｏｐｒ１を開始する（時刻ｔ６０）。まず、期間Ｒｄ１ｒにおいて、第１信号選択部１０５ａが選択された状態で、垂直走査部１０２からの駆動制御信号により、１行目の画素の信号がそれぞれ対応する垂直信号線１０４に読み出される（時刻ｔ６０〜ｔ６１）。このとき、最初に画素をリセットした状態のＮ信号が、第１列信号処理部１０６ａでサンプルホールドされ、続いて光電変換部の信号を読み出した状態のＳ信号が、第１列信号処理部１０６ａでサンプルホールドされる。
First, the first read operation Opr1 will be described. The
次に、期間ＣＤＳ１ｒにおいて、第１列信号処理部１０６ａが、ＣＤＳ回路でＳ信号からＮ信号を減算することによってＣＤＳ処理によるノイズ除去を実施し、必要であればＡＧＣ回路による利得制御を実施する（時刻ｔ６１〜ｔ６２）。そして、期間ＡＤ１ｒにおいて、第１列ＡＤ部１０７ａが、ノイズ除去された１行目の画素の信号をアナログデジタル変換する。第１の読み出し動作Ｏｐｒ１においては、第１メモリ選択部１１４ａにより第１水平メモリ部１０８ａに接続しているので、デジタル信号に変換された１行目の画素の信号は、第１水平メモリ部１０８ａに記憶される（時刻ｔ６２〜ｔ６３）。ここまでの時刻ｔ６０〜ｔ６３での処理が、１行目の各画素の信号に対する列毎の並列処理になる。
Next, in the period CDS1r, the first column
続いて、期間ＳＤ１ｒにおいて、第１出力部１１０ａ内の第１同期信号付加部２０２ａが逓倍クロック信号Ｈ２ｃｋａの位相と同期した状態で、２ビット直列４本並列した画素信号が送られてくる前にスタート同期信号を付加する（時刻ｔ６３〜ｔ６４）。ここで付加されるスタート同期信号は、２ビット直列４本並列した画素信号それぞれに対して、第１の実施形態におけるスタート同期信号と同じものを用いることができるので、説明は省略する。このとき、正転逓倍クロック信号Ｈ２ｃｋＰａ及び反転逓倍クロック信号Ｈ２ｃｋＮａには、スタート同期信号を付加しない。
Subsequently, in the period SD1r, before the pixel signal in which four 2-bit serially parallel pixels are sent in a state where the first synchronizing
次に、期間ＳｉｇＯｕｔ１ｒにおいて、第１水平走査部１０９ａが第１水平メモリ部１０８ａを列毎に選択し、第１水平メモリ部１０８ａに記憶しているデジタル化された８ビットの画素信号Ｄ０ａ〜Ｄ７ａを第１出力部１１０ａに転送する。そして、第１信号変換部２０１ａが、ＴＧ１１２から送られてくる画素クロック信号Ｓｃｋａの位相と同期するように、８ビットの画素信号Ｄ０ａ〜Ｄ７ａの位相を調整する。また、第１パラシリ変換部２０４ａが、位相が調整された８ビット並列に入力される画素信号Ｄ０ａ〜Ｄ７ａを逓倍クロック信号Ｈ２ｃｋａに同期した２ビット直列の４本並列した画素信号に変換する。その後、第１差動送信バッファ２０３ａが、２ビット直列の４本並列したそれぞれの信号に対応する正転信号と反転信号に変換して、第１出力端子１１１ａから出力する。（時刻ｔ６４以降）。
Next, in the period SigOut1r, the first
さらに、続けて、期間ＥＤ１ｒにおいて、第１出力部１１０ａ内の第１同期信号付加部２０２ａが逓倍クロック信号Ｈ２ｃｋａの位相と同期した状態で、２ビット直列の４本並列した画素信号が送り出された後にエンド同期信号を付加する（時刻ｔ６７まで）。ここで付加されるエンド同期信号は、２ビット直列の４本並列した画素信号それぞれに対して、第１の実施形態におけるエンド同期信号と同じものを用いることができるので、説明は省略する。このとき、正転逓倍クロック信号Ｈ２ｃｋＰａ及び反転逓倍クロック信号Ｈ２ｃｋＮａには、エンド同期信号ＥＤ１ｒを付加しない。ここまでの時刻ｔ６３〜ｔ６７の期間が、スタート同期信号及びエンド同期信号を付加した１行目の各画素の信号の出力期間になる。
Further, continuously, in the period ED1r, four parallel pixel signals of 2 bits in series are sent out in a state where the first synchronization
第１の読み出し動作Ｏｐｒ１においては、１行目の画素の信号の出力後、続けて５行目の画素の信号を出力する。時刻ｔ６８〜ｔ７１の期間が、５行目の各画素の信号について、列毎の読み出し、ＣＤＳ処理、アナログデジタル変換、水平メモリ部への記憶といった列毎の並列処理を実施する期間になる。そして、時刻ｔ７１〜ｔ７５の期間が、スタート同期信号及びエンド同期信号を付加した５行目の各画素の信号の出力期間になる。さらに、第２の実施形態においては、画素領域１０１に配列されている画素１００は１６行であるため、時刻ｔ７６以降で、９行目及び１３行目の画素の信号を同様に読み出し、その後、再び１行目の画素の信号の読み出し動作が開始される。
In the first read operation Opr1, after the pixel signal of the first row is output, the signal of the pixel of the fifth row is output continuously. The period from time t68 to t71 is a period in which parallel processing for each column such as readout for each column, CDS processing, analog-digital conversion, and storage in the horizontal memory unit is performed for the signal of each pixel in the fifth row. A period from time t71 to t75 is an output period of a signal of each pixel in the fifth row to which the start synchronization signal and the end synchronization signal are added. Further, in the second embodiment, since the
次に、第２の読み出し動作Ｏｐｒ２について説明する。撮像素子１２は、水平同期信号ＨＤに同期するサブ水平同期信号ＨＳの２回目に同期して第２の読み出し動作Ｏｐｒ２を開始する（時刻ｔ６２）。ここで、撮像素子１２においては、垂直信号線１０４が垂直画素列に共通に配線されているため、第２の読み出し動作Ｏｐｒ２は、１行目の画素の信号を読み出す期間Ｒｄ１ｒの終了以降（時刻ｔ６１以降）に動作を開始する必要がある。本実施形態においては、水平同期期間Ｔｈｄを４分割したサブ水平同期期間Ｔｈｓが、期間Ｒｄ１ｒより長く設定されているので、２回目のサブ水平同期信号ＨＳは、期間Ｒｄ１ｒ終了後、十分に時間が経過した後に設けられている（時刻ｔ６２）。
Next, the second read operation Opr2 will be described. The
まず、期間Ｒｄ２ｒにおいて、第２信号選択部１０５ａが選択された状態で、垂直走査部１０２からの駆動制御信号により、２行目の画素の信号がそれぞれ対応する垂直信号線１０４に読み出される。すなわち、２行目の画素の信号のＮ信号とＳ信号をそれぞれ対応する垂直信号線１０４を介して第２列信号処理部１０６ｂに読み出す（時刻ｔ６２〜ｔ６３）。
First, in the period Rd2r, the signals of the pixels in the second row are read out to the corresponding
次に、期間ＣＤＳ２ｒにおいて、第２列信号処理部１０６ｂが、ＣＤＳ回路でＣＤＳ処理によるノイズ除去を実施し、必要であればＡＧＣ回路による利得制御を実施する（時刻ｔ６３〜ｔ６４）。そして、期間ＡＤ２ｒにおいて、第２列ＡＤ部１０７ｂが、２行目の画素の信号をアナログデジタル変換する。第２の読み出し動作Ｏｐｒ２においては、第２メモリ選択部１１４ｂにより第２水平メモリ部１０８ｂに接続しているので、デジタル信号に変換された２行目の画素の信号は、第２水平メモリ部１０８ｂに記憶される（時刻ｔ６４〜ｔ６５）。ここまでの時刻ｔ６２〜ｔ６５での処理が、２行目の各画素の信号に対する列毎の並列処理になる。
Next, in the period CDS2r, the second column
続いて、期間ＳＤ２ｒにおいて、第２出力部１１０ｂ内の不図示の第２同期信号付加部が逓倍クロック信号Ｈ２ｃｋｂの位相と同期した状態で、２ビット直列の４本並列した画素信号が送られてくる前にスタート同期信号を付加する（時刻ｔ６５〜ｔ６６）。ここで付加されるスタート同期信号は、第１の読み出し動作Ｏｐｒ１におけるスタート同期信号と同様であるので、説明は省略する。
Subsequently, in the period SD2r, two parallel 2-bit pixel signals are sent in a state where a second synchronization signal adding unit (not shown) in the
ここで、第２の読み出し動作Ｏｐｒ２においては、期間Ｒｄ１ｒの開始から１サブ水平同期期間Ｔｈｓ後に、期間Ｒｄ２ｒが開始している。そのため、スタート同期信号を付加する期間ＳＤ２ｒも期間ＳＤ１ｒから１サブ水平同期期間Ｔｈｓに相当する時間だけ遅れて開始する必要がある。 Here, in the second read operation Opr2, the period Rd2r starts one sub-horizontal synchronization period Ths after the start of the period Rd1r. Therefore, the period SD2r to which the start synchronization signal is added needs to be delayed from the period SD1r by a time corresponding to one sub-horizontal synchronization period Ths.
次に、期間ＳｉｇＯｕｔ２ｒにおいて、第２水平走査部１０９ｂが第２水平メモリ部１０８ｂを列毎に選択し、第２水平メモリ部１０８ｂに記憶しているデジタル化された８ビットの画素信号Ｄ０ｂ〜Ｄ７ｂを第２出力部１１０ｂに転送する。そして、第２出力部１１０ｂの不図示の第２信号変換部が、ＴＧ１１２から送られてくる画素クロック信号Ｓｃｋｂの位相と同期するように、８ビットの画素信号Ｄ０ｂ〜Ｄ７ｂの位相を調整する。また、第２出力部１１０ｂの不図示の第２パラシリ変換部が、位相が調整された８ビット並列に入力される画素信号Ｄ０ｂ〜Ｄ７ｂを逓倍クロック信号Ｈ２ｃｋｂに同期した２ビット直列の４本並列した画素信号に変換する。その後、第２出力部１１０ｂの不図示の第２差動送信バッファが、２ビット直列の４本並列したそれぞれの信号に対応する正転信号と反転信号に変換して、第２出力端子１１１ｂから出力する（時刻ｔ６６以降）。
Next, in the period SigOut2r, the second
さらに、続けて、期間ＥＤ２ｒにおいて、第２出力部１１０ｂ内の第２同期信号付加部が逓倍クロック信号Ｈ２ｃｋｂの位相と同期した状態で、２ビット直列の４本並列した画素信号が送り出された後にエンド同期信号を付加する（時刻ｔ６９まで）。ここで付加されるエンド同期信号は、第１の読み出し動作Ｏｐｒ１におけるエンド同期信号と同様であるので、説明は省略する。ここまでの時刻ｔ６５〜ｔ６９の期間が、スタート同期信号及びエンド同期信号を付加した２行目の各画素の信号の出力期間になる。
Further, continuously, after a pixel signal in which four 2-bit serially parallel pixels are sent out in a period ED2r in a state where the second synchronization signal adding unit in the
第２の読み出し動作Ｏｐｒ２においては、２行目の画素の信号の出力後、続けて６行目の画素の信号を出力する。時刻ｔ７０以降の６行目の画素の信号の出力の説明は、２行目の画素の信号の出力と同様に行えば良いので省略する。そして、第２の実施形態においては、画素領域１０１に配列されている画素１００は１６行であるため、続けて１０行目及び１４行目の画素の信号を同様に読み出し、その後、再び２行目の画素の信号の読み出し動作が開始される。
In the second readout operation Opr2, after the pixel signal of the second row is output, the pixel signal of the sixth row is output continuously. The description of the pixel signal output of the sixth row after time t70 is omitted because it may be performed in the same manner as the signal output of the pixel of the second row. In the second embodiment, since the
次に、第３の読み出し動作Ｏｐｒ３について説明する。撮像素子１２は、水平同期信号ＨＤに同期するサブ水平同期信号ＨＳの３回目に同期して第３の読み出し動作Ｏｐｒ３を開始する（時刻ｔ６４）。本実施形態においては、水平同期期間Ｔｈｄを４分割したサブ水平同期期間Ｔｈｓが、期間Ｒｄ２ｒより長く設定されているので、３回目のサブ水平同期信号ＨＳは、期間Ｒｄ２ｒ終了後、十分に時間が経過した後に設けられている（時刻ｔ６４）。
Next, the third read operation Opr3 will be described. The
ここで、第３の読み出し動作Ｏｐｒ３は、第１信号選択部１０５ａが選択され、かつ、第１メモリ選択部１１４ａにより第３水平メモリ部１０８ｃに接続したときの動作である。また、第３水平メモリ部１０８ｃ及び第３出力部１１０ｃは、それぞれ第１水平メモリ部１０８ａ及び第１出力部１１０ａと同じ構成となっているため、説明は省略する。これにより、３回目のサブ水平同期信号ＨＳに同期して第３の読み出し動作Ｏｐｒ３が開始された後は、第１の読み出し動作Ｏｐｒ１と同様な動作を行うことができる。
Here, the third read operation Opr3 is an operation when the first
すなわち、時刻ｔ６４〜ｔ６７の期間が、３行目の各画素の信号について、列毎の読み出し、ＣＤＳ処理、アナログデジタル変換、水平メモリ部への記憶といった列毎の並列処理を実施する期間になる。そして、時刻ｔ６７〜ｔ７１の期間が、スタート同期信号及びエンド同期信号を付加した３行目の各画素の信号の出力期間になる。時刻ｔ７２以降の７行目の画素の信号の出力の説明は、３行目の画素の信号の出力と同様に行えば良いので省略する。そして、第２の実施形態においては、画素領域１０１に配列されている画素１００は１６行であるため、続けて１１行目及び１５行目の画素の信号を同様に読み出し、その後、再び３行目の画素の信号の読み出し動作が開始される。
That is, the period from time t64 to t67 is a period in which parallel processing for each column such as readout for each column, CDS processing, analog-digital conversion, and storage in the horizontal memory unit is performed for the signal of each pixel in the third row. . A period from time t67 to t71 is an output period of the signal of each pixel in the third row to which the start synchronization signal and the end synchronization signal are added. The description of the output of the pixel signal of the seventh row after time t72 is omitted because it may be performed in the same manner as the output of the pixel signal of the third row. In the second embodiment, since the
次に、第４の読み出し動作Ｏｐｒ４について説明する。撮像素子１２は、水平同期信号ＨＤに同期するサブ水平同期信号ＨＳの４回目に同期して第４の読み出し動作Ｏｐｒ４を開始する（時刻ｔ６６）。本実施形態においては、水平同期期間Ｔｈｓを４分割したサブ水平同期期間Ｔｈｓが、期間Ｒｄ３ｒより長く設定されているので、４回目のサブ水平同期信号ＨＳは、期間Ｒｄ３ｒ終了後、十分に時間が経過した後に設けられている（時刻ｔ６６）。
Next, the fourth read operation Opr4 will be described. The
ここで、第４の読み出し動作Ｏｐｒ４は、第２信号選択部１０５ｂが選択され、かつ、第２メモリ選択部１１４ｂにより第４水平メモリ部１０８ｄに接続したときの動作である。また、第４水平メモリ部１０８ｄ及び第４出力部１１０ｄは、それぞれ第２水平メモリ部１０８ｂ及び第２出力部１１０ｂと同じ構成となっているため、説明は省略する。これにより、４回目のサブ水平同期信号ＨＳに同期して第４の読み出し動作Ｏｐｒ４が開始された後は、第２の読み出し動作Ｏｐｒ２と同様な動作を行うことができる。
Here, the fourth read operation Opr4 is an operation when the second
すなわち、時刻ｔ６６〜ｔ６９の期間が、４行目の各画素の信号について、列毎の読み出し、ＣＤＳ処理、アナログデジタル変換、水平メモリ部への記憶といった列毎の並列処理を実施する期間になる。そして、時刻ｔ６９〜ｔ７３の期間が、スタート同期信号及びエンド同期信号を付加した４行目の各画素の信号の出力期間になる。時刻ｔ７４以降の８行目の画素の信号の出力の説明は、４行目の画素の信号の出力と同様に行えば良いので省略する。また、第２の実施形態においては、画素領域１０１に配列されている画素１００は１６行であるため、続けて１２行目及び１６行目の画素の信号を同様に読み出し、その後、再び４行目の画素の信号の読み出し動作が開始される。
That is, the period from time t66 to t69 is a period in which parallel processing for each column such as readout for each column, CDS processing, analog-digital conversion, and storage in the horizontal memory unit is performed on the signals of the pixels in the fourth row. . A period from time t69 to t73 is an output period of the signal of each pixel in the fourth row to which the start synchronization signal and the end synchronization signal are added. The description of the output of the pixel signal of the eighth row after time t74 is omitted since it may be performed in the same manner as the output of the pixel signal of the fourth row. In the second embodiment, since the
このように、第２の実施形態においては、第１の読み出し動作Ｏｐｒ１、第２の読み出し動作Ｏｐｒ２、第３の読み出し動作Ｏｐｒ３、及び第４の読み出し動作Ｏｐｒ４を、それぞれ１サブ水平同期期間Ｔｈｓに相当する時間だけずらせて動作させる。このため、ＴＧ１１２は、期間Ｒｄ１ｒ、期間ＣＤＳ１ｒ、期間ＡＤ１ｒの間に実施する１行目の画素の信号の読み出しから第１水平メモリ部１０８ａへの記憶までの列毎の並列処理動作を制御することが可能となっている。また、ＴＧ１１２は、同時に、１サブ水平同期期間Ｔｈｓだけずらせて、２行目の画素の信号の読み出しから第２水平メモリ部１０８ｂへの記憶までの列毎の並列処理動作を制御することが可能となっている。ＴＧ１１２は、同様に、それぞれ１サブ水平同期期間Ｔｈｓだけずらせて、３行目の画素の信号の読み出しから第３水平メモリ部１０８ｃへの記憶までの列毎の並列処理動作を制御することが可能となっている。また、ＴＧ１１２は、１サブ水平同期期間Ｔｈｓだけずらせて、４行目の画素の信号の読み出しから第４水平メモリ部１０８ｄへの記憶までの列毎の並列処理動作も制御することが可能となっている。
Thus, in the second embodiment, the first read operation Opr1, the second read operation Opr2, the third read operation Opr3, and the fourth read operation Opr4 are each performed in one sub-horizontal synchronization period Ths. Operate it for the corresponding amount of time. For this reason, the
さらに、ＴＧ１１２は、前述した列毎の並列処理動作とは別に、スタート同期信号及びエンド同期信号を付加した行単位での画素の信号の出力動作をそれぞれ制御することが可能となっている。ここで、スタート同期信号の出力動作は、それぞれの行の信号の並列処理動作の終了後で、それぞれ対応する次の行の読み出し動作の開始前にそれぞれ対応するエンド同期信号の出力が完了するのであれば、その間のどこでも構わない。これら期間ＳＤ１ｒ、期間ＳＤ２ｒ、期間ＳＤ３ｒ、及び期間ＳＤ４ｒのそれぞれの開始タイミングは、同期制御部１５からの制御信号に基づいて、ＴＧ１１２が個別にかつ適宜設定できる。
Furthermore, the
以上の説明は、第１の読み出し動作Ｏｐｒ１、第２の読み出し動作Ｏｐｒ２、第３の読み出し動作Ｏｐｒ３、及び第４の読み出し動作Ｏｐｒ４の関係について述べたものである。読み出し動作が繰り返される場合には、４行目の画素信号を読み出す第４の読み出し動作Ｏｐｒ４と５行目の画素信号を読み出す第１の読み出し動作Ｏｐｒ１の関係についても同様であり、その後に読み出されるすべての画素行に対しても適応可能である。さらに、１６行目の画素信号を読み出す第４の読み出し動作Ｏｐｒ４と１行目の画素信号を読み出す第１の読み出し動作Ｏｐｒ１の関係についても同様である。 The above description describes the relationship between the first read operation Opr1, the second read operation Opr2, the third read operation Opr3, and the fourth read operation Opr4. When the readout operation is repeated, the same applies to the relationship between the fourth readout operation Opr4 that reads out the pixel signal in the fourth row and the first readout operation Opr1 that reads out the pixel signal in the fifth row. This can be applied to all pixel rows. The same applies to the relationship between the fourth readout operation Opr4 for reading out the pixel signal in the 16th row and the first readout operation Opr1 for reading out the pixel signal in the first row.
ここで、撮像素子１２の出力信号の画素数は、予め決まっているので、同期制御部１５が信号処理部１３に対して、１行分の画素に相当する処理の制御を実施可能であれば、エンド同期信号は省略可能である。
Here, since the number of pixels of the output signal of the
図９は、本実施形態に係る信号処理部１３の入力部分の構成を示す図であり、信号処理部１３での信号処理が可能となるように、撮像素子１２から出力される行単位でタイミングがずれたデジタル画素信号を受け取ることが可能な構成になっている。信号処理部１３は、第１入力部４０１ａ、第２入力部４０１ｂ、第３入力部４０１ｃ、第４入力部４０１ｄ、同期信号解読部４０３、シリパラ変換部４０６、及び内部メモリ４０４を有する。
FIG. 9 is a diagram illustrating a configuration of an input portion of the
第１入力部４０１ａ及び第２入力部４０１ｂには、第１出力部１１０ａ及び第２出力部１１０ｂからの画素の信号が、それぞれ第１入力端子４０２ａ及び第２入力端子４０２ｂを介して入力される。また、第３入力部４０１ｃ及び第４入力部４０１ｄには、第３出力部１１０ｃ及び第４出力部１１０ｄからの画素の信号が、それぞれ第３入力端子４０２ｃ及び第４入力端子４０２ｄを介して入力される。
Pixel signals from the
信号処理部１３に入力される信号は、図７を用いて説明した、１つの信号が正転画素信号及び反転画素信号からなる差動信号であるので、不図示の差動受信バッファにより受信して、通常のパルス信号に変換する。このとき、同時に入力される逓倍クロック信号と信号処理部１３の信号処理クロック信号の位相を比較して、デジタル画素信号の位相を信号処理部１３の信号処理クロック信号の位相に同期させる処理も行う。
Since the signal input to the
同期信号解読部４０３は、同期信号付きの行単位の画素信号の同期信号を解読して、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号を出力する。シリパラ変換部４０６は、第１出力部１１０ａ、第２出力部１１０ｂ、第３出力部１１０ｃ及び第４出力部１１０ｄから送られてくる２ビット直列の４本並列した画素信号を８ビット並列した画素信号にシリアルパラレル変換し、内部メモリ４０４に記憶させる。例えば、第１出力部１１０ａから送られてくる２ビット直列の４本並列した画素信号Ｄ０ａ・Ｄ１ａ、Ｄ２ａ・Ｄ３ａ、Ｄ４ａ・Ｄ５ａ及びＤ６ａ・Ｄ７ａは、８ビット並列した画素信号Ｄ０ａ〜Ｄ７ａに変換される。内部メモリ４０４は、行単位の画素信号を記憶する。図９には、１行目から１６行目までの画素信号を記憶する領域を、便宜的にそれぞれｍＰ１ｒ〜ｍＰ１６ｒとして示している。
The synchronization
ここで、図８に示した動作が実施された場合について説明する。第１入力部４０１ａから同期信号解読部４０３に１行目の画素の信号が入力されると、同期制御部１５からの制御信号に基づいて、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号が、シリパラ変換部４０６に送られる。１行目の画素の信号は、シリパラ変換部４０６で８ビット並列した画素信号に変換されて内部メモリ４０４の領域ｍＰ１ｒに記憶される。次に、第２入力部４０１ｂから同期信号解読部４０３に２行目の画素の信号が入力されると、同期制御部１５からの制御信号に基づいて、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号が、シリパラ変換部４０６に送られる。２行目の画素の信号は、シリパラ変換部４０６で８ビット並列した画素信号に変換されて内部メモリ４０４の領域ｍＰ２ｒに記憶される。
Here, a case where the operation shown in FIG. 8 is performed will be described. When the pixel signal of the first row is input from the
続いて、第３入力部４０１ｃから３行目の画素の信号が入力され、８ビット並列した画素信号に変換されて内部メモリ４０４の領域ｍＰ３ｒに記憶される。さらに続けて、第４入力部４０１ｄから４行目の画素の信号が入力され、８ビット並列した画素信号に変換されて内部メモリ４０４の領域ｍＰ４ｒに記憶される。
Subsequently, a pixel signal of the third row is input from the
このとき、内部メモリ４０４に対しては、１行目の画素の信号の記憶動作、２行目の画素の信号の記憶動作、３行目の画素の信号の記憶動作及び４行目の画素の信号の記憶動作の一部が重なるタイミングが発生する。しかし、内部メモリ４０４の異なる領域に対する記憶動作なので、制御可能となっている。１行目、２行目、３行目及び４行目の画素の信号の記憶動作に続いて、５行目から１６行目までの画素の信号の記憶動作も同様に行う。
At this time, with respect to the
そして、内部メモリ４０４の領域ｍＰ１ｒ〜ｍＰ１６ｒに記憶された１行目〜１６行目の画素の信号は、同期制御部１５からの制御信号に基づいて、内部メモリ端子４０５から１行毎に信号処理されていくことになる。その後、続けて１行目の画素の信号が入力された場合には、また最初から領域ｍＰ１ｒに記憶すればよい。
Then, the signals of the pixels in the first to sixteenth rows stored in the areas mP1r to mP16r of the
以上のように、本実施形態においては、複数の出力手段の信号それぞれに対して、読み出し時間差に応じて個別にスタート同期信号を設定することで、出力信号の同期制御の手段を提供することができる。そして、信号処理部の入力部分において、解読した同期信号に応じて画素の信号を記憶するメモリ領域を割り当てることで、読み出し時間差に対応した信号処理部の入力信号の同期制御が実現可能である。これにより、複数の画素の信号を共通の読み出し手段と異なる出力手段を用いて別々に出力することが可能となるので、撮像装置における高速読み出し動作を実現することができる。本実施形態においては、４行同時に出力することが可能となるので、４倍のフレームレートを実現できることになる。 As described above, in the present embodiment, it is possible to provide a means for controlling the synchronization of output signals by individually setting the start synchronization signal for each of the signals of the plurality of output means in accordance with the read time difference. it can. Then, by assigning a memory area for storing the pixel signal in accordance with the decoded synchronization signal in the input portion of the signal processing unit, it is possible to realize synchronization control of the input signal of the signal processing unit corresponding to the read time difference. As a result, signals of a plurality of pixels can be output separately using output means different from the common readout means, and thus a high-speed readout operation in the imaging apparatus can be realized. In the present embodiment, since it is possible to output four rows simultaneously, a four times higher frame rate can be realized.
さらに、本実施形態においては、サブ水平同期信号ＨＳが水平同期期間Ｔｈｄを４分割した周期で作られ、行毎の画素の信号を、４行おきにサブ水平同期信号ＨＳの１回目、２回目、３回目及び４回目それぞれに同期して読み出す。これにより、行毎の読み出しタイミングが等間隔になるので、なめらかなローリングシャッタ動作を実現することができる。 Furthermore, in the present embodiment, the sub horizontal synchronization signal HS is generated with a period obtained by dividing the horizontal synchronization period Thd into four, and the pixel signal for each row is changed to the first and second times of the sub horizontal synchronization signal HS every four rows. Read in synchronization with the third and fourth times. As a result, the readout timing for each row is equally spaced, so that a smooth rolling shutter operation can be realized.
また、出力部１１０内のパラシリ変換部２０４において、８ビットがそれぞれ８本並列に入力される画素信号を２ビット直列の４本並列した画素信号に変換して出力しているので、４つの出力部１１０すべての差動送信バッファ２０３の数を半減させている。これにより、回路規模縮小と消費電力削減の効果が期待できるとともに、撮像素子からの出力端子数も削減されるので、撮像素子のパケージの小型化も可能になる。 Further, since the parallel-serial conversion unit 204 in the output unit 110 converts the pixel signals that are input in parallel with 8 bits each into 8 pixel signals that are 2 bits in series and outputs them, 4 outputs The number of differential transmission buffers 203 in all the units 110 is halved. As a result, the effect of reducing the circuit scale and power consumption can be expected, and the number of output terminals from the image sensor is also reduced, so that the package of the image sensor can be reduced.
ここで、本実施形態における水平同期信号ＨＤは、一般に水平走査部１０９の転送と同じ周期の画素クロック信号Ｓｃｋと同期していることが多い。そして、水平同期信号ＨＤを４分割したサブ水平同期信号ＨＳが画素クロック信号Ｓｃｋで奇数になる場合、奇数回目のサブ水平同期信号ＨＳと偶数回目のサブ水平同期信号ＨＳで、奇数カウントと偶数カウントを繰り返すことになる。その場合には、カウンタはすべて偶数カウントの方が設計しやすいので、サブ水平同期信号ＨＳのクロック数を、画素クロック信号Ｓｃｋで偶数カウントすなわち２の倍数にして、水平同期信号ＨＤを、サブ水平同期信号ＨＳの４倍のクロック数にしてやればよい。 Here, the horizontal synchronization signal HD in this embodiment is generally synchronized with the pixel clock signal Sck having the same cycle as the transfer of the horizontal scanning unit 109 in general. Then, when the sub horizontal synchronization signal HS obtained by dividing the horizontal synchronization signal HD into four becomes an odd number by the pixel clock signal Sck, the odd-numbered count and the even-numbered count are determined by the odd-numbered sub-horizontal synchronization signal HS and the even-numbered sub-horizontal synchronization signal HS. Will be repeated. In that case, since all counters are easier to design with an even number count, the number of clocks of the sub horizontal synchronization signal HS is set to an even number of pixels clock signal Sck, that is, a multiple of 2, and the horizontal synchronization signal HD is changed to a sub horizontal level. The number of clocks may be four times that of the synchronization signal HS.
また、本実施形態においては、２回目以降のサブ水平同期信号ＨＳが、各行の期間Ｒｄの終了後、十分に時間が経過した後に設けられている。しかしながら、垂直信号線１０４が垂直画素列に共通に配線されているため、例えば期間Ｒｄ１ｒがサブ水平同期期間Ｔｈｓより長い場合には、第２の読み出し動作Ｏｐｒ２を開始することができない。そのときには、例えば、第４水平メモリ部１０８ｄ及び第４出力部１１０ｄを停止させ、第１水平メモリ部１０８ａから第３水平メモリ部１０８ｃ及び第１出力部１１０ａから第３出力部１１０ｃを用いて、３行毎に同時に出力することにすればよい。ただし、その時のサブ水平同期信号ＨＳは、水平同期期間Ｔｈｄを３等分した周期で作られている必要がある。
In the present embodiment, the second and subsequent sub-horizontal synchronization signals HS are provided after sufficient time has elapsed after the end of the period Rd of each row. However, since the
（第３の実施形態）
次に、図１、図６、図７及び図９に加えて、図１０及び図１１を参照して、本発明の第３の実施形態について説明する。なお、第３の実施形態では、撮像装置の基本的な構成と動作及び撮像素子の基本的な構成と動作は、第２の実施形態と同様であるので、図及び符号を流用して説明する。第２の実施形態でのローリングシャッタ動作においては、行毎の読み出しタイミングが等間隔になるように制御していた。以下に説明する第３の実施形態においては、さらにリセット動作を追加して、ローリングシャッタ動作時における露光時間を制御する。
(Third embodiment)
Next, a third embodiment of the present invention will be described with reference to FIG. 10 and FIG. 11 in addition to FIG. 1, FIG. 6, FIG. 7, and FIG. In the third embodiment, the basic configuration and operation of the imaging apparatus and the basic configuration and operation of the imaging element are the same as those in the second embodiment. . In the rolling shutter operation in the second embodiment, the read timing for each row is controlled to be equal. In the third embodiment described below, a reset operation is further added to control the exposure time during the rolling shutter operation.
図１０は、第３の実施形態に係る撮像素子１２の動作例を示すタイミングチャートである。図１０に示す動作例は、図８に示した動作にリセット動作が追加したものである。図１０において、ＶＤは、撮像素子１２を駆動するための垂直同期信号を示し、立ち下がりで有効となり、時刻ｔ６０〜ｔｖ０までのＴｖｄが１つの垂直同期期間となっている。ＨＤは、撮像素子１２を駆動するための水平同期信号を示し、立ち下がりで有効となる。また、ＨＳは、水平同期信号のサブ水平同期信号を示し、立ち下がりで有効となる。
FIG. 10 is a timing chart illustrating an operation example of the
垂直同期期間Ｔｖｄは、画素領域１０１に配列されている１６行の画素の信号を１つの水平同期期間に４行同時に出力するため、４つの水平同期期間から構成されている。垂直同期期間Ｔｖｄを構成する４つの水平同期期間を、第１水平同期期間Ｔｈｄ１、第２水平同期期間Ｔｈｄ２、第３水平同期期間Ｔｈｄ３及び第４水平同期期間Ｔｈｄ４で示す。また、１つの水平同期期間は４行同時に出力するため、４つの等しい長さのサブ水平同期信号から構成されている。第１水平同期期間Ｔｈｄ１を構成する４つのサブ水平同期期間を、順番に第１−１サブ水平同期期間Ｔｈｓ１１、第１−２サブ水平同期期間Ｔｈｓ１２、第１−３サブ水平同期期間Ｔｈｓ１３及び第１−４サブ水平同期期間Ｔｈｓ１４とする。
The vertical synchronization period Tvd is composed of four horizontal synchronization periods in order to simultaneously output the signals of 16 rows of pixels arranged in the
第１−１サブ水平同期期間Ｔｈｓ１１では、第１の読み出し動作Ｏｐｒ１を用いて１行目Ｐ１ｒの画素の信号を読み出す。この動作は、垂直同期信号ＶＤ、水平同期信号ＨＤの垂直同期期間Ｔｖｄにおける１回目の立ち下がり、及びサブ水平同期信号ＨＳの第１水平同期期間Ｔｈｄ１における１回目の期間Ｔｈｄ１の立ち下がりに同期して開始される（時刻ｔ６０及びｔｖ０）。このとき、本実施形態においては、画素の信号を読み出す期間Ｒｄ１ｒに先立ち、行単位で画素の信号をリセットする期間ＲＳ１１を設ける。また、期間Ｒｄ１ｒ以降の各期間での動作は、図８に示した動作と同じであるので、「・・・」で表し、その説明は省略する。画素の信号のリセット動作については、後で説明する。 In the first-first sub-horizontal synchronization period Ths11, the pixel signal of the first row P1r is read using the first read operation Opr1. This operation is synchronized with the first fall of the vertical synchronization signal VD and the horizontal synchronization signal HD in the vertical synchronization period Tvd and the fall of the first period Thd1 of the first horizontal synchronization period Thd1 of the sub horizontal synchronization signal HS. (Time t60 and tv0). At this time, in the present embodiment, a period RS11 for resetting the pixel signals in units of rows is provided prior to the period Rd1r for reading the pixel signals. Further, since the operation in each period after the period Rd1r is the same as the operation shown in FIG. 8, it is represented by “...” And description thereof is omitted. The pixel signal reset operation will be described later.
第１−２サブ水平同期期間Ｔｈｓ１２、第１−３サブ水平同期期間Ｔｈｓ１３及び第１−４サブ水平同期期間Ｔｈｓ１４においても、読み出し動作Ｏｐｒ２、Ｏｐｒ３及びＯｐｒ４を用いて、それぞれ対応する２行目、３行目及び４行目の画素の信号を読み出す。このときも、第１−１サブ水平同期期間Ｔｈｓ１１と同じく、画素の信号を読み出す期間Ｒｄ２ｒ、期間Ｒｄ３ｒ、及び期間Ｒｄ４ｒに先立ち、それぞれ行単位で画素の信号をリセットする期間ＲＳ１２、期間ＲＳ１３、及び期間ＲＳ１４期間を設ける。また、それぞれの期間Ｒｄ２ｒ、期間Ｒｄ３ｒ、及び期間Ｒｄ４ｒ以降の各期間での動作は、図８に示した動作と同じであるので、「・・・」で表し、その説明は省略する。 In the 1-2 sub-horizontal synchronization period Ths12, the 1-3 sub-horizontal synchronization period Ths13, and the 1-4 sub-horizontal synchronization period Ths14, the corresponding second rows are respectively read using the read operations Opr2, Opr3, and Opr4. Read out the signals of the pixels in the third and fourth rows. At this time, similarly to the 1-1 sub-horizontal synchronization period Ths11, prior to the period Rd2r, the period Rd3r, and the period Rd4r for reading out the pixel signal, the period RS12, the period RS13, Period RS14 period is provided. In addition, the operations in the respective periods after the period Rd2r, the period Rd3r, and the period Rd4r are the same as those illustrated in FIG.
第２水平同期期間Ｔｈｄ２、第３水平同期期間Ｔｈｄ３及び第４水平同期期間Ｔｈｄ４においても、それぞれのサブ水平同期期間のリセット動作及び読み出し動作は、第１水平同期期間Ｔｈｄ１と同様である。さらに、２回目の垂直同期信号ＶＤ以降の動作は、時刻ｔ６０〜ｔｖ０までの垂直同期期間Ｔｖｄの動作を繰り返すこととする。 Also in the second horizontal synchronization period Thd2, the third horizontal synchronization period Thd3, and the fourth horizontal synchronization period Thd4, the reset operation and readout operation of each sub horizontal synchronization period are the same as those in the first horizontal synchronization period Thd1. Furthermore, the operation after the second vertical synchronization signal VD repeats the operation in the vertical synchronization period Tvd from time t60 to tv0.
次に、図１０を用いて、第３の実施形態における撮像素子１２のリセット動作を含む動作を説明する。ここで、時刻ｔｖ０から始まる垂直同期期間において、第１の読み出し動作Ｏｐｒ１の期間Ｒｄ１ｒに読み出す１行目の画素の信号のリセット動作を、時刻ｔ６０から始まる垂直同期期間における第１の読み出し動作Ｏｐｒ１において実施するものとする。すなわち、時刻ｔ６０から始まる垂直同期期間における第１の読み出し動作Ｏｐｒ１の期間ＲＳ２１、期間ＲＳ３１、及び期間ＲＳ４１のいずれかを用いて実施するものとする（時刻ｔｄ２、ｔｄ３、ｔｄ４）。
Next, an operation including a reset operation of the
まず、１行目の画素の信号のリセット動作を第４水平同期期間Ｔｈｄ４の期間ＲＳ４１に実施した場合、時刻ｔｖ０を基準にしたときの１行目の画素の信号の露光期間は、時刻ｔｄ４から時刻ｔｖ０までの１水平同期期間となる。このとき、２行目、３行目及び４行目の画素の信号のリセット動作を、それぞれ時刻ｔｓ２からの期間ＲＳ４２、時刻ｔｓ３からの期間ＲＳ４３及び時刻ｔｓ４からの期間ＲＳ４４に実施する。これにより、１行目〜４行目の画素の信号のリセット動作が、それぞれ１サブ水平同期期間ずれて実施されるので、１行目〜４行目の画素の信号の露光期間は、すべて１水平同期期間となる。 First, when the reset operation of the signals of the pixels in the first row is performed in the period RS41 of the fourth horizontal synchronization period Thd4, the exposure period of the signals of the pixels in the first row with respect to the time tv0 is from the time td4. One horizontal synchronization period is until time tv0. At this time, the reset operation of the signals of the pixels in the second row, the third row, and the fourth row is performed in a period RS42 from time ts2, a period RS43 from time ts3, and a period RS44 from time ts4, respectively. Thereby, the reset operation of the signals of the pixels in the first row to the fourth row is performed with a shift of one sub-horizontal synchronization period, so that the exposure periods of the signals of the pixels in the first row to the fourth row are all 1 This is the horizontal synchronization period.
同様に、５行目〜８行目の画素の信号のリセット動作をそれぞれ第１水平同期期間Ｔｈｄ１の期間ＲＳ１１〜期間ＲＳ１４において実施する。また、９行目〜１２行目の画素の信号のリセット動作をそれぞれ第２水平同期期間Ｔｈｄ２の期間ＲＳ２１〜期間ＲＳ２４において実施する。さらに、１３行目〜１６行目の画素の信号のリセット動作をそれぞれ第３水平同期期間Ｔｈｄ３の期間ＲＳ３１〜期間ＲＳ３４において実施する（それぞれ時刻ｔｓ１３、ｔｓ１４、ｔｓ１５及びｔｓ１６）。このようなリセット動作をすべての行に対して実施するので、露光期間はすべての行で１水平同期期間となる。そして、続く第４水平同期期間Ｔｈｄ４の期間ＲＳ４１〜期間ＲＳ４４において、それぞれ１行目〜４行目の画素の信号のリセット動作を実施することで、リセット動作を実施したローリングシャッタ動作を継続することができる。 Similarly, the reset operation of the signals of the pixels in the fifth to eighth rows is performed in the period RS11 to the period RS14 of the first horizontal synchronization period Thd1, respectively. In addition, the reset operation of the signals of the pixels in the ninth to twelfth rows is performed in the period RS21 to the period RS24 of the second horizontal synchronization period Thd2. Further, the reset operation of the pixels of the 13th to 16th rows is performed in the period RS31 to the period RS34 of the third horizontal synchronization period Thd3 (time ts13, ts14, ts15, and ts16, respectively). Since such a reset operation is performed for all rows, the exposure period is one horizontal synchronization period for all rows. Then, in the subsequent period RS41 to period RS44 of the fourth horizontal synchronization period Thd4, by performing the reset operation of the signals of the pixels in the first row to the fourth row, respectively, the rolling shutter operation in which the reset operation is performed is continued. Can do.
次に、１行目の画素の信号のリセット動作を第３水平同期期間Ｔｈｄ３の期間ＲＳ３１に実施した場合、時刻ｔｖ０を基準にした時の１行目の画素の信号の露光期間は、時刻ｔｄ３から時刻ｔｖ０までの２水平同期期間となる。そこで、１行目〜４行目の画素の信号のリセット動作をそれぞれ第３水平同期期間Ｔｈｄ３の期間ＲＳ３１〜期間ＲＳ３４において実施する。 Next, when the reset operation of the signals of the pixels in the first row is performed in the period RS31 of the third horizontal synchronization period Thd3, the exposure period of the signals of the pixels in the first row when the time tv0 is used as a reference is the time td3. To 2 horizontal synchronization periods from time to tv0. Therefore, the reset operation of the signals of the pixels in the first row to the fourth row is performed in the period RS31 to the period RS34 of the third horizontal synchronization period Thd3, respectively.
同様に、５行目〜８行目の画素の信号のリセット動作をそれぞれ第４水平同期期間Ｔｈｄ４の期間ＲＳ４１〜期間ＲＳ４４において実施する。また、９行目〜１２行目の画素の信号のリセット動作をそれぞれ第１水平同期期間Ｔｈｄ１の期間ＲＳ１１〜期間ＲＳ１４において実施する。さらに、１３行目〜１６行目の画素の信号のリセット動作をそれぞれ第２水平同期期間Ｔｈｄ２の期間ＲＳ２１〜期間ＲＳ２４で実施する。このようなリセット動作をすべての行に対して実施するので、露光期間はすべての行で２水平同期期間となり、リセット動作を含んだローリングシャッタ動作を実現することができる。 Similarly, the reset operation of the signals of the pixels in the fifth to eighth rows is performed in the periods RS41 to RS44 of the fourth horizontal synchronization period Thd4, respectively. In addition, the reset operation of the signals of the pixels in the ninth to twelfth rows is performed in the periods RS11 to RS14 of the first horizontal synchronization period Thd1. Further, the reset operation of the signals of the pixels in the 13th to 16th rows is performed in the period RS21 to the period RS24 of the second horizontal synchronization period Thd2. Since such a reset operation is performed for all rows, the exposure period becomes two horizontal synchronization periods for all rows, and a rolling shutter operation including the reset operation can be realized.
次に、１行目の画素の信号のリセット動作を第２水平同期期間Ｔｈｄ２の期間ＲＳ２１に実施した場合、時刻ｔｖ０を基準にした時の１行目の画素の信号の露光期間は、時刻ｔｄ２から時刻ｔｖ０までの３水平同期期間となる。そこで、１行目〜４行目の画素の信号のリセット動作をそれぞれ第２水平同期期間Ｔｈｄ２の期間ＲＳ２１〜期間ＲＳ２４において実施する。 Next, when the reset operation of the signals of the pixels in the first row is performed in the period RS21 of the second horizontal synchronization period Thd2, the exposure period of the signals of the pixels in the first row when the time tv0 is used as a reference is the time td2. 3 horizontal synchronization periods from to tv0. Therefore, the reset operation of the signals of the pixels in the first row to the fourth row is performed in the period RS21 to the period RS24 of the second horizontal synchronization period Thd2.
同様に、５行目〜８行目の画素の信号のリセット動作をそれぞれ第３水平同期期間Ｔｈｄ３の期間ＲＳ３１〜期間ＲＳ３４において実施する。また、９行目〜１２行目の画素の信号のリセット動作をそれぞれ第４水平同期期間Ｔｈｄ４の期間ＲＳ４１〜期間ＲＳ４４において実施する。さらに、１３行目〜１６行目の画素の信号のリセット動作をそれぞれ第１水平同期期間Ｔｈｄ１の期間ＲＳ１１〜期間ＲＳ１４において実施する。このようなリセット動作をすべての行に対して実施すると、露光期間はすべての行で３水平同期期間となり、リセット動作を含んだローリングシャッタ動作を実現することができる。 Similarly, the signal reset operation of the pixels in the fifth to eighth rows is performed in the period RS31 to the period RS34 of the third horizontal synchronization period Thd3, respectively. In addition, the reset operation of the signals of the pixels in the 9th to 12th rows is performed in the period RS41 to the period RS44 of the fourth horizontal synchronization period Thd4, respectively. Furthermore, the reset operation of the signals of the pixels in the 13th to 16th rows is performed in the period RS11 to the period RS14 of the first horizontal synchronization period Thd1, respectively. When such a reset operation is performed for all rows, the exposure period becomes three horizontal synchronization periods for all rows, and a rolling shutter operation including the reset operation can be realized.
次に、リセット期間を一切設けない場合について説明する。はじめに、時刻ｔ６０の垂直同期信号ＶＤにより第１−１サブ水平同期期間Ｔｈｓ１１に同期した期間Ｒｄ１ｒで１行目の画素の信号を読み出す。画素の信号が読み出されることで、画素がリセットされた状態になり、１行目の画素の露光が開始される。次に、時刻ｔｖ０の垂直同期信号ＶＤにより第１−１サブ水平同期期間Ｔｈｓ１１に同期した期間Ｒｄ１ｒで１行目の画素の信号を読み出すことで、１行目の画素の露光期間が終了する。同様に、２行目〜１６行目の画素の信号の読み出しから次の読み出しまでが、それぞれの行の露光期間になる。このような読み出し動作をすべての行に対して実施すると、露光期間はすべての行で４水平同期期間となる。これにより、すべての行の露光時間を水平同期期間単位で制御することが可能となる。 Next, a case where no reset period is provided will be described. First, the signals of the pixels in the first row are read out in the period Rd1r synchronized with the 1-1st sub-horizontal synchronization period Ths11 by the vertical synchronization signal VD at time t60. By reading out the pixel signal, the pixel is reset, and exposure of the pixel in the first row is started. Next, the pixel period of the first row is read by reading out the pixel signal of the first row in the period Rd1r synchronized with the first-first sub-horizontal synchronization period Ths11 by the vertical synchronization signal VD at time tv0. Similarly, the exposure period of each row is from the readout of the signals of the pixels in the second to sixteenth rows until the next readout. When such a reading operation is performed for all rows, the exposure period is 4 horizontal synchronization periods for all rows. This makes it possible to control the exposure time of all rows in units of horizontal synchronization periods.
図１１は、第３の実施形態に係る撮像素子１２のリセット動作を含む動作例を示すタイミングチャートであり、露光期間が２水平同期期間の場合を示している。図１１に示したものは、図１０に対して、リセット期間にリセットする行を記載して図示したものである。図１１において、期間ＲＳ１ｒ〜期間ＲＳ１６ｒは、それぞれ１行目〜１６行目の画素の信号をリセットするリセット期間である。
FIG. 11 is a timing chart illustrating an operation example including a reset operation of the
第３水平同期期間Ｔｈｄ３の時刻ｔｖ１ｒからの期間ＲＳ１ｒにおいて、１行目の画素の信号のリセット動作を実施する。このときの時刻ｔｖ０を基準とした露光期間は、時刻ｔｖ１ｒから時刻ｔｖ０までの期間Ｔｔｖ１ｒとなり、２水平同期期間に等しくなっている。次に、２行目〜４行目の画素の信号のリセット動作を、それぞれ第３水平同期期間Ｔｈｄ３の期間ＲＳ２ｒ〜期間ＲＳ４ｒにおいて実施する（それぞれ時刻ｔｖ２ｒ、ｔｖ３ｒ及びｔｖ４ｒ）。同様に、５行目以降の画素の信号のリセット動作を、時刻ｔｖ５ｒ以降で実施する。 In the period RS1r from the time tv1r of the third horizontal synchronization period Thd3, the signal reset operation of the pixels in the first row is performed. The exposure period with reference to time tv0 at this time is a period Ttv1r from time tv1r to time tv0, which is equal to two horizontal synchronization periods. Next, the reset operation of the signals of the pixels in the second to fourth rows is performed in the period RS2r to the period RS4r of the third horizontal synchronization period Thd3 (time tv2r, tv3r, and tv4r, respectively). Similarly, the reset operation of the signals of the pixels on and after the fifth row is performed after time tv5r.
さらに、１３行目〜１６行目の画素の信号のリセット動作を、それぞれ第２水平同期期間Ｔｈｄ２の期間ＲＳ１３ｒ〜期間ＲＳ１６ｒにおいて実施する（それぞれ時刻ｔｖ１３ｒ、ｔｖ１４ｒ、ｔｖ１５ｒ及びｔｖ１６ｒ）。そして、続く第３水平同期期間Ｔｈｄ３の期間ＲＳ１ｒ〜期間ＲＳ４ｒにおいて、それぞれ１行目〜４行目の画素の信号のリセット動作を実施することで、リセット動作を実施したローリングシャッタ動作を継続することができる。 Further, the reset operation of the pixels of the 13th to 16th rows is performed in the period RS13r to the period RS16r of the second horizontal synchronization period Thd2 (time tv13r, tv14r, tv15r, and tv16r, respectively). Then, in the subsequent period RS1r to period RS4r of the third horizontal synchronization period Thd3, by performing the reset operation of the signals of the pixels in the first row to the fourth row, respectively, the rolling shutter operation in which the reset operation is performed is continued. Can do.
このようなリセット動作をすべての行に対して実施するので、露光期間はすべての行で期間Ｔｔｖ１ｒとなる。ここで、本実施形態においては、１行目の画素の露光期間を時刻ｔｖ０を基準にして説明したが、リセット動作を実施する場合には、期間ＲＳ１１及び期間Ｒｄ１ｒにおいて実際にリセットされるタイミングと画素から読み出されるタイミングに時間差が発生する。そこで、リセット動作と読み出し動作の時間差をΔＴｖｒとし、水
平同期期間をＴｈｄとすると、露光期間は、（Ｔｈｄ＋ΔＴｖｒ）、（２倍のＴｈｄ＋Δ
Ｔｖｒ）、（３倍のＴｈｄ＋ΔＴｖｒ）及び（４倍のＴｈｄ）から選択して制御すること
が可能となる。
Since such a reset operation is performed for all rows, the exposure period is the period Ttv1r for all rows. Here, in the present embodiment, the exposure period of the pixels in the first row has been described with reference to the time tv0. However, when the reset operation is performed, the actual reset timing in the period RS11 and the period Rd1r A time difference occurs in the timing of reading from the pixel. Therefore, when the time difference between the reset operation and the read operation is ΔTvr and the horizontal synchronization period is Thd, the exposure period is (Thd + ΔTvr), (double Thd + Δ
Tvr), (3 times Thd + ΔTvr), and (4 times Thd) can be selected and controlled.
以上のように、本実施形態においては、４つの出力手段毎にそれぞれ読み出し時間差を設けた読み出し動作Ｏｐｒを実施することで、４行同時に出力することが可能となるので、４倍のフレームレートを実現できることになる。また、本実施形態においては、各読み出し動作Ｏｐｒにおける行毎の画素の信号の読み出し動作に先立ち、行単位で画素の信号をリセットするリセット動作を設ける。そして、読み出し動作Ｏｐｒにより読み出す行のリセット動作を、同じ読み出し動作Ｏｐｒにおける異なる行の読み出し動作に先立ち実施することで、露光時間制御が可能なローリングシャッタ動作を実現できる。また、一連の同じ読み出し動作Ｏｐｒの中で、同じ行の読み出しとリセットを実施するので、行を選択する垂直走査部は、４行おきに行を選択すれば良いことになる。これにより、垂直走査部の回路規模の削減と簡略化が可能になる。 As described above, in this embodiment, by performing the read operation Opr with a read time difference for each of the four output units, it becomes possible to output four rows at the same time. It can be realized. In the present embodiment, prior to the pixel signal readout operation for each row in each readout operation Opr, a reset operation for resetting the pixel signal in units of rows is provided. A rolling shutter operation capable of controlling the exposure time can be realized by performing a reset operation for a row read by the read operation Opr prior to a read operation for a different row in the same read operation Opr. In addition, since reading and resetting of the same row are performed in a series of the same reading operations Opr, the vertical scanning unit that selects a row only needs to select a row every four rows. As a result, the circuit scale of the vertical scanning unit can be reduced and simplified.
さらに、本実施形態においては、水平同期期間を４分割した周期で作られるサブ水平同期信号を備え、行毎の画素の信号を、４行おきにサブ水平同期信号の１回目、２回目、３回目及び４回目のそれぞれに同期して読み出す。また、リセット動作を用いて水平同期期間単位で全行が同じ露光時間になるような露光時間制御が可能である。これにより、露光期間を含めた行毎の露光タイミングが等間隔になるので、なめらかなローリングシャッタ動作を実現することができる。 Further, in the present embodiment, a sub-horizontal synchronization signal generated with a period obtained by dividing the horizontal synchronization period into four is provided, and the pixel signal for each row is set to the first, second, and third sub-horizontal synchronization signals every four rows. Read in synchronization with each of the fourth and fourth times. Further, it is possible to control the exposure time so that all rows have the same exposure time in units of horizontal synchronization periods using the reset operation. As a result, the exposure timing for each row including the exposure period is equally spaced, so that a smooth rolling shutter operation can be realized.
（第４の実施形態）
次に、図１、図６、図７、図９及び図１０に加えて、図１２を参照して、本発明の第４の実施形態について説明する。なお、第４の実施形態では、撮像装置の基本的な構成と動作及び撮像素子の基本的な構成と動作は、第３の実施形態と同様であるので、図及び符号を流用して説明する。第３の実施形態のローリングシャッタ動作においては、行毎の読み出しタイミングを等間隔に制御するとともに、リセット動作を用いたローリングシャッタ動作時の露光時間制御の方法について説明した。第４の実施形態においては、すべての行の露光時間をサブ水平同期期間単位で制御することが可能な、リセット動作を用いたローリングシャッタ動作の方法について説明する。
(Fourth embodiment)
Next, a fourth embodiment of the present invention will be described with reference to FIG. 12 in addition to FIG. 1, FIG. 6, FIG. 7, FIG. In the fourth embodiment, the basic configuration and operation of the imaging apparatus and the basic configuration and operation of the imaging element are the same as those in the third embodiment. . In the rolling shutter operation of the third embodiment, the method for controlling the exposure time during the rolling shutter operation using the reset operation while controlling the readout timing for each row at equal intervals has been described. In the fourth embodiment, a method of a rolling shutter operation using a reset operation capable of controlling the exposure time of all rows in units of sub-horizontal synchronization periods will be described.
まず、はじめに、図１０を用いて、第４の実施形態おける撮像素子１２のリセット動作を含む動作例を説明するが、第３の実施形態で説明した内容は、説明を省略する。ここで、時刻ｔｖ０から始まる垂直同期期間において、第１の読み出し動作Ｏｐｒ１における期間Ｒｄ１ｒに読み出す１行目の画素の信号のリセット動作を、時刻ｔ６０から始まる垂直同期期間における第４水平同期期間Ｔｈｄ４において実施するものとする。すなわち、時刻ｔ６０から始まる垂直同期期間における第４水平同期期間Ｔｈｄ４の期間ＲＳ４１、期間ＲＳ４２、期間ＲＳ４３、及び期間ＲＳ４４のいずれかを用いて実施するものとする（それぞれ時刻ｔｓ１、ｔｓ２、ｔｓ３、ｔｓ４）。
First, an operation example including a reset operation of the
まず、１行目の画素の信号のリセット動作を第４水平同期期間Ｔｈｄ４の期間ＲＳ４１に実施した場合、時刻ｔｖ０を基準にしたときの１行目の画素の信号の露光期間は、時刻ｔｓ１から時刻ｔｖ０までの１水平同期期間に相当する４サブ水平同期期間となる。このとき、２行目、３行目及び４行目の画素の信号のリセット動作を、それぞれ時刻ｔｓ２からの期間ＲＳ４２、時刻ｔｓ３からの期間ＲＳ４３及び時刻ｔｓ４からの期間ＲＳ４４に実施する。これにより、１行目〜４行目の画素の信号のリセット動作が、それぞれ１サブ水平同期期間ずれて実施されるので、１行目〜４行目の画素の信号の露光期間は、すべて１水平同期期間に相当する４サブ水平同期期間となる。 First, when the reset operation of the signals of the pixels in the first row is performed in the period RS41 of the fourth horizontal synchronization period Thd4, the exposure period of the signals of the pixels in the first row with respect to the time tv0 is from the time ts1. There are four sub-horizontal synchronization periods corresponding to one horizontal synchronization period up to time tv0. At this time, the reset operation of the signals of the pixels in the second row, the third row, and the fourth row is performed in a period RS42 from time ts2, a period RS43 from time ts3, and a period RS44 from time ts4, respectively. Thereby, the reset operation of the signals of the pixels in the first row to the fourth row is performed with a shift of one sub-horizontal synchronization period, so that the exposure periods of the signals of the pixels in the first row to the fourth row are all 1 There are four sub-horizontal synchronization periods corresponding to the horizontal synchronization period.
同様に、５行目〜８行目の画素の信号のリセット動作をそれぞれ第１水平同期期間Ｔｈｄ１の期間ＲＳ１１〜期間ＲＳ１４において実施する。また、９行目〜１２行目の画素の信号のリセット動作をそれぞれ第２水平同期期間Ｔｈｄ２の期間ＲＳ２１〜期間ＲＳ２４において実施する。さらに、１３行目〜１６行目の画素の信号のリセット動作をそれぞれ第３水平同期期間Ｔｈｄ３の期間ＲＳ３１〜期間ＲＳ３４において実施する（それぞれ時刻ｔｓ１３、ｔｓ１４、ｔｓ１５及びｔｓ１６）。このようなリセット動作をすべての行に対して実施するので、露光期間はすべての行で１水平同期期間に相当する４サブ水平同期期間となる。そして、続く第４水平同期期間Ｔｈｄ４の期間ＲＳ４１〜期間ＲＳ４４において、それぞれ１行目〜４行目の画素の信号のリセット動作を実施することで、リセット動作を実施したローリングシャッタ動作を継続することができる。 Similarly, the reset operation of the signals of the pixels in the fifth to eighth rows is performed in the period RS11 to the period RS14 of the first horizontal synchronization period Thd1, respectively. In addition, the reset operation of the signals of the pixels in the ninth to twelfth rows is performed in the period RS21 to the period RS24 of the second horizontal synchronization period Thd2. Further, the reset operation of the pixels of the 13th to 16th rows is performed in the period RS31 to the period RS34 of the third horizontal synchronization period Thd3 (time ts13, ts14, ts15, and ts16, respectively). Since such a reset operation is performed for all rows, the exposure period is 4 sub-horizontal synchronization periods corresponding to one horizontal synchronization period in all rows. Then, in the subsequent period RS41 to period RS44 of the fourth horizontal synchronization period Thd4, by performing the reset operation of the signals of the pixels in the first row to the fourth row, respectively, the rolling shutter operation in which the reset operation is performed is continued. Can do.
次に、１行目の画素の信号のリセット動作を第４水平同期期間Ｔｈｄ４の期間ＲＳ４２に実施した場合、時刻ｔｖ０を基準にした時の１行目の画素の信号の露光期間は、時刻ｔｓ２から時刻ｔｖ０までの３サブ水平同期期間となる。そこで、１行目〜４行目の画素の信号のリセット動作をそれぞれ第４水平同期期間Ｔｈｄ４の期間ＲＳ４２〜期間ＲＳ４４及び第１水平同期期間Ｔｈｄ１の期間ＲＳ１１で実施する（それぞれ時刻ｔｓ２、ｔｓ３、ｔｓ４及びｔｖ０）。これにより、１行目〜４行目の画素の信号のリセット動作が、それぞれ１サブ水平同期期間ずれて実施されるので、１行目〜４行目の画素の信号の露光期間は、すべて３サブ水平同期期間となる。また、第３の実施形態では、読み出す行のリセット動作は、同じ読み出し動作Ｏｐｒにおける異なる行の読み出し動作に先立ち実施していたが、本実施形態においては、異なる読み出し動作Ｏｐｒにおける異なる行の読み出し動作に先立ち実施できるものとする。 Next, when the reset operation of the signals of the pixels in the first row is performed in the period RS42 of the fourth horizontal synchronization period Thd4, the exposure period of the signals of the pixels in the first row with respect to the time tv0 is the time ts2. 3 sub-horizontal synchronization periods from time to time tv0. Therefore, the reset operation of the signals of the pixels in the first to fourth rows is performed in the period RS42 to the period RS44 of the fourth horizontal synchronization period Thd4 and the period RS11 of the first horizontal synchronization period Thd1 (time ts2, ts3, respectively). ts4 and tv0). Thereby, the reset operation of the signals of the pixels in the first row to the fourth row is performed with a shift of one sub-horizontal synchronization period, so that the exposure periods of the signals of the pixels in the first row to the fourth row are all 3 This is the sub-horizontal synchronization period. In the third embodiment, the reset operation for the row to be read is performed prior to the read operation for a different row in the same read operation Opr. However, in this embodiment, the read operation for a different row in a different read operation Opr. Can be implemented prior to
同様に、５行目〜８行目の画素の信号のリセット動作をそれぞれ第１水平同期期間Ｔｈｄ１の期間ＲＳ１２〜期間ＲＳ１４及び第２水平同期期間Ｔｈｄ２の期間ＲＳ２１において実施する。また、９行目〜１２行目の画素の信号のリセット動作をそれぞれ第２水平同期期間Ｔｈｄ２の期間ＲＳ２２〜期間ＲＳ２４及び第３水平同期期間Ｔｈｄ３の期間ＲＳ３１において実施する。さらに、１３行目〜１６行目の画素の信号のリセット動作をそれぞれ第３水平同期期間Ｔｈｄ３の期間ＲＳ３２〜期間ＲＳ３４及び第４水平同期期間Ｔｈｄ４の期間ＲＳ４１で実施する（それぞれ時刻ｔｓ１４、ｔｓ１５、ｔｓ１６及びｔｓ１）。 Similarly, the reset operation of the signals of the pixels in the fifth to eighth rows is performed in the period RS12 to period RS14 of the first horizontal synchronization period Thd1 and the period RS21 of the second horizontal synchronization period Thd2, respectively. In addition, the reset operation of the signals of the pixels in the ninth to twelfth rows is performed in the period RS22 to the period RS24 of the second horizontal synchronization period Thd2 and the period RS31 of the third horizontal synchronization period Thd3, respectively. Further, the reset operation of the pixels of the 13th to 16th rows is performed in the period RS32 to the period RS34 of the third horizontal synchronization period Thd3 and the period RS41 of the fourth horizontal synchronization period Thd4 (time ts14, ts15, respectively). ts16 and ts1).
このように、すべての行に対して、読み出す行のリセット動作を異なる読み出し動作Ｏｐｒにおける異なる行の読み出し動作に先立ち実施できるため、露光期間はすべての行で３サブ水平同期期間となる。そして、続く第４水平同期期間Ｔｈｄ４の期間ＲＳ４２〜期間ＲＳ４４及び第１水平同期期間Ｔｈｄ１の期間ＲＳ１１で、それぞれ１行目〜４行目の画素の信号のリセット動作を実施することで、リセット動作を含むローリングシャッタ動作を継続することができる。 As described above, the reset operation for the row to be read can be performed for all the rows prior to the read operation for the different rows in the different read operations Opr. Therefore, the exposure period is 3 sub-horizontal synchronization periods for all the rows. The reset operation is performed by resetting the signals of the pixels in the first to fourth rows in the subsequent period RS42 to period RS44 of the fourth horizontal synchronization period Thd4 and the period RS11 of the first horizontal synchronization period Thd1. The rolling shutter operation including can be continued.
次に、１行目の画素の信号のリセット動作を第４水平同期期間Ｔｈｄ４の期間ＲＳ４３に実施した場合、時刻ｔｖ０を基準にした時の１行目の画素の信号の露光期間は、時刻ｔｓ３から時刻ｔｖ０までの２サブ水平同期期間となる。そこで、１行目〜４行目の画素の信号のリセット動作をそれぞれ第４水平同期期間Ｔｈｄ４の期間ＲＳ４３〜期間ＲＳ４４及び第１水平同期期間Ｔｈｄ１の期間ＲＳ１１〜期間ＲＳ１２において実施する（時刻ｔｓ３以降）。これにより、１行目〜４行目の画素の信号のリセット動作が、それぞれ１サブ水平同期期間ずれて実施されるので、１行目〜４行目の画素の信号の露光期間は、すべて２サブ水平同期期間となる。 Next, when the reset operation of the pixel signal of the first row is performed in the period RS43 of the fourth horizontal synchronization period Thd4, the exposure period of the signal of the pixel of the first row with respect to the time tv0 is the time ts3. 2 sub-horizontal synchronization periods from to tv0. Therefore, the reset operation of the pixels of the first to fourth rows is performed in the period RS43 to the period RS44 of the fourth horizontal synchronization period Thd4 and the period RS11 to the period RS12 of the first horizontal synchronization period Thd1 (after time ts3). ). Thereby, the reset operation of the signals of the pixels in the first row to the fourth row is performed with a shift of one sub-horizontal synchronization period, so that the exposure periods of the signals of the pixels in the first row to the fourth row are all 2. This is the sub horizontal synchronization period.
同様に、５行目〜８行目の画素の信号のリセット動作をそれぞれ第１水平同期期間Ｔｈｄ１の期間ＲＳ１３〜期間ＲＳ１４及び第２水平同期期間Ｔｈｄ２の期間ＲＳ２１〜期間ＲＳ２２において実施する。また、９行目〜１２行目の画素の信号のリセット動作をそれぞれ第２水平同期期間Ｔｈｄ２の期間ＲＳ２３〜期間ＲＳ２４及び第３水平同期期間Ｔｈｄ３の期間ＲＳ３１〜期間ＲＳ３２において実施する。さらに、１３行目〜１６行目の画素の信号のリセット動作をそれぞれ第３水平同期期間Ｔｈｄ３の期間ＲＳ３３〜期間ＲＳ３４及び第４水平同期期間Ｔｈｄ４の期間ＲＳ４１〜期間ＲＳ４２において実施する。このように、すべての行に対して、読み出す行のリセット動作を異なる読み出し動作Ｏｐｒにおける異なる行の読み出し動作に先立ち実施できるため、露光期間はすべての行で２サブ水平同期期間となる。 Similarly, the reset operation of the signals of the pixels in the fifth to eighth rows is performed in the period RS13 to the period RS14 of the first horizontal synchronization period Thd1 and the period RS21 to the period RS22 of the second horizontal synchronization period Thd2. In addition, the reset operation of the signals of the pixels in the 9th to 12th rows is performed in the period RS23 to the period RS24 in the second horizontal synchronization period Thd2 and the period RS31 to the period RS32 in the third horizontal synchronization period Thd3, respectively. Further, the reset operation of the pixels of the 13th to 16th rows is performed in the period RS33 to the period RS34 of the third horizontal synchronization period Thd3 and the period RS41 to the period RS42 of the fourth horizontal synchronization period Thd4, respectively. As described above, the reset operation for the row to be read can be performed for all the rows prior to the read operation for the different rows in the different read operation Opr. Therefore, the exposure period is two sub-horizontal synchronization periods for all the rows.
次に、１行目の画素の信号のリセット動作を第４水平同期期間Ｔｈｄ４の期間ＲＳ４４に実施した場合、時刻ｔｖ０を基準にした時の１行目の画素の信号の露光期間は、時刻ｔｓ４から時刻ｔｖ０までの１サブ水平同期期間となる。そこで、１行目〜４行目の画素の信号のリセット動作をそれぞれ第４水平同期期間Ｔｈｄ４の期間ＲＳ４４及び第１水平同期期間Ｔｈｄ１の期間ＲＳ１１〜期間ＲＳ１３において実施する（時刻ｔｓ４以降）。これにより、１行目〜４行目の画素の信号のリセット動作が、それぞれ１サブ水平同期期間ずれて実施されるので、１行目〜４行目の画素の信号の露光期間は、すべて１サブ水平同期期間となる。 Next, when the reset operation of the signals of the pixels in the first row is performed in the period RS44 of the fourth horizontal synchronization period Thd4, the exposure period of the signals of the pixels in the first row with respect to the time tv0 is the time ts4. 1 sub-horizontal synchronization period from time to time tv0. Therefore, the reset operation of the signals of the pixels in the first to fourth rows is performed in the period RS44 of the fourth horizontal synchronization period Thd4 and the period RS11 to period RS13 of the first horizontal synchronization period Thd1 (after time ts4). Thereby, the reset operation of the signals of the pixels in the first row to the fourth row is performed with a shift of one sub-horizontal synchronization period, so that the exposure periods of the signals of the pixels in the first row to the fourth row are all 1 This is the sub-horizontal synchronization period.
同様に、５行目〜８行目の画素の信号のリセット動作をそれぞれ第１水平同期期間Ｔｈｄ１の期間ＲＳ１４及び第２水平同期期間Ｔｈｄ２の期間ＲＳ２１〜期間ＲＳ２３において実施する。また、９行目〜１２行目の画素の信号のリセット動作をそれぞれ第２水平同期期間Ｔｈｄ２の期間ＲＳ２４及び第３水平同期期間Ｔｈｄ３の期間ＲＳ３１〜期間ＲＳ３３において実施する。さらに、１３行目〜１６行目の画素の信号のリセット動作をそれぞれ第３水平同期期間Ｔｈｄ３の期間ＲＳ３４及び第４水平同期期間Ｔｈｄ４の期間ＲＳ４１〜期間ＲＳ４３において実施する。このように、すべての行に対して、読み出す行のリセット動作を異なる読み出し動作Ｏｐｒにおける異なる行の読み出し動作に先立ち実施できるため、露光期間はすべての行で１サブ水平同期期間となる。 Similarly, the reset operation of the pixels of the fifth to eighth rows is performed in the period RS14 of the first horizontal synchronization period Thd1 and the period RS21 to the period RS23 of the second horizontal synchronization period Thd2. Further, the reset operation of the signals of the pixels in the ninth to twelfth rows is performed in the period RS24 of the second horizontal synchronization period Thd2 and the period RS31 to period RS33 of the third horizontal synchronization period Thd3, respectively. Further, the reset operation of the signals of the pixels in the 13th to 16th rows is performed in the period RS34 of the third horizontal synchronization period Thd3 and the period RS41 to the period RS43 of the fourth horizontal synchronization period Thd4, respectively. As described above, since the reset operation for the row to be read can be performed for all the rows prior to the read operation for different rows in the different read operation Opr, the exposure period is one sub-horizontal synchronization period for all rows.
以上、第１の読み出し動作Ｏｐｒ１における期間Ｒｄ１ｒに読み出す１行目の画素の信号のリセット動作を、第４水平同期期間Ｔｈｄ４の期間ＲＳ４１、期間ＲＳ４２、期間ＲＳ４３及び期間ＲＳ４４の何れかを用いて実施した場合について説明した。このような１行目の画素の信号のリセット動作を、第１水平同期期間Ｔｈｄ１の期間ＲＳ１２、期間ＲＳ１３及び期間ＲＳ１４の何れかを用いて実施した場合についても同様であるので説明は省略する。また、第２水平同期期間Ｔｈｄ２の期間ＲＳ２１、期間ＲＳ２２、期間ＲＳ２３及び期間ＲＳ２４、及び、第３水平同期期間Ｔｈｄ３の期間ＲＳ３１、期間ＲＳ３２、期間ＲＳ３３及び期間ＲＳ３４の何れかを用いて実施した場合についても同様である。 As described above, the reset operation of the pixel signal of the first row read in the period Rd1r in the first readout operation Opr1 is performed using any of the period RS41, the period RS42, the period RS43, and the period RS44 in the fourth horizontal synchronization period Thd4. I explained the case. Since the reset operation of the signals of the pixels in the first row is performed using any of the period RS12, the period RS13, and the period RS14 of the first horizontal synchronization period Thd1, the description thereof is omitted. In addition, when implemented using any one of the period RS21, the period RS22, the period RS23, and the period RS24 of the second horizontal synchronization period Thd2, and the period RS31, the period RS32, the period RS33, and the period RS34 of the third horizontal synchronization period Thd3 The same applies to.
図１２は、第４の実施形態に係る撮像素子１２のリセット動作を含む動作例を示すタイミングチャートであり、露光期間が７サブ水平同期期間の場合を示している。図１２に示したものは、図１０に対して、リセット期間にリセットする行を記載して図示したものである。図１２において、期間ＲＳ１ｒ〜期間ＲＳ１６ｒは、それぞれ１行目〜１６行目の画素の信号をリセットするリセット期間である。
FIG. 12 is a timing chart showing an operation example including a reset operation of the
まず、第３水平同期期間Ｔｈｄ３の時刻ｔｖ１ｒからの期間ＲＳ１ｒにおいて、１行目の画素の信号のリセット動作を実施する。このときの時刻ｔｖ０を基準とした露光期間は、時刻ｔｖ１ｒから時刻ｔｖ０までの期間Ｔｔｖ１ｒとなり、７サブ水平同期期間に等しくなっている。次に、２行目〜４行目の画素の信号のリセット動作を、それぞれ第３水平同期期間Ｔｈｄ３の期間ＲＳ２ｒ〜期間ＲＳ３ｒ及び第４水平同期期間Ｔｈｄ４の期間ＲＳ４ｒにおいて実施する（それぞれ時刻ｔｖ２ｒ、ｔｖ３ｒ及びｔｖ４ｒ）。同様に、５行目以降の画素の信号のリセット動作を時刻ｔｖ５ｒ以降で実施する。 First, in the period RS1r from the time tv1r of the third horizontal synchronization period Thd3, the signal reset operation of the pixels in the first row is performed. The exposure period with reference to time tv0 at this time is a period Ttv1r from time tv1r to time tv0, which is equal to the 7 sub-horizontal synchronization period. Next, the reset operation of the pixels of the second to fourth rows is performed in the period RS2r to the period RS3r of the third horizontal synchronization period Thd3 and the period RS4r of the fourth horizontal synchronization period Thd4 (time tv2r, respectively). tv3r and tv4r). Similarly, the reset operation of the signals of the pixels on and after the fifth row is performed after time tv5r.
さらに、１３行目〜１６行目の画素の信号のリセット動作を、それぞれ第２水平同期期間Ｔｈｄ２の期間ＲＳ１３ｒ〜期間ＲＳ１５ｒ及び第３水平同期期間Ｔｈｄ３の期間ＲＳ１６ｒで実施する（それぞれ時刻ｔｖ１３ｒ、ｔｖ１４ｒ、ｔｖ１５ｒ、ｔｖ１６ｒ）。続く第３水平同期期間Ｔｈｄ３の期間ＲＳ１ｒ〜期間ＲＳ３ｒ及び第４水平同期期間Ｔｈｄ４の期間ＲＳ４ｒで、それぞれ１行目〜４行目の画素の信号のリセット動作を実施することで、リセット動作を実施したローリングシャッタ動作を継続することができる。 Further, the reset operation of the pixels of the 13th to 16th rows is performed in the period RS13r to the period RS15r of the second horizontal synchronization period Thd2 and the period RS16r of the third horizontal synchronization period Thd3 (time tv13r and tv14r, respectively). , Tv15r, tv16r). In the subsequent period RS1r to period RS3r of the third horizontal synchronization period Thd3 and the period RS4r of the fourth horizontal synchronization period Thd4, the reset operation is performed by performing the reset operation of the pixels of the first to fourth rows, respectively. The rolling shutter operation can be continued.
このようなリセット動作をすべての行に対して実施するので、露光期間はすべての行で期間Ｔｔｖ１ｒとなる。ここで、本実施形態においては、１行目の画素の露光期間を時刻ｔｖ０を基準にして説明したが、リセット動作を実施する場合は、期間ＲＳ１１及び期間Ｒｄ１ｒにおいて実際にリセットされるタイミングと画素から読み出されるタイミングに時間差が発生する。そこで、リセット動作と読み出し動作の時間差をΔＴｖｒとし、サブ
水平同期期間単位の露光期間に加算することで、より正確な露光期間制御が可能になる。
Since such a reset operation is performed for all rows, the exposure period is the period Ttv1r for all rows. Here, in the present embodiment, the exposure period of the pixels in the first row has been described with reference to the time tv0. However, when the reset operation is performed, the timing and pixels actually reset in the period RS11 and the period Rd1r. There is a time difference in the timing of reading from. Therefore, by setting the time difference between the reset operation and the read operation to ΔTvr and adding it to the exposure period in units of sub-horizontal synchronization periods, more accurate exposure period control becomes possible.
以上のように、本実施形態においては、４つの出力手段毎にそれぞれ読み出し時間差を設けた読み出し動作Ｏｐｒを実施することで、４行同時に出力することが可能となるので、４倍のフレームレートを実現できることになる。また、本実施形態においては、各読み出し動作Ｏｐｒにおける行毎の画素の信号の読み出し動作に先立ち、行単位で画素の信号をリセットするリセット期間を設ける。そして、読み出し動作Ｏｐｒにより読み出す行のリセット動作を、異なる読み出し動作Ｏｐｒにおける異なる行の読み出し動作に先立ち実施することで、サブ水平同期期間単位での露光時間制御が可能なローリングシャッタ動作を実現できる。 As described above, in this embodiment, by performing the read operation Opr with a read time difference for each of the four output units, it becomes possible to output four rows at the same time. It can be realized. In this embodiment, a reset period for resetting the pixel signal in units of rows is provided prior to the pixel signal readout operation for each row in each readout operation Opr. A row shutter operation that enables exposure time control in units of sub-horizontal synchronization periods can be realized by performing a reset operation for rows read by the read operation Opr prior to read operations for different rows in different read operations Opr.
さらに、本実施形態においては、水平同期期間を４分割した周期で作られるサブ水平同期信号を備え、行毎の画素の信号を、４行おきにサブ水平同期信号の１回目、２回目、３回目及び４回目それぞれに同期して読み出す。また、リセット動作を用いてサブ水平同期期間単位で全行が同じ露光時間になるような露光時間制御が可能となっている。これにより、露光期間を含めた行毎の露光タイミングが等間隔になるので、なめらかなローリングシャッタ動作を実現することができる。 Further, in the present embodiment, a sub-horizontal synchronization signal generated with a period obtained by dividing the horizontal synchronization period into four is provided, and the pixel signal for each row is set to the first, second, and third sub-horizontal synchronization signals every four rows. Read in synchronization with each of the fourth and fourth times. Further, exposure time control is possible using the reset operation so that all rows have the same exposure time in units of sub-horizontal synchronization periods. As a result, the exposure timing for each row including the exposure period is equally spaced, so that a smooth rolling shutter operation can be realized.
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed as being limited thereto. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
１１：光学系 １２：撮像素子 １３：信号処理部 １５：同期制御部 １００：画素 １０１：画素領域 １０２：垂直走査部 １０３：画素制御線 １０４：垂直信号線 １０５：信号選択部 １０６：列信号処理部 １０７：列ＡＤ部 １０８：水平メモリ部 １０９：水平走査部 １１０：出力部 １１２：信号生成部（ＴＧ） １１４：メモリ選択部 DESCRIPTION OF SYMBOLS 11: Optical system 12: Image pick-up element 13: Signal processing part 15: Synchronization control part 100: Pixel 101: Pixel area 102: Vertical scanning part 103: Pixel control line 104: Vertical signal line 105: Signal selection part 106: Column signal processing Unit 107: Column AD unit 108: Horizontal memory unit 109: Horizontal scanning unit 110: Output unit 112: Signal generation unit (TG) 114: Memory selection unit
Claims (5)
先に読み出した画素の信号の前記出力手段からの出力が完了する前に、当該出力手段に対応する前記列信号処理手段とは異なる前記列信号処理手段への次の行の画素の信号の読み出しを開始して、１水平同期期間にＮ行（Ｎは２以上の整数）の画素の信号を読み出すように前記撮像素子を制御するとともに、１水平同期期間をＮ分割した間隔で信号を読み出す画素の行を順に切り換えるように前記撮像素子を制御する制御手段とを備え、
前記制御手段は、信号を読み出す画素の行の切り換え順に従って、画素の信号の読み出し動作を開始する前に、読み出す行とは異なる１つの行の画素の信号をリセットするように前記撮像素子を制御することを特徴とする撮像装置。 A plurality of pixels arranged in a matrix having photoelectric conversion means, a vertical signal line for outputting signals from the plurality of pixels for each column, and a vertical scanning means for selecting the plurality of pixels one by one; A plurality of column signal processing means connected to the vertical signal lines for processing signals read from the pixels, respectively, and a synchronization signal is added to the signal from the column signal processing means corresponding to each of the plurality of column signal processing means. An image sensor having output means for outputting;
Before the output of the signal of the previously read pixel from the output means is completed, the signal of the pixel of the next row is read to the column signal processing means different from the column signal processing means corresponding to the output means. Pixels that read out signals at intervals obtained by dividing the horizontal synchronization period into N while controlling the image sensor so that signals of pixels in N rows (N is an integer of 2 or more) are read out in one horizontal synchronization period. Control means for controlling the imaging device so as to sequentially switch the rows ,
The control means controls the image sensor so as to reset a pixel signal of one row different from the row to be read before starting the pixel signal reading operation in accordance with the switching order of the row of the pixel from which the signal is read. An imaging apparatus characterized by:
前記制御手段による制御に応じて、１水平同期期間をＮ分割した間隔で有効になる信号を生成し出力する信号生成手段を有し、
前記信号生成手段から出力された信号に基づいて、信号を読み出す画素の行を順に切り換えることを特徴とする請求項１記載の撮像装置。 The image sensor is
In accordance with control by the control means, signal generating means for generating and outputting a signal that becomes effective at an interval obtained by dividing one horizontal synchronization period into N,
The imaging apparatus according to claim 1, wherein rows of pixels from which signals are read are sequentially switched based on a signal output from the signal generation unit.
１水平同期期間をＮ分割（Ｎは２以上の整数）した間隔で信号を読み出す画素の行を順に切り換え、前記１水平同期期間にＮ行の画素の信号を読み出すように前記撮像素子を制御する制御工程を有し、
前記制御工程では、先に読み出した画素の信号の前記出力手段からの出力が完了する前に、当該出力手段に対応する前記列信号処理手段とは異なる前記列信号処理手段への次の行の画素の信号の読み出しを開始するとともに、信号を読み出す画素の行の切り換え順に従って、画素の信号の読み出し動作を開始する前に、読み出す行とは異なる１つの行の画素の信号をリセットするよう前記撮像素子を制御することを特徴とする撮像装置の制御方法。 A plurality of pixels arranged in a matrix having photoelectric conversion means, a vertical signal line for outputting signals from the plurality of pixels for each column, and a vertical scanning means for selecting the plurality of pixels one by one; A plurality of column signal processing means connected to the vertical signal lines for processing signals read from the pixels, respectively, and a synchronization signal is added to the signal from the column signal processing means corresponding to each of the plurality of column signal processing means. An image pickup apparatus control method comprising an image pickup device having an output means for outputting,
The rows of pixels from which signals are read are sequentially switched at intervals obtained by dividing one horizontal synchronization period into N (N is an integer equal to or greater than 2), and the image sensor is controlled so as to read signals of pixels in N rows during the one horizontal synchronization period. Having a control process,
In the control step, before the output of the previously read pixel signal from the output means is completed, the next row to the column signal processing means different from the column signal processing means corresponding to the output means The pixel signal reading is started , and the pixel signal of one row different from the reading row is reset before starting the pixel signal reading operation in accordance with the switching order of the pixel rows from which the signal is read. An image pickup apparatus control method, comprising: controlling an image pickup element.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013213929A JP6230365B2 (en) | 2013-10-11 | 2013-10-11 | Imaging apparatus and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013213929A JP6230365B2 (en) | 2013-10-11 | 2013-10-11 | Imaging apparatus and control method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015076852A JP2015076852A (en) | 2015-04-20 |
| JP6230365B2 true JP6230365B2 (en) | 2017-11-15 |
Family
ID=53001365
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013213929A Expired - Fee Related JP6230365B2 (en) | 2013-10-11 | 2013-10-11 | Imaging apparatus and control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6230365B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107534744A (en) * | 2015-09-30 | 2018-01-02 | 奥林巴斯株式会社 | Photographing element and endoscope |
| JP7389586B2 (en) | 2019-08-28 | 2023-11-30 | キヤノン株式会社 | Imaging device and method for driving the imaging device |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001045378A (en) * | 1999-08-04 | 2001-02-16 | Canon Inc | Solid-state image pickup device |
| JP2012049912A (en) * | 2010-08-27 | 2012-03-08 | Canon Inc | Photoelectric conversion device and imaging system |
| US8970750B2 (en) * | 2010-11-12 | 2015-03-03 | Sony Corporation | Image outputting apparatus, image outputting method, image processing apparatus, image processing method, program, data structure and imaging apparatus |
-
2013
- 2013-10-11 JP JP2013213929A patent/JP6230365B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015076852A (en) | 2015-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7839444B2 (en) | Solid-state image-pickup device, method of driving solid-state image-pickup device and image-pickup apparatus | |
| JP6019692B2 (en) | Image pickup device, image pickup device control method, and image pickup apparatus | |
| JP4692196B2 (en) | Solid-state imaging device, driving method of solid-state imaging device, and imaging device | |
| JP6580118B2 (en) | Imaging device and imaging apparatus | |
| US20130038757A1 (en) | Image pickup apparatus | |
| US8896736B2 (en) | Solid-state imaging device, imaging apparatus and signal reading method having photoelectric conversion elements that are targets from which signals are read in the same group | |
| JP6305169B2 (en) | Solid-state imaging device, imaging apparatus, control method thereof, program, and storage medium | |
| JP6230365B2 (en) | Imaging apparatus and control method thereof | |
| JP2017204737A (en) | Imaging apparatus and control method for imaging apparatus | |
| JP6190243B2 (en) | Imaging apparatus and control method thereof | |
| JP2006148577A (en) | Solid-state imaging apparatus and imaging method | |
| JP4458864B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP6771944B2 (en) | Imaging device and control method of imaging device | |
| WO2021014999A1 (en) | Solid-state imaging device and method for driving same, and electronic instrument | |
| JP2006246148A (en) | Imaging apparatus | |
| JP2011182321A (en) | Solid-state imaging apparatus, driving method and imaging apparatus | |
| JP6600375B2 (en) | Solid-state imaging device, imaging apparatus, control method thereof, program, and storage medium | |
| JP6270398B2 (en) | Imaging device | |
| JP2005286470A (en) | Imaging unit | |
| JP4195148B2 (en) | Solid-state imaging device and signal readout method | |
| JP6334946B2 (en) | Imaging apparatus and control method thereof | |
| JP2005303653A (en) | Image pickup device | |
| JP2004153710A (en) | Control method of imaging apparatus, and imaging apparatus | |
| JP2011199646A (en) | Solid-state electronic imaging device, and operation control method of the same | |
| WO2019176309A1 (en) | Image processing device, image processing method, and image processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161004 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170626 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170711 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170907 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170919 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171017 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6230365 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |