JP6817542B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP6817542B2 JP6817542B2 JP2017061644A JP2017061644A JP6817542B2 JP 6817542 B2 JP6817542 B2 JP 6817542B2 JP 2017061644 A JP2017061644 A JP 2017061644A JP 2017061644 A JP2017061644 A JP 2017061644A JP 6817542 B2 JP6817542 B2 JP 6817542B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frequency
- subject
- pixel
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Studio Devices (AREA)
Description
本発明はローリングシャッター方式の撮像装置に関する。 The present invention relates to a rolling shutter type imaging device.
ローリングシャッター方式の撮像装置は撮像素子上に多数ある画素の露光を順次時系列で行う。露光に時間差が生じる。これにより撮像される移動する被写体の像は歪む。特許文献１では、連続する２フレームの画像が生成される。２フレームの画像から、水平方向に移動する被写体が検出される。検出された移動する被写体に対し、撮像タイミングのずれに応じた補正処理が行われ、歪みが低減される。 The rolling shutter type image pickup device sequentially exposes a large number of pixels on the image pickup element in chronological order. There is a time lag in the exposure. As a result, the image of the moving subject captured is distorted. In Patent Document 1, two consecutive frames of images are generated. A subject moving in the horizontal direction is detected from the two-frame image. The detected moving subject is corrected according to the deviation of the imaging timing, and the distortion is reduced.
特許文献１に記載の撮像装置では移動する被写体の移動量を算出し、その移動量に応じ、被写体の歪みを演算にて補正し、移動していない背景画像と合成するという手法のため、複雑な演算回路が必要となる。また水平方向に移動する被写体以外の歪みは補正できない。 The imaging device described in Patent Document 1 is complicated because it is a method of calculating the amount of movement of a moving subject, correcting the distortion of the subject by calculation according to the amount of movement, and synthesizing it with a background image that is not moving. Computational circuit is required. In addition, distortion other than the subject moving in the horizontal direction cannot be corrected.
本発明は、複雑な演算回路を用いず、簡単な方式で任意の向きに移動する被写体の像の歪みを軽減することができるローリングシャッター方式の撮像装置を提供することを目的とする。 An object of the present invention is to provide a rolling shutter type image pickup apparatus capable of reducing distortion of an image of a subject moving in an arbitrary direction by a simple method without using a complicated arithmetic circuit.
本発明の一形態によれば、クロック信号に同期して画素ごとに電荷を順次転送する撮像素子を備えた撮像装置であって、前記撮像素子で撮像される画像内で被写体の像の移動を検出する移動検出部と、第１周波数のクロック信号に同期して電荷を転送し、１フレーム分の電荷の転送を第１時間で完了させる際に、前記撮像素子で撮像される画像内で移動する被写体の像を含むライン上の画素について前記第１周波数よりも高い第２周波数のクロック信号に同期して電荷を転送し、前記画像内で移動する前記被写体の前記像を含む前記ライン以外のライン上の画素について第１周波数よりも低い第３周波数のクロック信号に同期して電荷を転送する制御部とを備え、１フレームの電荷の転送の開始から、次の１フレームの電荷の転送開始までの時間を前記第１時間とする撮像装置は提供される。 According to one embodiment of the present invention, the image pickup device includes an image pickup device that sequentially transfers charges for each pixel in synchronization with a clock signal, and moves the image of the subject within the image captured by the image pickup device. When the movement detection unit to detect and the charge are transferred in synchronization with the clock signal of the first frequency and the transfer of the charge for one frame is completed in the first hour, the movement is moved in the image captured by the image sensor. A pixel on a line containing an image of the subject is transferred in synchronization with a clock signal having a second frequency higher than the first frequency, and the line other than the line containing the image of the subject moving in the image. It is equipped with a control unit that transfers charges in synchronization with a clock signal of a third frequency lower than the first frequency for pixels on the line, and starts transferring charges in one frame to the start of transferring charges in the next frame. An image pickup apparatus is provided in which the time up to is the first time.
撮像素子は、画像内で移動する被写体が検出されなければ、第１周波数のクロック信号に同期して画素ごとに電荷を順次転送し、１フレームを形成する。画像内で移動する被写体の像が検出されると、撮像素子は、移動する被写体の像を含むライン上の画素について第２周波数のクロック信号に同期して画素ごとに電荷を順次転送し、移動する被写体の像を含むライン以外のライン上の画素について、第３周波数のクロック信号に同期して画素ごとに電荷を順次転送し、１フレームを形成する。これにより１フレーム間の時間は一定に保たれ、例えば1秒間に６０フレームといった一般的な動画のフレームレートは維持される。移動する被写体の像を含むライン上の画素について、第１周波数よりも高い第２周波数に基づき電荷の転送は実施されるので、撮像素子で撮像される画像内で（水平方向および垂直方向を含む）どの方向に被写体の像が移動しても、常に第１周波数で動作する場合と比較し、画素の間で露光の時間差が縮小され、移動する被写体の像の歪みは軽減される。 If the moving subject is not detected in the image, the image sensor sequentially transfers the electric charge for each pixel in synchronization with the clock signal of the first frequency to form one frame. When the image of the moving subject is detected in the image, the image sensor sequentially transfers the charge for each pixel on the line containing the moving subject image in synchronization with the clock signal of the second frequency and moves. For pixels on a line other than the line containing the image of the subject to be imaged, the charge is sequentially transferred for each pixel in synchronization with the clock signal of the third frequency to form one frame. As a result, the time between one frame is kept constant, and the frame rate of a general moving image such as 60 frames per second is maintained. For pixels on the line containing an image of a moving subject, charge transfer is performed based on a second frequency higher than the first frequency, so that in the image captured by the image sensor (including horizontal and vertical directions). ) Regardless of the direction in which the image of the subject moves, the time difference in exposure between the pixels is reduced and the distortion of the moving subject image is reduced as compared with the case where the image of the subject always operates at the first frequency.
前記制御部は、前記移動検出部が検出した前記画像内での前記被写体の像の移動速度に応じて前記第２周波数を変更してもよい。移動検出部は移動する被写体の像の形状を認識し、同形状の被写体の像の移動量を検出することにより速度を算出する。クロック信号に同期して画素ごとに電荷を転送する撮像素子では、移動する被写体の歪み量は被写体の像の移動速度に依存する。したがって、移動する被写体の像の移動速度に応じて第２周波数が設定されれば、第２周波数は過度に高められることはなく、適切に消費電力の増大は抑制されることができる。 The control unit may change the second frequency according to the movement speed of the image of the subject in the image detected by the movement detection unit. The movement detection unit recognizes the shape of the image of the moving subject and calculates the speed by detecting the amount of movement of the image of the subject having the same shape. In an image sensor that transfers charges for each pixel in synchronization with a clock signal, the amount of distortion of a moving subject depends on the moving speed of the image of the subject. Therefore, if the second frequency is set according to the moving speed of the moving subject image, the second frequency is not excessively increased, and the increase in power consumption can be appropriately suppressed.
前記制御部は、前記移動検出部が検出した前記画像内での前記被写体の像の移動速度に応じて前記第２周波数を変更してもよい。移動検出部は移動する被写体の像の形状を認識し、同形状の被写体の像の移動量を検出することにより速度を算出する。クロック信号に同期して画素ごとに電荷を転送する撮像素子では、移動する被写体の歪み量は被写体の像の移動速度に依存する。したがって、移動する被写体の像の移動速度に応じて第２周波数が設定されれば、第２周波数は過度に高められることはなく、適切に消費電力の増大は抑制されることができる。 The control unit may change the second frequency according to the movement speed of the image of the subject in the image detected by the movement detection unit. The movement detection unit recognizes the shape of the image of the moving subject and calculates the speed by detecting the amount of movement of the image of the subject having the same shape. In an image sensor that transfers charges for each pixel in synchronization with a clock signal, the amount of distortion of a moving subject depends on the moving speed of the image of the subject. Therefore, if the second frequency is set according to the moving speed of the moving subject image, the second frequency is not excessively increased, and the increase in power consumption can be appropriately suppressed.
撮像装置は、前記撮像素子で撮像される画像内で前記被写体の像の高さを検出する高さ検出部をさらに備えてもよい。前記制御部は、移動する前記被写体の像の高さに応じて前記第２周波数を変更してもよい。クロック信号に同期して画素ごとに電荷を転送する撮像素子では、移動する被写体の歪み量は被写体の高さに依存する。したがって、移動する被写体の移動速度とともに高さに基づき第２周波数が設定されれば、第２周波数は過度に高められることはなく、適切に消費電力の増大は抑制されることができる。 The image pickup device may further include a height detection unit that detects the height of the image of the subject in the image captured by the image pickup device. The control unit may change the second frequency according to the height of the moving image of the subject. In an image sensor that transfers charges for each pixel in synchronization with a clock signal, the amount of distortion of a moving subject depends on the height of the subject. Therefore, if the second frequency is set based on the moving speed of the moving subject and the height, the second frequency is not excessively increased, and the increase in power consumption can be appropriately suppressed.
前記制御部は、前記被写体の移動が検出されると、前記第２周波数を所定の時定数で上昇させてもよい。撮像素子上の画素の露光時間は、あるフレームで電荷の転送が完了してから次のフレームで電荷の転送を開始するまでの時間となる。したがって、第１周波数から第１周波数と乖離した第２周波数に例えば１フレームで切り替えた場合、電荷の転送の完了から次のフレームでの電荷の転送の開始までの時間が短くなるため、前述の露光時間は短縮されてしまう。切り替え後の１フレームの画像は暗くなる。第２周波数を除々に上昇させることによりこの現象を軽減することができる。詳細については後述する。 When the movement of the subject is detected, the control unit may raise the second frequency by a predetermined time constant. The exposure time of the pixels on the image sensor is the time from the completion of charge transfer in one frame to the start of charge transfer in the next frame. Therefore, when switching from the first frequency to the second frequency deviating from the first frequency in, for example, one frame, the time from the completion of the charge transfer to the start of the charge transfer in the next frame becomes shorter. The exposure time will be shortened. The one-frame image after switching becomes dark. This phenomenon can be alleviated by gradually increasing the second frequency. Details will be described later.
前記制御部は、前記第２周波数に応じて個々の画素ごとにゲインを設定してもよい。画素ごとに露光時間に差が生じても、制御部は露光時間の差に応じて個々の画素ごとにゲインを調整する。この方法においても、前述の画像が暗くなる現象は軽減されることができる。 The control unit may set the gain for each individual pixel according to the second frequency. Even if there is a difference in the exposure time for each pixel, the control unit adjusts the gain for each pixel according to the difference in the exposure time. Also in this method, the above-mentioned phenomenon of darkening of the image can be alleviated.
以上のように開示の撮像装置によれば、複雑な演算回路を用いずに、移動する被写体の像の歪みを十分に解消することができるローリングシャッター方式の撮像装置は提供される。 According to the image pickup device disclosed as described above, a rolling shutter type image pickup device capable of sufficiently eliminating distortion of an image of a moving subject without using a complicated arithmetic circuit is provided.
以下、添付図面を参照しつつ本発明の一実施形態を説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the accompanying drawings.
図１は本発明の一実施形態に係る撮像装置１１の構成を概略的に示す。撮像装置１１は、被写体に応じて画像信号を出力する撮像素子１２を備える。撮像素子１２は、表示装置１３の画面に倣って行列配置される画素１４を備える。水平方向（横方向）の画素数はＷピクセルであって垂直方向（縦方向）の画素数はＨピクセルである。個々の画素１４では、露光時間に応じてＲＧＢ（赤緑青）の色ごとに電荷が蓄積される。ここでは、画素１４は水平方向にＷ列で垂直方向にＨ列（Ｗ＞Ｈの横長）の配列で配置される。 FIG. 1 schematically shows the configuration of an image pickup apparatus 11 according to an embodiment of the present invention. The image pickup device 11 includes an image pickup device 12 that outputs an image signal according to the subject. The image pickup device 12 includes pixels 14 that are arranged in a matrix according to the screen of the display device 13. The number of pixels in the horizontal direction (horizontal direction) is W pixels, and the number of pixels in the vertical direction (vertical direction) is H pixels. In each pixel 14, electric charges are accumulated for each of the RGB (red, green, and blue) colors according to the exposure time. Here, the pixels 14 are arranged in an array of W rows in the horizontal direction and H rows (horizontally long W> H) in the vertical direction.
撮像素子１２はいわゆるローリングシャッター方式で動作する。すなわち、個々の画素１４に蓄積された電荷は第１周波数、第２周波数、第３周波数のいずれかのクロック信号に同期して転送される。これらの周波数の大小関係は前述の通り第２周波数＞第１周波数、第１周波数＞第３周波数となる。電荷の転送は、０行０列の画素「０」から水平方向に順番に画素「１」、画素「２」、…画素「Ｗ−１」で実施され、続いて垂直方向に１行ずれて１行０列の画素「Ｗ」から画素「Ｗ＋１」…画素「２Ｗ−１」で実施され、垂直方向に１行ずつずれながら水平方向に走査されて、最終行の画素「（Ｈ−１）Ｗ」…画素「Ｈ×Ｗ−１」で実施される。こうして１フレーム分の画像信号（映像信号）は出力される。その後、再び電荷の転送は０行０列の画素「０」に戻る。こうしたローリングシャッター方式は、グローバルシャッター方式に比べて、露光後の電荷を保持するバッファといった記憶回路を必要としないことから、安価に製造されることができる。 The image sensor 12 operates in a so-called rolling shutter system. That is, the electric charges accumulated in the individual pixels 14 are transferred in synchronization with the clock signal of any one of the first frequency, the second frequency, and the third frequency. As described above, the magnitude relation of these frequencies is 2nd frequency> 1st frequency and 1st frequency> 3rd frequency. The charge transfer is carried out in order from pixel "0" in 0 rows and 0 columns to pixel "1", pixel "2", ... Pixel "W-1" in the horizontal direction, followed by a vertical shift of one row. Pixel "W + 1" ... Pixel "2W-1" from pixel "W" in 1 row and 0 columns, scanned in the horizontal direction while shifting one row at a time in the vertical direction, and the pixel "(H-1) in the last row) W ”… Implemented with pixels“ H × W-1 ”. In this way, one frame of image signal (video signal) is output. After that, the charge transfer returns to the pixel "0" of 0 rows and 0 columns. Compared to the global shutter method, such a rolling shutter method does not require a storage circuit such as a buffer for holding an electric charge after exposure, and thus can be manufactured at low cost.
個々の画素１４では、制御部２１からのリセット信号により蓄積された電荷がゼロとなり、その後、一定期間電荷の蓄積（露光）が行われ、最終的に電荷は転送される。あるフレームでの画素へのリセット信号の入力から次のフレームでの画素の電荷の転送の開始までが露光時間となる。リセット信号の入力から個々の画素に入光した光子の数に応じた電荷は蓄積される。 In each pixel 14, the electric charge accumulated by the reset signal from the control unit 21 becomes zero, then the electric charge is accumulated (exposed) for a certain period of time, and finally the electric charge is transferred. The exposure time is from the input of the reset signal to the pixel in one frame to the start of the charge transfer of the pixel in the next frame. Charges are accumulated according to the number of photons that enter each pixel from the input of the reset signal.
撮像装置１１は、撮像素子１２に接続されるゲインアンプ１５を備える。ゲインアンプ１５は撮像素子１２から映像信号を受信する。ゲインアンプ１５は、制御部２１から供給されるゲインパラメータに応じて映像信号を増幅する。撮像素子１２およびゲインアンプ１５は例えばＣＭＯＳ（相補型金属酸化膜半導体）センサとして構成されればよい。その他、ＣＭＯＳ画像センサに代えてＣＣＤ（電荷結合素子）センサその他の画像センサが用いられてもよい。 The image pickup device 11 includes a gain amplifier 15 connected to the image pickup device 12. The gain amplifier 15 receives a video signal from the image sensor 12. The gain amplifier 15 amplifies the video signal according to the gain parameter supplied from the control unit 21. The image sensor 12 and the gain amplifier 15 may be configured as, for example, a CMOS (complementary metal oxide semiconductor) sensor. In addition, a CCD (charge coupling element) sensor or other image sensor may be used instead of the CMOS image sensor.
撮像装置１１は、撮像素子１２に接続されるクロック供給部１６を備える。クロック供給部１６は、制御部２１から供給される制御信号で特定される周波数で撮像素子１２にクロック信号を供給する。クロック供給部１６は例えば水晶振動子に組み合わせられた分周回路あるいは逓倍回路で構成されることができる。クロック供給部１６から供給されるクロック信号を基に撮像素子１２上の画素１４の露光開始、露光終了およびリセットのタイミングが決定される。その他、クロック供給部１６は例えば電圧制御水晶発振器（ＶＣＸＯ）で構成されてもよい。その場合には、クロック供給部１１には制御信号として電圧が印加される。クロック供給部１６は、電圧の大きさに応じて設定される周波数のクロック信号を出力する。 The image pickup device 11 includes a clock supply unit 16 connected to the image pickup device 12. The clock supply unit 16 supplies the clock signal to the image sensor 12 at a frequency specified by the control signal supplied from the control unit 21. The clock supply unit 16 can be configured by, for example, a frequency dividing circuit or a multiplying circuit combined with a crystal oscillator. The timings of exposure start, exposure end, and reset of the pixel 14 on the image sensor 12 are determined based on the clock signal supplied from the clock supply unit 16. In addition, the clock supply unit 16 may be configured by, for example, a voltage controlled crystal oscillator (VCXO). In that case, a voltage is applied to the clock supply unit 11 as a control signal. The clock supply unit 16 outputs a clock signal having a frequency set according to the magnitude of the voltage.
撮像装置１１は、ゲインアンプ１５に接続されるイメージシグナルプロセッサ１７を備える。イメージシグナルプロセッサ１７はゲインアンプ１５から映像信号を受信する。イメージシグナルプロセッサ１７は、受信した映像信号にガンマ補正処理その他の画像処理を施して出力する。撮像装置１１ではイメージシグナルプロセッサ１７に表示装置１３や記録装置が接続されることができる。例えば表示装置１３の画面にはイメージシグナルプロセッサ１７から出力された映像信号に基づき映像が表示される。 The image pickup apparatus 11 includes an image signal processor 17 connected to the gain amplifier 15. The image signal processor 17 receives a video signal from the gain amplifier 15. The image signal processor 17 performs gamma correction processing or other image processing on the received video signal and outputs the signal. In the image pickup device 11, the display device 13 and the recording device can be connected to the image signal processor 17. For example, an image is displayed on the screen of the display device 13 based on the image signal output from the image signal processor 17.
撮像装置１１は、イメージシグナルプロセッサ１７に接続される移動検出部１９と、その後段に接続される高さ検出部２０を備える。高さ検出部２０は移動体検出部１９から被写体の形状と移動ベクトルをデータとして受信し、その被写体の撮像素子１２上における最上位置と最下位置との垂直方向の差を算出することで高さの検出を行う。移動検出部１９は、イメージシグナルプロセッサ１７から映像信号を受信する。移動検出部１９は、撮像素子１２で撮像される画像内で被写体の像の移動を検出する。検出にあたって移動検出部１９は前後２つのフレームの画像を比較する。２つのフレームは時間的に連続するフレームであればよい。フレームの画像は一時的にメモリといった記憶装置に記憶されればよい。メモリは例えば移動検出部１９を構成するマイクロプロセッサユニットに内蔵されればよい。移動検出部１９は移動ベクトルに基づき垂直方向の移動速度および水平方向の移動速度を検出する。 The image pickup apparatus 11 includes a movement detection unit 19 connected to the image signal processor 17 and a height detection unit 20 connected to a subsequent stage. The height detection unit 20 receives the shape and movement vector of the subject as data from the moving object detection unit 19, and calculates the vertical difference between the uppermost position and the lowest position of the subject on the image sensor 12, thereby increasing the height. Detects the height. The movement detection unit 19 receives a video signal from the image signal processor 17. The movement detection unit 19 detects the movement of the image of the subject in the image captured by the image sensor 12. In the detection, the movement detection unit 19 compares the images of the two frames before and after. The two frames may be frames that are continuous in time. The image of the frame may be temporarily stored in a storage device such as a memory. The memory may be built in, for example, the microprocessor unit constituting the movement detection unit 19. The movement detection unit 19 detects the vertical movement speed and the horizontal movement speed based on the movement vector.
移動検出部１９の移動ベクトルおよびその後段に接続される高さ検出部２０の高さの検出にあたって、例えば画像内で複数の特徴点を検出する。一般に、特徴点は、横方向の輪郭および縦方向の輪郭の両方が存在する点のことである。つまり、物体の角である。移動検出部１９は、特徴点の周囲の画像を、前回のフレームの画像と照らし合わせて、類似している箇所を探索する。類似している箇所が現フレームと前フレームで同じであれば、この特徴点は移動していないとみなされる。類似している箇所が異なれば、この特徴点は前のフレームの場所から移動したとみなされる。こうして、移動する像の移動ベクトルは特定される。移動ベクトルの長さは速度Ｅ［ｐｉｘｅｌ／１フレームの時間］とみなされる。高さ検出部２０は特徴点の最上位置と最下位置とに基づき、移動する像の高さＦ［ｐｉｘｅｌ］を特定する。ここで、この特徴点と同じ方向に同程度の速度で移動する特徴点がこの付近に複数あるとき、それらをすべて含む矩形が「移動する像」とみなされる。また、移動ベクトルおよび高さは第２周波数を決定する際に用いられるものであって、精度が高くなくとも画像そのものが崩れるようなことはない。 In detecting the movement vector of the movement detection unit 19 and the height of the height detection unit 20 connected to the subsequent stage, for example, a plurality of feature points are detected in the image. In general, a feature point is a point that has both a horizontal contour and a vertical contour. That is, the corner of the object. The movement detection unit 19 compares the image around the feature point with the image of the previous frame and searches for similar points. If the similarities are the same in the current frame and the previous frame, this feature point is considered not to have moved. If the similarities are different, this feature is considered to have moved from the location of the previous frame. In this way, the moving vector of the moving image is specified. The length of the movement vector is regarded as the velocity E [pixel / time of one frame]. The height detection unit 20 specifies the height F [pixel] of the moving image based on the uppermost position and the lowest position of the feature point. Here, when there are a plurality of feature points in the vicinity that move in the same direction as the feature points at the same speed, a rectangle including all of them is regarded as a "moving image". Further, the movement vector and the height are used when determining the second frequency, and the image itself does not collapse even if the accuracy is not high.
撮像装置１１は、クロック供給部１６およびゲインアンプ１５に接続される制御部２１を備える。制御部２１は、クロック供給部１６に、クロック信号の周波数を指定する制御信号を送信する。制御信号では、例えば、第１周波数と、第１周波数よりも高い第２周波数と、第１周波数よりも低い第３周波数とが指定される。制御部２１は、第１周波数のクロック数で画素数に応じて１フレーム時間を規定する。速度Ｅが大きいほど、また高さＦが高い程、第２周波数を高く指定することにより像の歪みは軽減される。制御部２１は、撮像素子１２で撮像される画像内で移動する被写体の像を含むライン上の画素について制御信号で第１周波数よりも高い第２周波数を指定するとともに、画像内で移動する被写体の像を含むライン以外のライン上の画素について制御信号で第１周波数よりも低い第３周波数を指定して第２周波数および第３周波数で１フレーム時間を構成する。制御部２１は、１フレーム分の電荷の転送完了後に１フレーム時間内に無信号期間（ブランキング期間）を設定する。 The image pickup apparatus 11 includes a clock supply unit 16 and a control unit 21 connected to the gain amplifier 15. The control unit 21 transmits a control signal for designating the frequency of the clock signal to the clock supply unit 16. In the control signal, for example, a first frequency, a second frequency higher than the first frequency, and a third frequency lower than the first frequency are designated. The control unit 21 defines one frame time according to the number of pixels by the number of clocks of the first frequency. As the speed E increases and the height F increases, the distortion of the image is reduced by designating the second frequency higher. The control unit 21 specifies a second frequency higher than the first frequency in the control signal for the pixels on the line including the image of the subject moving in the image captured by the image pickup element 12, and the subject moving in the image. For pixels on a line other than the line containing the image of, a third frequency lower than the first frequency is specified in the control signal, and one frame time is configured by the second frequency and the third frequency. The control unit 21 sets a no-signal period (blanking period) within one frame time after the transfer of charges for one frame is completed.
制御部２１は、第１周波数から第１周波数より高い所定の第２周波数への切り替えた後に、当該第２周波数を所定の時定数で前述の所定の第２周波数から上昇させてもよい。クロック信号の周波数は徐々に変化する。これにより露光時間の短縮は緩和され画面が急激に暗くなる現象は軽減される。この原理について詳述する。第１周波数から第２周波数への切り替えに伴う露光時間について図５に示す。画面上端にある最初の画素の最大の露光時間Ｔ１はその画素の電荷を転送してから、次のフレームの同画素の転送開始までの時間となる。以下同様に像の上部分の露光時間Ｔ２、像の下部分の最大の露光時間Ｔ３、画面下端にある最後の画素の露光時間Ｔ４を定義している。０フレーム目は第１周波数で動作しており、１フレーム目は第２周波数で動作する。第２周波数は第１周波数より周波数が高いため、上記で規定したＴ１と比較し、Ｔ２、Ｔ３、Ｔ４は短くなりＴ１＞Ｔ２＞Ｔ３＞Ｔ４となる。すなわち画像の下に向かって露光時間が短くなり、画像が急激に暗くなる。Ｔ１とＴ２、Ｔ３、Ｔ４の差が大きい程この現象は顕著となる。そこで、第２周波数を除々に（所定の時定数で）上昇させることでＴ１とＴ２、Ｔ３、Ｔ４の差を抑制することが可能となり、画面が急激に暗くなる現象が軽減される。 After switching from the first frequency to a predetermined second frequency higher than the first frequency, the control unit 21 may raise the second frequency from the above-mentioned predetermined second frequency with a predetermined time constant. The frequency of the clock signal changes gradually. As a result, the shortening of the exposure time is alleviated and the phenomenon that the screen suddenly becomes dark is alleviated. This principle will be described in detail. FIG. 5 shows the exposure time associated with the switching from the first frequency to the second frequency. The maximum exposure time T1 of the first pixel at the upper end of the screen is the time from the transfer of the charge of that pixel to the start of transfer of the same pixel in the next frame. Similarly, the exposure time T2 of the upper part of the image, the maximum exposure time T3 of the lower part of the image, and the exposure time T4 of the last pixel at the lower end of the screen are defined. The 0th frame operates at the 1st frequency, and the 1st frame operates at the 2nd frequency. Since the second frequency has a higher frequency than the first frequency, T2, T3, and T4 are shorter than T1 defined above, and T1> T2> T3> T4. That is, the exposure time becomes shorter toward the bottom of the image, and the image becomes dark rapidly. The larger the difference between T1 and T2, T3, and T4, the more remarkable this phenomenon becomes. Therefore, by gradually increasing the second frequency (with a predetermined time constant), it is possible to suppress the difference between T1 and T2, T3, and T4, and the phenomenon that the screen suddenly becomes dark is reduced.
上記動作に代えて、画像信号の増幅により画像が急激に暗くなる現象を回避させてもよい。制御部２１は、ゲインアンプ１５に、増幅率を特定するパラメータ信号を送信する。増幅率を設定するパラメータ信号の値は、制御部２１が撮像素子１２を制御する際に送信している各画素１４の露光時間に反比例して制御部２１で算出されればよい。 Instead of the above operation, the phenomenon that the image suddenly becomes dark due to the amplification of the image signal may be avoided. The control unit 21 transmits a parameter signal for specifying the amplification factor to the gain amplifier 15. The value of the parameter signal for setting the amplification factor may be calculated by the control unit 21 in inverse proportion to the exposure time of each pixel 14 transmitted when the control unit 21 controls the image sensor 12.
図２は画像内に像Ａが存在する状態を表したものである。この画像はローリングシャッター方式で動作する撮像素子１２で撮像されたものである。フレームレートをＲ［ｆｒａｍｅ／ｓｅｃ］、画像の縦方向の画素数をＨ［ｐｉｘｅｌ］、像Ａの高さをＦ［ｐｉｘｅｌ］としている。像Ａの高さＦ［ｐｉｘｅｌ］は高さ検出部２０において前述の方法で算出される。また、このとき最上のラインと最下のラインとの転送の時間差はＦ／（Ｒ×Ｈ）秒となる。また移動検出部１９において前述の方法で算出される被写体の像の速度をＫ［ｐｉｘｅｌ／ｓｅｃ］とすると、像の最上と最下とではずれ量Ｇ＝時間差（Ｆ／（Ｒ×Ｈ））×速度Ｋ＝Ｆ×Ｋ／（Ｒ×Ｈ）［ｐｉｘｅｌ］が生じる。ずれ量Ｇが像Ａの歪みとなる。歪みの抑制にあたって制御部２１は第１周波数に代えて第２周波数を設定する制御信号をクロック供給部１６に送信する。こうして第２周波数に変更される。図３に示されるように、制御部２１で設定される倍率Ｌに応じてクロック信号は第１周波数から第２周波数に高められる。その結果、ずらすタイミングは画素１４と画素１４との間で１／Ｌ倍で短縮される。こうして画素１４の間で露光の時刻の差が縮小されるので、移動する被写体の像の歪みは軽減される。 FIG. 2 shows a state in which the image A exists in the image. This image was taken by the image sensor 12 that operates in the rolling shutter system. The frame rate is R [frame / sec], the number of pixels in the vertical direction of the image is H [pixel], and the height of the image A is F [pixel]. The height F [pixel] of the image A is calculated by the height detection unit 20 by the above method. At this time, the transfer time difference between the highest line and the lowest line is F / (R × H) seconds. Further, assuming that the speed of the image of the subject calculated by the above method in the movement detection unit 19 is K [pixel / sec], the amount of deviation G = time difference (F / (R × H)) between the top and bottom of the image. × Velocity K = F × K / (R × H) [pixel] occurs. The amount of deviation G is the distortion of the image A. In order to suppress distortion, the control unit 21 transmits a control signal for setting a second frequency instead of the first frequency to the clock supply unit 16. In this way, it is changed to the second frequency. As shown in FIG. 3, the clock signal is increased from the first frequency to the second frequency according to the magnification L set by the control unit 21. As a result, the shift timing is shortened by 1 / L times between the pixels 14 and the pixels 14. In this way, the difference in exposure time between the pixels 14 is reduced, so that the distortion of the image of the moving subject is reduced.
また、第１周波数から第２周波数に変更した後、ずれ量Ｇの大きさに応じて第２周波数の値を変更させてもよい。具体的にはずれ量Ｇに比例した値とする。変更にあたっては前述の通り制御部２１がクロック供給部１６に変更に応じた制御信号を送信すればよい。ずれ量Ｇは前述の通り被写体の像の高さＦ、および速度Ｋに比例するため、被写体の像の高さＦが高くなる程、また速度Ｋが大きくなる程、第２周波数は高く変更され、また逆に高さＦ、速度Ｋが小さくなれば、第２周波数は低く変更される。これにより、いかなる被写体の像であっても常に歪みが軽減されることができる。 Further, after changing from the first frequency to the second frequency, the value of the second frequency may be changed according to the magnitude of the deviation amount G. Specifically, the value is proportional to the amount of deviation G. In the change, the control unit 21 may transmit a control signal corresponding to the change to the clock supply unit 16 as described above. Since the deviation amount G is proportional to the height F of the image of the subject and the speed K as described above, the second frequency is changed higher as the height F of the image of the subject increases and the speed K increases. On the contrary, if the height F and the speed K become smaller, the second frequency is changed to be lower. As a result, distortion can always be reduced regardless of the image of any subject.
このとき、１フレームを構成する全ての画素１４の転送時間は１／Ｒ×１／Ｌ秒に短縮される。制御部２１は、画像内で移動する被写体の像を含むライン上の画素について第２周波数に代えて第３周波数を設定する制御信号をクロック供給部１６に送信する。こうして第１周波数、第２周波数および第３周波数で１フレームは構成される。このように不要な区間でクロック周波数を通常よりも下げることができ、ブランキング期間も発生しないので、電力消費の増大を最小限に抑えながら、移動する被写体の像の位置ずれを違和感ない程度に軽減できる。図４に示されるように、画像内で全ての画素ラインに、移動する被写体の像が含まれる場合には、制御部２１は、１フレーム分の電荷の転送完了後に１フレーム時間内にブランキングを設定する。ブランキング期間にも画素１４は電荷を蓄積する（露光を行う）ことができるため、第１周波数と同等に露光時間は確保される。単純にフレームレートが第２周波数に設定される場合に比べて感度の低下は回避されることができる。個々の被写体の像の移動速度や高さに合わせて周波数の倍率Ｌは設定されることができるので、画像全体で一様に高い周波数が設定される場合に比べて、電力消費の増大は抑制されることができる。 At this time, the transfer time of all the pixels 14 constituting one frame is shortened to 1 / R × 1 / L seconds. The control unit 21 transmits to the clock supply unit 16 a control signal for setting a third frequency instead of the second frequency for pixels on the line including an image of a moving subject in the image. In this way, one frame is composed of the first frequency, the second frequency, and the third frequency. In this way, the clock frequency can be lowered more than usual in unnecessary sections, and no blanking period occurs. Therefore, while minimizing the increase in power consumption, the misalignment of the image of the moving subject is not uncomfortable. Can be reduced. As shown in FIG. 4, when all the pixel lines in the image include an image of a moving subject, the control unit 21 blanks within one frame time after the transfer of the charge for one frame is completed. To set. Since the pixel 14 can accumulate electric charges (exposure) even during the blanking period, the exposure time is secured in the same manner as the first frequency. A decrease in sensitivity can be avoided as compared with the case where the frame rate is simply set to the second frequency. Since the frequency magnification L can be set according to the moving speed and height of the image of each subject, the increase in power consumption is suppressed as compared with the case where a uniformly high frequency is set for the entire image. Can be done.
本実施形態では、撮像素子１２は、画像内で移動する被写体が検出されなければ、第１周波数のクロック信号に同期して画素ごとに電荷を順次転送し、１フレームを形成する。画像内で移動する被写体の像が検出されると、撮像素子１２は、移動する被写体の像を含むライン上の画素について第２周波数のクロック信号に同期して画素ごとに電荷を順次転送し、移動する被写体の像を含む画素ライン以外のライン上の画素について、第３周波数のクロック信号に同期して画素ごとに電荷を順次転送し、１フレームを形成する。移動する被写体の像を含むライン上の画素について、第１周波数よりも高い第２周波数に基づき電荷の転送は実施されるので、撮像素子で撮像される画像内で（水平方向および垂直方向を含む）どの方向に被写体の像が移動しても、常に第１周波数で動作する場合と比較し、画素の間で露光の時間差が縮小され、移動する被写体の像の歪みは軽減される。 In the present embodiment, if the moving subject in the image is not detected, the image sensor 12 sequentially transfers the electric charge for each pixel in synchronization with the clock signal of the first frequency to form one frame. When the image of the moving subject is detected in the image, the image sensor 12 sequentially transfers the charge for each pixel on the line containing the moving subject image in synchronization with the clock signal of the second frequency. For pixels on a line other than the pixel line including an image of a moving subject, the charge is sequentially transferred for each pixel in synchronization with the clock signal of the third frequency to form one frame. For pixels on the line containing an image of a moving subject, charge transfer is performed based on a second frequency higher than the first frequency, so that in the image captured by the image sensor (including horizontal and vertical directions). ) Regardless of the direction in which the image of the subject moves, the time difference in exposure between the pixels is reduced and the distortion of the moving subject image is reduced as compared with the case where the image of the subject always operates at the first frequency.
１１…撮像装置、１２…撮像素子、１４…画素、１６…クロック供給部、１９…移動検出部、２０…高さ検出部、２１…制御部。 11 ... Image pickup device, 12 ... Image sensor, 14 ... Pixel, 16 ... Clock supply unit, 19 ... Movement detection unit, 20 ... Height detection unit, 21 ... Control unit.
Claims (5)
前記撮像素子で撮像される画像内で被写体の像の移動を検出する移動検出部と、
第１周波数のクロック信号に同期して電荷を転送し、１フレーム分の電荷の転送を第１時間で完了させる際に、前記撮像素子で撮像される画像内で移動する被写体の像を含むライン上の画素について前記第１周波数よりも高い第２周波数のクロック信号に同期して電荷を転送し、前記画像内で移動する前記被写体の前記像を含む前記ライン以外のライン上の画素について第１周波数よりも低い第３周波数のクロック信号に同期して電荷を転送する制御部とを備え、
１フレームの電荷の転送の開始から、次の１フレームの電荷の転送開始までの時間を前記第１時間とすることを特徴とする撮像装置。 An image pickup device equipped with an image pickup device that sequentially transfers charges for each pixel in synchronization with a clock signal.
A movement detection unit that detects the movement of the image of the subject in the image captured by the image sensor, and
A line containing an image of a moving subject in an image captured by the image sensor when the charge is transferred in synchronization with the clock signal of the first frequency and the transfer of the charge for one frame is completed in the first time. For the upper pixel, the charge is transferred in synchronization with the clock signal of the second frequency higher than the first frequency, and the first pixel on the line other than the line including the image of the subject moving in the image. It is equipped with a control unit that transfers charges in synchronization with a clock signal of a third frequency lower than the frequency.
An imaging device characterized in that the time from the start of charge transfer in one frame to the start of charge transfer in the next one frame is the first time.
The imaging device according to claim 2 or 3, wherein the control unit sets a gain for each pixel according to the second frequency.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017061644A JP6817542B2 (en) | 2017-03-27 | 2017-03-27 | Imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017061644A JP6817542B2 (en) | 2017-03-27 | 2017-03-27 | Imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018164234A JP2018164234A (en) | 2018-10-18 |
| JP6817542B2 true JP6817542B2 (en) | 2021-01-20 |
Family
ID=63860333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017061644A Active JP6817542B2 (en) | 2017-03-27 | 2017-03-27 | Imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6817542B2 (en) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006148861A (en) * | 2004-10-21 | 2006-06-08 | Matsushita Electric Ind Co Ltd | Image signal processing device and method |
| JP5387341B2 (en) * | 2009-11-05 | 2014-01-15 | 株式会社ニコン | Imaging device |
-
2017
- 2017-03-27 JP JP2017061644A patent/JP6817542B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018164234A (en) | 2018-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9432606B2 (en) | Image pickup apparatus including image pickup element having image pickup pixel and focus detection pixel and signal processing method | |
| JP6944846B2 (en) | Imaging device, control method of imaging device | |
| JP5480175B2 (en) | Solid-state electronic imaging device and operation control method thereof | |
| US20080079814A1 (en) | Imaging apparatus, control method thereof, and imaging system | |
| US9544512B2 (en) | Image capturing apparatus and method of reading out pixel signals from an image sensor | |
| US10645320B2 (en) | Image pickup apparatus, control method for image pickup apparatus, and computer-readable non-transitory recording medium in which control program for image pickup apparatus is recorded | |
| US10582113B2 (en) | Image pickup device, image pickup apparatus, image pickup apparatus control method and computer-readable non-transitory recording medium in which processing program is recorded | |
| JP6336286B2 (en) | IMAGING DEVICE, IMAGING SYSTEM, IMAGING DEVICE CONTROL METHOD, AND IMAGING DEVICE HAVING IMAGING DEVICE | |
| US20080316333A1 (en) | Imaging apparatus, imaging method, program, and integrated circuit | |
| US20200288052A1 (en) | Image capturing device for auto exposure | |
| JPWO2014041845A1 (en) | Imaging apparatus and signal processing method | |
| JPWO2012147515A1 (en) | Imaging apparatus and imaging method | |
| US8169494B2 (en) | Image sensing apparatus and method of controlling image sensing apparatus | |
| JP2021044623A (en) | Imaging apparatus and control method for the same | |
| JP2009135713A (en) | Method and device for correcting image distortion generated by blurring of imaging apparatus | |
| JP6817542B2 (en) | Imaging device | |
| JP2016058877A (en) | Imaging apparatus and control method thereof | |
| JP6235788B2 (en) | Imaging apparatus and control method thereof | |
| US11202024B2 (en) | Imaging apparatus, imaging method, and storage medium | |
| JPWO2018021034A1 (en) | Imaging control apparatus, imaging control method, and imaging device | |
| JP7234015B2 (en) | Imaging device and its control method | |
| JP2018148444A (en) | Imaging apparatus | |
| JP6433276B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
| WO2023218980A1 (en) | Imaging device, sensor chip, and processing circuit | |
| JP7020463B2 (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200228 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201125 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201208 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6817542 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |