JP6995806B2 - Image sensor and image sensor - Google Patents
Image sensor and image sensor Download PDFInfo
- Publication number
- JP6995806B2 JP6995806B2 JP2019156816A JP2019156816A JP6995806B2 JP 6995806 B2 JP6995806 B2 JP 6995806B2 JP 2019156816 A JP2019156816 A JP 2019156816A JP 2019156816 A JP2019156816 A JP 2019156816A JP 6995806 B2 JP6995806 B2 JP 6995806B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image pickup
- signal
- unit
- evaluation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 claims description 186
- 238000003384 imaging method Methods 0.000 claims description 58
- 238000006243 chemical reaction Methods 0.000 claims description 40
- 230000003287 optical effect Effects 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000003705 background correction Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 43
- 238000001514 detection method Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 17
- 230000007246 mechanism Effects 0.000 description 17
- 238000000034 method Methods 0.000 description 17
- 230000006835 compression Effects 0.000 description 14
- 238000007906 compression Methods 0.000 description 14
- 230000006837 decompression Effects 0.000 description 11
- 238000012546 transfer Methods 0.000 description 11
- 238000005259 measurement Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000003321 amplification Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 230000006866 deterioration Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Exposure Control For Cameras (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Studio Devices (AREA)
- Stroboscope Apparatuses (AREA)
Description
本発明は、撮像素子および当該撮像素子を備える撮像装置に関する。 The present invention relates to an image pickup device and an image pickup device including the image pickup device.
撮像装置によって撮像された信号を用いて画像評価及び画像表示を行う技術がある。例えば、特許文献1では、ライブビュー表示のための撮像用信号を読み出すライブビュー用読み出しモードを備え、さらに、焦点検出用信号および自動露光用測光情報に用いるための撮像用信号を撮像素子から読み出す焦点検出・自動露光用読み出しモードを備えている。そして、これら読み出しモードをフレーム毎に循環的に繰り返して行っている。
There is a technique for performing image evaluation and image display using a signal captured by an image pickup device. For example,
ところが、特許文献1においては、画素単位で撮像素子から画像信号(つまり、電荷)を読み出すため、電荷の転送に時間が掛かってしまうばかりでなく、転送データ量が多くなって消費電力が増大する。
However, in
さらに、撮像素子の出力である画像信号は別の制御装置などによって画像信号処理されることになるので、転送データ量が多いと、制御装置における処理負荷が増大してしまう。 Further, since the image signal output from the image sensor is processed by another control device or the like, if the amount of transfer data is large, the processing load on the control device increases.
加えて、特許文献1においては、画素部に焦点信号検出用画素が設けられているため、不可避的に撮像信号用画素のエリアが小さくなってしまい、焦点信号検出用画素は撮像信号(画像信号)を得る際には用いられないので、画質が低下する。
In addition, in
そこで、本発明の目的は、データ転送時間を短縮するとともに画質が低下することを抑えることのできる撮像素子および当該撮像素子を備える撮像装置を提供することにある。 Therefore, an object of the present invention is to provide an image pickup element capable of shortening the data transfer time and suppressing deterioration of image quality, and an image pickup device provided with the image pickup element.
上記目的を達成するため、本発明による撮像素子は、第1の素子部と第2の素子部とが互いに積層された撮像素子であって、前記第1の素子部にマトリックス状に形成された複数の画素と、前記複数の画素の出力信号をデジタル信号に変換する複数のAD変換部と、前記第2の素子部に形成され、前記複数のAD変換部の第1のAD変換部により変換された第1のデジタル信号に基づいてオートフォーカス制御に用いるフォーカス評価値を生成する評価値生成部と、前記複数のAD変換部の前記第1のAD変換部とは異なる第2のAD変換部により変換された第2のデジタル信号を画像表示のための画像信号として前記撮像素子の外部に出力する画像信号出力部と、前記フォーカス評価値を前記画像表示のための画像信号とは独立して前記撮像素子の外部に出力する評価値出力部と、を有し、前記フォーカス評価値を生成するために用いられる前記第1のデジタル信号は、前記第1のAD変換部から前記評価値生成部に入力され、前記画像表示のための画像信号として出力される前記第2のデジタル信号は、前記第2のAD変換部から前記評価値生成部に入力されずに前記画像信号出力部により前記撮像素子の外部に出力されることを特徴とする。 In order to achieve the above object, the image pickup device according to the present invention is an image pickup device in which a first element portion and a second element portion are laminated on each other, and is formed in a matrix on the first element portion. It is formed in a plurality of pixels, a plurality of AD conversion units that convert the output signals of the plurality of pixels into digital signals, and the second element unit, and is converted by the first AD conversion unit of the plurality of AD conversion units. An evaluation value generation unit that generates a focus evaluation value used for autofocus control based on the first digital signal, and a second AD conversion unit that is different from the first AD conversion unit of the plurality of AD conversion units. The image signal output unit that outputs the second digital signal converted by the image sensor to the outside of the image sensor as an image signal for image display, and the focus evaluation value independently of the image signal for image display. The first digital signal, which has an evaluation value output unit that outputs to the outside of the image pickup device and is used to generate the focus evaluation value, is the evaluation value generation unit from the first AD conversion unit. The second digital signal, which is input to and output as an image signal for displaying the image, is not input from the second AD conversion unit to the evaluation value generation unit, but is imaged by the image signal output unit. It is characterized in that it is output to the outside of the element.
また、本発明による撮像素子は、第1の素子部と第2の素子部とが互いに積層された撮像素子であって、前記第1の素子部にマトリックス状に形成された複数の画素と、前記複数の画素の出力信号をデジタル信号に変換する複数のAD変換部と、前記第2の素子部に形成され、前記複数のAD変換部の第1のAD変換部により変換された第1のデジタル信号に基づいて撮像制御情報を生成する制御情報生成部と、前記複数のAD変換部の前記第1のAD変換部とは異なる第2のAD変換部により変換された第2のデジタル信号を画像表示のための画像信号として前記撮像素子の外部に出力する画像信号出力部と、前記撮像制御情報を前記画像表示のための画像信号とは独立して前記撮像素子の外部に出力する制御情報出力部と、を有し、前記撮像制御情報を生成するために用いられる前記第1のデジタル信号は、前記第1のAD変換部から前記制御情報生成部に入力され、前記画像表示のための画像信号として出力される前記第2のデジタル信号は、前記第2のAD変換部から前記制御情報生成部に入力されずに前記画像信号出力部により前記撮像素子の外部に出力されることを特徴とする。 Further, the image pickup device according to the present invention is an image pickup device in which a first element portion and a second element portion are laminated on each other, and a plurality of pixels formed in a matrix on the first element portion. A first AD conversion unit formed in the second element unit and converted by the first AD conversion unit of the plurality of AD conversion units, and a plurality of AD conversion units that convert the output signals of the plurality of pixels into digital signals. A control information generation unit that generates image pickup control information based on a digital signal, and a second digital signal converted by a second AD conversion unit different from the first AD conversion unit of the plurality of AD conversion units. An image signal output unit that outputs an image signal for image display to the outside of the image sensor, and control information that outputs the image pickup control information to the outside of the image sensor independently of the image signal for image display. The first digital signal having an output unit and used for generating the image pickup control information is input from the first AD conversion unit to the control information generation unit, and is used for displaying the image. The second digital signal output as an image signal is not input from the second AD conversion unit to the control information generation unit, but is output to the outside of the image pickup device by the image signal output unit. And.
本発明によれば、撮像素子からのデータ転送時間を短縮して、しかも画質の低下を回避することができる。 According to the present invention, it is possible to shorten the data transfer time from the image sensor and avoid deterioration of image quality.
以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。 Hereinafter, an example of the image pickup apparatus according to the embodiment of the present invention will be described with reference to the drawings.
[第1の実施形態]
図1は、本発明の第1の実施形態による撮像装置の一例についてその構成を示すブロック図である。図示の撮像装置は、例えば、動画機能付き電子スチルカメラ又はビデオカメラに適用される。
[First Embodiment]
FIG. 1 is a block diagram showing a configuration of an example of an image pickup apparatus according to the first embodiment of the present invention. The illustrated image pickup device is applied to, for example, an electronic still camera with a moving image function or a video camera.
撮像装置100は、光学鏡筒101、撮像素子102、駆動回路103、信号処理部104、圧縮伸長部105、制御部106、発光部107、操作部108、画像表示部109、および画像記録部110を有している。
The
光学鏡筒101は、レンズユニット(図示せず、以下単にレンズと呼ぶ)および光学機構部1011を備えている。レンズは被写体からの光(光学像)を撮像素子102に集光する(つまり、結像する)。図示はしないが、光学機構部1011はAF機構、ズーム駆動機構、メカニカルシャッタ機構、および絞り機構など有している。そして、光学機構部1011は制御部106から制御下で駆動回路103によって駆動される。
The
撮像素子102は、後述する画素部201およびA/Dコンバータ(図示せず)を有し、例えば、所謂XY読み出し方式のCMOS型イメージセンサである。そして、撮像素子102は制御部106の制御下で動作する駆動回路103によって、露光、信号読み出し、およびリセットなどの撮像動作を行って、撮像信号(画像信号ともいう)を出力する。
The
撮像素子102には、AF評価値検出部1021が備えられており、このAF評価値検出部1021は撮像素子102で得られる画像信号に応じて得られるコントラスト情報および位相差情報に基づいて、制御部106で制御されるタイミングでAF評価値(オートフォーカス評価値)を検出する。そして、AF評価値検出部1021は当該AF評価値を制御部106に出力する。
The
信号処理部104は、制御部106の制御下で、撮像素子102の出力である画像信号に対して、ホワイトバランス調整処理、色補正処理、およびAE(Auto Exposure)処理などの信号処理を施して画像データとして出力する。
Under the control of the
圧縮伸長部105は、制御部106の制御下で動作し、信号処理部104の出力である画像データに対して、JPEG(Joint Photographic Coding Experts Group)方式などの所定の静止画像データフォーマットによって圧縮符号化処理を行う。また、圧縮伸長部105は制御部106から送られた符号化画像データを伸長復号化処理する。
The compression /
なお、圧縮伸長部105は、MPEG(Moving Picture Experts Group)方式などによって動画像データについて圧縮符号化/伸長復号化処理を行うようにしてもよい。
The compression /
制御部106は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、およびRAM(Random Access Memory)などを備えるマイクロコントローラである。そして、CPUがROMに記憶されたプログラムを実行することによって、撮像装置100全体を統括的に制御する。
The
発光部107は、信号処理部104によるAE処理によって被写体の露光値が低いと判定されると、被写体に対して光を照射して照明を行う。発光部107として、例えば、キセノン管を用いたストロボ装置又はLED発光装置が用いられる。
When the
操作部108は、例えば、シャッタレリーズボタンなどの各種操作キー、レバー、およびダイヤルを有し、ユーザの入力操作に応じた操作信号を制御部106に与える。
The
画像表示部109は、例えば、LCD(Liquid Crystal Display)などの表示デバイスおよびLCDに対するインタフェース回路を備え、制御部106から送られた画像データに応じた画像を表示デバイスに表示する。
The
画像記録部110は、例えば、可搬型の半導体メモリ、光ディスク、HDD(Hard Disk Drive)、又は磁気テープなどの記録媒体であり、圧縮伸長部105により圧縮符号化された画像データを画像ファイルとして記憶する。また、画像記録部110は制御部106によって指定された画像ファイルを読み出して制御部106に出力する。
The
ここで、図1に示す撮像装置100の基本的な動作について説明する。
Here, the basic operation of the
例えば、静止画像を撮影する際には、その撮像前において、撮像素子102では画素201から出力された画像信号を順次CDS処理およびAGC処理を施した後、A/Dコンバータでデジタル画像信号に変換される。そして、このデジタル画像信号はAF評価検出部1021および信号処理部104に出力される。
For example, when a still image is taken, the
AF評価値検出部1021は、デジタル画像信号から得られるコントラスト情報に応じてAF評価値(制御情報)を算出して、当該AF評価値を制御部106に出力する。制御部106はAF評価値に基づいて光学機構部1011の制御量を決定し、この制御量に応じて駆動回路103を制御する。これによって、光学機構部1011が駆動回路103によって駆動される。
The AF evaluation
信号処理部104は、上記のデジタル画像信号に対して、例えば、画質補正処理を施してカメラスルー画像信号を生成して、当該カメラスルー信号を制御部106を介して画像表示部108に送る。これによって、画像表示部108はカメラスルー画像信号に応じたカメラスルー画像を表示し、ユーザはカメラスルー画像を目視しつつ画角合わせを行うことができる。
The
この状態で、操作部108のシャッタレリーズボタンが押下されると、制御部106の制御によって、撮像素子102からの1フレーム分の撮像信号(デジタル画像信号)が信号処理部104に取り込まれる。信号処理部104は当該1フレーム分のデジタル画像信号に画質補正処理を施して、処理後のデジタル画像信号(画像データ)を圧縮伸長部105に送る。
In this state, when the shutter release button of the
圧縮伸長部105は画像データ圧縮符号化して、符号化画像データを制御部106を介して画像記録部110に送る。これによって、撮像された静止画像に係る画像ファイルが画像記録部110に記録される。
The compression /
画像記録部110に記録された画像ファイルを再生する際には、制御部106は、操作部108からの操作入力に応じて選択された画像ファイルを画像記録部110から読み込む。そして、制御部106は当該画像ファイルを圧縮伸長部105に送って、圧縮伸長部105に伸長復号化処理を実行させる。
When reproducing the image file recorded in the
復号化された画像データは制御部106を介して画像表示部109に送られる。これによって、画像表示部109には画総データに応じた静止画像が再生表示される。
The decoded image data is sent to the
動画像データを記録する際には、制御部106の制御によって撮像素子102から出力されたデジタル画像信号が信号処理部104に取り込まれる。信号処理部104において順次処理された画像データは圧縮伸長部105で圧縮符号化処理される。そして、圧縮伸長部105から符号化動画像データが順次画像記録部110に転送されて動画像ファイルとして記録される。
When recording the moving image data, the digital image signal output from the
画像記録部110に記録された動画像ファイルを再生する際には、制御部106は、操作部108からの操作入力に応じて、選択された動画像ファイルを画像記録部110から読み込む。そして、制御部106は当該動画像ファイルを圧縮伸長部105に送って、圧縮伸長部105に伸長復号化処理を実行させる。復号化された動画像データは制御部106を介して画像表示部109に送られる。これによって、画像表示部109には動画像データに応じた動画像が再生表示される。
When reproducing the moving image file recorded in the
ここで、従来の撮像装置における撮像画像から評価値を算出しつつ、表示画像を表示する技術とその課題について説明する。従来、撮像装置においてフォーカス制御に用いる被写体の位置情報を得る際には、撮像素子から出力される画像信号に応じて当該位置情報を得ている。また、被写体を示す光信号を専用の検出装置に直接入力して、当該光信号が示す画像における位相差に応じて位置情報を得ることも行われている。そして、画像信号に応じて位置情報を得る場合には、専用の検出装置が不要となる点で、撮像装置を小型化することができる。 Here, a technique for displaying a display image and a problem thereof will be described while calculating an evaluation value from an image captured by a conventional image pickup device. Conventionally, when obtaining the position information of a subject used for focus control in an image pickup device, the position information is obtained according to an image signal output from an image pickup device. Further, an optical signal indicating a subject is directly input to a dedicated detection device, and position information is obtained according to a phase difference in an image indicated by the optical signal. When the position information is obtained according to the image signal, the image pickup device can be miniaturized in that a dedicated detection device is not required.
図10は、従来の撮像装置においてライブビューの際のオートフォーカス撮像動作(AF評価撮像)のタイミングを説明するための図である。 FIG. 10 is a diagram for explaining the timing of an autofocus imaging operation (AF evaluation imaging) during live view in a conventional imaging device.
従来の撮像装置においては、垂直同期信号(Vertical Driving Pulse:VD)によって撮像タイミングが規定されており、AF制御信号がオンとなると、ライブビュー撮像期間後のVDに応じてAF評価像が撮像される。そして、AF制御信号がオフとなると、再びライブビュー撮像期間となる。 In the conventional image pickup device, the image pickup timing is defined by the vertical synchronization signal (Vertical Driving Pulse: VD), and when the AF control signal is turned on, the AF evaluation image is imaged according to the VD after the live view image pickup period. To. Then, when the AF control signal is turned off, the live view imaging period is entered again.
このように、ライブビュー用画像を得るライブビュー撮像期間とAF評価用画像を得るAF動作期間とは時間軸に沿ってシリアルに存在するので、ライブビュー用画像とAF評価用画像を同時に撮像することはできない。 As described above, since the live view imaging period for obtaining the live view image and the AF operation period for obtaining the AF evaluation image exist serially along the time axis, the live view image and the AF evaluation image are simultaneously imaged. It is not possible.
このため、図示のようにライブビュー期間(フレーム)の間に位置するAF動作期間でAF評価用画像を撮像することになって、ライブビュー用画像とAF評価用画像との間にタイムラグが存在する。 Therefore, as shown in the figure, the AF evaluation image is captured during the AF operation period located during the live view period (frame), and there is a time lag between the live view image and the AF evaluation image. do.
加えて、AF評価用画像を撮像する際においてもライブビュー表示は行われるものの、この際には、AF評価用画像に応じてライブビュー表示が行われる。そして、図10に示すように、AF評価用画像を撮像する際には、ライブビュー撮像期間よりもフレームレートが高くされるため、撮像素子の読み出しにおいては間引き率が高くなり、不可避的に画質が低くなってしまう。この点を回避するため、例えば、撮像素子の画素部に焦点信号検出用画素を撮像信号用画素とは別に設けるようにしたものもある。 In addition, although the live view display is performed when the AF evaluation image is captured, the live view display is performed according to the AF evaluation image. Then, as shown in FIG. 10, when the AF evaluation image is imaged, the frame rate is higher than the live view image pickup period, so that the thinning rate is high when the image sensor is read out, and the image quality is inevitably improved. It will be low. In order to avoid this point, for example, there is a case where a focal signal detection pixel is provided separately from the image pickup signal pixel in the pixel portion of the image pickup device.
本実施形態では、上記課題に鑑み、図2に示すような撮像素子102の構成をもって、画像信号から得られる評価値あるいは評価値に基づく制御情報を表示用の画像信号と並行して生成し、処理時間の短縮および処理負荷の軽減を図る。
In the present embodiment, in view of the above problems, with the configuration of the
図2は、図1に示す撮像素子102の構成を説明するための図である。そして、図2(a)はその構造を示す斜視図であり、図2(b)はその構成を示すブロック図である。
FIG. 2 is a diagram for explaining the configuration of the
図2(a)において、撮像素子102は第1のチップ(画素部)20および第2のチップ21を有しており、第2のチップ(第2の素子部)21上に第1のチップ(第1の素子部)20が積層されている。第1のチップ20はマトリックス状に配列された複数の画素201を有しており、第1のチップ20は光入射側に配置されている(つまり、光学像の受光側に位置している)。
In FIG. 2A, the
第2のチップ21は後述する列走査回路213-aおよび213-bと行走査回路212などの画素駆動回路が形成されるとともに、前述のAF評価値検出部(制御情報生成部)1021が形成されている。
In the
このように、第1のチップ20に画素201を形成し、第2のチップ21に画素駆動回路およびAF評価値検出部1021を形成すれば、撮像素子102の周辺回路および画素部の製造プロセスを分けることができ、周辺回路における配線の細線化、高密度化による高速化、小型化、および高機能化を図ることができる。
In this way, if the
図2(b)に示すように、第1のチップ20において、画素201はマトリクス状に配列されており、画素201は水平方向(行方向)において転送信号線203、リセット信号線204、および行選択信号線205に接続され、垂直方向(列方向)において列信号線202-aおよび202-bに接続されている。なお、列信号線202-aおよび202-bの各々は読み出し行単位に応じて接続先が異なる。
As shown in FIG. 2B, in the
図示のように、画素201の各々は、光電変換素子であるフォトダイオードPD、転送トランジスタM1、リセットトランジスタM2、増幅トランジスタM3、選択トランジスタM4、フローティングディフュージョンFDを有している。
As shown in the figure, each of the
なお、図示の例では、トランジスタの各々はnチャネルMOSFET(MOS Field-Effect Transistor)である。 In the illustrated example, each of the transistors is an n-channel MOSFET (MOS Field-Effective Transistor).
転送トランジスタM1、リセットトランジスタM2、および選択トランジスタM4のゲートには、それぞれ転送信号線203、リセット信号線204、および行選択信号線205が接続されている。これら信号線203~205は水平方向に延在し、同一行の画素が同時に駆動される。これによってライン順次動作型のローリングシャッタの動作を制御して、所定の行毎に露出時間を変えて撮像することができる。又は全行同時動作型のグローバルシャッタの動作を制御することができる。さらに、選択トランジスタM4のソースには列信号線202-a又は202-bが行単位で接続されている。
A
フォトダイオードPDは、光電変換によって生成された電荷を蓄積する。そして、フォトダイオードPDのP側が接地され、N側が転送トランジスタM1のソースに接続されている。転送トランジスタM1がオンすると、フォトダイオードPDの電荷がFDに転送され、FDには寄生容量が存在するので、FDに転送された電荷が蓄積される。 The photodiode PD stores the charge generated by the photoelectric conversion. Then, the P side of the photodiode PD is grounded, and the N side is connected to the source of the transfer transistor M1. When the transfer transistor M1 is turned on, the electric charge of the photodiode PD is transferred to the FD, and since the FD has a parasitic capacitance, the electric charge transferred to the FD is accumulated.
増幅トランジスタM3のドレインには電源電圧Vddが印加され、そのゲートはFDに接続されている。増幅トランジスタM3は、FDの電荷(つまり、電圧)を増幅して電圧信号に変換する。選択トランジスタM4は、信号を読み出す画素を行単位で選択するためのものであり、そのドレインは増幅トランジスタM3のソースに接続されている。また、選択トランジスタM4のソースは列信号線202に接続されている。
A power supply voltage Vdd is applied to the drain of the amplification transistor M3, and its gate is connected to the FD. The amplification transistor M3 amplifies the charge (that is, voltage) of the FD and converts it into a voltage signal. The selection transistor M4 is for selecting the pixel for reading the signal in line units, and its drain is connected to the source of the amplification transistor M3. Further, the source of the selection transistor M4 is connected to the
選択トランジスタM4がオンすると、FDの電圧に対応する電圧信号が列信号線202に出力される。リセットトランジスタM2のドレインには電源電圧Vddが印加され、そのソースはFDに接続されている。リセットトランジスタM2のオンによって、FDの電圧は電源電圧Vddにリセットされる。
When the selection transistor M4 is turned on, a voltage signal corresponding to the voltage of the FD is output to the
第2のチップ21には、カラムADCブロック211が備えられており、カラムADC211は列信号線202-a又は202-bに接続されている。さらに、第2のチップ21には、行走査回路212、列走査回路213-aおよび213-b、タイミング制御回路214、水平信号線(出力手段)215-aおよび215-b、切替スイッチ216、フレームメモリ217、およびAF評価値検出部1021が備えられている。
The
タイミング制御回路214は制御部106の制御下で行走査回路212、列走査回路213-aおよび213-b、およびカラムADCブロック211の動作タイミングを制御する。行走査回路212は各行の走査を行い、列走査回路213aおよび213bはそれぞれ各列の走査を行う。
The
水平信号線215-aおよび215-bは、それぞれ列走査回路213-aおよび213-bで制御されるタイミングに応じてカラムADCブロック211の出力信号(画像信号)を転送する。フレームメモリ217は水平信号線215-bから出力される画像信号を一時的に記憶する。AF評価値検出部1021はフレームメモリ217に記憶された画像信号に応じてAF評価値して、当該AF評価値を制御部106に送る。
The horizontal signal lines 215-a and 215-b transfer the output signal (image signal) of the column ADC block 211 according to the timing controlled by the column scanning circuits 213-a and 213-b, respectively. The
切替スイッチ216は水平信号線215-bに出力される画像信号をAF評価値検出部1021および信号処理部104のいずれか一方に選択的に出力するためのスイッチである。なお、水平信号線215-aに転送された画像信号は信号処理部104に与えられる。
The
図3は、図2に示す第1のチップ20において列信号線202-a又は202-bにおける画素選択を説明するための図である。図3においては、6行×8列の画素部が示されており、ここでは各画素はベイヤ配列されている。
FIG. 3 is a diagram for explaining pixel selection in the column signal lines 202-a or 202-b in the
図1に示す操作部108の操作によってフォーカス制御モードになると、制御部106はライブビュー用撮像(第2の撮像モード)およびAF評価値検出用撮像(第1の撮像モード)を同時に行うことができるように、撮像素子102における読み出し行を分ける(つまり、切替スイッチ216を切替制御して、水平信号線215-bをフレームメモリ217に接続する)。
When the focus control mode is set by the operation of the
これによって、ライブビュー用の画像信号(第2の画像信号、つまり、画像表示信号)は列信号線202-aに出力され、AF評価検出用の画像信号(第1の画像信号)は列信号線202-bに出力される。 As a result, the image signal for live view (second image signal, that is, the image display signal) is output to the column signal line 202-a, and the image signal for AF evaluation detection (first image signal) is the column signal. It is output to line 202-b.
図3において、行番号1および2はAF評価値検出用撮像のための行(第1の画素群)であり、行番号3~8はライブビュー用撮像のための行(第2の画素群)である。図示の例では、読み出し走査が行単位で順次行われて、8行単位で繰り返し読み出し走査が行われることになる。
In FIG. 3,
AF評価値検出用撮像では、フレームレート重視のため垂直同色4画素中3画素(4ライン中3ライン)を間引き読み出しする。一方、ライブビュー用撮像では、画質重視のため、残りの垂直同色4画素中1画素(4ライン中1ライン)を間引き3画素を加算する。言い換えると、AF評価値検出用撮像においては、第1の画素群を第1のフレームレートで読み出しを行う。そして、ライブビュー用撮像では第2の画素群を第1のフレームレートよりも遅い第2のフレームレートで読み出しを行う。 In the imaging for AF evaluation value detection, 3 pixels out of 4 pixels of the same vertical color (3 lines out of 4 lines) are thinned out and read out in order to emphasize the frame rate. On the other hand, in live view imaging, in order to emphasize image quality, 1 pixel out of the remaining 4 pixels of the same vertical color (1 line out of 4 lines) is thinned out and 3 pixels are added. In other words, in the AF evaluation value detection imaging, the first pixel group is read out at the first frame rate. Then, in the live view imaging, the second pixel group is read out at a second frame rate slower than the first frame rate.
上述のように、選択行毎にAF走査用撮像とライブビュー用撮像とを分けることによって、異なる電荷蓄積時間でデータサイズの異なるフレームレートの画像信号を取得することが可能となる。 As described above, by separating the AF scanning image pickup and the live view image pickup for each selected row, it is possible to acquire image signals having different frame rates with different data sizes at different charge accumulation times.
次に列信号線202-aおよび202-bに出力された電圧信号(アナログ信号)は、図2に示すカラムADCブロック211においてアナログ信号からデジタル信号(画像信号)に変換される。カラムADCブロック211の出力である画像信号は、列走査回路213-a又は213-bによってカラムADCブロック211から水平信号線215-a又は215-bに読み出される。水平信号線215-aに読み出された画像信号は信号処理部104に送られる。一方、水平信号線215-bに読み出された画像信号は、スイッチ216に出力され、制御部106の制御に応じて信号処理部104又はフレームメモリ217に出力される。なお、切替スイッチ216による切り替えはフレーム単位で行われる。このとき、静止画などの撮影では間引くことなく画素信号を読み出すことから、スイッチ216は信号処理部104に繋ぐ経路にスイッチする。
Next, the voltage signals (analog signals) output to the column signal lines 202-a and 202-b are converted from analog signals to digital signals (image signals) in the column ADC block 211 shown in FIG. The image signal, which is the output of the
一方、AF評価モード(つまり、オートフォーカス制御モード)の際には、水平信号線215-bから切替スイッチ216を介してフレームメモリ217に画像信号が記録され、AF評価値検出部1021はフレームメモリ217に記録された画像信号におけるコントラスト情報に基づいてAF評価値を検出する。AF評価値は被写体のフォーカス情報として、コントラスト情報、もしくは光学機構部1011内のAF機構部におけるデフォーカス移動量やAF機構部の制御情報で構成され、多画素のAF評価値用画像データと比較すると、データ量として十分に小さい。このAF評価値はAF評価値検出部1021から制御部106に送られる。
On the other hand, in the AF evaluation mode (that is, the autofocus control mode), an image signal is recorded in the
このように、本実施形態においてAF評価値検出部1021がチップ21内に組み込まれているのは、省電力と高速処理、低コスト設計のためである。チップ21と、信号処理部104もしくは制御部106は、それぞれ別基板などに配置されることが多く、チップ間の通信に当たっては配線の抵抗成分や容量成分が多くなる。そのため、同一チップ内の配線による通信に比べて低速になるか、高速な信号を送出するには信号波形品質を保つためアンプで駆動する必要があるなど、駆動電力を上げなければならない。
As described above, the AF evaluation
一方、同一半導体チップ上にAF評価値検出部1021があることで画像データの出力配線が短く済み、アンプの配置も省ける。加えて、AF評価値自体もデータ量が少ないため、撮像素子102と制御部106との通信時間が短くなるため、消費電力の低下を図ることができる。
On the other hand, since the AF evaluation
以下の説明では、撮像の際、列信号線202-aおよび水平信号線215-aによる出力経路をチャンネルCh1と呼び、列信号線202-bおよび水平信号線215-bによる出力経路をチャンネルCh2と呼ぶ。 In the following description, in the case of imaging, the output path by the column signal line 202-a and the horizontal signal line 215-a is referred to as channel Ch1, and the output path by the column signal line 202-b and the horizontal signal line 215-b is referred to as channel Ch2. Called.
図4は、図1に示すカメラ100におけるAF評価モードの際の撮像タイミングを説明するためのタイミング図である。
FIG. 4 is a timing diagram for explaining the imaging timing in the AF evaluation mode in the
図示のように、垂直同期信号(VD)によって撮像タイミングが規定されており、AF評価モードとなると、制御部106は時間T0の垂直同期信号VDの立下りでAF制御信号、チャンネルCh1を用いたライブビュー撮像とチャンネルCh2を用いたAF評価用撮像とを同時に開始する。
As shown in the figure, the imaging timing is defined by the vertical synchronization signal (VD), and in the AF evaluation mode, the
期間T0~TF1で、チャンネルCh2を介して画素部20から読み出されたAF評価用画像信号は、水平信号線215-bおよび切替スイッチ216を介してフレームメモリ217に保存される。そして、期間TF1~TF2において、AF評価値検出部1021はフレームメモリ217に保存されたAF用画像信号に応じてAF評価値を算出する。その後、期間TF2~TF3において、AF評価値検出部1021はAF評価値を制御部106に出力する。
The AF evaluation image signal read from the
図示の例では、1垂直同期信号VDの期間中にライブビューが1フレーム分撮像され、AF評価(AF走査)が3フレーム分撮像される。そして、制御部106が垂直同期信号VDをLレベルとすると(時間T1)、AF評価が終了する。
In the illustrated example, the live view is imaged for one frame and the AF evaluation (AF scan) is imaged for three frames during the period of one vertical synchronization signal VD. Then, when the
上記のように、図1に示すカメラ100では、AF評価モードの際に、信号処理部104を介して画像データを制御部106に送ってAF評価値を得る必要がないので、つまり、データ容量の少ないAF評価値を撮像素子102から直接制御部106に出力するようにしたので、負荷低減による電力削減を行うことができる。
As described above, in the
制御部106はAF評価値と後述する所定のAF期待値とを比較して、AF評価値がAF期待値を満足すると、AF制御信号を立ち下げる(時間T1)。AF制御信号が立ち下がると、AF評価用撮像のみが停止して、ライブビュー撮像が継続して行われることになる。
The
図5は、図1に示すカメラ100における制御を説明するためのフローチャートである。なお、図示のフローチャートは制御部106の制御下で行われる。
FIG. 5 is a flowchart for explaining the control in the
カメラ100の電源がオンとされてスタンバイ状態(つまり、撮像前の撮像準備状態)になると、制御部106はAF評価モードであるか否かを判定する(ステップS502)。つまり、制御部106はオートフォーカスモードが設定されているか否かを判定する。AF評価モードでないと(ステップS502において、NO)、制御部106はライブビュー撮像を開始して(ステップS503)、後述のステップS515に進む。
When the power of the
一方、AF評価モードであると(ステップS502において、YES)、制御部106はAF制御信号をオン(Hレベル)とする(ステップSONにする(ステップS504)。続いて、制御部106はAF評価用撮像回数をカウントするための変数nに0を代入する(ステップS505)。次に、図4で説明したようにして、制御部106はAF評価用撮像を開始するとともに(ステップS506)、ステップS516においてライブビュー用撮像を開始する。
On the other hand, in the AF evaluation mode (YES in step S502), the
AF評価用撮像を開始した後、制御部106は変数nを1インクリメントする(ステップS507)。その後、制御部106の制御下で、AF評価値検出部1021はAF評価用撮像によって得られたAF評価用画像信号に応じてAF評価値AF_Kを検出する(ステップS508)。
After starting the AF evaluation imaging, the
続いて、制御部106は、AF評価値AF_KがAF期待値であるK_minおよびK_maxに対して次の式(1)、つまり、所定の評価条件を満たすか否かを判定する(ステップS509)。
Subsequently, the
K_min<AF_K<K_max (1)
ここでAF期待値K_minおよびK_maxは期待されるAF評価値の最小値および最大値を示しており、予めカメラ100の設計の際又はカメラ100の調整の際に制御部106に記録される。
K_min <AF_K <K_max (1)
Here, the AF expected values K_min and K_max indicate the minimum and maximum values of the expected AF evaluation values, which are recorded in advance in the
AF評価値AF_Kが式(1)を満たさないと(ステップS509において、NO)、制御部106は上記のAF評価値AF_Kに応じてフィードバック制御量を求める。そして、制御部106は当該フィードバック制御量に応じて駆動回路103を駆動制御して光学機構部1011に備えられたフォーカスレンズを光軸に沿って駆動する(ステップS510)。
If the AF evaluation value AF_K does not satisfy the equation (1) (NO in step S509), the
続いて、制御部106は変数(AF評価値撮像回数)nが所定の数(ここでは、3)であるか否かを判定する(ステップS511)。AF評価値撮像回数が3回未満であれば(ステップS511において、NO)、制御部106はステップS506の処理に戻ってAF評価用撮像を行う。
Subsequently, the
一方、AF評価値撮像回数が3回であれば(ステップS511において、YES)、制御部106はライブビュー表示を行った後(ステップS512)、ステップS505の処理に戻ってAF評価値撮像回数nをゼロとする。
On the other hand, if the number of AF evaluation value imaging is 3 (YES in step S511), the
AF評価値AF_Kが式(1)を満たすと(ステップS509において、YES)、制御部106はAF制御信号をオフ(Lレベル)として(ステップS513)、撮像素子102におけるAF評価用撮像を停止する(ステップS514)。そして、制御部106は撮像したライブビュー用画像信号に応じた画像を画像表示部109に表示して(ステップS515)、待機状態となる(ステップS517)。
When the AF evaluation value AF_K satisfies the equation (1) (YES in step S509), the
なお、図5に示すフローチャートでは、制御部106はAF評価用撮像を停止した後、ステップS516のライブビュー用撮像によって得られた画像信号に応じた画像を表示することになる。また、ステップS503のライブビュー用撮像を開始すると、制御部106はステップS515の処理に進んで、ライブビュー表示を行う。
In the flowchart shown in FIG. 5, after stopping the AF evaluation imaging, the
上述のように、本発明の第1の実施形態では、第2のチップ21内にAF評価値検出部1021を備え、ライブビュー用画像の撮像と並行して、フレームレートの速いAF評価用画像の撮像とAF評価値を算出して出力することができる。これにより、AF評価を行う際のタイムラグを短縮することができる。また、AF評価の際には、データ容量の少ないAF評価値のみが撮像素子102から直接制御部106に送られるので、信号出力負荷が軽減されて消費電力を削減することができる。なお、上述の実施形態ではライブビューの際にAFを行う例について説明したが、ライブビューに限らずその他動画撮影の際においても上記の手法を用いることができる。
As described above, in the first embodiment of the present invention, the AF evaluation
また、ここでは、AF評価値を撮像素子102から制御部106に直接出力して、制御部106がAF評価値に応じて駆動回路103によって光学機構部1011を制御するようにしたが、駆動回路103がAF評価値に応じて光学機構部1011を駆動制御するようにしてもよい。
Further, here, the AF evaluation value is directly output from the
[第2の実施形態]
次に、本発明の第2の実施形態によるカメラの一例について説明する。なお、第2の実施形態によるカメラの構成は図1に示すカメラと同様であるが、撮像素子102の構成が図2(b)に示す撮像素子と異なる。また、以下の説明では、ストロボなどの発光部による測光動作の際の静止画撮影について説明する。
[Second Embodiment]
Next, an example of the camera according to the second embodiment of the present invention will be described. The configuration of the camera according to the second embodiment is the same as that of the camera shown in FIG. 1, but the configuration of the
図6は、本発明の第2の実施形態によるカメラで用いられる撮像素子の一例についてその構成を示すブロック図である。なお、図6において、図2(a)に示す撮像素子と同一の構成要素については同一の参照番号を付して説明を省略する。 FIG. 6 is a block diagram showing the configuration of an example of an image pickup device used in a camera according to a second embodiment of the present invention. In FIG. 6, the same components as those of the image pickup device shown in FIG. 2A are designated by the same reference numbers, and the description thereof will be omitted.
図6に示す撮像素子102では、第2のチップ21はAF評価値用検出部1021の代わりに測光値評価部601を備えており、この測光値評価部601はフレームメモリ217に接続されるとともに、制御部106に接続されている。
In the
測光値評価部601は、第1のチップ20から列信号線202-bおよび水平信号線215b(つまり、チャンネルCh2)を介して読み出された画像信号に応じて色比率および露光値を測光値として算出する。そして、測光評価部601は当該測光値に応じてホワイトバランス係数および発光部107の発光制御量などの測光制御データを制御部106に出力する。制御部106は測光制御データに応じて信号処理部104および発光部107に制御命令を送って、信号処理部104におけるホワイトバランス補正および発光部107の発光量を制御する。
The photometric
図7は、本発明の第2の実施形態における測光評価モードの際の撮像タイミングを説明するためのタイミング図である。 FIG. 7 is a timing diagram for explaining the imaging timing in the photometric evaluation mode according to the second embodiment of the present invention.
測光評価モードとなると、制御部106は時間T70の垂直同期信号VDの立下りで垂直同期信号VDに同期してチャンネルCh1を用いたライブビュー撮像とチャンネルCh2を用いた測光評価用撮像とを同時に開始する。この測光評価用撮像においては、ホワイトバランス係数および発光部107の発光制御のための測光評価用撮像が行われる。ここでは、ホワイトバランス係数算出のための測光評価用撮像をホワイトバランス係数算出用撮像と呼び、発光制御のための測光評価用撮像を発光制御量測光用撮像と呼ぶ。
In the photometric evaluation mode, the
まず、期間T70~T71において、ホワイトバランス係数算出用撮像が行われて、チャンネルCh2を介して画素部20から読み出されたホワイトバランス係数評価用画像信号は、水平信号線215-bおよび切替スイッチ216を介してフレームメモリ217に保存される。そして、期間T71~T72において、測光値評価部601はフレームメモリ217に保存されたホワイトバランス係数評価用画像信号に応じてホワイトバランス係数を算出する。その後、期間T72~T73において、測光値評価部601はホワイトバランス係数を制御部106に出力する。
First, during the periods T70 to T71, the image signal for white balance coefficient calculation is performed, and the image signal for white balance coefficient evaluation read from the
続いて、時間T73において、制御部106は発光制御信号を立ち上げて(Hレベル)、発光部107を所定の発光量で発光させながら、発光制御量測光用撮像を開始する。そして、時間T74において、制御部106は発光制御信号を立ち下げて(Lレベル)、発光制御量測光用撮像を停止する。
Subsequently, at time T73, the
これによって、期間T73~T74において、静止画撮影の際における発光部107の発光制御量測光用撮像が行われて、発光制御量評価用画像信号がフレームメモリ217に保存される。なお、期間T73~T74においては、発光制御信号がオンとなるので、発光部107による事前発光(つまり、プリ発光)が行われて、被写体の露光量を算出するための撮像である発光制御量測光用撮像が行われることになる。
As a result, during the periods T73 to T74, the
期間T74~T75において、測光値評価部601はフレームメモリ217に保存された発光制御量評価用画像信号に応じて被写体に係る露光値を算出して、当該露光値に応じて発光制御量を生成する。続いて、期間T75~T76において、測光値評価部601は発光制御量制御部106に出力する。
During the periods T74 to T75, the photometric
時間T76において、制御部106は測光評価モードを静止画撮影モードに切り替えるとともに、発光制御信号をオンとして発光部109を発光させる(本発光)。この際、制御部106は発光制御量に応じて発光部107の発光量を制御する。さらに、制御部106は切替スイッチ216を切り替えて、チャンネルCh2を介して出力される画像信号を信号処理部104に出力して、画素部20の全画素から読み出された画像信号を信号処理部104に与える。
At time T76, the
図示の例では、1垂直同期信号VDの期間中にライブビューが1フレーム分撮像され、この間にホワイトバランス係数算出用撮像およびホワイトバランス係数の算出・出力と発光制御量測光用撮像および発光制御量の算出・出力が行われる。 In the illustrated example, the live view is imaged for one frame during the period of one vertical synchronization signal VD, and during this period, the image for calculating the white balance coefficient, the calculation / output of the white balance coefficient, and the image for light emission control amount measurement and the light emission control The amount is calculated and output.
このように、本発明の第2の実施形態では、第2のチップ21内に測光値評価部601を備え、ライブビュー用画像の撮像と並行して、フレームレートの速い測光評価用画像の撮像と測光評価値を算出して出力することができる。これにより、測光評価を行う際のタイムラグを短縮することができる。また、測光評価の際には、データ容量の少ない測光評価値(ホワイトバランス係数および発光制御量)のみが撮像素子102から直接制御部106に送られるので、信号出力負荷が軽減されて消費電力を削減することができる。
As described above, in the second embodiment of the present invention, the photometric
なお、上述の実施形態では測光評価値を撮像素子102から制御部106に直接出力して、制御部106が測光評価値に応じて信号処理部104および発光部107を制御するようにしたが、撮像素子102から測光評価値を信号処理部104および発光部107に送って直接的に制御するようにしてもよい。
In the above-described embodiment, the photometric evaluation value is directly output from the
[第3の実施形態]
続いて、本発明の第3の実施形態によるカメラの一例について説明する。なお、第3の実施形態によるカメラの構成は図1に示すカメラと同様であるが、撮像素子102の構成が図2(b)に示す撮像素子と異なる。
[Third Embodiment]
Subsequently, an example of the camera according to the third embodiment of the present invention will be described. The configuration of the camera according to the third embodiment is the same as that of the camera shown in FIG. 1, but the configuration of the
図8は、本発明の第3の実施形態によるカメラで用いられる撮像素子の一例についてその構成を示すブロック図である。なお、図8において、図2(a)および図6に示す撮像素子と同一の構成要素については同一の参照番号を付して説明を省略する。 FIG. 8 is a block diagram showing the configuration of an example of an image pickup device used in a camera according to a third embodiment of the present invention. In FIG. 8, the same components as those of the image pickup elements shown in FIGS. 2A and 6 are designated by the same reference numbers, and the description thereof will be omitted.
図8に示す撮像素子102では、第2のチップ21はAF評価値用検出部1021の代わりに画像信号評価部801を備えており、この画像信号評価部801はフレームメモリ217に接続されるとともに、制御部106に接続されている。画像信号評価部801は、第1のチップ20から列信号線202-bを介して読み出された画像信号に応じて信号ばらつきを示す標準偏差(標準偏差値ともいう)を算出する。そして、画像信号評価部801は当該標準偏差を画像信号評価値として制御部106に出力する。制御部106は標準偏差が予め設定された閾値(標準偏差閾値)を超えると、ゲインアップ量又は露光量(つまり、露光期間)を抑える撮像制御信号を駆動回路103に送る。駆動回路103はこの撮像制御信号に応じて撮像素子102を駆動して露出制御を行う。標準偏差が予め設定された閾値を超えると、画像信号におけるS/N比が悪化していることになり、所定の画質を保つためには、露出制御に制限をかけるとよいからである。
In the
図8に示す例では、露出制御によって所定の画質を保つようにしたが、露出制御に限らず、例えば、ノイズリダクション処理における補正値を切り替えて所定の画質を保つようにしてもよい。さらに、図示の例では、画像信号評価部801は標準偏差である画像信号評価値を出力するようにしたが、画像信号評価部801は駆動回路103、信号処理部104、又は発光部107に標準偏差に応じた制御信号を出力して所定の画質を保つようにしてもよい。
In the example shown in FIG. 8, the predetermined image quality is maintained by the exposure control, but the present image quality is not limited to the exposure control. For example, the correction value in the noise reduction process may be switched to maintain the predetermined image quality. Further, in the illustrated example, the image
図9は、本発明の第3の実施形態における標準偏差評価モードの際の撮像タイミングを説明するためのタイミング図である。 FIG. 9 is a timing diagram for explaining the imaging timing in the standard deviation evaluation mode according to the third embodiment of the present invention.
標準偏差評価モードとなると、制御部106は時間T90において垂直同期信号VD1およびVD2の立下りで撮像を開始する。ここでは、制御部106は垂直同期信号VD1に同期してチャンネルCh1を用いたライブビュー撮像と、垂直同期信号VD2に同期してチャンネルCh2を用いた標準偏差評価用撮像(画像信号評価用撮像ともいう)とを開始する。
In the standard deviation evaluation mode, the
なお、垂直同期信号VD1に同期したライブビュー撮像においては、ライブビュー表示のためのフレームレートに応じて撮像動作が行われ、垂直同期信号VD2に係る1VD期間(T90~T93)の間に複数フレームのライブビュー撮像が行われることになる。 In the live view imaging synchronized with the vertical synchronization signal VD1, the imaging operation is performed according to the frame rate for displaying the live view, and a plurality of frames are performed during the 1VD period (T90 to T93) related to the vertical synchronization signal VD2. Live view imaging will be performed.
期間T90~T91における画像信号評価用撮像において、チャンネルCh2に読み出された標準偏差検出用画像信号が撮像素子102から読み出されるが、この期間T90~T91は、時間T93以降における静止画撮像における露出期間と同一の設定となる。時間T93以降の露出制御については、操作部108を用いたユーザ操作又は撮像素子102から得られる画像信号に応じたAE制御に応じて決定される。よって、チャンネルCh2における画像信号評価用撮像においてはチャンネルCh1におけるライブビュー表示とは異なる露出制御となる。
In the image signal evaluation image pickup in the periods T90 to T91, the standard deviation detection image signal read out in the channel Ch2 is read out from the
さらに、チャンネルCh2において、時間T93以降の静止画撮影と同様の露出制御をすることによって、静止画撮影前に画質の悪化要因となる信号増幅によるS/Nの悪化、そして、撮像画素の長秒蓄積動作などの撮像制御に制限をかけることができる。その結果、静止画の画質が所定のレベル以上に悪化することを防止することができる。 Further, by performing the same exposure control as the still image shooting after the time T93 on the channel Ch2, the S / N deterioration due to the signal amplification which causes the deterioration of the image quality before the still image shooting, and the long seconds of the image pickup pixel. Image control such as storage operation can be restricted. As a result, it is possible to prevent the image quality of the still image from deteriorating to a predetermined level or higher.
期間T90~T91において撮像の結果得られたチャンネルCh2の出力、つまり、標準偏差検出用画像信号は、水平信号線215-bおよびスイッチ216を介してフレームメモリ217に保存される。そして、期間T91~T92において、フレームメモリ217に保存された標準偏差検出用画像信号は画像信号評価部801に読み出されて、画像信号評価部801は標準偏差検出用画像信号について信号ばらつきである標準偏差値を算出する。その後、期間T92~T93において、画像信号評価部801は期間T91~T92で算出された標準偏差値のみを撮像素子102から制御部106に出力する。時間T93以降においては、カメラは標準偏差評価モードから静止画撮影モードに切り替わり、制御部106はスイッチ216を切り替えて画像信号を信号処理104に出力可能な状態として、全画素の読み出しができるようにする。この際、制御部106は画像信号評価部801で算出された標準偏差値に応じて露光制御を行う。
The output of the channel Ch2 obtained as a result of imaging in the periods T90 to T91, that is, the image signal for standard deviation detection is stored in the
上述のように、本発明の第3の実施形態では、ライブビュー用画像信号と評価用の画像信号とを同時に撮像するようにしたので、静止画の撮像を行う前に静止画撮像における動作を制御するための標準偏差値を実際の撮影前に検出することができる。 As described above, in the third embodiment of the present invention, since the image signal for live view and the image signal for evaluation are simultaneously imaged, the operation in the still image imaging is performed before the still image is captured. The standard deviation value for control can be detected before the actual shooting.
さらに、第3の実施形態では、データ量が少ない画像信号評価値である標準偏差値を直接制御部106に出力するようにしたので、撮像素子102から信号処理部104にデータ量が大きい画像信号を送る必要がなくなる。この結果、信号出力に起因する負荷低減によって電力削減を行うことができる。
Further, in the third embodiment, since the standard deviation value, which is an image signal evaluation value with a small amount of data, is directly output to the
このようにして、本発明の第3の実施形態では、ライブビュー用の撮像とは別にライブビューとは異なる撮像期間で画像信号を撮像素子102において同時に取得して、当該画像信号に応じて画像信号評価値である標準偏差値を撮像素子102で算出して制御部106に出力する。これによって、ライブビュー中に画像信号評価値が得られて、省電力とともに時間短縮を図ることができる。なお、第3の実施形態では、画像信号に係る標準偏差値を求める例について説明したが、次のような評価値を画像信号評価部801で算出させて、対応する補正を制御部106に行わせてもよい。
In this way, in the third embodiment of the present invention, an image signal is simultaneously acquired by the
(1)画像信号基準値となるオフセット成分の1フレームあたりの変動量を画像信号から算出する画像信号オフセット補正値の算出、(2)列もしくは行単位での筋状となる固定パターンノイズの検出、(3)動画録画やライブビュー表示とは別の露出条件を設定し、光源出力の変化を検知することによるフリッカ検出、(4)WB係数、(5)対象被写体の移動量、(6)ベクトル量を検知することによる手ぶれ補正値もしくは被写体の動き検出値の算出、(7)色シェーディング評価値、(8)輝度シェーディング評価値、(9)フリッカ評価値を求めて、光学機構部1011内の絞り機構部や撮像素子102のシャッタ制御による露光制御を行うようにしてもよい。なお、上記各評価値の取得方法と補正方法については上記しているものの他に公知の手法を用いることももちろん可能である。
(1) Calculation of image signal offset correction value that calculates the amount of fluctuation per frame of the offset component that is the image signal reference value from the image signal, (2) Detection of fixed pattern noise that becomes streaks in columns or rows. , (3) Flicker detection by setting exposure conditions different from video recording and live view display and detecting changes in light source output, (4) WB coefficient, (5) Movement amount of target subject, (6) Calculation of camera shake correction value or subject motion detection value by detecting the vector amount, (7) color shading evaluation value, (8) luminance shading evaluation value, (9) flicker evaluation value are obtained, and the inside of the
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。 Although the present invention has been described above based on the embodiments, the present invention is not limited to these embodiments, and various embodiments within the range not deviating from the gist of the present invention are also included in the present invention. ..
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。 For example, the function of the above embodiment may be used as a control method, and the image pickup apparatus may be made to execute this control method. Further, a program having the functions of the above-described embodiment may be used as a control program, and the control program may be executed by a computer included in the image pickup apparatus. The control program is recorded on, for example, a computer-readable recording medium.
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPUなど)がプログラムを読み出して実行する処理である。 The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiment is supplied to the system or device via a network or various recording media, and the computer (or CPU, MPU, etc.) of the system or device reads the program. It is a process to be executed.
102 撮像素子
104 信号処理部
106 制御部
212 行走査回路
213 列走査回路
216 切替スイッチ
217 フレームメモリ
601 測光値評価部
801 画像信号評価部
1021 AF評価値検出部
102
Claims (23)
前記第1の素子部にマトリックス状に形成された複数の画素と、
前記複数の画素の出力信号をデジタル信号に変換する複数のAD変換部と、
前記第2の素子部に形成され、前記複数のAD変換部の第1のAD変換部により変換された第1のデジタル信号に基づいてオートフォーカス制御に用いるフォーカス評価値を生成する評価値生成部と、
前記複数のAD変換部の前記第1のAD変換部とは異なる第2のAD変換部により変換された第2のデジタル信号を画像表示のための画像信号として前記撮像素子の外部に出力する画像信号出力部と、
前記フォーカス評価値を前記画像表示のための画像信号とは独立して前記撮像素子の外部に出力する評価値出力部と、
を有し、
前記フォーカス評価値を生成するために用いられる前記第1のデジタル信号は、前記第1のAD変換部から前記評価値生成部に入力され、
前記画像表示のための画像信号として出力される前記第2のデジタル信号は、前記第2のAD変換部から前記評価値生成部に入力されずに前記画像信号出力部により前記撮像素子の外部に出力されることを特徴とする撮像素子。 An image pickup device in which a first element portion and a second element portion are laminated on each other.
A plurality of pixels formed in a matrix on the first element portion, and
A plurality of AD converters that convert the output signals of the plurality of pixels into digital signals, and
An evaluation value generation unit that generates a focus evaluation value used for autofocus control based on a first digital signal formed in the second element unit and converted by the first AD conversion unit of the plurality of AD conversion units. When,
An image that outputs a second digital signal converted by a second AD conversion unit different from the first AD conversion unit of the plurality of AD conversion units to the outside of the image pickup device as an image signal for image display. Signal output section and
An evaluation value output unit that outputs the focus evaluation value to the outside of the image sensor independently of the image signal for displaying the image, and an evaluation value output unit.
Have,
The first digital signal used to generate the focus evaluation value is input from the first AD conversion unit to the evaluation value generation unit.
The second digital signal output as an image signal for displaying the image is not input from the second AD conversion unit to the evaluation value generation unit, but is output to the outside of the image sensor by the image signal output unit. An image pickup device characterized by being output.
前記フォーカス評価値に応じてフォーカス制御を行うフォーカス制御手段と、
前記画像表示のための画像信号に応じてライブビュー表示を行う表示制御手段と、
を有することを特徴とする撮像装置。 The image sensor according to any one of claims 1 to 9 , and the image sensor.
A focus control means that controls the focus according to the focus evaluation value,
A display control means for displaying a live view according to an image signal for displaying an image, and a display control means.
An imaging device characterized by having.
前記第1の素子部にマトリックス状に形成された複数の画素と、
前記複数の画素の出力信号をデジタル信号に変換する複数のAD変換部と、
前記第2の素子部に形成され、前記複数のAD変換部の第1のAD変換部により変換された第1のデジタル信号に基づいて撮像制御情報を生成する制御情報生成部と、
前記複数のAD変換部の前記第1のAD変換部とは異なる第2のAD変換部により変換された第2のデジタル信号を画像表示のための画像信号として前記撮像素子の外部に出力する画像信号出力部と、
前記撮像制御情報を前記画像表示のための画像信号とは独立して前記撮像素子の外部に出力する制御情報出力部と、
を有し、
前記撮像制御情報を生成するために用いられる前記第1のデジタル信号は、前記第1のAD変換部から前記制御情報生成部に入力され、
前記画像表示のための画像信号として出力される前記第2のデジタル信号は、前記第2のAD変換部から前記制御情報生成部に入力されずに前記画像信号出力部により前記撮像素子の外部に出力されることを特徴とする撮像素子。 An image pickup device in which a first element portion and a second element portion are laminated on each other.
A plurality of pixels formed in a matrix on the first element portion, and
A plurality of AD converters that convert the output signals of the plurality of pixels into digital signals, and
A control information generation unit formed in the second element unit and generating image pickup control information based on a first digital signal converted by the first AD conversion unit of the plurality of AD conversion units .
An image that outputs a second digital signal converted by a second AD conversion unit different from the first AD conversion unit of the plurality of AD conversion units to the outside of the image pickup device as an image signal for image display. Signal output section and
A control information output unit that outputs the image pickup control information to the outside of the image pickup element independently of the image signal for displaying the image.
Have,
The first digital signal used to generate the image pickup control information is input from the first AD conversion unit to the control information generation unit.
The second digital signal output as an image signal for displaying the image is not input from the second AD conversion unit to the control information generation unit, but is output to the outside of the image pickup device by the image signal output unit. An image pickup device characterized by being output.
前記撮像制御情報に応じて光学像の撮像制御を行う制御手段と、
前記画像表示のための画像信号に応じてライブビュー表示を行う表示制御手段と、
を有することを特徴とする撮像装置。 The image sensor according to any one of claims 13 to 22 and the image sensor.
A control means for controlling the imaging of an optical image according to the imaging control information,
A display control means for displaying a live view according to an image signal for displaying an image, and a display control means.
An imaging device characterized by having.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012288036 | 2012-12-28 | ||
JP2012288036 | 2012-12-28 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017248092A Division JP6580118B2 (en) | 2012-12-28 | 2017-12-25 | Imaging device and imaging apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019201430A JP2019201430A (en) | 2019-11-21 |
JP6995806B2 true JP6995806B2 (en) | 2022-01-17 |
Family
ID=51424597
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013136082A Active JP6618235B2 (en) | 2012-12-28 | 2013-06-28 | Imaging device and imaging apparatus |
JP2013136083A Pending JP2014143667A (en) | 2012-12-28 | 2013-06-28 | Imaging device, imaging apparatus, control method thereof and control program thereof |
JP2017248092A Active JP6580118B2 (en) | 2012-12-28 | 2017-12-25 | Imaging device and imaging apparatus |
JP2019156816A Active JP6995806B2 (en) | 2012-12-28 | 2019-08-29 | Image sensor and image sensor |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013136082A Active JP6618235B2 (en) | 2012-12-28 | 2013-06-28 | Imaging device and imaging apparatus |
JP2013136083A Pending JP2014143667A (en) | 2012-12-28 | 2013-06-28 | Imaging device, imaging apparatus, control method thereof and control program thereof |
JP2017248092A Active JP6580118B2 (en) | 2012-12-28 | 2017-12-25 | Imaging device and imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (4) | JP6618235B2 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6518503B2 (en) * | 2015-05-01 | 2019-05-22 | オリンパス株式会社 | Image pickup apparatus and control method of image pickup apparatus |
US10148890B2 (en) | 2015-05-01 | 2018-12-04 | Olympus Corporation | Image pickup apparatus and method for controlling the same to prevent display of a through image from being stopped when a shutter unit is not completely opened |
JP6681780B2 (en) * | 2015-05-07 | 2020-04-15 | 株式会社半導体エネルギー研究所 | Display systems and electronic devices |
JP6727017B2 (en) * | 2016-04-21 | 2020-07-22 | キヤノン株式会社 | IMAGING DEVICE AND ITS CONTROL METHOD, IMAGE PROCESSING DEVICE, AND IMAGE PROCESSING METHOD |
US10795024B2 (en) * | 2016-09-16 | 2020-10-06 | Sony Semiconductor Solutions Corporation | Imaging device and electronic device |
JP6762849B2 (en) * | 2016-11-08 | 2020-09-30 | キヤノン株式会社 | Image sensor, its control method, program and recording medium |
JP6580111B2 (en) * | 2017-02-10 | 2019-09-25 | キヤノン株式会社 | Imaging device and imaging apparatus |
US20240163581A1 (en) * | 2021-03-31 | 2024-05-16 | Nikon Corporation | Imaging element and imaging device |
WO2022250000A1 (en) * | 2021-05-24 | 2022-12-01 | 株式会社ニコン | Imaging element and imaging device |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005078089A (en) | 2003-08-29 | 2005-03-24 | Hewlett-Packard Development Co Lp | System and method using light emitting diode for image intake device |
JP2006287361A (en) | 2005-03-31 | 2006-10-19 | Eastman Kodak Co | Digital camera |
JP2008067241A (en) | 2006-09-11 | 2008-03-21 | Olympus Corp | Solid-state image pickup device and image pickup system |
JP2008263452A (en) | 2007-04-12 | 2008-10-30 | Canon Inc | Imaging apparatus, imaging system and driving method of imaging apparatus |
JP2010028397A (en) | 2008-07-17 | 2010-02-04 | Canon Inc | Imaging device, and its controlling method and program |
JP2010283787A (en) | 2009-06-08 | 2010-12-16 | Panasonic Corp | Imaging apparatus |
WO2012133192A1 (en) | 2011-03-30 | 2012-10-04 | ソニー株式会社 | A/d converter, solid-state imaging device and drive method, as well as electronic apparatus |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3394019B2 (en) * | 1990-10-08 | 2003-04-07 | オリンパス光学工業株式会社 | Exposure control circuit of image input device |
JPH10136252A (en) * | 1996-10-31 | 1998-05-22 | Canon Inc | Image pickup device |
JP4565370B2 (en) * | 2000-12-22 | 2010-10-20 | 富士フイルム株式会社 | Electronic camera and autofocus control method |
JP2002300589A (en) * | 2001-01-29 | 2002-10-11 | Konica Corp | Photographing apparatus |
JP2004146816A (en) * | 2002-09-30 | 2004-05-20 | Matsushita Electric Ind Co Ltd | Solid image pickup device and equipment using the same |
TWI429066B (en) * | 2005-06-02 | 2014-03-01 | Sony Corp | Semiconductor image sensor module and manufacturing method thereof |
JP2007134806A (en) * | 2005-11-08 | 2007-05-31 | Canon Inc | Solid-state imaging element |
JP2007150643A (en) * | 2005-11-28 | 2007-06-14 | Sony Corp | Solid state imaging element, driving method therefor, and imaging apparatus |
JP2007281555A (en) * | 2006-04-03 | 2007-10-25 | Seiko Epson Corp | Imaging apparatus |
KR101035824B1 (en) * | 2006-05-09 | 2011-05-20 | 샤프 가부시키가이샤 | Image device |
JP2008060981A (en) * | 2006-08-31 | 2008-03-13 | Canon Inc | Image observation apparatus |
JP2008235478A (en) * | 2007-03-19 | 2008-10-02 | Nikon Corp | Imaging device |
JP2009021756A (en) * | 2007-07-11 | 2009-01-29 | Sony Corp | Noise rejection circuit, noise rejection method, imaging apparatus, and program |
JP5074297B2 (en) * | 2008-05-29 | 2012-11-14 | シャープ株式会社 | Solid-state imaging device, driving method thereof, and electronic information device |
JP5104812B2 (en) * | 2009-05-07 | 2012-12-19 | ソニー株式会社 | Semiconductor module |
JP5537905B2 (en) * | 2009-11-10 | 2014-07-02 | 富士フイルム株式会社 | Imaging device and imaging apparatus |
JP5452269B2 (en) * | 2010-02-10 | 2014-03-26 | オリンパス株式会社 | Imaging device |
JP2011199716A (en) * | 2010-03-23 | 2011-10-06 | Sony Corp | Image processor, image processing method, and program |
US8970750B2 (en) * | 2010-11-12 | 2015-03-03 | Sony Corporation | Image outputting apparatus, image outputting method, image processing apparatus, image processing method, program, data structure and imaging apparatus |
JP2012191379A (en) * | 2011-03-10 | 2012-10-04 | Nikon Corp | Imaging apparatus |
-
2013
- 2013-06-28 JP JP2013136082A patent/JP6618235B2/en active Active
- 2013-06-28 JP JP2013136083A patent/JP2014143667A/en active Pending
-
2017
- 2017-12-25 JP JP2017248092A patent/JP6580118B2/en active Active
-
2019
- 2019-08-29 JP JP2019156816A patent/JP6995806B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005078089A (en) | 2003-08-29 | 2005-03-24 | Hewlett-Packard Development Co Lp | System and method using light emitting diode for image intake device |
JP2006287361A (en) | 2005-03-31 | 2006-10-19 | Eastman Kodak Co | Digital camera |
JP2008067241A (en) | 2006-09-11 | 2008-03-21 | Olympus Corp | Solid-state image pickup device and image pickup system |
JP2008263452A (en) | 2007-04-12 | 2008-10-30 | Canon Inc | Imaging apparatus, imaging system and driving method of imaging apparatus |
JP2010028397A (en) | 2008-07-17 | 2010-02-04 | Canon Inc | Imaging device, and its controlling method and program |
JP2010283787A (en) | 2009-06-08 | 2010-12-16 | Panasonic Corp | Imaging apparatus |
WO2012133192A1 (en) | 2011-03-30 | 2012-10-04 | ソニー株式会社 | A/d converter, solid-state imaging device and drive method, as well as electronic apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP6618235B2 (en) | 2019-12-11 |
JP2019201430A (en) | 2019-11-21 |
JP6580118B2 (en) | 2019-09-25 |
JP2014143667A (en) | 2014-08-07 |
JP2014143666A (en) | 2014-08-07 |
JP2018057040A (en) | 2018-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6995806B2 (en) | Image sensor and image sensor | |
JP6190184B2 (en) | Imaging device, imaging apparatus, control method thereof, and control program | |
US10349028B2 (en) | Image pickup apparatus that displays image based on signal output from image pickup device, method of controlling the same, and storage medium | |
US9609223B2 (en) | Image pickup element, image pickup apparatus, and method and program for controlling the same | |
US10284800B2 (en) | Solid-state image pickup element, method of controlling a solid-state image pickup element, and image pickup apparatus | |
US11936987B2 (en) | Image capturing apparatus | |
US8248520B2 (en) | Imaging apparatus and imaging method | |
JP6521731B2 (en) | Imaging device, control method therefor, and control program | |
JP6223160B2 (en) | Imaging device, control method thereof, and control program | |
JP6632580B2 (en) | Imaging device and imaging device | |
JP6881939B2 (en) | Solid-state image sensor, its control method, and image sensor | |
JP6346417B2 (en) | Imaging apparatus, control method thereof, and control program | |
KR101757655B1 (en) | Image pickup element, image pickup apparatus, method for controlling the same, and storage medium | |
JP2019216410A (en) | Imaging apparatus and control method therefor | |
JP7051565B2 (en) | Imaging device and its control method, imaging system | |
JP5975658B2 (en) | Imaging apparatus and control method thereof | |
JP2017192048A (en) | Image processing apparatus, imaging apparatus, image processing method, program, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190927 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211215 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6995806 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |