JP5528093B2 - Imaging apparatus and imaging method - Google Patents

Imaging apparatus and imaging method Download PDF

Info

Publication number
JP5528093B2
JP5528093B2 JP2009290774A JP2009290774A JP5528093B2 JP 5528093 B2 JP5528093 B2 JP 5528093B2 JP 2009290774 A JP2009290774 A JP 2009290774A JP 2009290774 A JP2009290774 A JP 2009290774A JP 5528093 B2 JP5528093 B2 JP 5528093B2
Authority
JP
Japan
Prior art keywords
imaging
image sensor
control unit
shutter
sweep
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009290774A
Other languages
Japanese (ja)
Other versions
JP2011135171A (en
Inventor
靖雄 高根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to JP2009290774A priority Critical patent/JP5528093B2/en
Priority to KR1020100127098A priority patent/KR101750050B1/en
Priority to US12/976,626 priority patent/US8488033B2/en
Publication of JP2011135171A publication Critical patent/JP2011135171A/en
Application granted granted Critical
Publication of JP5528093B2 publication Critical patent/JP5528093B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/59Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14603Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14609Pixel-elements with integrated switching, control, storage or amplification elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置および撮像方法に関し、特に、マトリクス状に配列された複数の画素を有する撮像素子を備える撮像装置および撮像方法に関する。   The present invention relates to an imaging device and an imaging method, and more particularly, to an imaging device and an imaging method including an imaging device having a plurality of pixels arranged in a matrix.

CMOS(Complementary Metal Oxide Semiconductor)型の撮像素子を搭載した撮像装置において、シャッタ動作の先幕を電子シャッタで行い、後幕をメカニカルシャッタで行うことが開示されている(例えば、特許文献1)。また、電子シャッタとメカニカルシャッタを組み合わせる方式において、領域またはラインごとに電荷蓄積を開始するタイミングを変更して、レンズの種類や絞りの値、シャッタ速度の違いで発生する露光ムラを防ぐ技術も開示されている(例えば、特許文献2および3)。   In an imaging apparatus equipped with a CMOS (Complementary Metal Oxide Semiconductor) type imaging device, it is disclosed that the front curtain of the shutter operation is performed by an electronic shutter and the rear curtain is performed by a mechanical shutter (for example, Patent Document 1). Also disclosed is a technique for preventing exposure unevenness caused by differences in lens type, aperture value, and shutter speed by changing the timing for starting charge accumulation for each region or line in a method combining an electronic shutter and a mechanical shutter. (For example, Patent Documents 2 and 3).

特許文献2および3では、従来のメカニカルな先幕を電子的なリセット機能に置き換えたことにより生じる画質的な不具合を補正することを目的としている。したがって、先幕となる電子シャッタの動作タイミングは、後幕となるメカニカルシャッタの後幕とほぼ同じ特性を有するように設定される。また、レンズの種類や絞りの値など、シャッタの特性を変化させる要因について、補正パラメータを盛り込んで動作タイミングが設定される。   In Patent Documents 2 and 3, an object is to correct image quality defects caused by replacing a conventional mechanical front curtain with an electronic reset function. Therefore, the operation timing of the electronic shutter serving as the front curtain is set to have substantially the same characteristics as the rear curtain of the mechanical shutter serving as the rear curtain. In addition, for the factors that change the shutter characteristics such as the lens type and the aperture value, the operation timing is set by incorporating correction parameters.

特開平11−41523号公報Japanese Patent Laid-Open No. 11-41523 特開2007−159061号公報JP 2007-159061 A 特開2007−53742号公報JP 2007-53742 A

ところで、一般的に撮像素子のダイナミックレンジはまだ低く、暗所から明所までを1つの画像で再現できない場合が多い。例えば、明るい青空を背景に人物を撮影しようとした場合、人物に露出を合わせると空は飽和して、いわゆる白飛びを起こし青空が再現できない。一方、青空に露出を合わせると人物が露光不足で黒くつぶれてしまうということがあった。   By the way, in general, the dynamic range of an image sensor is still low, and there are many cases where a single image cannot be reproduced from a dark place to a bright place. For example, if a person is to be photographed against a bright blue sky, the sky will saturate when the exposure is adjusted to the person, causing the so-called whiteout and the blue sky cannot be reproduced. On the other hand, when the exposure was adjusted to the blue sky, the person was crushed black due to underexposure.

上記した電子シャッタは、撮像素子に蓄積された電荷を掃出すことにより撮像素子の露光を開始するシャッタの先幕として機能するが、電荷を掃出す時間が不足する場合には、残留電荷が発生し残像現象が生じる。通常は、残像現象が生じないように、電荷を完全に掃出すのに必要十分な掃出し時間が設定されている。しかし、残留電荷を敢えて発生させることで長時間露光したと同様の効果を得ることができるため、領域ごとまたはラインごとに電荷を掃出す時間を調整してダイナミックレンジの広い良好な画像を得ることが望まれている。   The electronic shutter described above functions as the front curtain of the shutter that starts exposure of the image sensor by sweeping out the charge accumulated in the image sensor, but residual charge is generated when the time for sweeping out the charge is insufficient. Afterimage phenomenon occurs. Usually, a sweep time necessary and sufficient to completely sweep out charges is set so as not to cause an afterimage phenomenon. However, since it is possible to obtain the same effect as long-time exposure by deliberately generating residual charge, it is possible to obtain a good image with a wide dynamic range by adjusting the time to sweep out charge for each region or line. Is desired.

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、電子シャッタとメカニカルシャッタを併用する構成において、撮像素子に蓄積された電荷を掃出す時間を調整してダイナミックレンジの広い撮影をすることが可能な、新規かつ改良された撮像装置および撮像方法を提供することにある。   Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to adjust the time for sweeping out the electric charge accumulated in the image sensor in a configuration in which an electronic shutter and a mechanical shutter are used together. Thus, it is an object of the present invention to provide a new and improved imaging apparatus and imaging method capable of imaging with a wide dynamic range.

上記課題を解決するために、本発明のある観点によれば、マトリクス状に配列された複数の画素を有する撮像素子を備え、撮像素子に露光して被写体を撮像する撮像装置であって、被写体の撮像状態を検出する検出部と、撮像素子を遮光するように走行する幕体の動作を制御する動作制御部と、幕体の走行に先行して、撮像素子に蓄積された電荷を掃出すことにより撮像素子の露光開始走査を制御する走査制御部と、を備え、走査制御部は、被写体の撮像状態に応じて、撮像素子に蓄積された電荷を掃出すための掃出し時間を調整することを特徴とする、撮像装置が提供される。   In order to solve the above-described problem, according to an aspect of the present invention, there is provided an imaging device that includes an imaging device having a plurality of pixels arranged in a matrix and that images an object by exposing the imaging device. A detection unit that detects the imaging state of the image sensor, an operation control unit that controls the operation of the curtain that travels so as to shield the image sensor, and sweeps out the electric charge accumulated in the image sensor prior to the traveling of the curtain A scanning control unit that controls the exposure start scanning of the imaging device, and the scanning control unit adjusts the sweep time for sweeping out the electric charge accumulated in the imaging device according to the imaging state of the subject. An imaging device is provided.

かかる構成によれば、被写体の撮像状態を検出し、該撮像状態に応じて撮像素子に蓄積された電荷を掃出すための掃出し時間を調整して撮像素子に蓄積された電荷を掃出して撮像素子の露光が開始された後、幕体が撮像素子を遮光するように走行する。これにより、撮像状態に応じて撮像素子の露光時間を調整してダイナミックレンジの広い撮影をすることが可能となる。   According to such a configuration, the imaging state of the subject is detected, the sweeping time for sweeping out the charge accumulated in the imaging device is adjusted according to the imaging state, and the charge accumulated in the imaging device is swept away to obtain the imaging device. After the exposure is started, the curtain moves so as to shield the image sensor. As a result, it is possible to perform shooting with a wide dynamic range by adjusting the exposure time of the image sensor in accordance with the imaging state.

また、走査制御部は、撮像素子の露光開始走査を、走査パターンに基づいてリセット信号を各画素に与えることにより撮像素子の露光を開始するシャッタの先幕(以降、電子先幕シャッタとも称する。)として機能させ、動作制御部は、撮像素子を遮光する幕体をシャッタの後幕(以降、メカ後幕シャッタとも称する。)として機能させる。これにより、先幕としての電子シャッタと後幕としてのメカニカルシャッタを併用し、先幕となる電子シャッタのタイミングを制御して露光時間を調整することができる。   Further, the scanning control unit performs exposure start scanning of the imaging device by supplying a reset signal to each pixel based on the scanning pattern to start exposure of the imaging device (hereinafter also referred to as an electronic front curtain shutter). The operation control unit causes the curtain body that shields the image sensor to function as a rear curtain of the shutter (hereinafter also referred to as a mechanical rear curtain shutter). As a result, the electronic shutter as the front curtain and the mechanical shutter as the rear curtain are used together, and the exposure time can be adjusted by controlling the timing of the electronic shutter as the front curtain.

また、検出部は、被写体の撮像状態が画像を再現する際に適切なダイナミックレンジの範囲内となるか否かを検出し、走査制御部は、検出部により被写体の撮像状態が適切なダイナミックレンジ外であることが検出された場合に、撮像素子に蓄積された電荷を掃出すための掃出し時間を調整してもよい。これにより、撮像状態がダイナミックレンジ外、すなわち、白飛びしていたり黒くつぶれていたりして画像が再現できない場合に露光時間を調整することができる。   The detection unit detects whether the imaging state of the subject falls within an appropriate dynamic range when reproducing the image, and the scanning control unit detects the dynamic range in which the imaging state of the subject is appropriate by the detection unit. When it is detected that it is outside, the sweep time for sweeping out the electric charge accumulated in the image sensor may be adjusted. As a result, the exposure time can be adjusted when the imaging state is outside the dynamic range, that is, when the image cannot be reproduced due to whiteout or blackout.

また、走査制御部は、幕体の走行カーブに対応するように、撮像素子に蓄積された電荷を掃出すための掃出しパルスを発生させ、被写体の撮像状態に応じて、掃出しパルスのパルス幅を調整する。これにより、掃出しパルスを幕体の走行カーブに対応させて電子先幕の走査開始速度を制御するとともに、掃出しパルスのパルス幅を撮像状態に応じて可変とすることにより撮像素子の露光時間を調整することができる。   In addition, the scanning control unit generates a sweep pulse for sweeping out the electric charge accumulated in the imaging device so as to correspond to the travel curve of the curtain, and sets the pulse width of the sweep pulse according to the imaging state of the subject. adjust. As a result, the scanning start speed of the electronic front curtain is controlled by making the sweep pulse correspond to the travel curve of the curtain, and the exposure time of the image sensor is adjusted by making the pulse width of the sweep pulse variable according to the imaging state. can do.

また、走査制御部は、撮像素子のラインごとに掃出しパルスのパルス幅を調整してもよい。また、走査制御部は、撮像素子の領域ごとに掃出しパルスのパルス幅を調整してもよい。これにより、ラインごとまたは領域ごとに撮像素子の露光時間を調整することができる。   Further, the scanning control unit may adjust the pulse width of the sweep pulse for each line of the image sensor. The scanning control unit may adjust the pulse width of the sweep pulse for each region of the image sensor. Thereby, the exposure time of an image pick-up element can be adjusted for every line or every area | region.

また、走査制御部は、被写体の輝度情報に応じて、掃出し時間を調整してもよい。さらに、走査制御部は、被写体の輝度が所定の基準値より低い場合に、掃出し時間を予め設定された掃出し時間より短くすることが好ましい。さらに、走査制御部は、被写体の輝度が所定の基準値より低い場合に、被写体の輝度に応じて段階的に掃出し時間を短くすることが好ましい。これにより、被写体の輝度情報に応じて撮像素子の露光時間を調整することができる。   The scanning control unit may adjust the sweep time according to the luminance information of the subject. Furthermore, it is preferable that the scan control unit shortens the sweep time shorter than a preset sweep time when the luminance of the subject is lower than a predetermined reference value. Further, it is preferable that the scanning control unit shortens the sweep time stepwise in accordance with the luminance of the subject when the luminance of the subject is lower than a predetermined reference value. As a result, the exposure time of the image sensor can be adjusted according to the luminance information of the subject.

また、走査制御部は、撮像素子の各画素の読み出し走査を制御し、走査制御部による撮像素子の水平方向の画素の読み出しに同期させて所定の領域ごとにゲインを調整するゲイン調整部を備えてもよい。これにより、水平方向のゲインを調整することができる。   The scanning control unit also includes a gain adjustment unit that controls readout scanning of each pixel of the image sensor and adjusts the gain for each predetermined region in synchronization with readout of pixels in the horizontal direction of the image sensor by the scanning control unit. May be. As a result, the horizontal gain can be adjusted.

また、上記課題を解決するために、本発明の別の観点によれば、マトリクス状に配列された複数の画素を有する撮像素子に露光して被写体を撮像する撮像方法であって、被写体の撮像状態を検出するステップと、被写体の撮像状態に応じて、撮像素子に蓄積された電荷を掃出すための掃出し時間を調整して撮像素子の露光を開始させるステップと、撮像素子の露光開始後に撮像素子を遮光するように走行する幕体を動作させるステップと、を含むことを特徴とする、撮像方法が提供される。   In order to solve the above-described problem, according to another aspect of the present invention, there is provided an imaging method for imaging a subject by exposing to an imaging device having a plurality of pixels arranged in a matrix. A step of detecting a state, a step of adjusting the sweep time for sweeping out the electric charge accumulated in the image sensor according to the imaging state of the subject, and starting the exposure of the image sensor; and imaging after the exposure of the image sensor starts And a step of operating a curtain that travels so as to shield the element.

以上説明したように本発明によれば、撮像素子に蓄積された電荷を掃出す時間を調整してダイナミックレンジの広い撮影をすることができる。   As described above, according to the present invention, it is possible to perform photographing with a wide dynamic range by adjusting the time for sweeping out the electric charge accumulated in the image sensor.

本発明の実施形態にかかる画質改善の具体例について説明する説明図である。It is explanatory drawing explaining the specific example of the image quality improvement concerning embodiment of this invention. 同実施形態の概要を説明する説明図である。It is explanatory drawing explaining the outline | summary of the embodiment. 同実施形態にかかる撮像装置の機能構成を示すブロック図である。2 is a block diagram illustrating a functional configuration of the imaging apparatus according to the embodiment. FIG. 同実施形態にかかるCPUの構成を示すブロック図である。It is a block diagram which shows the structure of CPU concerning the embodiment. 同実施形態にかかる撮像シーンの検出について説明する説明図である。It is explanatory drawing explaining the detection of the imaging scene concerning the embodiment. 同実施形態にかかる撮像シーンの検出について説明する説明図である。It is explanatory drawing explaining the detection of the imaging scene concerning the embodiment. 同実施形態にかかる撮像シーンと電荷掃出しパルスのパルス幅との関係について説明する説明図である。It is explanatory drawing explaining the relationship between the imaging scene concerning the same embodiment, and the pulse width of a charge sweep pulse. 同実施形態にかかる撮像シーンと電荷掃出しパルスのパルス幅との関係について説明する説明図である。It is explanatory drawing explaining the relationship between the imaging scene concerning the same embodiment, and the pulse width of a charge sweep pulse. 同実施形態にかかるゲインおよびシャッタの調整について説明する説明図である。It is explanatory drawing explaining the adjustment of the gain and shutter concerning the embodiment. 同実施形態にかかる撮像装置の動作の詳細を示すフローチャートである。3 is a flowchart illustrating details of an operation of the imaging apparatus according to the embodiment. 同実施形態にかかる撮像装置の動作の詳細を示すフローチャートである。3 is a flowchart illustrating details of an operation of the imaging apparatus according to the embodiment.

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。   Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.

また、以下に示す順序に従って当該「発明を実施するための最良の形態」を説明する。
〔1〕本実施形態の目的
〔2〕撮像装置の概要
〔3〕撮像装置の機能構成
〔4〕撮像装置の動作の詳細
Further, the “best mode for carrying out the invention” will be described in the order shown below.
[1] Purpose of this embodiment [2] Overview of imaging apparatus [3] Functional configuration of imaging apparatus [4] Details of operation of imaging apparatus

〔1〕本実施形態の目的
まず、本実施形態の目的について説明する。CMOS(Complementary Metal Oxide Semiconductor)型の撮像素子を搭載した撮像装置において、シャッタ動作の先幕を電子シャッタで行い、後幕をメカニカルシャッタで行うことが開示されている。また、電子シャッタとメカニカルシャッタを組み合わせる方式において、領域またはラインごとに電荷蓄積を開始するタイミングを変更して、レンズの種類や絞りの値、シャッタ速度の違いで発生する露光ムラを防ぐ技術も開示されている。
[1] Purpose of this Embodiment First, the purpose of this embodiment will be described. In an image pickup apparatus equipped with a CMOS (Complementary Metal Oxide Semiconductor) type image pickup device, it is disclosed that the front curtain of the shutter operation is performed by an electronic shutter and the rear curtain is performed by a mechanical shutter. Also disclosed is a technique for preventing exposure unevenness caused by differences in lens type, aperture value, and shutter speed by changing the timing for starting charge accumulation for each region or line in a method combining an electronic shutter and a mechanical shutter. Has been.

上記技術では、従来のメカニカルな先幕を電子的なリセット機能に置き換えたことにより生じる画質的な不具合を補正することを目的としている。したがって、先幕となる電子シャッタの動作タイミングは、後幕となるメカニカルシャッタの後幕とほぼ同じ特性を有するように設定される。また、レンズの種類や絞りの値など、シャッタの特性を変化させる要因について、補正パラメータを盛り込んで動作タイミングが設定される。   The technique described above aims to correct image quality problems caused by replacing the conventional mechanical front curtain with an electronic reset function. Therefore, the operation timing of the electronic shutter serving as the front curtain is set to have substantially the same characteristics as the rear curtain of the mechanical shutter serving as the rear curtain. In addition, for the factors that change the shutter characteristics such as the lens type and the aperture value, the operation timing is set by incorporating correction parameters.

ところで、一般的に撮像素子のダイナミックレンジはまだ低く、暗所から明所までを1つの画像で再現できない場合が多い。例えば、明るい青空を背景に人物を撮影しようとした場合、人物に露出を合わせると空は飽和して、いわゆる白飛びを起こし青空が再現できない。一方、青空に露出を合わせると人物が露光不足で黒くつぶれてしまうということがあった。   By the way, in general, the dynamic range of an image sensor is still low, and there are many cases where a single image cannot be reproduced from a dark place to a bright place. For example, if a person is to be photographed against a bright blue sky, the sky will saturate when the exposure is adjusted to the person, causing the so-called whiteout and the blue sky cannot be reproduced. On the other hand, when the exposure was adjusted to the blue sky, the person was crushed black due to underexposure.

上記した電子シャッタは、撮像素子に蓄積された電荷を掃出すことにより撮像素子の露光を開始するシャッタの先幕として機能するが、電界を掃出す時間が不足する場合には、残留電荷が発生し残像現象が生じる。通常は、残像現象が生じないように、電荷を完全に掃出すのに必要十分な掃出し時間が設定されている。しかし、残留電荷を敢えて発生させることで長時間露光したと同様の効果を得ることができるため、領域ごとまたはラインごとに電荷を掃出す時間を調整してダイナミックレンジの広い良好な画像を得ることが望まれている。   The electronic shutter described above functions as a shutter front curtain that starts exposure of the image sensor by sweeping out the charge accumulated in the image sensor. However, if the time for sweeping out the electric field is insufficient, residual charge is generated. Afterimage phenomenon occurs. Usually, a sweep time necessary and sufficient to completely sweep out charges is set so as not to cause an afterimage phenomenon. However, since it is possible to obtain the same effect as long-time exposure by deliberately generating residual charge, it is possible to obtain a good image with a wide dynamic range by adjusting the time to sweep out charge for each region or line. Is desired.

そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる撮像装置が創作されるに至った。本実施形態にかかる撮像装置10によれば、電子シャッタとメカニカルシャッタを併用する構成において、撮像素子に蓄積された電荷を掃出す時間を調整してダイナミックレンジの広い撮影をすることが可能となる。   In view of the above circumstances, an imaging apparatus according to an embodiment of the present invention has been created. According to the imaging apparatus 10 according to the present embodiment, in a configuration in which an electronic shutter and a mechanical shutter are used in combination, it is possible to perform imaging with a wide dynamic range by adjusting the time for sweeping out the electric charge accumulated in the imaging element. .

〔2〕撮像装置の概要
次に、図1および図2を参照して、本実施形態にかかる撮像装置10の概要について説明する。まず、図1を参照して、本実施形態にかかる撮像装置10による画質改善について説明する。図1は、撮像装置10による画質改善の具体例について説明する説明図である。図1の画像例51〜53は、太陽や山、ススキなどを含む風景を撮影した画像である。画像例51は、画像下部に露出を合わせて撮影した画像である。画像例51では、画像下部のススキなどはよく撮影されているが、上部の太陽周辺はいわゆる白飛びを起こしてしまっている。また、画像例52は、画像上部の太陽に露出を合わせて撮影した画像である。画像例52では、画像上部の太陽はよく撮影されているが、画像下部のススキなどは露光不足で黒くなってしまっている。
[2] Overview of Imaging Device Next, an overview of the imaging device 10 according to the present embodiment will be described with reference to FIGS. 1 and 2. First, with reference to FIG. 1, image quality improvement by the imaging apparatus 10 according to the present embodiment will be described. FIG. 1 is an explanatory diagram for explaining a specific example of image quality improvement by the imaging apparatus 10. The image examples 51 to 53 in FIG. 1 are images obtained by photographing a landscape including the sun, mountains, pampas grass, and the like. The image example 51 is an image taken with exposure adjusted at the lower part of the image. In the image example 51, the Japanese pampas grass at the lower part of the image is well photographed, but so-called whitening has occurred around the upper sun. In addition, the image example 52 is an image taken with exposure adjusted to the sun above the image. In the image example 52, the sun at the top of the image is often photographed, but the skies at the bottom of the image are black due to insufficient exposure.

画像例53は、撮像装置10により露出調整されて撮影された画像である。画像例53では、太陽周辺が画像例51ほど白くなく、画像下部が画像例52ほど黒くなっておらず、太陽も山もススキもよく撮影されている画像となっている。上記したように、撮像装置10は、電子シャッタとメカニカルシャッタを併用している。撮像装置10は、先幕となる電子シャッタ(電子先幕シャッタ)により露光を開始する際に、撮像素子に蓄積された電荷を掃出すための掃出し時間を調整して領域ごとまたはラインごとに露光時間を調整することができる。   The image example 53 is an image that is captured with exposure adjusted by the imaging device 10. In the image example 53, the periphery of the sun is not as white as the image example 51, and the lower part of the image is not as black as the image example 52. As described above, the imaging device 10 uses both an electronic shutter and a mechanical shutter. When the image pickup apparatus 10 starts exposure with an electronic shutter (electronic front curtain shutter) as a front curtain, the image pickup apparatus 10 adjusts the sweep time for sweeping out the electric charge accumulated in the image pickup device and performs exposure for each area or line. The time can be adjusted.

上記したように、撮像素子に蓄積された電荷をすべて掃出すための時間が不足している場合には残留電荷が発生し、その結果、残像現象が生じる。例えば、画像の暗い部分に対して意図時に残留電荷を残すように電荷を掃出す時間を設定することで、画像の暗い部分に長時間露光したことと同様の効果を得ることができる。具体的には、撮像装置10は、撮像画面を領域ごとに分割し、領域ごとの明るさの分布を検知して撮像シーンの分析を行う。そして、領域ごとの測光値をもとに、電子先幕シャッタの電荷掃出し時間を変更して、画面内での露光時間を撮影シーンに合わせて調整することができる。   As described above, when the time for sweeping out all the charges accumulated in the image sensor is insufficient, residual charges are generated, resulting in an afterimage phenomenon. For example, by setting the time for sweeping out the charge so that the residual charge is left in the dark portion of the image when intended, the same effect as that obtained by exposing the dark portion of the image for a long time can be obtained. Specifically, the imaging device 10 divides the imaging screen for each area, detects the brightness distribution for each area, and analyzes the imaging scene. Then, based on the photometric value for each region, the charge sweep time of the electronic front curtain shutter can be changed, and the exposure time in the screen can be adjusted according to the shooting scene.

例えば、画像例53では、上部と下部で明るさが異なっている。すなわち、上部は明るく、下部が暗い画像である。そこで、撮像装置10は、画面の上部では蓄積された電荷がすべて掃出されるように掃出し時間を設定し、画面の下部では電荷掃出し時間を短く設定し、敢えて残留電荷を残して露光時間が長くなるようにする。   For example, in the image example 53, the brightness is different between the upper part and the lower part. That is, the image is bright at the top and dark at the bottom. Therefore, the imaging device 10 sets a sweep time so that all accumulated charges are swept out at the top of the screen, and sets a short charge sweep time at the bottom of the screen, and dares to leave a residual charge and increase the exposure time. To be.

例えば、画面内の明るさ(輝度)が128より大きい場合には、電荷がすべて掃出される掃出し時間を設定し、輝度が128以下の場合には、輝度の値に応じて掃出し時間を調整するようにしてもよい。すなわち、画面内の明るさが暗くなり輝度の値が小さくなるほど掃出し時間を短くして残留電荷を多く残すことにより、暗い部分に長時間露光したことと同様の効果を得ることができる。   For example, when the brightness (brightness) in the screen is greater than 128, a sweep time for sweeping out all charges is set, and when the brightness is 128 or less, the sweep time is adjusted according to the brightness value. You may do it. That is, as the brightness in the screen becomes darker and the brightness value becomes smaller, the sweeping time is shortened to leave more residual charges, whereby the same effect as that obtained by exposing a dark part for a long time can be obtained.

ここで、図2を参照して、シャッタの先幕と後幕について説明する。図2は、電子先幕シャッタと機械式シャッタの後幕の動作について説明する説明図である。図2にでは、右方向に時間の経過を表し、下方向に撮像素子のライン(Line)数を表している。ここで、Line[N]におけるNは、撮像素子の垂直方向の有効ライン数に相当する。また、撮像装置10を使用した撮影は、ライブビューモードからの静止画撮影で使用されることとする。   Here, the front curtain and rear curtain of the shutter will be described with reference to FIG. FIG. 2 is an explanatory diagram for explaining the operation of the electronic front curtain shutter and the rear curtain of the mechanical shutter. In FIG. 2, the passage of time is shown in the right direction, and the number of lines of the image sensor is shown in the downward direction. Here, N in Line [N] corresponds to the number of effective lines in the vertical direction of the image sensor. In addition, shooting using the imaging device 10 is used in still image shooting from the live view mode.

先幕として電子シャッタを用いる場合には、撮像素子が備える各画素にリセット動作を行わせるリセット信号を画素ライン単位で順次に与えて、当該撮像素子に露光動作を開始させる。そして、設定された露光時間の経過後に幕体を走行させる機械的な遮光を行い当該撮像素子の露光動作を終了させる。撮像素子の露光動作が終了すると、撮像素子から画像データの読み出しが行われる。   When an electronic shutter is used as the front curtain, a reset signal that causes each pixel included in the image sensor to perform a reset operation is sequentially given in units of pixel lines to cause the image sensor to start an exposure operation. Then, after the set exposure time elapses, mechanical light shielding for moving the curtain is performed, and the exposure operation of the image sensor is terminated. When the exposure operation of the image sensor is completed, image data is read from the image sensor.

図2に示したように、機械式シャッタは、幕体の移動速度が一定ではなく、移動始端では比較的幕速が遅く、移動終端になるほど加速されて比較的幕速が速くなっている。また、温湿度の変化や姿勢差などによっても、幕速が変化する場合がある。そこで、撮像装置10では、先幕として用いる電子シャッタの幕速を機械式シャッタの幕速に合わせるようにしている。電子シャッタの幕速を機械式シャッタの幕速に合わせるとは、すなわち、電子先幕シャッタのリセット走査(露光開始走査)の走査カーブを、機械式シャッタの走行カーブとほぼ同じ形状とすることを意味する。   As shown in FIG. 2, in the mechanical shutter, the moving speed of the curtain body is not constant, the curtain speed is relatively slow at the movement start end, and is accelerated toward the movement end to relatively increase the curtain speed. In addition, the curtain speed may change due to a change in temperature and humidity or a difference in posture. Therefore, in the imaging apparatus 10, the curtain speed of the electronic shutter used as the front curtain is matched with the curtain speed of the mechanical shutter. Matching the shutter speed of the electronic shutter to the shutter speed of the mechanical shutter means that the scanning curve of reset scanning (exposure start scanning) of the electronic front shutter is substantially the same as the traveling curve of the mechanical shutter. means.

図2に示したように、電子先幕シャッタの露光開始走査は、電荷掃出しパルスの発生により開始される。具体的には、電荷掃出しポインター(Pointer)により電荷が掃出されるラインアドレスが指定される。電荷掃出しパルスが「H」(H=High)となったときに、電荷掃出しポインターで指定されたラインの撮像素子がグランド(GND)に接続されて、当該画素に蓄積されていた電荷が掃出される。撮像素子に蓄積されていた電荷を掃出すことを、以降、電荷がリセットされるとも称する。   As shown in FIG. 2, the exposure start scanning of the electronic front curtain shutter is started by the generation of a charge sweep pulse. Specifically, a line address from which charges are swept is designated by a charge sweep pointer (Pointer). When the charge sweep pulse becomes “H” (H = High), the image sensor on the line designated by the charge sweep pointer is connected to the ground (GND), and the charge accumulated in the pixel is swept out. It is. Hereinafter, sweeping out the charge accumulated in the image sensor is also referred to as resetting the charge.

上記したように、撮像装置10を用いた撮影は、ライブビューモードからの静止画撮影で使用される。したがって、電荷掃出しパルスが「H」となっている間にライブビューモードにおいて蓄積された電荷が掃出されることとなる。通常、電荷を完全に掃出すのに必要十分なパルス幅が設定されている。しかし、電荷掃出しパルスが「H」となっている時間が短い場合には、蓄積されていた電荷をすべて掃出す時間が不足して残留電荷が発生して残像現象が生じる。画像の暗い部分に対して、意図的に残留電荷を残すようにすることで、画像の暗い部分に長時間露光をしたことと同様の効果を得ることが可能となる。撮像装置10では、図2に示したように、電荷掃出し時間、すなわち、電荷掃出しパルスが「H」となる時間を可変にして、電荷を完全に掃出したり意図的に残留電荷を発生させたりして露光時間を調整している。   As described above, shooting using the imaging device 10 is used in still image shooting from the live view mode. Therefore, the charges accumulated in the live view mode while the charge sweep pulse is “H” are swept out. Usually, a pulse width sufficient and sufficient for sweeping out the electric charge is set. However, when the time during which the charge sweep pulse is “H” is short, the time for sweeping out all accumulated charges is insufficient, and residual charges are generated, resulting in an afterimage phenomenon. By intentionally leaving a residual charge in the dark part of the image, it is possible to obtain the same effect as when the dark part of the image is exposed for a long time. In the imaging apparatus 10, as shown in FIG. 2, the charge sweep time, that is, the time during which the charge sweep pulse becomes “H” is made variable so that the charge is completely swept or the residual charge is intentionally generated. To adjust the exposure time.

図2では、撮像素子のLine[N]付近では、Line[0]よりもパルス幅が狭くなっている。Line[0]において電荷を完全に掃出すために必要なパルス幅が設定されており、Line[N]付近ではパルス幅を狭くして電荷掃出し時間を短くすることにより残留電荷を発生させている。したがって、Line[N]付近では、結果的に露光時間が長くなり、画像の暗い部分を明るくすることが可能となる。   In FIG. 2, the pulse width is narrower than Line [0] near Line [N] of the image sensor. A pulse width necessary for completely sweeping out charges in Line [0] is set. In the vicinity of Line [N], residual pulses are generated by narrowing the pulse width and shortening the charge sweep time. . Therefore, in the vicinity of Line [N], the exposure time is consequently increased, and the dark portion of the image can be brightened.

撮像装置10は、画面の領域ごとまたはラインごとの測光値をもとに、白飛びしている領域や黒くつぶれている領域など被写体の撮像シーン(撮像状態)を検出する。そして検出した撮像シーンに応じて電荷掃出し時間を調整している。例えば、検知した撮影シーンの上部が明るく下部が暗い場合には、電子先幕の移動始端(Line[0]付近)では電荷をすべて掃出すのに必要十分なパルス幅を設定する。また、電子先幕の移動終端(Line[N]付近)では、残留電荷が残るようにLine[0]付近より狭いパルス幅を設定する。このように、撮像装置10によれば、撮影シーンに応じて電荷掃出し時間を調整して、ダイナミックレンジの広い撮影をすることが可能となる。   The imaging apparatus 10 detects an imaging scene (imaging state) of a subject such as a whiteout area or a blackened area based on a photometric value for each area of the screen or for each line. The charge sweep time is adjusted according to the detected imaging scene. For example, when the upper part of the detected shooting scene is bright and the lower part is dark, a pulse width necessary and sufficient for sweeping out all electric charges is set at the movement start end (near Line [0]) of the electronic front curtain. In addition, a narrower pulse width than that in the vicinity of Line [0] is set so that residual charges remain at the moving end of the electronic front curtain (in the vicinity of Line [N]). As described above, according to the imaging apparatus 10, it is possible to perform imaging with a wide dynamic range by adjusting the charge sweep time according to the imaging scene.

さらに、領域ごとの測光値をもとに、部分的に感度(ゲイン)を変更するようにしてもよい。例えば、白飛びする画面領域と黒くつぶれてしまう画面領域の割合や、コントラスト、それぞれの位置などから、1画面の領域ごとに電子先幕シャッタにより露光時間を調整するか、感度を変更(ゲイン変更)するかのいずれかまたは両方により調整するようにしてもよい。これにより、ダイナミックレンジの広い、良好な画像を取得することが可能となる。   Furthermore, the sensitivity (gain) may be partially changed based on the photometric value for each region. For example, the exposure time is adjusted by the electronic front curtain shutter for each screen area, or the sensitivity is changed (gain change) based on the ratio, contrast, position, etc. ) May be adjusted by either or both. This makes it possible to acquire a good image with a wide dynamic range.

〔3〕撮像装置の機能構成
以上、撮像装置10の概要について説明した。次に、図3を参照して、撮像装置10の機能構成について説明する。図3は、撮像装置10の機能構成を示すブロック図である。図3に示したように、撮像装置10は、CMOS102、シャッタ104a、104b(以降、シャッタユニット104とも称する)、AFE(Analog Front End:アナログフロントエンド)106、TG(タイミングジェネレータ)108、撮像信号処理部110、メモリコントローラ112、メモリ114、メモリコントローラ116、AE/AF/AWB120、CPU122、LCD/Image Output(LCD/IO)124、LCD126、RAMテーブル130、シャッタドライバ132、レンズユニット15などを備える。
[3] Functional Configuration of Imaging Device The outline of the imaging device 10 has been described above. Next, a functional configuration of the imaging apparatus 10 will be described with reference to FIG. FIG. 3 is a block diagram illustrating a functional configuration of the imaging apparatus 10. As shown in FIG. 3, the imaging device 10 includes a CMOS 102, shutters 104a and 104b (hereinafter also referred to as shutter unit 104), an AFE (Analog Front End) 106, a TG (timing generator) 108, an imaging signal. A processing unit 110, a memory controller 112, a memory 114, a memory controller 116, an AE / AF / AWB 120, a CPU 122, an LCD / Image Output (LCD / IO) 124, an LCD 126, a RAM table 130, a shutter driver 132, a lens unit 15 and the like are provided. .

CMOS102は、本発明のマトリクス状に配列された複数の画素を有する撮像素子の一例であり、レンズユニット15から入射された光を電気信号に変換するための素子である。詳しくは、CMOS102は、レンズユニット15により結像された被写体の光像をR(赤)、G(緑)、B(青)の各色成分のアナログの電気信号(画像信号)に変換し、R、G、B各色の画像信号として出力する。本実施形態においては、CMOS102の各画素に所定のタイミングでリセット信号を与えることで、CMOS102の露光動作を開始させて電子先幕シャッタとして機能させている。   The CMOS 102 is an example of an image sensor having a plurality of pixels arranged in a matrix according to the present invention, and is an element for converting light incident from the lens unit 15 into an electrical signal. Specifically, the CMOS 102 converts the light image of the subject formed by the lens unit 15 into analog electrical signals (image signals) of R (red), G (green), and B (blue) color components, and R , G, and B image signals. In the present embodiment, by applying a reset signal to each pixel of the CMOS 102 at a predetermined timing, the exposure operation of the CMOS 102 is started to function as an electronic front curtain shutter.

シャッタユニット104は、CMOS102の所定の画素ラインの垂直方向に移動する幕体を備え、CMOS102に露光される光の遮断動作を行う後幕として機能する。シャッタユニット104の動作は、シャッタドライバ132により制御される。   The shutter unit 104 includes a curtain body that moves in the vertical direction of a predetermined pixel line of the CMOS 102, and functions as a rear curtain that performs a blocking operation of light exposed to the CMOS 102. The operation of the shutter unit 104 is controlled by the shutter driver 132.

AFE106は、アナログ前段回路であり、CMOS102から出力されたアナログの電気信号を撮像信号処理部110に提供する。TG(タイミングジェネレータ)108は、CMOS102におよびAFE106にタイミング信号を入力する機能を有する。TG108からのタイミング信号によりシャッタ速度が決定される。つまり、TG108からのタイミング信号によりCMOS102の駆動が制御され、CMOS102が駆動する時間内に被写体からの映像光を入射することで、画像データの基となる電気信号が生成される。   The AFE 106 is an analog pre-stage circuit, and provides an analog electric signal output from the CMOS 102 to the imaging signal processing unit 110. The TG (timing generator) 108 has a function of inputting timing signals to the CMOS 102 and the AFE 106. The shutter speed is determined by the timing signal from the TG 108. In other words, the driving of the CMOS 102 is controlled by the timing signal from the TG 108, and the image light from the subject is incident within the driving time of the CMOS 102, thereby generating an electrical signal that is the basis of the image data.

撮像信号処理部110は、AFE106から出力されたアナログの電気信号をデジタル信号に変換した画像の生データを生成する機能を有する。また、撮像信号処理部110は、CMOS102から得られる画像の生データに対して、光量のゲイン補正やホワイトバランスを調整する。メモリコントローラ112は、撮影した画像をメモリ114に一時的に記憶させたり、記憶された画像を読み出したりする機能を有する。メモリ114は、複数の画像を記憶だけるだけの記憶容量を有している。メモリ114としては、例えば、SDRAM(Synchronous Dynamic Random Access Memory)を用いてもよい。   The imaging signal processing unit 110 has a function of generating raw image data obtained by converting an analog electrical signal output from the AFE 106 into a digital signal. Further, the imaging signal processing unit 110 adjusts the light amount gain correction and white balance for the raw image data obtained from the CMOS 102. The memory controller 112 has a function of temporarily storing captured images in the memory 114 and reading the stored images. The memory 114 has a storage capacity sufficient to store a plurality of images. As the memory 114, for example, an SDRAM (Synchronous Dynamic Random Access Memory) may be used.

メモリカードコントローラ116は、メモリカード118に撮影された画像や合成された画像を記録させる機能を有する。メモリカード118は、フラッシュメモリにデータを記録するカード型の記憶装置である。   The memory card controller 116 has a function of recording a photographed image or a synthesized image on the memory card 118. The memory card 118 is a card-type storage device that records data in a flash memory.

AE/AF/AWB120は、撮像時における周辺光量(明るさ)や、焦点距離、絞り値(フォーカス)、色温度などを検知して、検知結果をCPU122に提供する機能を有する。CPU122は、CMOS102やTG108などに対して信号系の命令を行ったり、操作部150に対する操作系の命令を行ったりする。本実施形態では、信号系の命令と走査系の命令を1つのCPU122で行っているが、かかる例に限定されず、2つのCPUでそれぞれ実行するようにしてもよい。CPU122による電子シャッタによる先幕とメカニカルシャッタによる後幕の制御については後で詳細に説明する。   The AE / AF / AWB 120 has a function of detecting a peripheral light amount (brightness), a focal length, an aperture value (focus), a color temperature, and the like at the time of imaging, and providing a detection result to the CPU 122. The CPU 122 issues a signal-related command to the CMOS 102, the TG 108, or the like, or issues an operation-related command to the operation unit 150. In the present embodiment, the signal system command and the scanning system command are executed by one CPU 122, but the present invention is not limited to this example, and may be executed by two CPUs. The control of the front curtain by the electronic shutter and the rear curtain by the mechanical shutter by the CPU 122 will be described in detail later.

LCD126は、撮影操作する前のライブビュー表示や、撮像装置10の各種設定画面や、撮像した画像を表示する機能を有する。また、TV128は、撮像した画像などをテレビジョン受像機の画面に表示する機能を有する。画像データ等のLCD126やTV128への表示は、LCD/IO(ImageOutput)124を介して表示される。   The LCD 126 has a function of displaying a live view display before photographing operation, various setting screens of the imaging apparatus 10, and captured images. The TV 128 has a function of displaying captured images on the screen of the television receiver. Display of image data and the like on the LCD 126 and the TV 128 is displayed via an LCD / IO (Image Output) 124.

RAMテーブル130は、本発明の走査テーブルを記憶しているテーブルである。RAMテーブル130には、予め複数の走査パターンを記憶しておき撮像シーンに応じた走査パターンを選択するようにしてもよい。また、基準となる走査パターンをRAMテーブル130に記憶させておき、撮像シーンの周辺光量等の値と基準値との差異に応じて走査パターンを変更させるようにしてもよい。走査パターンは、電子先幕シャッタによるリセットタイミング(露光開始タイミング)を出力するタイミングである。本実施形態では、電子先幕シャッタのリセット走査の走査カーブを、機械式の後幕シャッタの走行カーブとほぼ同じ形状としている。   The RAM table 130 is a table that stores the scan table of the present invention. The RAM table 130 may store a plurality of scanning patterns in advance and select a scanning pattern according to the imaging scene. Further, a reference scanning pattern may be stored in the RAM table 130, and the scanning pattern may be changed according to a difference between a value such as a peripheral light amount of the imaging scene and the reference value. The scanning pattern is a timing for outputting a reset timing (exposure start timing) by the electronic front curtain shutter. In the present embodiment, the scanning curve for reset scanning of the electronic front curtain shutter has substantially the same shape as the traveling curve of the mechanical rear curtain shutter.

また、RAMテーブル130には、撮像素子の電荷蓄積量と蓄積した電荷を掃出すのに要する時間特性が記憶されている。また、撮影画像の輝度などの撮像シーンに応じた電荷掃出し時間の割合を記憶してもよい。例えば、撮像素子に蓄積した電荷をすべて掃出すのに要する時間を基準時間とし、輝度値と基準時間に対する減算割合との関係を示すテーブルを記憶する。これにより、基準時間と減算割合とを用いて撮像シーンに応じた電荷掃出し時間の調整を行うことが可能となる。   The RAM table 130 stores the charge accumulation amount of the image sensor and the time characteristics required to sweep out the accumulated charge. Further, the ratio of the charge sweep time according to the imaging scene such as the brightness of the captured image may be stored. For example, a table indicating the relationship between the luminance value and the subtraction ratio with respect to the reference time is stored with the time required to sweep all charges accumulated in the image sensor as the reference time. Thereby, it is possible to adjust the charge sweep time according to the imaging scene using the reference time and the subtraction ratio.

また、走査パターンを記憶するRAMテーブル130に代えて、関数発生回路(図示せず)を搭載してもよい。この場合、関数は、単純に2次関数で表現する方法や、1次関数で補間していく方法などが挙げられる。関数発生回路により走査タイミングを出力することにより、搭載回路を小さくすることができる。   Further, a function generation circuit (not shown) may be mounted instead of the RAM table 130 for storing the scanning pattern. In this case, the function may be simply expressed by a quadratic function or may be interpolated by a linear function. By outputting the scanning timing by the function generation circuit, the mounted circuit can be reduced.

操作部150は、撮像装置10の操作を行ったり、撮像時の各種の設定を行ったりするための部材が配置されている。操作部150に配置される部材には、電源ボタン、撮影モードや撮影ドライブモードの選択および効果パラメータを設定する十字キーおよび選択ボタン、被写体の撮影動作を開始するシャッタボタン等を含んでいてもよい。   The operation unit 150 is provided with members for operating the imaging device 10 and performing various settings during imaging. The members arranged in the operation unit 150 may include a power button, a cross key and a selection button for selecting a shooting mode and a shooting drive mode and setting an effect parameter, a shutter button for starting a shooting operation of a subject, and the like. .

次に、図4を参照して、CPU122による先幕と後幕の制御について説明する。図4は、CPU122の構成を示すブロック図である。図4に示したようにCPU122は、検出部202、走査制御部204、動作制御部206、ゲイン調整部208などを備える。   Next, referring to FIG. 4, the control of the front curtain and the rear curtain by the CPU 122 will be described. FIG. 4 is a block diagram showing the configuration of the CPU 122. As shown in FIG. 4, the CPU 122 includes a detection unit 202, a scan control unit 204, an operation control unit 206, a gain adjustment unit 208, and the like.

検出部202は、被写体の撮像状態を検出する機能を有する。具体的には、検出部202は、AE/AF/AEBなどの各種センサ120により検知された周辺光量(明るさ)や、焦点距離、絞り値、色温度などから撮像状態(撮像シーン)を検出し、撮影シーンが画像を再現する際に適切なダイナミックレンジの範囲内となるか否かを検出する。例えば、露光過多で白飛びしてしまっていたり、露光不足で黒くつぶれてしまったりという、再現できない画像があるか否かを検出する。   The detection unit 202 has a function of detecting the imaging state of the subject. Specifically, the detection unit 202 detects an imaging state (imaging scene) from the peripheral light amount (brightness) detected by various sensors 120 such as AE / AF / AEB, focal length, aperture value, color temperature, and the like. Then, it is detected whether or not the shooting scene falls within an appropriate dynamic range when reproducing an image. For example, it is detected whether there is an image that cannot be reproduced, such as being overexposed due to overexposure or being blacked out due to underexposure.

ここで、図5および図6を参照して、検出部202による撮像シーンの検出について説明する。図5および図6は、検出部202による撮像シーンの検出について説明する説明図である。図5は、画像の上部がいわゆる白飛びを起こし、青空が再現できていない画像である。検出部202は、画面71内で白飛びしている領域を求める。例えば、説明図72に示したように、画面71を所定の領域に分割して、白飛びしている領域を求めるようにしてもよい。この場合、画面71の上部4つの領域が白飛びしている領域、すなわちダイナミックレンジの上限を超えている領域であることを検出する。   Here, with reference to FIG. 5 and FIG. 6, detection of an imaging scene by the detection unit 202 will be described. 5 and 6 are explanatory diagrams for describing detection of an imaging scene by the detection unit 202. FIG. FIG. 5 is an image in which the upper part of the image causes so-called whiteout and the blue sky cannot be reproduced. The detection unit 202 obtains a whiteout area in the screen 71. For example, as shown in the explanatory diagram 72, the screen 71 may be divided into predetermined areas to obtain a whiteout area. In this case, it is detected that the upper four areas of the screen 71 are white areas, that is, areas that exceed the upper limit of the dynamic range.

また、図6に示したヒストグラム73により画面内の白飛びしている領域を求めるようにしてもよい。ヒストグラム73では、右側に大きな山が現れている。すなわち、画面の一部に特に白飛びしている領域があることがわかる。撮像装置10では、後述する走査制御部204により撮像素子の露光量を制御することにより、画面の領域またはラインごとの露光時間を補正して、白飛びしている領域の露出を抑えることが可能となる。   Further, a whiteout area in the screen may be obtained from the histogram 73 shown in FIG. In the histogram 73, a large mountain appears on the right side. That is, it can be seen that there is a particularly overexposed area in a part of the screen. In the imaging apparatus 10, by controlling the exposure amount of the imaging element by the scanning control unit 204 described later, it is possible to correct the exposure time for each area of the screen or each line, and to suppress the exposure of the overexposed area. It becomes.

図4に戻り、CPU122の構成についての説明を続ける。走査制御部204は、後述する動作制御部206による幕体の走行に先行して、CMOS102に蓄積された電荷を掃出すことによりCMOS102の露光を開始する。走査制御部204は、検出部202により検出された被写体の撮像状態に応じて、撮像素子に蓄積された電荷を掃出すための掃出し時間を調整する。走査制御部204は、走査パターン記憶部(RAMテーブル)130に記憶されている走査パターンに基づいてCMOS102に蓄積された電荷を掃出す。   Returning to FIG. 4, the description of the configuration of the CPU 122 will be continued. The scanning control unit 204 starts exposure of the CMOS 102 by sweeping out the electric charge accumulated in the CMOS 102 prior to the movement of the curtain by the operation control unit 206 described later. The scanning control unit 204 adjusts the sweep time for sweeping out the electric charge accumulated in the image sensor according to the imaging state of the subject detected by the detection unit 202. The scanning control unit 204 sweeps out charges accumulated in the CMOS 102 based on the scanning pattern stored in the scanning pattern storage unit (RAM table) 130.

また、走査パターン記憶部130に記憶されている電荷掃出し時間の割合をもとに、CMOS102に蓄積された電荷を掃出すための掃出し時間を調整する。CMOS102に蓄積された電荷を掃出すための掃出し時間は、電荷掃出しパルスのパルス幅を調整することにより可変とすることができる。   Further, the sweep time for sweeping out the charges accumulated in the CMOS 102 is adjusted based on the ratio of the charge sweep time stored in the scan pattern storage unit 130. The sweep time for sweeping out the charge accumulated in the CMOS 102 can be made variable by adjusting the pulse width of the charge sweep pulse.

ここで、図7および図8を参照して、撮像シーンと電荷掃出しパルスのパルス幅との関係について説明する。図7および図8は、撮像シーンと電荷掃出しパルスのパルス幅との関係について説明する説明図である。図7に示したように、撮像素子のLine[0]〜Line[M]までは、撮像素子に蓄積された電荷をすべて掃出す(残留電荷ゼロ)完全掃出し領域となっている。また、撮像素子のLine[M]〜Line[N]までは、撮像素子に蓄積された電荷を意図的に残留させる(残留電荷有り)不完全掃出し領域となっている。   Here, the relationship between the imaging scene and the pulse width of the charge sweep pulse will be described with reference to FIGS. 7 and 8 are explanatory diagrams illustrating the relationship between the imaging scene and the pulse width of the charge sweep pulse. As shown in FIG. 7, the line [0] to Line [M] of the image sensor is a complete sweep region in which all charges accumulated in the image sensor are swept (zero residual charge). Further, Line [M] to Line [N] of the image sensor is an incomplete sweep region in which the charge accumulated in the image sensor intentionally remains (with residual charge).

Line[0]〜Line[M]までの完全掃出し領域では、電荷掃出しパルスのパルス幅は一定の幅となっており、CMOS102に蓄積された電荷を掃出すのに必要十分なパルス幅が設定されている。また、Line[M]〜Line[N]までの不完全掃出し領域では、Line[0]〜Line[M]で設定されたパルス幅より短いパルス幅が設定されて、蓄積された電荷が残留するパルス幅となっている。さらに、Line[M]からLine[N]までライン数が増える毎にパルス幅が狭くなっている。上記したようにパルス幅を狭くすることにより、より多くの電荷が撮像素子に残留して、より長時間露光したと同様の効果を得ることができる。   In the complete sweep region from Line [0] to Line [M], the pulse width of the charge sweep pulse is a constant width, and a pulse width necessary and sufficient to sweep the charge accumulated in the CMOS 102 is set. ing. In the incomplete sweep region from Line [M] to Line [N], a pulse width shorter than the pulse width set by Line [0] to Line [M] is set, and the accumulated charge remains. It has a pulse width. Furthermore, the pulse width becomes narrower as the number of lines increases from Line [M] to Line [N]. As described above, by narrowing the pulse width, more charge remains in the image sensor, and the same effect can be obtained as when exposure is performed for a longer time.

例えば、撮像装置10では、撮像画像の下部から上部に向かって露光開始走査が行われる。撮像画像の上部が暗くなっている、すなわち、撮像画像の上部の輝度値が低い場合には、図7に示したように、撮像画像の上部のLineにおけるパルス幅を撮像画像の下部のLineにおけるパルス幅より狭くして、撮像画像の上部の暗くなっている部分の露光時間を長くすることができる。   For example, in the imaging apparatus 10, exposure start scanning is performed from the lower part to the upper part of the captured image. When the upper part of the captured image is dark, that is, when the luminance value of the upper part of the captured image is low, as shown in FIG. 7, the pulse width in the upper Line of the captured image is set in the lower Line of the captured image. By making the width narrower than the pulse width, the exposure time of the dark portion at the top of the captured image can be extended.

例えば、画面の明るさ(輝度)を0〜255の256段階で表す場合には、輝度値が128以上の場合は適正露光であると判断して、残留電荷がゼロとなるようにパルス幅を設定する。一方、輝度が128より小さい値である場合には、暗い画像であると判断して、蓄積された電荷が残留するように完全掃出し領域のパルス幅より狭いパルス幅を設定する。さらに、輝度が128より小さい値である場合には、輝度の値に対するパルス幅の減算割合を設定して、輝度が小さくなるほどパルス幅が狭くなるようにする。これにより、ライン毎に露光時間を調整して、ダイナミックレンジの広い良好な画像を得ることが可能となる。   For example, when the brightness (brightness) of the screen is expressed in 256 levels from 0 to 255, if the luminance value is 128 or more, it is determined that the exposure is appropriate and the pulse width is set so that the residual charge becomes zero. Set. On the other hand, if the luminance is less than 128, it is determined that the image is dark and a pulse width narrower than the pulse width of the complete sweep region is set so that the accumulated charge remains. Further, when the luminance is a value smaller than 128, a subtraction ratio of the pulse width with respect to the luminance value is set so that the pulse width becomes narrower as the luminance decreases. This makes it possible to adjust the exposure time for each line and obtain a good image with a wide dynamic range.

また、撮像画像の下部が暗くなっている、すなわち、撮像画像の下部の輝度値が低い場合には、図8に示したように、撮像画像の下部のLineにおけるパルスは場を撮像画像の上部のLineにおけるパルス幅より狭くして、撮像画像の下部の暗くなっている部分の露光時間を長くすることができる。   Further, when the lower part of the captured image is dark, that is, when the brightness value of the lower part of the captured image is low, as shown in FIG. It is possible to lengthen the exposure time of the dark portion below the captured image by making it narrower than the pulse width in the line.

図8では、撮像素子のLine[M]〜Line[N]までは、撮像素子に蓄積された電荷を意図的に残留させる(残留電荷有り)不完全掃出し領域となっている。また、撮像素子のLine[0]〜Line[M]までは、撮像素子に蓄積された電荷をすべて掃出す(残留電荷ゼロ)完全掃出し領域となっている。   In FIG. 8, Line [M] to Line [N] of the image sensor is an incomplete sweep region in which charges accumulated in the image sensor intentionally remain (with residual charges). Further, the line [0] to Line [M] of the image sensor is a complete sweep region in which all charges accumulated in the image sensor are swept out (zero residual charge).

また、Line[M]〜Line[N]までの不完全掃出し領域では、Line[0]〜Line[M]で設定されたパルス幅より短いパルス幅が設定されて、蓄積された電荷が残留するパルス幅となっている。さらに、Line[M]からLine[N]までライン数が増える毎にパルス幅が狭くなっている。上記したようにパルス幅を狭くすることにより、より多くの電荷が撮像素子に残留して、より長時間露光したと同様の効果を得ることができる。一方、Line[0]〜Line[M]までの完全掃出し領域では、電荷掃出しパルスのパルス幅は一定の幅となっており、CMOS102に蓄積された電荷を掃出すのに必要十分なパルス幅が設定されている。   In the incomplete sweep region from Line [M] to Line [N], a pulse width shorter than the pulse width set by Line [0] to Line [M] is set, and the accumulated charge remains. It has a pulse width. Furthermore, the pulse width becomes narrower as the number of lines increases from Line [M] to Line [N]. As described above, by narrowing the pulse width, more charge remains in the image sensor, and the same effect can be obtained as when exposure is performed for a longer time. On the other hand, in the complete sweep region from Line [0] to Line [M], the pulse width of the charge sweep pulse is a constant width, and the pulse width necessary and sufficient to sweep the charge accumulated in the CMOS 102 is sufficient. Is set.

図4に戻り、動作制御部206は、CMOS102を遮光するように走行する幕体の動作を制御する機能を有する。動作制御部206は、シャッタドライバ132を介して幕体の動作を制御する。動作制御部206は、走査制御部204の制御により、CMOS102に露光動作を開始させた後、設定された露光時間の経過後に幕体を走行させることにより、機械的な遮光を行いCMOS102の露光動作を終了させる。   Returning to FIG. 4, the operation control unit 206 has a function of controlling the operation of the curtain that travels so as to shield the CMOS 102. The operation control unit 206 controls the operation of the curtain through the shutter driver 132. The operation control unit 206 starts the exposure operation of the CMOS 102 under the control of the scanning control unit 204 and then moves the curtain after the set exposure time has elapsed, thereby performing mechanical light shielding and performing the exposure operation of the CMOS 102. End.

走査制御部204は、CMOS102の露光開始走査を、走査パターンに基づいてリセット信号を各画素に与えることによりCMOS102の露光を開始するシャッタの先幕として機能させる。そして、動作制御部206は、CMOS102を遮光する幕体をシャッタの後幕とて機能させる。また、走査制御部204は、撮像シーンに応じてリセット信号のパルス幅を調整する。このように、走査制御部204が撮像シーンに応じたリセット信号のパルス幅に基づいて電子先幕シャッタを制御し、動作制御部206がメカ後幕シャッタを制御することにより、ライン毎または領域毎に露出を調整することが可能となる。   The scanning control unit 204 causes the exposure start scanning of the CMOS 102 to function as a shutter front curtain for starting the exposure of the CMOS 102 by giving a reset signal to each pixel based on the scanning pattern. Then, the operation control unit 206 causes the curtain body that shields the CMOS 102 to function as the rear curtain of the shutter. Further, the scanning control unit 204 adjusts the pulse width of the reset signal according to the imaging scene. As described above, the scanning control unit 204 controls the electronic front curtain shutter based on the pulse width of the reset signal corresponding to the imaging scene, and the operation control unit 206 controls the mechanical rear curtain shutter so that each line or each region is controlled. It is possible to adjust the exposure.

ゲイン調整部208は、走査制御部204により、CMOS102の各画素の読み出し操作が制御された場合に、走査制御部204によるCMOS102の水平方向の画素の読み出しに同期させて所定の領域ごとにゲインを調整する機能を有する。ゲイン調整部208は、CMOS102の画素単位でゲインを調整し、CMOS102の水平方向の画素の読み出し位置に同期させてゲインの変化幅を示す所定の関数に基づいてゲインを調整する。   When the scanning control unit 204 controls the reading operation of each pixel of the CMOS 102, the gain adjustment unit 208 increases the gain for each predetermined region in synchronization with the horizontal reading of the pixel of the CMOS 102 by the scanning control unit 204. Has a function to adjust. The gain adjustment unit 208 adjusts the gain in units of pixels of the CMOS 102 and adjusts the gain based on a predetermined function indicating the gain change width in synchronization with the horizontal pixel readout position of the CMOS 102.

例えば、ゲイン調整部208は、CMOS102内で水平方向に複数の領域、または画素単位の読み出し回路が搭載され、その各々に利得調整アンプが備わっている場合には、該アンプのゲインを領域毎に調整する。また、AFE106内にあるゲイン調整回路の利得を、水平方向の画素読み出しに同期させて変更させるようにしてもよい。この場合、水平位置に合わせてゲインを提示する回路は、AFE106内部にあってもよいし、外部の撮像信号処理部110やTG108にもたせるようにしてもよい。また、ゲイン調整部208は、撮像信号処理部110内にあるゲイン調整回路の利得を、水平方向の画素読み出しに同期させて変更させるようにしてもよい。この場合、水平方向の位置によるゲインの変化量を提供する回路を撮像信号処理部110にもたせる。   For example, when the gain adjustment unit 208 is provided with a plurality of regions or readout circuits in units of pixels in the horizontal direction in the CMOS 102 and each has a gain adjustment amplifier, the gain of the amplifier is set for each region. adjust. Further, the gain of the gain adjustment circuit in the AFE 106 may be changed in synchronization with the pixel readout in the horizontal direction. In this case, the circuit that presents the gain according to the horizontal position may be provided inside the AFE 106 or may be provided to the external imaging signal processing unit 110 or the TG 108. The gain adjustment unit 208 may change the gain of the gain adjustment circuit in the imaging signal processing unit 110 in synchronization with pixel readout in the horizontal direction. In this case, the imaging signal processing unit 110 is provided with a circuit that provides a gain change amount according to the horizontal position.

本実施形態では、ゲイン調整部208により所定の領域または画素ごとにゲインを調整したが、かかる例に限定されず、領域単位でガンマカーブを変更するようにしてもよい。ガンマカーブは、入力される映像の信号レベルと出力される映像の明るさとの比率を表した特性曲線である。CPU122は、このガンマカーブを調整することにより画面の露出を調整してもよい。   In this embodiment, the gain adjustment unit 208 adjusts the gain for each predetermined region or pixel. However, the present invention is not limited to this example, and the gamma curve may be changed in units of regions. The gamma curve is a characteristic curve representing the ratio between the signal level of the input video and the brightness of the output video. The CPU 122 may adjust the exposure of the screen by adjusting the gamma curve.

ここで、図9を参照して、ゲインの調整やシャッタの調整について説明する。図9は、ゲインおよびシャッタの調整について説明する説明図である。図9のグラフ81は、水平方向に利得を変えた例である。グラフ81によれば、例えば、画面の右側部分の利得を変更して、露出を調整している。また、グラフ82は、垂直方向にシャッタのスリット幅を変更させた例である。すなわち、電子先幕シャッタの露出開始タイミングをラインごとに変更して、シャッタのスリット幅を変更させている。グラフ82によれば、例えば、画面の上部でスリット幅を狭くしている。   Here, with reference to FIG. 9, gain adjustment and shutter adjustment will be described. FIG. 9 is an explanatory diagram for explaining the adjustment of the gain and the shutter. A graph 81 in FIG. 9 is an example in which the gain is changed in the horizontal direction. According to the graph 81, for example, the exposure is adjusted by changing the gain of the right portion of the screen. Graph 82 is an example in which the slit width of the shutter is changed in the vertical direction. That is, the exposure start timing of the electronic front curtain shutter is changed for each line, and the slit width of the shutter is changed. According to the graph 82, for example, the slit width is narrowed at the top of the screen.

また、グラフ83は、垂直方向にシャッタのスリット幅を広げた例である。グラフ83によれば、グラフ82の場合に比べて、画面の下部のスリット幅が広がり、暗部の露光量が多くなっている。このように、撮像装置10によれば、電子先幕シャッタの露出開始タイミングをラインごとに変更して、シャッタのスリット幅を変えることにより垂直方向の露光量を調整することができる。さらに、シャッタのスリット幅を変えるだけでは調整しきれない水平方向の露光量については、水平方向に利得を変更して調整することが可能となる。したがって、より細かく露出を調整することができる。   A graph 83 is an example in which the slit width of the shutter is widened in the vertical direction. According to the graph 83, compared to the case of the graph 82, the slit width at the bottom of the screen is widened, and the exposure amount in the dark portion is increased. Thus, according to the imaging device 10, the exposure amount in the vertical direction can be adjusted by changing the exposure start timing of the electronic front curtain shutter for each line and changing the slit width of the shutter. Further, the exposure amount in the horizontal direction that cannot be adjusted only by changing the slit width of the shutter can be adjusted by changing the gain in the horizontal direction. Therefore, the exposure can be adjusted more finely.

〔4〕撮像装置の動作の詳細
以上、撮像装置10の機能構成について説明した。次に、図10Aおよび図10Bを参照して、撮像装置10の動作の詳細について説明する。図10Aはおよび図10Bは、垂直および水平方向の画像補正の処理を示すフローチャートである。図10Aに示したように、まず、検出部202は、画面内の分割領域毎の測光データを取得する(S102)。そして、ステップS102において取得した分割領域毎の測光データをもとに、垂直方向のヒストグラムと、水平方向のヒストグラムを算出する(S104)。
[4] Details of Operation of Imaging Device The functional configuration of the imaging device 10 has been described above. Next, details of the operation of the imaging apparatus 10 will be described with reference to FIGS. 10A and 10B. FIG. 10A and FIG. 10B are flowcharts showing the image correction processing in the vertical and horizontal directions. As shown in FIG. 10A, first, the detection unit 202 acquires photometric data for each divided region in the screen (S102). Then, based on the photometric data for each divided region acquired in step S102, a vertical histogram and a horizontal histogram are calculated (S104).

ステップS104において算出した垂直/水平方向のヒストグラムから、水平方向および垂直方向の輝度分布やコントラストなどを分析する(S106)。そして、ステップS104において算出したヒストグラムから、被写体(撮影シーン)を認識する(S108)。ステップ108においては、AE情報だけでなく、AF/AWB情報を利用してもよい。   From the vertical / horizontal histogram calculated in step S104, the luminance distribution and contrast in the horizontal and vertical directions are analyzed (S106). Then, the subject (photographing scene) is recognized from the histogram calculated in step S104 (S108). In step 108, not only AE information but also AF / AWB information may be used.

そして、ステップS108において認識した撮影シーンがダイナミックレンジ(Dレンジ)内であるか否かを判定する(S110)。   Then, it is determined whether or not the photographic scene recognized in step S108 is within the dynamic range (D range) (S110).

ステップS110において、画面内の撮影シーンがダイナミックレンジ内ではないと判定された場合には、ステップS102において取得した測光データを用いて、分割測光アルゴリズムにしたがって露出を算出する(S112)。そして、設定されているモードに応じて絞り値とシャッタスピードを決定する(S114)。そして、電子先幕の露光走査とメカ後幕シャッタの遮光動作により、撮像素子(CMOS)102に露光されて蓄積された電荷を読み出して、撮影したり、画像の取り込みをしたりする(S116)。   If it is determined in step S110 that the shooting scene in the screen is not within the dynamic range, the exposure is calculated according to the divided photometry algorithm using the photometry data acquired in step S102 (S112). Then, an aperture value and a shutter speed are determined according to the set mode (S114). Then, by the exposure scanning of the electronic front curtain and the light shielding operation of the mechanical rear curtain shutter, the electric charge exposed and accumulated in the image sensor (CMOS) 102 is read out and photographed or the image is taken in (S116). .

ステップS110において、画面内の撮影シーンがダイナミックレンジ内ではないと判定された場合には、次に、カメラの縦/横を検出する(S118)。ステップS118においては、ユーザがカメラを縦に構えたか、横に構えたかを検出する。この場合、撮像装置10には、筐体の縦横を検知するセンサが搭載されており、該センサによりカメラの縦横を検出することができる。   If it is determined in step S110 that the photographic scene in the screen is not within the dynamic range, then the vertical / horizontal direction of the camera is detected (S118). In step S118, it is detected whether the user holds the camera vertically or horizontally. In this case, the imaging device 10 is equipped with a sensor that detects the vertical and horizontal directions of the housing, and the sensor can detect the vertical and horizontal directions of the camera.

ステップS118において、カメラが縦位置であると判定された場合には、縦位置対応のための基本パラメータを変更する(S120)。具体的には、画面の分割数や、分割範囲、分割比率、利得やシャッタによる調整手段の重み付けなどを変更する。ステップS120において基本パラメータを変更するのは、撮像装置10の画面が長方形である場合、カメラが縦か横かで画面の分割比や面積が異なってくるためである。また、シャッタにより露出を調整する場合には、横位置か縦位置かでシャッタの幕速度が異なってくるため、幕速度に応じて電子先幕の走査速度を変更する必要がある。   If it is determined in step S118 that the camera is in the vertical position, the basic parameters for correspondence to the vertical position are changed (S120). Specifically, the number of divisions of the screen, the division range, the division ratio, the weight of the adjusting means using the gain and shutter, and the like are changed. The reason why the basic parameters are changed in step S120 is that when the screen of the imaging apparatus 10 is rectangular, the screen division ratio and area differ depending on whether the camera is vertical or horizontal. When adjusting the exposure with the shutter, the shutter speed of the shutter varies depending on the horizontal position or the vertical position. Therefore, it is necessary to change the scanning speed of the electronic front curtain according to the curtain speed.

そして、検出部202は、画面内において白飛びしている領域を求める(S122)。さらに、画面内において黒くつぶれている(黒つぶれ)領域を求める(S124)。   Then, the detection unit 202 obtains a whiteout area in the screen (S122). Further, a blackened area (blackened area) is obtained in the screen (S124).

図10Bを参照して、説明を続ける。走査制御部204は、ステップS122およびステップS124において求められた白飛び/黒つぶれの情報から、画面内の垂直方向の補正すべき領域と補正量を決定する(S126)。そして、ステップS126において決定された補正すべき領域と補正量から、電荷掃出しパルスのパルス幅を調整して補正する領域と補正量を決定する(S128)。次に、ゲイン調整やガンマカーブにより補正する領域と補正量を決定する(S130)。   The description will be continued with reference to FIG. 10B. The scanning control unit 204 determines the area to be corrected in the vertical direction and the correction amount in the screen from the information on overexposure / blackout obtained in steps S122 and S124 (S126). Then, from the region to be corrected and the correction amount determined in step S126, the correction region and correction amount are determined by adjusting the pulse width of the charge sweep pulse (S128). Next, an area to be corrected and a correction amount are determined by gain adjustment and a gamma curve (S130).

そして、ステップS128において決定した補正領域と補正量により、電子先幕シャッタの電荷掃出し量の値を書き換え、ステップS130において決定した補正領域と補正量により水平ゲインテーブルの値を書き換える(S132)。電子先幕シャッタの電荷掃出し量の値を書き換えるとは、電荷掃出しパルスのパルス幅の値を書き換えることを意味する。   Then, the charge sweep amount value of the electronic front curtain shutter is rewritten with the correction area and correction amount determined in step S128, and the horizontal gain table value is rewritten with the correction area and correction amount determined in step S130 (S132). Rewriting the value of the charge sweep amount of the electronic front curtain shutter means rewriting the value of the pulse width of the charge sweep pulse.

そして、予め設定された走査テーブルの値に基づいて、電子先幕シャッタを動作させ、ステップS132において書き換えた電荷掃出しパルスのパルス幅を用いて露光を開始する(S134)。ステップS134において露光が開始され、メカ後幕シャッタの遮光動作によりCMOS102に蓄積された電荷の読み出しに同期させて横方向のゲインを補正する(S136)。   Then, the electronic front curtain shutter is operated based on a preset scanning table value, and exposure is started using the pulse width of the charge sweep pulse rewritten in step S132 (S134). In step S134, exposure is started, and the lateral gain is corrected in synchronism with the reading of the charge accumulated in the CMOS 102 by the light shielding operation of the mechanical rear curtain shutter (S136).

以上、垂直および水平方向の画像補正の処理について説明した。図10Aおよび図10Bに示したように、撮像装置10によれば、電子先幕シャッタの電荷掃出しパルスのパルス幅を変更して垂直方向の露光量を調整することができる。さらに、シャッタのスリット幅の調整だけでは補正しきれない水平方向の露光量についても、水平方向の利得を調整して補正することが可能となる。   The vertical image correction process and the horizontal image correction process have been described above. As shown in FIGS. 10A and 10B, according to the imaging apparatus 10, the vertical exposure amount can be adjusted by changing the pulse width of the charge sweep pulse of the electronic front curtain shutter. Furthermore, it is possible to adjust the horizontal gain by adjusting the horizontal exposure amount that cannot be corrected only by adjusting the slit width of the shutter.

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。   The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.

例えば、本明細書の撮像装置10の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。すなわち、撮像装置10の処理における各ステップは、異なる処理であっても並列的に実行されてもよい。   For example, each step in the processing of the imaging apparatus 10 of the present specification does not necessarily have to be processed in time series in the order described as a flowchart. That is, each step in the processing of the imaging device 10 may be executed in parallel even if it is a different processing.

また、撮像装置10などに内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上述した撮像装置10の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。   Further, it is possible to create a computer program for causing hardware such as a CPU, a ROM, and a RAM built in the imaging device 10 to perform the same functions as the components of the imaging device 10 described above. A storage medium storing the computer program is also provided.

10 撮像装置
102 撮像素子(CMOS)
104a、104b シャッタ
202 検出部
204 走査制御部
206 動作制御部
208 ゲイン調整部

DESCRIPTION OF SYMBOLS 10 Imaging device 102 Imaging element (CMOS)
104a, 104b Shutter 202 Detection unit 204 Scan control unit 206 Operation control unit 208 Gain adjustment unit

Claims (10)

マトリクス状に配列された複数の画素を有する撮像素子を備え、前記撮像素子に露光して被写体を撮像する撮像装置であって、
被写体の撮像状態を検出する検出部と、
前記撮像素子を遮光するように走行する幕体の動作を制御する動作制御部と、
前記幕体の走行に先行して、前記撮像素子に蓄積された電荷を掃出すことにより前記撮像素子の露光開始走査を制御する走査制御部と、
を備え、
前記走査制御部は、前記被写体の輝度が所定の基準値より低い場合に、前記撮像素子に蓄積された電荷を掃出すための掃出し時間を、予め設定された掃出し時間より短くすることを特徴とする、撮像装置。
An imaging device comprising an imaging device having a plurality of pixels arranged in a matrix, and imaging the subject by exposing to the imaging device,
A detection unit for detecting an imaging state of the subject;
An operation control unit for controlling the operation of the curtain running so as to shield the image sensor;
Prior to the travel of the curtain, a scanning control unit that controls the exposure start scanning of the image sensor by sweeping out the charge accumulated in the image sensor;
With
The scanning control unit, when the luminance of the subject is lower than a predetermined reference value, makes the sweep time for sweeping out the electric charge accumulated in the image sensor shorter than a preset sweep time. An imaging device.
前記走査制御部は、
前記撮像素子の露光開始走査を、前記撮像素子に蓄積された電荷を掃出すことにより前記撮像素子の露光を開始するシャッタの先幕として機能させ、
前記動作制御部は、前記撮像素子を遮光する前記幕体を、前記シャッタの後幕として機能させることを特徴とする、請求項1に記載の撮像装置。
The scanning control unit
The exposure start scanning of the image sensor is caused to function as a front curtain of a shutter that starts exposure of the image sensor by sweeping out charge accumulated in the image sensor,
The imaging apparatus according to claim 1, wherein the operation control unit causes the curtain body that shields the imaging element to function as a rear curtain of the shutter.
前記検出部は、前記被写体の撮像状態が画像を再現する際に適切なダイナミックレンジの範囲内となるか否かを検出し、
前記走査制御部は、前記検出部により前記被写体の撮像状態が適切なダイナミックレンジ外であることが検出された場合に、前記撮像素子に蓄積された電荷を掃出すための掃出し時間を調整することを特徴とする、請求項1に記載の撮像装置。
The detection unit detects whether or not the imaging state of the subject falls within an appropriate dynamic range when reproducing an image;
The scan control unit adjusts a sweep time for sweeping out the electric charge accumulated in the image sensor when the detection unit detects that the imaging state of the subject is outside an appropriate dynamic range. The imaging apparatus according to claim 1, wherein:
前記走査制御部は、
前記幕体の走行カーブに対応するように、前記撮像素子に蓄積された電荷を掃出すための掃出しパルスを発生させ、
前記被写体の撮像状態に応じて、前記掃出しパルスのパルス幅を調整することを特徴とする、請求項1に記載の撮像装置。
The scanning control unit
Generating a sweep pulse for sweeping out the electric charge accumulated in the image sensor so as to correspond to the running curve of the curtain;
The imaging apparatus according to claim 1, wherein a pulse width of the sweep pulse is adjusted according to an imaging state of the subject.
前記走査制御部は、
前記撮像素子のラインごとに前記掃出しパルスのパルス幅を調整することを特徴とする、請求項4に記載の撮像装置。
The scanning control unit
The imaging apparatus according to claim 4, wherein a pulse width of the sweep pulse is adjusted for each line of the imaging element.
前記走査制御部は、
前記撮像素子の領域ごとに前記掃出しパルスのパルス幅を調整することを特徴とする、請求項4に記載の撮像装置。
The scanning control unit
The imaging apparatus according to claim 4, wherein a pulse width of the sweep pulse is adjusted for each region of the imaging element.
前記走査制御部は、
前記被写体の輝度が所定の基準値より低い場合に、前記被写体の輝度に応じて段階的に掃出し時間を短くすることを特徴とする、請求項に記載の撮像装置。
The scanning control unit
When the luminance of the object is lower than a predetermined reference value, characterized in that to shorten the stepwise sweeping time according to the brightness of the subject, the imaging apparatus according to claim 1.
前記予め設定された掃出し時間は、前記撮像素子に蓄積された電荷が、当該撮像素子から掃き出される時間に基づきあらかじめ設定されていることを特徴とする、請求項1または7に記載の撮像装置。The image pickup apparatus according to claim 1, wherein the preset sweep time is preset based on a time during which charges accumulated in the image sensor are swept from the image sensor. . 前記走査制御部は、前記撮像素子の各画素の読み出し走査を制御し、
前記走査制御部による前記撮像素子の水平方向の画素の読み出しに同期させて所定の領域ごとにゲインを調整するゲイン調整部を備えることを特徴とする、請求項1に記載の撮像装置。
The scanning control unit controls readout scanning of each pixel of the image sensor,
The imaging apparatus according to claim 1, further comprising a gain adjusting unit that adjusts a gain for each predetermined region in synchronization with readout of pixels in the horizontal direction of the imaging element by the scanning control unit.
マトリクス状に配列された複数の画素を有する撮像素子に露光して被写体を撮像する撮像方法であって、
被写体の撮像状態を検出するステップと、
前記被写体の輝度が所定の基準値より低い場合に、前記撮像素子に蓄積された電荷を掃出すための掃出し時間を、予め設定された掃出し時間より短くして前記撮像素子の露光を開始させるステップと、
前記撮像素子の露光開始後に前記撮像素子を遮光するように走行する幕体を動作させるステップと、
を含むことを特徴とする、撮像方法。
An imaging method for imaging a subject by exposing to an imaging device having a plurality of pixels arranged in a matrix,
Detecting the imaging state of the subject;
A step of starting exposure of the image sensor by setting a sweep time for sweeping out charges accumulated in the image sensor to be shorter than a preset sweep time when the luminance of the subject is lower than a predetermined reference value; When,
Operating a curtain that travels to shield the image sensor after exposure of the image sensor is started;
The imaging method characterized by including.
JP2009290774A 2009-12-22 2009-12-22 Imaging apparatus and imaging method Expired - Fee Related JP5528093B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009290774A JP5528093B2 (en) 2009-12-22 2009-12-22 Imaging apparatus and imaging method
KR1020100127098A KR101750050B1 (en) 2009-12-22 2010-12-13 Photographing apparatus and photographing method
US12/976,626 US8488033B2 (en) 2009-12-22 2010-12-22 Photographing apparatus and photographing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009290774A JP5528093B2 (en) 2009-12-22 2009-12-22 Imaging apparatus and imaging method

Publications (2)

Publication Number Publication Date
JP2011135171A JP2011135171A (en) 2011-07-07
JP5528093B2 true JP5528093B2 (en) 2014-06-25

Family

ID=44347473

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009290774A Expired - Fee Related JP5528093B2 (en) 2009-12-22 2009-12-22 Imaging apparatus and imaging method

Country Status (2)

Country Link
JP (1) JP5528093B2 (en)
KR (1) KR101750050B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6503646B2 (en) * 2014-06-24 2019-04-24 リコーイメージング株式会社 Image pickup apparatus and noise correction method
US20190141263A1 (en) * 2016-06-09 2019-05-09 Sony Corporation Control device and control method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100266657B1 (en) * 1998-01-20 2000-10-02 김영환 Mos type amplifying image sensing device having double reset structure
JP4497619B2 (en) * 2000-02-01 2010-07-07 株式会社日立メディコ X-ray diagnostic imaging equipment
JP2004228868A (en) * 2003-01-22 2004-08-12 Seiko Epson Corp Image processor and its processing method
JP4311181B2 (en) * 2003-12-05 2009-08-12 ソニー株式会社 Semiconductor device control method, signal processing method, semiconductor device, and electronic apparatus
JP4948248B2 (en) * 2007-04-23 2012-06-06 キヤノン株式会社 Imaging apparatus and control method thereof

Also Published As

Publication number Publication date
KR20110073271A (en) 2011-06-29
JP2011135171A (en) 2011-07-07
KR101750050B1 (en) 2017-06-22

Similar Documents

Publication Publication Date Title
JP5897475B2 (en) Select capture conditions from brightness and motion
CN104038702B (en) Picture pick-up device and its control method
US9113086B2 (en) Multi-step exposed image acquisition method by electronic shutter and photographing apparatus using the same
US8994849B2 (en) Method and apparatus for increasing dynamic range of image by using electronic shutter
US20080044170A1 (en) Image Capturing System And Method Of Operating The Same
US20150009352A1 (en) Imaging apparatus and method for controlling the same
CN108337449A (en) High-dynamic-range image acquisition method, device based on dual camera and equipment
US20110043674A1 (en) Photographing apparatus and method
US8488033B2 (en) Photographing apparatus and photographing method
US20140028881A1 (en) Image pickup apparatus and image pickup method
JP2011044966A (en) Photographing apparatus and photographing method
US8928787B2 (en) Photographing apparatus and photographing method
US8026965B2 (en) Image pickup apparatus and method for controlling the same
JP5528093B2 (en) Imaging apparatus and imaging method
JP4260003B2 (en) Electronic camera
JP4672933B2 (en) Imaging device
JP4629002B2 (en) Imaging device
JP5485680B2 (en) Imaging apparatus and imaging method
JP4705146B2 (en) Imaging apparatus and imaging method
JP4047000B2 (en) Imaging apparatus and imaging method
JP2013118474A (en) Imaging apparatus and method for controlling imaging apparatus
JP2011135379A (en) Imaging apparatus, imaging method and program
US12106529B2 (en) Imaging apparatus
JP7305032B2 (en) Imaging device
US8121473B2 (en) Imaging apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140415

R150 Certificate of patent or registration of utility model

Ref document number: 5528093

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees