JP4043379B2

JP4043379B2 - Imaging device

Info

Publication number: JP4043379B2
Application number: JP2003035432A
Authority: JP
Inventors: 和也小田; 寛和小林
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2003-02-13
Filing date: 2003-02-13
Publication date: 2008-02-06
Anticipated expiration: 2023-02-13
Also published as: JP2004247948A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置に関し、更に詳しくは広ダイナミックレンジでかつ高画質な画像を撮像できる撮像装置に関するものである。
【０００２】
【従来の技術】
ＣＣＤイメージセンサ等の固体撮像素子を用いた撮像装置、例えばデジタルスチルカメラ（以下デジタルカメラという）で、例えば室内風景を撮影した場合、室内にいる人物は適正露出になっても、窓から見える青い空が白飛びし、全体としては不自然な画像になる場合がある。これは画像のダイナミックレンジが狭いためであり、この問題を解決するため、従来から２枚の画像を撮像して合成することにより、画像のダイナミックレンジを広げることが行われている。
【０００３】
例えば、高速シャッタを切って１枚目の短時間露出画像（低感度画像）を撮影し、続いて低速シャッタを切って２枚目の長時間露出画像（高感度画像）を撮影する。そして、これら２枚の画像を合成することで、低感度画像中に写っている窓の外の風景が、室内風景が良く写っている高感度画像に重なるようにしている。
【０００４】
特許文献１記載の撮像装置では、２枚の画像を合成する際に、動きのある被写体部分が低感度画像と高感度画像とでピッタリ一致しないため、マスクを使って部分毎に低感度画像と高感度画像との置き換えを行って、画像合成を行うようにしている。
【０００５】
また、本出願人は、固体撮像素子の各画素の受光部を相対的に広い面積を有する主感光部と相対的に狭い面積を有する従感光部から構成し、主感光部と従感光部のいずれからも選択的に画像信号を取り出すことができる固体撮像装置を提案している（特願２００２−０１６８３５）。
【０００６】
【特許文献１】
特開２０００−３０７９６３
【０００７】
【発明が解決しようとする課題】
上記特許文献１記載の画像処理装置に、本出願人が提案している固体撮像素子を用いて、広ダイナミックレンジの画像を撮像できる撮像装置を提供することが考えられるが、被写体の最大輝度部と最小輝度部との輝度比（「被写体輝度域」または「被写体コントラスト」という）が大きい場合には、主感光部が飽和状態になっても従感光部が飽和しないため、画素の性能を十分に使い切ることができず、画質の面で不利になる（Ｓ／Ｎが悪くなる）という問題点がある。
【０００８】
本発明は、上記問題点を解決するためのもので、広ダイナミックレンジでかつ高画質な画像を撮像できる撮像装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記問題点を解決するために、本発明の撮像装置は、面積が相対的に広い主感光部と狭い従感光部とからなる感光部を有する画素を多数配列した固体撮像素子を用いる撮像装置において、被写体輝度域を測定する測定手段と、前記被写体輝度域に基づいて主感光部の露出時間に対する従感光部の露出時間を設定する設定手段とを備えたものである。また、面積が相対的に広い主感光部と狭い従感光部とからなる感光部を有する画素を多数配列した固体撮像素子を用いる撮像装置において、ＩＳＯ感度の設定を行うＩＳＯ感度設定手段と、前記ＩＳＯ感度に基づいて主感光部の露出時間に対する従感光部の露出時間を設定する設定手段とを備えたものである。
【００１０】
前記設定手段は、前記主感光部から出力される高感度画像信号が飽和しない範囲である主感光部再現域に対する被写体輝度域の大きさが１００％未満の時は、前記従感光部の露出時間を変更しないものである。また、前記設定手段は、前記主感光部から出力される高感度画像信号が飽和しない範囲である主感光部再現域に対する被写体輝度域の大きさが１００％未満の時は、前記高感度画像信号のみを画像信号とするものである。また、前記主感光部から出力される高感度画像信号が飽和しない範囲である主感光部再現域に対する被写体輝度域の大きさが１００％以上の時は、この値が大きい程、前記従感光部の露出時間を短くするものである。また、前記主感光部から出力される高感度画像信号が飽和しない範囲である主感光部再現域に対する被写体輝度域の大きさが１００％未満の時は、前記主感光部の露出時間を主感光部と従感光部の飽和レベル比で割ったものを従感光部の露出時間とするものである。また、前記設定手段は、前記ＩＳＯ感度を高く設定する程、前記従感光部の露出時間を短く設定するものである。
【００１１】
【発明の実施の形態】
本発明の一実施形態に係るデジタルカメラの構成を示す図１において、撮影レンズ１０の後方には、機械式のシャッタ（以下メカシャッタという）１１を介して固体撮像素子（ＣＣＤ）１２が設けてある。メカシャッタ１１，ＣＣＤ１２は、シャッタ駆動部１３，ドライバ１４によって駆動される。
【００１２】
シャッタ駆動部１３，ドライバ１４には、ＣＰＵ１５によって制御されるタイミングジェネレータ１７が接続され、このタイミングジェネレータ１７からタイミング信号（クロックパルス）が入力される。ＣＣＤ１２から出力された撮像信号は、ＣＤＳ（相関二重サンプリング）／ＧＣＡ（利得可変増幅器）２２に入力され、ＣＣＤ１２の各セルの蓄積電荷量に正確に対応したＲ、Ｇ、Ｂの画像信号として出力されてから増幅される。ＣＤＳ／ＧＣＡ２２から出力されたアナログ信号は、Ａ／Ｄ変換器２３でデジタル信号に変換される。なお、本実施形態では、ＧＣＡのゲインはデフォルトでＩＳＯ１００相当としている。
【００１３】
Ａ／Ｄ変換器２３から出力されたデジタル信号は、デジタル信号処理部２５に入力され、後述する画像合成等の処理がなされた後、ｊｐｅｇ圧縮等の処理を経てメモリカード２６に記憶される。また、液晶ドライバ（図示せず）を介して液晶モニタ２７に表示される。また、ＣＰＵ１５には、ＣＰＵ１５が参照する各種データを記憶した不揮発性メモリ２４が接続されている。また、ＣＰＵ１５には、操作部２８を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。
【００１４】
ＣＣＤ１２の一部を拡大して示す図２において、ＣＣＤ１２は、いわゆるハニカム型ＣＣＤ（例えば特開平１０−１３６３９１号公報に記載）であり、光電変換素子である各画素１の受光部２が八角形をしている。各受光部２は、面積の約１／５を占める従感光部３と、残りの約４／５を占める主感光部４とからなる。従感光部３の面積は主感光部４の面積の１／４であり、主感光部４に対して、従感光部３の感度は１／１６，飽和レベルは１／４，ダイナミックレンジは４倍である。ＣＣＤ１２は、各従感光部３の信号電荷と、各主感光部４の信号電荷とを区別して垂直方向に転送する垂直転送路（図示せず）に読み出して転送することができるようになっている。
【００１５】
デジタル信号処理部２５は、図３に示すように、高感度画像信号（主感光部４から得られた画像信号）と低感度画像信号（従感光部３から得られた画像信号）とを各々ガンマ補正した後に加算処理する対数加算方式を採用している。すなわち、デジタル信号処理部２５は、Ａ／Ｄ変換器２３から出力される高感度画像，低感度画像の各ＲＧＢ色信号に対して、それぞれオフセット処理を行うオフセット補正回路３１ａ，３１ｂと、このオフセット補正回路３１ａ，３１ｂの出力信号のホワイトバランスをとるゲイン補正回路３２ａ，３２ｂと、ゲイン補正後の色信号に対してガンマ補正を行うガンマ補正回路３３ａ，３３ｂとを備えている。
【００１６】
また、デジタル信号処理部２５は、ガンマ補正回路３３ａから出力される高感度画像信号とガンマ補正回路３３ｂから出力される低感度画像信号とを画素単位に合成して出力する画像合成処理回路３４と、画像合成後のＲＧＢ色信号を補間演算して各受光部位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算回路３５と、ＲＧＢ色信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂとを求めるＲＧＢ／ＹＣ変換回路３６と、輝度信号Ｙと色差信号Ｃｒ，Ｃｂからノイズを低減するノイズフィルタ３７と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路３８と、色差信号Ｃｒ，Ｃｂに対して色差マトリクスを乗算して色調補正を行う色差マトリクス回路３９とを備える。
【００１７】
このように構成されたデジタルカメラの動作を図４に示すフローチャートに従って説明する。電源スイッチをオンした後、撮影レンズ１０を被写体に向けてシャッタボタンを押し下げると、デジタル信号処理部２５は従感光部３から出力される低感度画像信号の輝度信号を積分してＣＰＵ１５に送る。ＣＰＵ１５は、積分値の最大値と最小値との比である被写体輝度域と、主感光部４から出力される高感度画像信号が飽和しない範囲（主感光部再現域）との関係を判定する。なお、主感光部再現域はデジタルカメラのＩＳＯ感度設定によって決まる値である。
【００１８】
ＣＰＵ１５は、主感光部再現域に対する被写体輝度域の大きさ（％）によってタイミングジェネレータ１７を制御し、被写体輝度域が１００％以上の時に従感光部露出時間ｔを変更する。主感光部再現域に対する被写体輝度域の大きさ（％）と、従感光部露出時間ｔとの関係は、表１に示すように設定されており、ＣＰＵ１５が参照できるように不揮発性メモリ２４に記憶されている。なお、表１中のＴは主感光部露出時間である。
【００１９】
【表１】

【００２０】
被写体輝度域が１００％未満の時は、図５に示すように、主感光部再現域内であるから、主感光部４から出力される高感度画像信号は飽和せず、十分な階調を再現できるから、通常信号処理を行う。この通常信号処理では、従感光部露出時間ｔを変更することなく、デジタル信号処理部２５は高感度画像信号のみに画像処理を施して、低感度画像信号との合成を行わない。デジタル信号処理部２５から出力された高感度画像信号はｊｐｅｇ画像に圧縮されてメモリカード２６に書き込まれる。
【００２１】
被写体輝度域が１００％以上２００％未満の場合には、図５に示すように、主感光部４が飽和した後も従感光部３は飽和せず、低感度画像信号は十分な階調を有しているから、ＣＰＵ１５は不揮発性メモリ２４を参照し、従感光部４の露出時間ｔが主感光部４の露出時間Ｔの２倍となるように（表１参照）、タイミングジェネレータ１７を制御する。これにより、従感光部４の性能を十分に使い切ることができる。
【００２２】
図６のタイミングチャートに示すように、メカシャッタ１１の開放と同時に従感光部３の電荷を掃き出し、従感光部３の電荷蓄積（露出）を開始する。従感光部３の露出時間がＴに達した瞬間から主感光部４の電荷蓄積（露出）を開始する。更に時間Ｔ経過後、転送路の掃き出し駆動が行われ、主感光部４からの高感度画像信号の読み出し、続いて従感光部３からの低感度画像信号の読み出しが行われる。
【００２３】
ＣＣＤ１２から読み出された高感度画像信号，低感度画像信号は、それぞれＣＤＳ／ＧＣＡ２２によりＲ、Ｇ、Ｂの画像信号として出力されてから増幅され、Ａ／Ｄ変換器２３によってデジタル信号に変換される。このデジタル化された高感度画像信号，低感度画像信号は、デジタル信号処理部２５に入力され、画素単位に合成された後、輝度信号Ｙと色差信号Ｃｒ，Ｃｂに変換して出力される。これらの信号はｊｐｅｇ圧縮されてメモリカード２６に記憶される。
【００２４】
このように、高感度画像信号と低感度画像信号との合成により広ダイナミックレンジで、かつ従感光部４の性能を十分に使い切ることにより高画質な画像を得ることができる。
【００２５】
また、被写体輝度域が２００％以上３００％未満の場合には、従感光部４の露出時間ｔが主感光部４の露出時間Ｔの１．５倍となるように（表１参照）、タイミングジェネレータ１７が制御される。また、被写体輝度域が３００％以上４００％未満の場合には、従感光部４の露出時間ｔが主感光部４の露出時間Ｔと同じになるように（表１参照）、タイミングジェネレータ１７が制御される。
【００２６】
なお、被写体輝度域が８００％の場合には、図７に示すように、従感光部４の露出時間ｔが主感光部４の露出時間Ｔの１／２となるように、タイミングジェネレータ１７が制御される。また、前記通常信号処理を合成なしとしたが、従感光部３の露出時間ｔを主感光部４の露出時願Ｔの４倍として合成するようにしてもよい。この場合には、全体の露出時間が長くなるが、従感光部４の性能を十分に使うことができる。
【００２７】
以上説明した実施形態では、測定した被写体輝度域に基づいてデジタルカメラが自動的に従感光部４の露出時間ｔを設定したが、ユーザが操作部２８を操作してデジタルカメラのＩＳＯ感度を設定変更することにより、従感光部４の露出時間ｔを変更するようにしてもよい。
【００２８】
例えば、ユーザがデジタルカメラのＩＳＯ感度を通常のＩＳＯ１００からＩＳＯ２００に設定変更すると、ＣＤＳ／ＧＣＡ２２のＧＣＡのゲインが２倍に設定される。これに伴って画像のコントラストが２倍になるから、結果として被写体輝度域（被写体コントラスト）が２倍になった場合と同様の画像になる。したがって、デジタルカメラのＩＳＯ感度をＩＳＯ２００に設定した場合、従感光部４の露出時間ｔが主感光部４の露出時間Ｔの２倍となるようにＣＰＵ１５がタイミングジェネレータ１７を制御する。同様に、ＩＳＯ３００に設定した場合には、従感光部４の露出時間ｔが主感光部４の露出時間Ｔの１．５倍となるように、またＩＳＯ４００に設定した場合には、従感光部４の露出時間ｔが主感光部４の露出時間Ｔと同じになるように、それぞれタイミングジェネレータ１７が制御される。
【００２９】
上記実施形態では、ＣＣＤの各画素の受光部を主感光部の面積４，従感光部の面積１の割合で分割したが、本発明はこれに限定されることなく、この分割比を例えば５：１等としてもよい。この場合には、主感光部に対して、従感光部の感度は１／２５，飽和レベルは１／５，ダイナミックレンジは５倍となり、被写体輝度域１００％で従感光部露出時間ｔ＝５Ｔ（Ｔは主感光部露出時間），２００％でｔ＝２．５Ｔ，３００％でｔ＝１．６７Ｔ，４００％でｔ＝１．２５Ｔ，５００％でｔ＝Ｔとなる。
【００３０】
また、上記実施形態では、固体撮像素子としてハニカム型のＣＣＤを用いたが、本発明はこれに限定されることなく、ベイヤ型のＣＣＤやＣＭＯＳイメージ・センサを用いてもよい。また、上記実施形態はデジタルカメラであったが、本発明はこれに限定されることなく、固体撮像素子を用いるものであれば、画像入力装置や監視カメラ等でもよい。また、前記不揮発性メモリとしては、例えばＲＯＭやフラッシュメモリを用いることができる。
【００３１】
【発明の効果】
以上説明したように、本発明の撮像装置によれば、被写体輝度域を測定して固体撮像素子の主感光部の露出時間に対する従感光部の露出時間を設定するので、従感光部の性能を十分に使い切ることができ、広ダイナミックレンジでかつ高画質な画像を撮像できる。また、ＩＳＯ感度の設定により主感光部の露出時間に対する従感光部の露出時間を設定するので、従感光部の性能を十分に使い切ることができ、広ダイナミックレンジでかつ高画質な画像を撮像できる。
【図面の簡単な説明】
【図１】本発明のデジタルカメラの構成を示すブロック図である。
【図２】固体撮像素子の画素配列を示す説明図である。
【図３】デジタル信号処理部の構成を示すブロック図である。
【図４】デジタルカメラの撮影シーケンスを示すフローチャートである。
【図５】被写体輝度域と主感光部，従感光部の各出力との関係を示すグラフである。
【図６】ＩＳＯ１００で被写体輝度域２００％における露出制御を示すタイミングチャートである。
【図７】ＩＳＯ１００で被写体輝度域８００％における露出制御を示すタイミングチャートである。
【符号の説明】
１画素
２受光部
３従感光部
４主感光部
１２固体撮像素子
１５ＣＰＵ
１７タイミングジェネレータ
２５デジタル信号処理部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus, and more particularly to an imaging apparatus capable of capturing an image with a wide dynamic range and high image quality.
[0002]
[Prior art]
When shooting an indoor scene with an imaging device using a solid-state imaging device such as a CCD image sensor, for example, a digital still camera (hereinafter referred to as a digital camera), even if a person in the room is exposed properly, the blue is visible from the window. The sky may fly out, resulting in an unnatural image as a whole. This is because the dynamic range of the image is narrow, and in order to solve this problem, conventionally, the dynamic range of the image is widened by capturing and combining two images.
[0003]
For example, the first short-time exposure image (low-sensitivity image) is taken with the high-speed shutter turned off, and then the second long-time exposure image (high-sensitivity image) is taken with the low-speed shutter turned off. Then, by combining these two images, the scenery outside the window shown in the low-sensitivity image is overlapped with the high-sensitivity image in which the indoor scenery is well reflected.
[0004]
In the imaging apparatus described in Patent Literature 1, when combining two images, a moving subject portion does not match exactly between a low-sensitivity image and a high-sensitivity image. The image is synthesized by replacing with a high-sensitivity image.
[0005]
Further, the applicant of the present invention comprises a light-receiving portion of each pixel of the solid-state image pickup device including a main photosensitive portion having a relatively large area and a secondary photosensitive portion having a relatively small area. A solid-state imaging device that can selectively extract image signals from either of them has been proposed (Japanese Patent Application No. 2002-016835).
[0006]
[Patent Document 1]
JP 2000-307963 A
[0007]
[Problems to be solved by the invention]
Although it is conceivable to provide an image pickup apparatus capable of picking up an image with a wide dynamic range using the solid-state image pickup device proposed by the present applicant in the image processing apparatus described in Patent Document 1, the maximum luminance portion of the subject When the luminance ratio between the minimum luminance area and the minimum luminance area (referred to as “subject luminance range” or “subject contrast”) is large, the secondary photosensitive area will not be saturated even if the primary photosensitive area is saturated. However, there is a problem that the image quality is disadvantageous (S / N deteriorates).
[0008]
The present invention has been made to solve the above-described problems, and an object of the present invention is to provide an imaging apparatus that can capture a high dynamic image with a wide dynamic range.
[0009]
[Means for Solving the Problems]
In order to solve the above problems, an image pickup apparatus according to the present invention is an image pickup apparatus using a solid-state image pickup device in which a large number of pixels each having a photosensitive portion including a main photosensitive portion and a narrow secondary photosensitive portion having a relatively large area are arranged. And measuring means for measuring the subject luminance range, and setting means for setting the exposure time of the slave photosensitive unit relative to the exposure time of the main photosensitive unit based on the subject luminance range. Further, in an imaging apparatus using a solid-state imaging device in which a large number of pixels each having a photosensitive part composed of a main photosensitive part having a relatively large area and a narrow secondary photosensitive part are arranged, ISO sensitivity setting means for setting ISO sensitivity; Setting means for setting the exposure time of the slave photosensitive portion relative to the exposure time of the main photosensitive portion based on the ISO sensitivity.
[0010]
When the size of the subject luminance area with respect to the main photosensitive area reproduction area, which is a range in which the high-sensitivity image signal output from the main photosensitive area is not saturated, is less than 100%, the setting means exposes the secondary photosensitive area. Are not changed. Further, the setting means is configured to output the high-sensitivity image signal when the size of the subject luminance range with respect to the main photosensitive portion reproduction range, which is a range in which the high-sensitivity image signal output from the main photosensitive portion is not saturated, is less than 100%. Only the image signal. Further, when the size of the subject luminance area with respect to the reproduction area of the main photosensitive area, which is a range in which the high-sensitivity image signal output from the main photosensitive area is not saturated, is 100% or more, the larger this value, the more the secondary photosensitive area. This shortens the exposure time. Further, when the subject luminance area is less than 100% with respect to the main photosensitive area reproduction area in which the high sensitivity image signal output from the main photosensitive area is not saturated, the exposure time of the main photosensitive area is set as the main photosensitive area. The exposure time of the slave photosensitive portion is obtained by dividing the saturation level ratio of the secondary portion and the secondary photosensitive portion. Further, the setting means sets the exposure time of the slave photosensitive portion to be shorter as the ISO sensitivity is set higher.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
In FIG. 1 showing a configuration of a digital camera according to an embodiment of the present invention, a solid-state imaging device (CCD) 12 is provided behind a taking lens 10 via a mechanical shutter (hereinafter referred to as a mechanical shutter) 11. . The mechanical shutter 11 and the CCD 12 are driven by a shutter driving unit 13 and a driver 14.
[0012]
A timing generator 17 controlled by the CPU 15 is connected to the shutter drive unit 13 and the driver 14, and a timing signal (clock pulse) is input from the timing generator 17. The image pickup signal output from the CCD 12 is input to a CDS (correlated double sampling) / GCA (variable gain amplifier) 22 as R, G, and B image signals that accurately correspond to the accumulated charge amount of each cell of the CCD 12. It is amplified after being output. The analog signal output from the CDS / GCA 22 is converted into a digital signal by the A / D converter 23. In the present embodiment, the GCA gain is equivalent to ISO 100 by default.
[0013]
The digital signal output from the A / D converter 23 is input to the digital signal processing unit 25, subjected to processing such as image synthesis described later, and then stored in the memory card 26 through processing such as jpeg compression. Further, it is displayed on the liquid crystal monitor 27 via a liquid crystal driver (not shown). The CPU 15 is connected to a nonvolatile memory 24 that stores various data referred to by the CPU 15. In addition, a user instruction signal is input to the CPU 15 through the operation unit 28, and the CPU 15 performs various controls according to the instruction.
[0014]
In FIG. 2 showing a part of the CCD 12 in an enlarged manner, the CCD 12 is a so-called honeycomb type CCD (for example, described in Japanese Patent Laid-Open No. 10-136391), and the light receiving portion 2 of each pixel 1 which is a photoelectric conversion element is an octagon. I am doing. Each light receiving unit 2 includes a secondary photosensitive unit 3 occupying about 1/5 of the area and a main photosensitive unit 4 occupying the remaining about 4/5. The area of the secondary photosensitive unit 3 is 1/4 of the area of the primary photosensitive unit 4. The sensitivity of the secondary photosensitive unit 3 is 1/16, the saturation level is 1/4, and the dynamic range is 4 with respect to the primary photosensitive unit 4. Is double. The CCD 12 can read and transfer a signal charge of each slave photosensitive unit 3 and a signal charge of each main photosensitive unit 4 to a vertical transfer path (not shown) for transferring in a vertical direction. Yes.
[0015]
As shown in FIG. 3, the digital signal processing unit 25 generates a high-sensitivity image signal (image signal obtained from the main photosensitive unit 4) and a low-sensitivity image signal (image signal obtained from the secondary photosensitive unit 3), respectively. A logarithmic addition method in which addition processing is performed after gamma correction is employed. That is, the digital signal processing unit 25 includes offset

correction circuits

31a and 31b that perform offset processing on the RGB color signals of the high-sensitivity image and the low-sensitivity image output from the A / D converter 23, and the offset.

Gain correction circuits

32a and 32b that white balance the output signals of the

correction circuits

31a and 31b, and

gamma correction circuits

33a and 33b that perform gamma correction on the color signals after gain correction are provided.
[0016]
The digital signal processing unit 25 synthesizes the high-sensitivity image signal output from the gamma correction circuit 33a and the low-sensitivity image signal output from the gamma correction circuit 33b in units of pixels, and outputs the image composition processing circuit 34. The RGB interpolating circuit 35 that interpolates the RGB color signals after image synthesis to obtain RGB three color signals at each light receiving portion position, and RGB / YC that obtains the luminance signal Y and the color difference signals Cr and Cb from the RGB color signals. A conversion circuit 36, a noise filter 37 that reduces noise from the luminance signal Y and the color difference signals Cr and Cb, a contour correction circuit 38 that performs contour correction on the luminance signal Y after noise reduction, and the color difference signals Cr and Cb. A color difference matrix circuit 39 that performs color tone correction by multiplying the color difference matrix is provided.
[0017]
The operation of the digital camera configured as described above will be described with reference to the flowchart shown in FIG. After the power switch is turned on, when the photographing lens 10 is pointed at the subject and the shutter button is depressed, the digital signal processing unit 25 integrates the luminance signal of the low-sensitivity image signal output from the slave photosensitive unit 3 and sends it to the CPU 15. The CPU 15 determines the relationship between the subject luminance range, which is the ratio between the maximum value and the minimum value of the integral value, and the range in which the high-sensitivity image signal output from the main photosensitive unit 4 is not saturated (main photosensitive unit reproduction range). . The main photosensitive area reproduction area is a value determined by the ISO sensitivity setting of the digital camera.
[0018]
The CPU 15 controls the timing generator 17 according to the size (%) of the subject luminance range with respect to the main photosensitive portion reproduction range, and changes the photosensitive portion exposure time t when the subject luminance range is 100% or more. The relationship between the size (%) of the subject luminance area with respect to the main photosensitive area reproduction area and the secondary photosensitive area exposure time t is set as shown in Table 1, and is stored in the nonvolatile memory 24 so that the CPU 15 can refer to it. It is remembered. In Table 1, T is the main photosensitive portion exposure time.
[0019]
[Table 1]

[0020]
When the subject luminance area is less than 100%, as shown in FIG. 5, since it is within the main photosensitive area reproduction area, the high-sensitivity image signal output from the main photosensitive area 4 is not saturated, and sufficient gradation is reproduced. Since it can, normal signal processing is performed. In this normal signal processing, the digital signal processing unit 25 performs image processing only on the high-sensitivity image signal and does not synthesize it with the low-sensitivity image signal without changing the sub-photosensitive portion exposure time t. The high sensitivity image signal output from the digital signal processing unit 25 is compressed into a jpeg image and written to the memory card 26.
[0021]
When the subject luminance range is 100% or more and less than 200%, as shown in FIG. 5, the secondary photosensitive unit 3 is not saturated even after the primary photosensitive unit 4 is saturated, and the low-sensitivity image signal has sufficient gradation. Therefore, the CPU 15 refers to the non-volatile memory 24 and sets the timing generator 17 so that the exposure time t of the secondary photosensitive unit 4 is twice the exposure time T of the main photosensitive unit 4 (see Table 1). Control. Thereby, the performance of the secondary photosensitive unit 4 can be used up sufficiently.
[0022]
As shown in the timing chart of FIG. 6, simultaneously with the opening of the mechanical shutter 11, the charge of the slave photosensitive unit 3 is discharged, and the charge accumulation (exposure) of the slave photosensitive unit 3 is started. Charge accumulation (exposure) of the main photosensitive portion 4 starts from the moment when the exposure time of the secondary photosensitive portion 3 reaches T. Further, after the time T has elapsed, the transfer path sweeping drive is performed, and the high-sensitivity image signal is read from the main photosensitive portion 4 and then the low-sensitivity image signal is read from the secondary photosensitive portion 3.
[0023]
The high-sensitivity image signal and the low-sensitivity image signal read out from the CCD 12 are respectively output as R, G, and B image signals by the CDS / GCA 22, amplified, and converted into digital signals by the A / D converter 23. The The digitized high-sensitivity image signal and low-sensitivity image signal are input to the digital signal processing unit 25, synthesized in units of pixels, converted into a luminance signal Y and color difference signals Cr and Cb, and output. These signals are jpeg compressed and stored in the memory card 26.
[0024]
As described above, a high-quality image can be obtained by combining the high-sensitivity image signal and the low-sensitivity image signal with a wide dynamic range and sufficiently using the performance of the secondary photosensitive unit 4.
[0025]
Further, when the subject luminance range is 200% or more and less than 300%, the timing is set so that the exposure time t of the slave photosensitive unit 4 is 1.5 times the exposure time T of the main photosensitive unit 4 (see Table 1). The generator 17 is controlled. Further, when the subject luminance range is 300% or more and less than 400%, the timing generator 17 sets the exposure time t of the secondary photosensitive unit 4 to be the same as the exposure time T of the main photosensitive unit 4 (see Table 1). Be controlled.
[0026]
When the subject luminance range is 800%, as shown in FIG. 7, the timing generator 17 sets the exposure time t of the secondary photosensitive unit 4 to be ½ of the exposure time T of the main photosensitive unit 4. Be controlled. In addition, although the normal signal processing is not combined, the exposure time t of the slave photosensitive unit 3 may be combined as four times the exposure time T of the main photosensitive unit 4. In this case, the entire exposure time becomes long, but the performance of the secondary photosensitive unit 4 can be fully used.
[0027]
In the embodiment described above, the digital camera automatically sets the exposure time t of the follower unit 4 based on the measured subject luminance range, but the user operates the operation unit 28 to set the ISO sensitivity of the digital camera. By changing the exposure time t, the exposure time t of the secondary photosensitive unit 4 may be changed.
[0028]
For example, when the user changes the ISO sensitivity of the digital camera from normal ISO 100 to ISO 200, the GCA gain of the CDS / GCA 22 is set to double. As a result, the contrast of the image is doubled. As a result, the image is the same as when the subject luminance range (subject contrast) is doubled. Therefore, when the ISO sensitivity of the digital camera is set to ISO 200, the CPU 15 controls the timing generator 17 so that the exposure time t of the slave photosensitive unit 4 is twice the exposure time T of the main photosensitive unit 4. Similarly, when ISO 300 is set, the exposure time t of the secondary photosensitive unit 4 is 1.5 times the exposure time T of the primary photosensitive unit 4, and when it is set to ISO 400, the secondary photosensitive unit 4 is set. The timing generator 17 is controlled so that the exposure time t of 4 is the same as the exposure time T of the main photosensitive portion 4.
[0029]
In the above embodiment, the light receiving portion of each pixel of the CCD is divided at a ratio of the area of the main photosensitive portion 4 to the area 1 of the secondary photosensitive portion. However, the present invention is not limited to this, and the division ratio is, for example, 5 : 1 etc. In this case, the sensitivity of the slave photosensitive portion is 1/25, the saturation level is 1/5, and the dynamic range is 5 times that of the primary photosensitive portion, and the slave photosensitive portion exposure time t = 5T in a subject luminance range of 100%. (T is exposure time of main photosensitive portion), t = 2.5T at 200%, t = 1.67T at 300%, t = 1.25T at 400%, and t = T at 500%.
[0030]
In the above embodiment, a honeycomb type CCD is used as the solid-state imaging device. However, the present invention is not limited to this, and a Bayer type CCD or a CMOS image sensor may be used. Moreover, although the said embodiment was a digital camera, this invention is not limited to this, As long as a solid-state image sensor is used, an image input device, a surveillance camera, etc. may be sufficient. Further, as the nonvolatile memory, for example, a ROM or a flash memory can be used.
[0031]
【The invention's effect】
As described above, according to the imaging apparatus of the present invention, the subject luminance range is measured and the exposure time of the slave photosensitive portion is set with respect to the exposure time of the primary photosensitive portion of the solid-state imaging device. It can be used up sufficiently and can capture high-quality images with a wide dynamic range. In addition, since the exposure time of the slave photosensitive portion relative to the exposure time of the primary photosensitive portion is set by setting the ISO sensitivity, the performance of the slave photosensitive portion can be fully used, and a high-quality image can be taken with a wide dynamic range. .
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a digital camera of the present invention.
FIG. 2 is an explanatory diagram showing a pixel arrangement of a solid-state image sensor.
FIG. 3 is a block diagram illustrating a configuration of a digital signal processing unit.
FIG. 4 is a flowchart showing a shooting sequence of the digital camera.
FIG. 5 is a graph showing a relationship between a subject luminance range and outputs of a main photosensitive portion and a secondary photosensitive portion.
6 is a timing chart showing exposure control in a subject luminance range of 200% with ISO 100. FIG.
FIG. 7 is a timing chart showing exposure control in a subject luminance range of 800% with ISO100.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Pixel 2 Light-receiving part 3 Secondary photosensitive part 4 Main photosensitive part 12 Solid-state image sensor 15 CPU
17 Timing generator 25 Digital signal processor

Claims

In an imaging apparatus using a solid-state imaging device in which a large number of pixels having a photosensitive part composed of a main photosensitive part having a relatively large area and a narrow secondary photosensitive part are arranged,
An imaging apparatus comprising: a measuring unit that measures a subject luminance range; and a setting unit that sets an exposure time of a slave photosensitive unit with respect to an exposure time of a main photosensitive unit based on the subject luminance range.

In an imaging apparatus using a solid-state imaging device in which a large number of pixels having a photosensitive part composed of a main photosensitive part having a relatively large area and a narrow secondary photosensitive part are arranged,
An imaging apparatus comprising: ISO sensitivity setting means for setting an ISO sensitivity; and setting means for setting an exposure time of a slave photosensitive portion relative to an exposure time of a main photosensitive portion based on the ISO sensitivity.

When the size of the subject luminance area with respect to the main photosensitive area reproduction area, which is a range in which the high-sensitivity image signal output from the main photosensitive area is not saturated, is less than 100%, the setting means exposes the secondary photosensitive area. The imaging apparatus according to claim 1, wherein the imaging device is not changed.

The setting means only outputs the high-sensitivity image signal when the size of the subject luminance range with respect to the main photosensitive portion reproduction range, which is a range in which the high-sensitivity image signal output from the main photosensitive portion is not saturated, is less than 100%. The imaging apparatus according to claim 1, wherein the imaging apparatus is an image signal.

When the size of the subject luminance range with respect to the main photosensitive portion reproduction range, which is a range in which the high-sensitivity image signal output from the main photosensitive portion is not saturated, is 100% or more, the setting means increases the value. 5. The image pickup apparatus according to claim 1, wherein an exposure time of the secondary photosensitive portion is shortened.

The setting means has an exposure time of the main photosensitive portion when the size of the subject luminance range with respect to the main photosensitive portion reproduction range, which is a range in which the high sensitivity image signal output from the main photosensitive portion is not saturated, is less than 100%. 5. The image pickup apparatus according to claim 1, wherein the exposure time of the slave photosensitive portion is obtained by dividing the above by the saturation level ratio of the primary photosensitive portion and the secondary photosensitive portion.

The imaging apparatus according to claim 2, wherein the setting unit sets the exposure time of the sub-photosensitive portion to be shorter as the ISO sensitivity is set higher.