JP7378951B2 - 撮像装置、撮像装置の制御方法、及びプログラム - Google Patents

Description

本発明は、撮像装置を制御する技術に関する。

撮像装置において、Ｓ／Ｎ（ＳＮ比）の改善は重要である。一般的な撮像装置では、一つの光電変換素子に対して一つの増幅手段を有し、光電変換素子で生じた電気信号の増幅が行われる。これに対し、Ｓ／Ｎの改善のため、光電変換素子で生じた電気信号を二つの増幅手段により増幅する撮像装置が知られている（特許文献１、特許文献２、非特許文献１参照）。このような撮像装置では、増幅した二つの電気信号、または増幅した二つの電気信号をＡＤ（アナログデジタル）変換したデジタル値を、輝度に応じて適切に選択し、１枚の画像を生成することでＳ／Ｎを改善する事ができる。

特開２０１６－１２９３９７号公報 米国特許出願公開第２０１０／０１７７２２５号明細書

Ａｎ ８７ｄＢ Ｓｉｎｇｌｅ Ｅｘｐｏｓｕｒｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ ＣＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ ｗｉｔｈ ａ ３．０μｍ Ｔｒｉｐｌｅ Ｃｏｎｖｅｒｓｉｏｎ Ｇａｉｎ Ｐｉｘｅｌ

しかしながら、従来技術（特許文献１，特許文献２、非特許文献１）では、電気信号に対する増幅率は撮影前に予め決められている。そのため、例えば屋外撮影のように、撮影シーンで明るさの異なる領域などが目まぐるしく変化するような場合、予め設定した増幅率を用いると、十分なＳ／Ｎの改善効果が得られないという問題がある。

そこで、本発明は、十分なＳ／Ｎの改善効果を得られるようにすることを目的とする。

本発明の撮像装置は、被写体の光学像を光電変換した信号電荷が電圧変換された信号電圧を、増幅した後にデジタル変換する撮像装置であって、前記信号電圧を、それぞれに設定された増幅率によって増幅する二つ以上の増幅回路と、前記二つ以上の増幅回路それぞれにおける増幅率と、前記デジタル変換の際に発生する読出しノイズ量とに基づいて、前記増幅してデジタル変換された信号それぞれに対する重みを決定する重み決定手段と、前記二つ以上の増幅回路により増幅して前記デジタル変換された信号を、前記重みを用いて合成する合成手段と、を有することを特徴とする。

本発明によれば、十分なＳ／Ｎの改善効果を得ることができる。

第１実施形態の撮像装置の構成を示す図である。 第１実施形態の撮像装置の処理の流れを示すフローチャートである。 第１実施形態の増幅率決定処理の流れ示すフローチャートである。 第１実施形態の増幅率決定方法の説明図である。 第２実施形態の増幅率決定処理の流れ示すフローチャートである。 第２実施形態の増幅率決定方法の説明図である。 第３実施形態の撮像装置の構成を示す図である。 第３実施形態の撮像装置の処理の流れを示すフローチャートである。 第４実施形態の撮像装置の構成を示す図である。 第４実施形態の撮像装置の処理の流れを示すフローチャートである。 第４実施形態の増幅率決定処理の流れ示すフローチャートである。 第４実施形態の増幅率決定方法の説明図である。 第５実施形態の増幅率決定処理の流れ示すフローチャートである。 第５実施形態の増幅率決定方法の説明図である。 第６実施形態の撮像装置の構成を示す図である。 第６実施形態の撮像装置の処理の流れを示すフローチャートである。 第８実施形態の撮像装置の処理の流れを示すフローチャートである。 第９実施形態の撮像装置の処理の流れを示すフローチャートである。 その他の実施形態の撮像装置の構成を示す図である。

以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に必ずしも限定されるものではない。
＜第１実施形態＞
図１は第１実施形態の撮像装置の概略的な構成例を示す図である。
撮像部１００は、光学系１０１、光電変換素子１０２、ＦＤ１０３、アナログ処理回路１０６を有して構成されており、被写体の光学像を画像データに変換する。光学系１０１は、レンズ、絞りを含み、被写体等からの光学像を光電変換素子１０２の撮像面上に結像させる。光電変換素子１０２は、被写体等の光学像を光電変換により撮像して信号電荷に変換する。ＦＤ１０３は、フローティングディフュージョンアンプであり、光電変換素子１０２から出力された信号電荷を電圧変換により信号電圧にして出力する。ＦＤ１０３から出力された信号電圧はアナログ処理回路１０６に入力される。

アナログ処理回路１０６は、ＰＧＡ１０４とＡＤ変換回路１０５を含み、ＦＤ１０３から入力された信号電圧に対してアナログ信号処理を行う。ＰＧＡ１０４は、プログラマブルゲインアンプであり、ＦＤ１０３から入力された信号電圧を増幅する増幅回路である。ＡＤ変換回路１０５は、ＰＧＡ１０４で増幅した信号電圧をデジタル値へ変換するアナログデジタル変換を行う。なおアナログ処理回路１０６は、ＰＧＡ１０４及びＡＤ変換回路１０５が少なくとも２系統以上に分けられて設けられており、それら２系統以上のＡＤ変換回路１０５からはデジタル値による２系統以上の画像が出力されて、デジタル処理回路１０７に送られる。
デジタル処理回路１０７は、画像処理回路１０８、輝度取得部１０９、増幅率決定回路１１０を含み、撮影した画像のデジタル信号処理を行う。デジタル処理回路１０７の詳細については後述する。

バッファ１１１は、輝度取得部１０９における処理結果や処理中のデータを記憶するデータバッファである。
記録媒体１１３は、撮影した画像データを保存する、例えばＳＤカード、ＣＦカード（コンパクトフラッシュは登録商標）、ＨＤＤ（ハードディスクドライブ）等である。
記録回路１１２は、デジタル処理回路１０７によってデジタル信号処理された画像データを記録媒体１１３に記録し、また、必要に応じて記録媒体１１３から画像データを読み出す。

システム制御部１１７は、撮像装置全体を制御する。
ＲＯＭ１１８は、システム制御部１１７が後述するような各種制御を実行するためのプログラムや各種制御パラメータ等の制御データを記憶した不揮発性メモリである。
ＲＡＭ１１６は、システム制御部１１７が撮像装置を制御する際に使用する揮発性メモリである。

撮像制御部１１４は、システム制御部１１７からの制御命令に応じて、撮像部１００の動作を制御する撮像動作制御部である。
増幅率制御回路１１５は、ＦＤ１０３の静電容量の設定とＰＧＡ１０４の増幅率の設定とを変更等することにより、信号電圧の増幅率を制御する。
操作部１１９は、撮像装置の外部（ユーザ、レリーズ等の接続機器）からの指示を撮像装置に入力する。

＜撮像装置の撮影動作フロー＞
以下、上述のように構成された撮像装置における動画の撮影動作の流れについて、図１に示す構成図及び図２に示すフローチャートを用いて説明する。図２のフローチャートの各処理ステップは、システム制御部１１７による制御の下で、撮像装置の各構成によって実施される処理である。また、図２のフローチャートの説明では、各処理ステップＳ２０１～ステップＳ２０８をＳ２０１～Ｓ２０８と略記する。これらのことは後述する他のフローチャートにおいても同様とする。

本実施形態では、図１に示したように、アナログ処理回路１０６が２系統のＰＧＡ１０４とＡＤ変換回路１０５を有する構成を例に挙げ、画素の平均値と標準偏差を基に増幅率を決定する処理について説明する。
図２のＳ２０１では、撮像制御部１１４が、操作部１１９を介して外部から入力された指示に応じて、撮像装置の撮影条件（例えばシャッタースピード、絞り、ＩＳＯ感度）を設定する。なお、撮影条件の設定に際して、撮像制御部１１４は、撮像部１００の光学系１０１の絞り、光電変換素子１０２の露光時間の設定を変更する。

Ｓ２０２では、増幅率制御回路１１５が、ＰＧＡ１０４の増幅率及びＦＤ１０３の静電容量を設定する。本ステップは、動画における先頭フレームにおいてのみ実施される前処理であり、Ｓ２０２における増幅率及び静電容量の設定の際には、撮影条件に応じた値、またはＲＯＭ１１８に格納されている設定値が用いられる。

Ｓ２０３では、操作部１１９を介して外部から入力された撮影指示に応じて、撮像制御部１１４が、撮像部１００の撮影動作を開始させる。ここで、撮像制御部１１４は、撮影動作として、先ず、光学系１０１のレンズと絞りを駆動して、被写体の光学像を光電変換素子１０２上に結像させる。また光電変換素子１０２は、撮像制御部１１４からの制御信号により露光時間が制御され、光学像を信号電荷に変換して、ＦＤ１０３へ出力する。光電変換素子１０２から出力された信号電荷は、ＦＤ１０３において信号電圧に変換された後、二つの経路（２系統）に分配されて、アナログ処理回路１０６へ送られる。アナログ処理回路１０６に入力された信号電圧は、２系統のＰＧＡ１０４によりそれぞれ増幅された後、同じく２系統のＡＤ変換回路１０５でそれぞれデジタル値に変換されて、デジタル処理回路１０７へ出力される。なお、図１の例では、ＰＧＡ１０４及びＡＤ変換回路１０５が２系統分設けられているため、デジタル処理回路１０７へは、ＡＤ変換回路１０５からの２系統のデジタル値による２系統の画像が出力される。

Ｓ２０４では、画像処理回路１０８が、Ｓ２０３において出力された２系統の画像の取得処理とそれら２系統の画像を合成して生成した画像を出力する画像合成処理とを行う。このときの画像処理回路１０８は、取得した２系統の画像に対してデジタルゲイン、ホワイトバランス、ガンマ補正等の一般的な画像処理を行い、それら画像処理後の２系統の画像を合成する画像合成処理を行う。本実施形態において、画像合成処理は、処理対象となる２系統の画像に対して設定された増幅率によって、その処理方法が異なる。例えば撮像部１００内のＦＤ１０３とＰＧＡ１０４に設定した増幅率が、処理対象となる２系統の画像でそれぞれ異なる場合、画像処理回路１０８は、それら２系統の画像の輝度範囲が重複する領域では画質の良い画素を選択的に用いるような選択処理を行う。画質の良い画素は、例えば高い増幅率が設定された方の画像の画素とする。一方、例えば処理対象となる２系統の画像で増幅率が同じであった場合、画像処理回路１０８は、それら２系統の画像の同じ位置の画素同士で画素値を平均化して用いるような平均化処理を行う。そして、画像処理回路１０８による画像合成処理により生成された画像（以下、合成画像と呼ぶ。）は、動画を構成するフレームとして順次保存される。なお、動画については記録回路１１２によって所定の記録フォーマットのデータに変換された後、記録媒体１１３に記録されて保存される。

Ｓ２０５では、輝度取得部１０９が、画像の輝度の代表値を輝度情報として取得する。輝度情報の取得は、画像処理回路１０８にて画像処理された２系統の画像のいずれか一つの画像を用いて行われる。例えば輝度取得部１０９は、画像処理後の２系統の画像のうち、相対的に低い増幅率で処理された画像から輝度情報を取得する。より具体的に説明すると、輝度取得部１０９は、画像から取得可能な画素値（ｓＲＧＢ値）に対して画素値から輝度値への変換処理を行うことで輝度値を取得し、さらにそれら輝度値の平均値と標準偏差と最大値とを代表値として取得し、それらを輝度情報とする。そして輝度取得部１０９は、取得した輝度情報をバッファ１１１に保存する。なお、画素値から輝度値への変換処理は、一般的なｓＲＧＢ値から輝度値への変換行列を各画素に対して適用することで実現できる。

Ｓ２０６では、増幅率決定回路１１０が、Ｓ２０５で輝度情報として取得された輝度値の平均値、標準偏差、及び最大値をバッファ１１１から読み出し、それらの情報を基に被写体の輝度に応じた増幅率を決定する。被写体の輝度に応じた増幅率の決定処理の詳細については後述する。

Ｓ２０７では、増幅率制御回路１１５が、Ｓ２０６で決定された増幅率を基に、撮像部１００内での増幅率を再設定する。つまり、増幅率制御回路１１５は、Ｓ２０６で決定された増幅率を基に、ＦＤ１０３の静電容量と２系統のＰＧＡ１０４の増幅率の再設定を行う。

その後、Ｓ２０８では、システム制御部１１７が、撮影の終了判定を行う。つまりＳ２０３からＳ２０８の処理が行われている間に、操作部１１９を介して外部から撮影終了指示が入力された場合、システム制御部１１７は、撮像制御部１１４に撮影終了指示を送る。これにより、撮像制御部１１４は、撮像部１００の動作を終了させる。一方、システム制御部１１７は、撮影終了指示が入力されていないため、撮影を終了しない場合、Ｓ２０３に処理を戻し、Ｓ２０３からＳ２０７の処理を再度実行する。

＜増幅率の決定方法＞
以下、Ｓ２０６における増幅率の決定処理について、図３のフローチャート及び図４を用いて説明する。本実施形態では、２系統のうち、増幅率が相対的に低い方の増幅率をＬｏｗゲインと呼び、相対的に高い方の増幅率をＨｉｇｈゲインと呼ぶことにする。本実施形態では、これら相対的に低い増幅率のＬｏｗゲインと、相対的に高い増幅率のＨｉｇｈゲインとの、二つの値を決定する場合を例に挙げて説明する。なおこれ以降の説明では、撮像部１００内部（ＦＤ１０３とＰＧＡ１０４）において、Ｌｏｗゲインに設定した状態で取得した画像をＬｏｗゲイン画像と呼び、一方、Ｈｉｇｈゲインに設定した状態で取得した画像をＨｉｇｈゲイン画像と呼ぶ。

Ｓ３０１では、増幅率決定回路１１０が、Ｓ２０５において輝度情報として取得した輝度値の平均値、標準偏差、及び最大値をバッファ１１１より取得する。
Ｓ３０２では、増幅率決定回路１１０が、Ｓ３０１で取得された値を基にＬｏｗゲインの決定を行う。

以下に、Ｌｏｗゲインを決定するための一例としての方法を、図４を参照しながら説明する。図４は、横軸を画像の輝度値、縦軸を輝度値の出現頻度とし、Ｓ３０１で算出した平均値と標準偏差を用いて、被写体の輝度値の分布を正規分布により表したグラフである。本実施形態では、Ｌｏｗゲインは、被写体全体を白飛びなく撮影できること目的として設定される。そのため、増幅率決定回路１１０は、Ｌｏｗゲインについては図４の輝度範囲Ｌに示すように正規分布の全体を撮影できるように設定する。この時の増幅率は、式（１）で表す事ができる。

式（１）において、Ｇ_LowはＬｏｗゲイン、Ｇ_preは輝度情報の取得に用いた画像に対して既に設定されている増幅率、μは画像の輝度の平均値、σは画像の輝度の標準偏差、Ｉ_Maxは画像の取り得る最大輝度値を表す。

Ｓ３０３では、増幅率決定回路１１０が、撮像装置の優先する輝度の「設定モード」の状態を取得する。「設定モード」には、例えば低輝度優先設定モード、中輝度優先設定モード、及び高輝度優先設定モード等があり、ユーザ等により設定可能となされている。そして、設定モードは、Ｓ２０１の撮影条件の設定時にいずれか一つが選択される。
Ｓ３０４では、増幅率決定回路１１０が、Ｓ３０１で取得した輝度値の平均値と標準偏差と最大値とに基づいて、Ｈｉｇｈゲインを決定する。

以下に、Ｈｉｇｈゲインを決定するための一例としての方法を示す。本実施形態では、低輝度優先設定モードと中輝度優先設定モードの二つが設定可能な場合を例に挙げて説明する。増幅率決定回路１１０は、低輝度優先設定モードに設定されている時には、Ｈｉｇｈゲインを、例えば図４において範囲Ｈ１で示す輝度範囲を撮影できるように設定する。また増幅率決定回路１１０は、中輝度優先設定モードに設定されている時には、Ｈｉｇｈゲインを、例えば図４において範囲Ｈ２で示す輝度範囲を撮影できるように設定する。範囲Ｈ１，Ｈ２のそれぞれの輝度範囲を撮影する際のＨｉｇｈゲインは、それぞれ式（２）、式（３）で表す事ができる。

式（２）のＧ_High1は範囲Ｈ１の輝度範囲を撮影する際のＨｉｇｈゲイン、式（３）のＧ_High2は範囲Ｈ２の輝度範囲を撮影する際のＨｉｇｈゲインを表す。式（２）または式（３）により算出されたＨｉｇｈゲインを区別せずにＧ_Highとして表すと、増幅率決定回路１１０は、撮像装置が設定可能な増幅率のうち、Ｇ_Highに最も近い値を実際に設定するＨｉｇｈゲインの増幅値とする。例えば撮像装置が１倍、２倍、及び４倍の増幅率を設定可能であり、式（２）または式（３）で算出したＧ_Highが２．５であった場合、増幅率決定回路１１０は、実際に設定するＨｉｇｈゲインの増幅値として２倍を選択する。また、被写体の輝度分布が、例えば予め決めた輝度分布よりも広くない場合には、撮像装置が設定可能な増幅率のうち、同じ増幅率が、Ｇ_LowとＧ_Highに対して設定される。

また一般に、増幅率により出力画像の特性は変化する事が知られており、このため、例えばＬｏｗゲイン画像とＨｉｇｈゲイン画像とではそれぞれ特性が異なる。具体的には、Ｌｏｗゲイン画像はＨｉｇｈゲイン画像に比べて、撮影できる輝度範囲は相対的に広いが、輝度に対するＳ／Ｎ（ＳＮ比）は低い。反対に、Ｈｉｇｈゲイン画像はＬｏｗゲイン画像に比べて、撮影できる輝度範囲は相対的に狭いが、輝度に対するＳ／Ｎは高い。このような関係は、Ｇ_High1、Ｇ_High2の値により増幅率を設定した画像についても同様である。つまり、低輝度優先設定モードでは、画像の低輝度領域に限定して比較的高いＳ／Ｎ改善効果を得ることができことになる。一方、中輝度優先設定モードでは、低輝度優先設定モードに比べてＳ／Ｎの改善効果が低くなるが、より広い輝度域のＳ／Ｎを改善することができる。

なお、前述の例では、ＬｏｗゲインとＨｉｇｈゲインの二つの増幅率を決定する方法を示したが、撮像装置がＰＧＡ１０４及びＡＤ変換回路１０５を例えば３系統以上有し、少なくとも三つ以上の増幅率を決定する場合にも本実施形態は適用可能である。この場合、増幅率決定回路１１０は、三つ目以降の増幅率については前述したＨｉｇｈゲインと同様の増幅率を設定することする。また、Ｓ２０３の画像合成処理の際に、画像処理回路１０８は、増幅率の同じ画像同士で前述した同じ位置の画素値を平均化する処理を行って、Ｌｏｗゲイン画像との画像合成を行う。

以上が、第１実施形態の撮像装置で行われる処理である。以上に説明したように、本実施形態によれば、被写体の輝度の平均値、標準偏差等の輝度情報を利用して増幅率を決定することにより、被写体の輝度によらずＳ／Ｎの改善効果を得る事ができる。

＜第２実施形態＞
前述した第１実施形態では、画像の輝度値の平均値と標準偏差とに基づいて増幅率を決定している。これに対し、第２実施形態では、画像の輝度の代表値として輝度値の歪度と尖度を算出し、これらを輝度情報として用いて増幅率を決定する。なお、第２実施形態における撮像装置の構成は、図１に示した構成と同様であるため図示は省略する。また第２実施形態における処理の流れは、図２のＳ２０５とＳ２０６において第１実施形態とは異なる。第１実施形態では、Ｓ２０５において、輝度値の平均値、標準偏差、及び最大値を求め、これらを輝度情報として、バッファ１１１に保存した。これに対し、第２実施形態では、Ｓ２０５において、輝度値の歪度及び尖度を求め、これらを輝度情報として、バッファ１１１に保存する。

以下、第２実施形態の撮像装置で行われる処理について、第１実施形態と異なる点を中心に、図５に示すフローチャートを用いて説明する。図５のフローチャートは、図２のＳ２０６に相当する処理を表している。また、第２実施形態におけるＳ２０６の処理方法に関しては、２系統のうち、相対的に低い方の増幅率のＬｏｗゲインと、相対的に高い方の増幅率のＨｉｇｈゲインの二つの値を決定する場合を例に挙げて説明を行う。
Ｓ５０１では、増幅率決定回路１１０が、第２実施形態のＳ２０５において輝度情報として取得した輝度値の歪度と尖度を、バッファ１１１より取得する。

＜歪度と尖度＞
ここで、歪度と尖度は、データの分布の特徴を表す指標である。歪度は、データの分布がどの程度非対称なのかを表す値であり、尖度は、データの分布が正規分布と比較してどの程度鋭いかを表す値である。第２実施形態の場合の輝度取得部１０９は、下記の式（４）により歪度Ｓを算出し、式（５）により尖度Ｋを算出する。

ここで、式（４）及び式（５）において、Ｓは歪度、Ｋは尖度、ｎは画像の輝度のデータ総数、ｘはｉ番目の輝度の値、σは画像の輝度の標準偏差、μは画像の輝度の平均値である。第２実施形態の場合、バッファ１１１には、これら輝度値の歪度と尖度が輝度情報として保持される。

Ｓ５０２では、増幅率決定回路１１０が、Ｓ５０１において輝度情報として取得した輝度値の歪度と尖度に基づき、後述するテーブルを用いて係数を算出する。便宜上、ここでのテーブルを係数テーブルと呼び、その詳細は後述する。係数テーブルは、ＲＯＭ１１８に保持されており、係数テーブルの係数の算出は例えばデジタル処理回路１０７において行われる。

Ｓ５０３では、増幅率決定回路１１０が、Ｌｏｗゲイン及びＨｉｇｈゲインの値を決定する。増幅率決定回路１１０は、Ｓ２０５において輝度情報である歪度と尖度の算出に用いた画像について設定されている増幅率と、Ｓ５０２で係数テーブルから歪度と尖度を基に算出される係数とを掛けた値を求めて、この値を増幅率とする。

＜係数テーブル＞
以下、係数テーブルについて、図６（ａ）及び図６（ｂ）を参照しながら説明する。図６（ａ）にはＬｏｗゲインについて係数を算出する際の係数テーブル、図６（ｂ）にはＨｉｇｈゲインについて係数を算出する際の係数テーブルの一例を示している。図６（ａ）及び図６（ｂ）では、それぞれ横軸を歪度、縦軸を尖度としており、前述したように、歪度の値は被写体の輝度の偏りの指標であり、尖度の値は輝度の偏りの尖り方の指標である。例えば、歪度が負の値となると、被写体の輝度は高輝度側に偏っており、歪度の値が正の値となると、被写体の輝度は低輝度側に偏っていることになる。歪度の絶対値が大きくなると、偏り方も大きくなる。尖度は、その値が大きくなるに従いより鋭くなる。また、係数テーブル内の値は、Ｓ５０１において、輝度値の歪度と尖度の算出に用いた画像に設定されている増幅率に掛けられる係数である。例えば、歪度と尖度の算出に用いた画像に設定されている増幅率が２で、係数テーブルより定まる値が８となる場合、ここで決定される増幅率は、２×８＝１６となる。

また、増幅率決定に用いる係数テーブルは、ＬｏｗゲインとＨｉｇｈゲインの二つの係数テーブルに限らず、決定する増幅率の数に応じて作成してもよい。また、係数テーブル内に記述した係数は、図６（ａ）や図６（ｂ）に示した値に限らない。
なお、本実施形態では、ＬｏｗゲインとＨｉｇｈゲインの二つの増幅率を決定する方法を示したが、撮像装置がＰＧＡ１０４及びＡＤ変換回路１０５を３系統以上有し、少なくとも三つ以上の増幅率を決定する場合もある。このような場合には、三つ目以降の増幅率は前述したＨｉｇｈゲインと同様の増幅率を設定することする。またこの場合、Ｓ２０４の画像合成処理の際に、画像処理回路１０８は、増幅率が同じ画像同士で前述した同じ位置の画素値を平均化する処理を行い、Ｌｏｗゲイン画像との画像合成を行う。

以上が、第２実施形態の撮像装置で行われる処理である。以上に説明したように、本実施形態によれば、被写体の輝度値の歪度と尖度の輝度情報を利用して増幅率を決定することにより、被写体の輝度によらずＳ／Ｎの改善効果を得る事ができる。

＜第３実施形態＞
第３実施形態では、第１実施形態、第２実施形態の撮像装置と異なる構成により、被写体の輝度に応じて増幅率を決定する方法について述べる。第３実施形態では、輝度値の代表値（平均と標準偏差や、歪度と尖度等）を保持するメモリ（バッファ１１１）の他に、信号電荷を保持する電荷メモリを有し、例えば１フレーム前の画像で事前に増幅率を決定しておく必要がない手法を説明する。図７は、第３実施形態における撮像装置の構成の一例を示す構成図である。図７は、図１の撮像装置とは撮像部１００内の構成が異なり、光電変換素子１０２の後段で例えば２系統に分けられ、２系統に分けられた各ＦＤ１０３の前段にそれぞれ電荷メモリ７００が設けられている。電荷メモリ７００は、光電変換素子１０２で生じた信号電荷を保持する機能を有する。図７の撮像装置は、電荷メモリ７００を２系統分だけ有する構成となっているが、ＦＤ１０３、ＰＧＡ１０４、及びＡＤ変換回路１０５が３系統以上に分けられる場合にはその系統数に応じた数だけ設けられてもよい。なお図７の構成図において、図１と対応した構成には同じ参照符号を付し、それらの説明は省略する。

＜第３実施形態の撮像装置における撮像動作の説明＞
以下、第３実施形態の撮像装置における撮影動作の流れを、図７の構成図及び図８に示すフローチャートを用いて説明する。なお、本実施形態では、２系統分の電荷メモリ７００を有し、二つの増幅率を決定する場合の一例を説明する。

Ｓ８０１では、撮像制御部１１４が、操作部１１９を介して外部から入力された指示に応じて、撮像装置の撮影条件（シャッタースピード、絞り、及びＩＳＯ感度）を設定する。また、撮影条件の設定に際して、撮像制御部１１４は、撮像部１００の光学系１０１の絞り、光電変換素子１０２の露光時間、及び各系統のＦＤ１０３の静電容量とＰＧＡ１０４の増幅率の設定値を変更する。
Ｓ８０２では、増幅率制御回路１１５が、各系統のＦＤ１０３の静電容量とＰＧＡ１０４の増幅率を設定する。設定値は、撮影条件に応じた値、またはＲＯＭ１１８に記載された値を用いる。

Ｓ８０３では、操作部１１９を介して外部から入力された撮影指示に応じて、撮像制御部１１４が、撮像部１００の撮影動作を開始させる。このときの撮像制御部１１４は、先ず、光学系１０１のレンズと絞りを駆動して、被写体の光学像を光電変換素子１０２上に結像させる。そして、光電変換素子１０２から転送された信号電荷は、２系統に分配されて電荷メモリ７００へ送られて保持される。次に、撮像制御部１１４は、２系統のうち、相対的に低い方の増幅率であるＬｏｗゲインを設定する経路側の電荷メモリ７００で保持している信号電荷を、ＦＤ１０３へ転送させる。このＦＤ１０３は、転送された信号電荷を信号電圧に変換してアナログ処理回路１０６へ出力する。その出力された信号電圧は、アナログ処理回路１０６内のＰＧＡ１０４により増幅された後、ＡＤ変換回路１０５でデジタル値に変換され、デジタル処理回路１０７へ出力される。

Ｓ８０４では、画像処理回路１０８が、Ｌｏｗゲイン画像を取得する。具体的には、画像処理回路１０８は、Ｓ８０３で取得したデジタル値に対して、デジタルゲイン、ホワイトバランス、及びガンマ補正等の一般的な画像処理を必要に応じて行い、Ｌｏｗゲイン画像を取得する。

Ｓ８０５では、輝度取得部１０９が、Ｌｏｗゲイン画像の輝度情報の取得を行う。具体的には、前述のＳ２０５と同様に、画素値（ｓＲＧＢ値）に対して、画素値から輝度値への変換処理を行う。さらに、輝度取得部１０９は、輝度値の代表値を算出して、輝度情報としてバッファ１１１に保存する。輝度値の代表値としては、前述した第１実施形態で説明した輝度値の平均値、標準偏差、及び最大値、第２実施形態で説明した歪度及び尖度を挙げることができる。

Ｓ８０６では、増幅率決定回路１１０が、Ｓ８０５で算出された輝度値の代表値（輝度情報）をバッファ１１１より取得し、その取得した代表値を基に、被写体の輝度に応じた増幅率の決定を行う。被写体の輝度に適した増幅率の決定方法は、第１実施形態、第２実施形態において前述した方法のうち、どちらか一つを用いることとする。例えば、輝度値の代表値として、前述した第１実施形態で説明した輝度値の平均値、標準偏差、及び最大値を用いる場合には、第１実施形態で説明した増幅率の決定方法を用いる。また例えば、第２実施形態で説明した歪度と尖度を用いる場合には、第２実施形態で説明した増幅率の決定方法を用いる。なおこれら二つの増幅率の決定方法は前述同様であるため、ここでの説明は省略する。

Ｓ８０７では、増幅率制御回路１１５が、Ｓ８０６で決定された増幅率に基づいて、２系統のうちでＨｉｇｈゲインを設定する経路における増幅率の再設定（ＦＤ１０３の静電容量、ＰＧＡ１０４の増幅率の再設定）を行う。

Ｓ８０８では、画像処理回路１０８が、Ｈｉｇｈゲイン画像を取得する。この時、増幅率制御回路１１５は、Ｈｉｇｈゲインを設定する経路に接続された電荷メモリ７００が保持している信号電荷を、ＦＤ１０３へ転送して信号電圧に変換させ、さらに増幅率が再設定されたＰＧＡ１０４で信号電圧を増幅させる。その後、ＰＧＡ１０４で増幅された信号電圧が、ＡＤ変換回路１０５でデジタル値に変換される。そして、画像処理回路１０８は、入力したデジタル値に対して、デジタルゲイン、ホワイトバランス、及びガンマ補正等の一般的な画像処理を必要に応じて行う。これにより再設定された増幅率で増幅されたＨｉｇｈゲイン画像が取得される。

Ｓ８０９では、画像処理回路１０８が、Ｓ８０４で取得したＬｏｗゲイン画像と、Ｓ８０８で取得したＨｉｇｈゲイン画像との合成処理を行う。例えば、撮像部１００内で設定された増幅率が２系統でそれぞれ異なる場合、画像処理回路１０８は、それら２系統の画像の輝度範囲が重複する領域ではＳ／Ｎの高い画像の画素を選択的に用いるような選択処理を行う。一方、２系統で増幅率が同じである場合、画像処理回路１０８は、それら２系統の画像の同じ位置の画素同士で画素値を平均化して用いる平均化処理を行う。その後、画像処理回路１０８による画像合成処理後の合成画像は、記録回路１１２により所定の記録フォーマットのデータに変換された後、記録媒体１１３に記録されて保存される。

以上が、第３実施形態の撮像装置で行われる処理である。以上に説明したように、本実施形態によれば、信号電荷を保持する電荷メモリを有し、例えば１フレーム前の画像を用いて事前に増幅率を決定しておかなくても、被写体の輝度情報を基に増幅率を決定することができる。そして第３実施形態においても、前述した第１、第２実施形態と同様に、被写体の輝度によらずＳ／Ｎの改善効果を得る事ができる。

＜第４実施形態＞
第１実施形態から第３実施形態では、輝度情報として画像の輝度値の平均値、標準偏差、及び最大値、もしくは、歪度及び尖度といった代表値を取得して増幅率の決定を行っている。以下の第４実施形態の撮像装置は、画像を保存する役割を持つ画像メモリ９００を備え、画像メモリ９００に保持した画像から輝度のヒストグラムを求め、そのヒストグラムを基に画像中で頻度が少ない輝度領域を判定する。そして、第４実施形態の撮像装置では、その輝度領域の判定結果に応じて増幅率を決定する。すなわち、第４実施形態は、撮影シーンの輝度分布を詳細に取得し、その輝度分布を基に画像中で頻度が少ない輝度領域を判定し、その輝度領域の判定結果を基に増幅率を決定する。このため、第４実施形態の撮像装置では、第１実施形態から第３実施形態で説明した代表値に基づく増幅率の決定方法に比べて、撮影シーンに対してより適切な増幅率の設定を行うことができる。

図９は、第４実施形態における撮像装置の構成の一例を示す構成図である。図９に示した第４実施形態の撮像装置は、図１に示した撮像装置の構成と比較すると、画像メモリ９００が設けられている点が異なる。画像メモリ９００は画像を保持する機能を有する。画像メモリ９００は、撮像部１００により取得した画像や、後述する図１０のＳ１００６で輝度情報として取得する輝度画像等を保持可能となされている。なお図９の構成図において、図１と対応した構成には同じ参照符号を付し、それらの説明は省略する。

＜第４実施形態の撮像装置における撮影動作の説明＞
以下、第４実施形態の撮像装置における撮影動作の流れについて、図９の構成図及び図１０に示すフローチャートを用いて説明する。なお、第４実施形態においても前述の実施形態と同様に、２系統に分けて増幅率を決定する例を挙げて説明する。

Ｓ１００１では、前述のＳ２０１と同様に、撮像制御部１１４が、操作部１１９を介して外部から入力された指示に応じて、撮像装置の撮影条件を設定する。
Ｓ１００２では、前述のＳ２０２と同様に、増幅率制御回路１１５が、ＰＧＡ１０４の増幅率及びＦＤ１０３の静電容量を設定する。
Ｓ１００３では、前述のＳ２０３と同様に、撮像制御部１１４が、操作部１１９を介して外部から入力された撮影指示に応じて、撮像部１００の撮影動作を開始させる。また前述同様に、光電変換素子１０２から転送された信号電荷は、ＦＤ１０３において信号電圧に変換された後、２系統に分配されて、アナログ処理回路１０６へ送られる。そして、前述同様に、アナログ処理回路１０６では、入力された信号電圧がＰＧＡ１０４により増幅された後、ＡＤ変換回路１０５でデジタル値に変換されて、デジタル処理回路１０７へ出力される。
Ｓ１００４では、前述のＳ２０４と同様に、画像処理回路１０８が、２系統の画像の取得処理と画像合成処理とを行う。そして、画像処理回路１０８による処理後の合成画像は、記録回路１１２により所定の記録フォーマットのデータに変換された後、記録媒体１１３に記録される。

Ｓ１００５では、デジタル処理回路１０７が、撮像部１００より取得された画像のうち、最も低い増幅率を設定した画像を、画像メモリ９００に保存させる。
Ｓ１００６では、輝度取得部１０９が、画像メモリ９００に保存された画像の輝度情報を取得する。輝度取得部１０９は、画像メモリ９００に保存された画像から取得可能な画素値（ｓＲＧＢ値）に対して、画素値から輝度値への変換処理を行う。そして、輝度取得部１０９は、輝度値への変換処理を行って得られた画像（以下、輝度画像と呼ぶ。）を、輝度情報として画像メモリ９００に保存させる。なお、画素値から輝度値への変換処理は、前述同様であり、一般的なｓＲＧＢ値から輝度値への変換行列を各画素に対して適用することで行われる。

Ｓ１００７では、増幅率決定回路１１０が、Ｓ１００６で輝度情報として取得した輝度画像を、画像メモリ９００から読み出し、その輝度画像を基に、被写体の輝度に応じた増幅率を決定する。第４実施形態における被写体の輝度に応じた増幅率の決定処理の詳細については後述する。

Ｓ１００８では、増幅率制御回路１１５が、Ｓ１００７で決定された増幅率を基に、撮像部１００内での増幅率を再設定する。つまり、増幅率制御回路１１５は、Ｓ１００７で決定された増幅率を基に、ＦＤ１０３の静電容量と２系統のＰＧＡ１０４の増幅率の再設定を行う。

その後、Ｓ１００９では、システム制御部１１７が、撮影の終了判定を行う。Ｓ１００３からＳ１００８の処理が行われている間に、操作部１１９を介して外部から撮影終了指示が入力された場合、システム制御部１１７は、撮像制御部１１４に撮影終了指示を送って撮像部１００の動作を終了させる。一方、システム制御部１１７は、撮影終了指示が入力されておらず、撮影を終了しない場合、Ｓ１００３に処理を戻し、Ｓ１００３からＳ１０８の処理を再度実行する。

＜第４実施形態における増幅率の決定処理＞
以下、Ｓ１００７における増幅率決定処理について、図１１のフローチャート及び図１２を用いて説明する。本実施形態でも前述同様に、２系統のうち、相対的に低い方の増幅率のＬｏｗゲインと、相対的に高い方の増幅率のＨｉｇｈゲインの二つの値を決定する場合を例に挙げて説明を行う。

Ｓ１１０１では、輝度取得部１０９が、Ｓ１００６において輝度情報として保存した輝度画像を基に輝度のヒストグラムを算出し、その算出したヒストグラムの情報をバッファ１１１に保存させる。
Ｓ１１０２では、増幅率決定回路１１０が、Ｈｉｇｈゲインとなる増幅率の候補となる値（以下、候補値とする。）を算出する。

以下、候補値の算出方法について、図１２を用いて説明を行う。
増幅率決定回路１１０は、先ず、図１２示すように、ヒストグラムの頻度に対して閾値処理を行い、輝度が大きくなる方向において閾値を超えた部分から閾値を下回る部分へと変化する点（以下、変曲点とする。）を取得する。図１２の例では、変曲点ＩＰ１，ＩＰ２，ＩＰ３が得られている。閾値は、ノイズが原因で発生する頻度の増減による、変曲点の誤検出を防ぐような値に設定されている。

次に、増幅率決定回路１１０は、輝度値「０」から、前述のように取得したそれぞれの変曲点ＩＰ１，ＩＰ２，ＩＰ３までの各輝度範囲を撮影できるような増幅率を候補値とする。図１２の例では、輝度値「０」から各変曲点ＩＰ１，ＩＰ２，ＩＰ３までの輝度範囲である範囲Ｈ１，Ｈ２，Ｌまで撮影できる増幅率が候補値となされる。輝度値「０」から変曲点までの輝度範囲を撮影できるような増幅率は、式（６）により算出される。

式（６）において、Ｉ_Cは任意の変曲点における輝度値、Ｉ_Maxは画像の取り得る最大輝度値、Ｇ_preはヒストグラム算出に用いた画像に設定された増幅率、Ｇ_Cは任意の変曲点までの輝度範囲を撮影する際の増幅率である。増幅率決定回路１１０は、各変曲点に対して増幅率Ｇ_Cの算出を行い、得られた各増幅率Ｇ_Cの値を候補値とする。

Ｓ１１０３では、増幅率決定回路１１０が、Ｌｏｗゲインの値を決定する。例えば、Ｌｏｗゲインは被写体の全体の輝度範囲を撮影出来るようにするために、複数の変曲点のうち輝度の最も高い変曲点（図１２の変曲点ＩＰ３）に合わせた値とする。なお、ヒストグラムの変曲点が０個、または輝度の最も高い変曲点以降の輝度範囲においてヒストグラムの頻度が閾値を超える場合、Ｌｏｗゲインは、ヒストグラム算出に用いた画像（本実施形態ではＬｏｗゲイン画像）の増幅率よりも１段低い値とする。増幅率として、例えば、２倍、３倍、４倍、及び５倍の各値を設定でき、ヒストグラムの算出に用いた画像に設定されている増幅率が４倍である場合、Ｌｏｗゲインは１段低い値の３倍に設定される。なおこの時、ヒストグラムの算出に用いた画像の増幅率が、設定値の下限である２倍となる場合、Ｌｏｗゲインは下限の値である２倍となる。

Ｓ１１０４では、増幅率決定回路１１０が、増幅率の候補値毎に画質の評価値の算出を行う。
以下、画質の評価値の算出処理について説明する。先ず、増幅率決定回路１１０は、Ｓ１１０２で算出した少なくとも二つ以上の候補値のうち、Ｌｏｗゲインを求めた際に用いた候補値とは異なるいずれかの一つの候補値を、Ｈｉｇｈゲインとする。なお、候補値が二つ以上存在しない場合には、ＨｉｇｈゲインはＬｏｗゲインと同じ値を取ることとする。その後、増幅率決定回路１１０はＳ１００８の処理に移行する。
次に、増幅率決定回路１１０は、このように設定した際の合成画像の画質を算出する。本実施形態の場合、画質の評価値はＳ／Ｎが用いられる。合成画像のＳ／Ｎは式（７）で表すことができる。

式（７）において、Ｓ／Ｎ_Mixは合成画像のＳ／Ｎ、Ｉは輝度値、Ｎ（Ｉ）は輝度値Ｉの頻度、Ｉ_HighはＨｉｇｈゲインの最大輝度値である。また式（７）において、Ｇ_HighはＨｉｇｈゲイン、Ｇ_LowはＬｏｗゲイン、σ（Ｇ_High，Ｉ）はＨｉｇｈゲイン時の輝度値Ｉにおけるノイズ量、σ（Ｇ_Low，Ｉ）はＬｏｗゲイン時の輝度値Ｉにおけるノイズ量である。

次に、増幅率決定回路１１０は、他の候補値をＨｉｇｈゲインに設定した場合における、Ｓ／Ｎ_Mixを同様に式（７）より算出し、これを候補値毎に行う。なお、本実施形態では、画質の評価値としてＳ／Ｎを用いたが、本発明における画質の評価値はこれに限らない。

Ｓ１１０５では、増幅率決定回路１１０が、Ｈｉｇｈゲインの値を決定する。例えば、増幅率決定回路１１０は、Ｓ１１０４において算出した候補値毎の画質の評価値（本実施形態ではＳ／Ｎ_Mix）より、合成画像の画質が最も良くなる場合の候補値をＨｉｇｈゲインとする。

本実施形態では、ＬｏｗゲインとＨｉｇｈゲインの二つの増幅率を決定する方法を示したが、撮像部１００がＰＧＡ１０４及びＡＤ変換回路１０５を３系統以上有し、少なくとも三つ以上の増幅率を決定する場合もある。このような場合は、三つ目以降の増幅率は前述したＨｉｇｈゲインと同様の増幅率を設定することとする。さらにＳ１００４の画像合成処理の際、画像処理回路１０８は、先ず同じ増幅率を設定した画像同士で前述した同じ位置の画素値を平均化する処理を行い、次にＬｏｗゲイン画像との画像合成を行う。

以上が、第４実施形態で行われる処理である。以上説明したように、第４実施形態によれば、ヒストグラムの頻度が少ない部分を考慮して増幅率を決定するため、第１実施形態から第３実施形態の場合と比較して、撮影シーンに対してより適切な増幅率の設定を行うことができる。

＜第５実施形態＞
第５実施形態では、画像のヒストグラムとヒストグラムの山の重要度とを基に増幅率を決定する。第５実施形態における撮像装置の構成は、図９に示した構成と同様であるためその図示は省略する。第５実施形態における処理の流れは、図１０のＳ１００７において第４実施形態とは異なる。ここでは、第５実施形態について、第４実施形態とは異なる点を中心に説明することとする。以下、第５実施形態の撮像装置で行われる処理の流れについて、図１３に示すフローチャートと図９を用いて説明する。第５実施形態においても、前述の実施形態と同様に、相対的に低い増幅率のＬｏｗゲインと、相対的に高い増幅率のＨｉｇｈゲインの二つの値を決定する場合について説明を行う。

Ｓ１３０１では、輝度取得部１０９が、Ｓ１００６において輝度情報として取得した輝度画像より、輝度のヒストグラムを算出し、その結果をバッファ１１１に保存する。
Ｓ１３０２では、増幅率決定回路１１０が、輝度方向にヒストグラムの領域分割を行う。Ｓ１３０２において、増幅率決定回路１１０は、先ず、図１４に示すように、ヒストグラムの頻度に対して閾値処理を行い、輝度が大きくなる方向において閾値を超えた部分から閾値を下回る部分へと変化する変曲点を取得する。図１４の例では、変曲点ＩＰ１，ＩＰ２，ＩＰ３が得られている。閾値は、図１２で説明したのと同様に、ノイズが原因で発生する頻度の増減による変曲点の誤検出を防ぐような値に設定されている。次に、増幅率決定回路１１０は、輝度値「０」から最も輝度値の低い変曲点までの範囲（図１４の領域Ｒ１）、連続する二つの変曲点の間の範囲（図１４の領域Ｒ２、領域Ｒ３）を一つの領域とする。

Ｓ１３０３では、増幅率決定回路１１０が、Ｌｏｗゲインの値を決定する。前述のＳ１１０３と同様に、例えば、Ｌｏｗゲインは被写体の全体の輝度範囲を撮影出来るようにするため、複数の変曲点のうち輝度の最も高い変曲点（図１４の変曲点ＩＰ３）に合わせた値とする。また前述同様に、ヒストグラムの変曲点が０個、または輝度の最も高い変曲点以降の輝度範囲でヒストグラムの頻度が閾値を超える場合、Ｌｏｗゲインはヒストグラムの算出に用いた画像（Ｌｏｗゲイン画像）の増幅率よりも１段低い値とする。

Ｓ１３０４では、増幅率決定回路１１０が、Ｓ１３０２において分割した領域毎に重要度を設定する。本実施形態の場合、重要度の指標は最大値を用いるとする。増幅率決定回路１１０は、領域毎にヒストグラムの頻度の最大値を求め、最大値の大きい順に重要度を定義する。例えば、増幅率決定回路１１０は、最大値が最も大きい領域には重要度が最も高いものとして重要度「１」、最大値が２番目に大きい領域には重要度が２番目に高いものとして重要度「２」というように重要度を定義する。なお、重要度の指標は最大値に限らない。例えば、領域内の頻度の総数が、重要度の指標として用いられてもよい。

Ｓ１３０５では、増幅率決定回路１１０が、Ｈｉｇｈゲインの値を決定する。Ｈｉｇｈゲインは、Ｓ１３０４において定義した重要度の最も高い領域までを撮影できるような値とする。具体的には、増幅率決定回路１１０は、重要度「１」となる領域が設定された際の変曲点において、輝度の高い方の変曲点までの輝度範囲を撮影できるような増幅率とする。この時の増幅率は、第４実施形態で説明した式（６）を用いて算出する。なお、変曲点が二つ以上存在しない場合には、ＨｉｇｈゲインはＬｏｗゲインと同じ値を取ることとし、その後はＳ１００８に移行する。

本実施形態では、ＬｏｗゲインとＨｉｇｈゲインの二つの増幅率を決定する方法を示したが、撮像部１００がＰＧＡ１０４及びＡＤ変換回路１０５を３系統以上有し、少なくとも三つ以上の増幅率を決定する場合もある。この場合は、三つ目以降の増幅率は前述したＨｉｇｈゲインと同様の増幅率を設定することとする。そして、Ｓ１００４の画像合成処理の際、画像処理回路１０８は、同じ増幅率の画像同士で平均化処理を行い、Ｌｏｗゲイン画像との画像合成を行う。

以上が、第５実施形態で行われる処理である。第５実施形態では、ヒストグラムを分けた領域毎に重要度が求められ、その重要度を基に増幅率が決定されるため、第１実施形態から第３実施形態と比較して、撮影シーンに対してより適切な増幅率の設定を行うことができる。

＜第６実施形態＞
第６実施形態では、第４実施形態、第５実施形態の撮像装置と異なる構成により、被写体の輝度に応じて増幅率を決定する方法について述べる。
図１５は、第６実施形態に係る撮像装置の構成の一例を示す構成図である。図１５の場合、図９の撮像装置とは撮像部１００内の構成が異なり、図７の構成例のように光電変換素子１０２の後段で２系統に分けられ、その２系統に分けられた各ＦＤ１０３の前段に電荷メモリ７００が設けられている。図１５の撮像装置は、電荷メモリ７００を２系統分だけ有する構成となっているが３系統以上に分けられていてもよい。なお図１５の構成図において、図１や図７、図９と対応した構成には同じ参照符号を付し、それらの説明は省略する。

＜第６実施形態の撮像装置における撮影動作の説明＞
以下、第６実施形態の撮像装置における撮影動作の流れを、図１５の構成図及び図１６に示すフローチャートを用いて説明する。なお、本実施形態では、撮像装置が２系統分の電荷メモリ７００を有し、二つの増幅率を決定する場合の一例を説明する。

ステップＳ１６０１では、前述したＳ８０１と同様に、撮像制御部１１４が、撮像装置の外部より操作部１１９を介して入力された指示に応じて、撮像装置の撮影条件を設定する。
Ｓ１６０２では、前述したＳ８０２と同様に、増幅率制御回路１１５が、各系統のＦＤ１０３の静電容量とＰＧＡ１０４の増幅率を設定する。
Ｓ１６０３では、前述したＳ８０２と同様に、撮像制御部１１４が、操作部１１９を介して外部から入力された撮影指示に応じて、撮像部１００の撮影動作を開始させる。そして、光電変換素子１０２から転送された信号電荷は、２系統に分配されて電荷メモリ７００へ送られて保持される。さらに前述同様に、撮像制御部１１４は、２系統のうち、相対的に低い増幅率であるＬｏｗゲインを設定する経路側の電荷メモリ７００で保持している信号電荷を、ＦＤ１０３へ転送させる。ＦＤ１０３は、転送された信号電荷を信号電圧に変換を行いアナログ処理回路１０６へ出力する。当該出力された信号電圧は、アナログ処理回路１０６内のＰＧＡ１０４により増幅された後、ＡＤ変換回路１０５でデジタル値に変換され、デジタル処理回路１０７へ出力される。
Ｓ１６０４では、前述したＳ８０４と同様に、画像処理回路１０８が、一般的な画像処理を必要に応じて行い、Ｌｏｗゲイン画像を取得する。

Ｓ１６０５では、デジタル処理回路１０７が、Ｓ１６０４において取得したＬｏｗ画像を、画像メモリ９００に保存させる。
Ｓ１６０６では、輝度取得部１０９が、画像メモリ９００に保存された画像の輝度情報を取得する。すなわち、輝度取得部１０９は、画像メモリ９００に保存された画像から取得可能な画素値（ｓＲＧＢ値）に対して、画素値から輝度値への変換処理を行う。そして、輝度取得部１０９は、輝度値への変換処理を行って得られた輝度画像を、輝度情報として画像メモリ９００に保存させる。

Ｓ１６０７では、増幅率決定回路１１０が、Ｓ１６０６で輝度情報として取得した輝度画像を、画像メモリ９００から読み出し、その輝度画像を基に、被写体の輝度に適した増幅率を決定する。被写体の輝度に適した増幅率の決定処理は、第４実施形態、第５実施形態において前述した増幅率決定処理のうち、どちらか一つを用いることとする。なお、これら二つの増幅率決定処理は前述したため、ここでの説明は省略する。

Ｓ１６０８では、増幅率制御回路１１５が、Ｓ１６０７で決定された増幅率を基に、Ｈｉｇｈゲインを設定する経路における増幅率を再設定する。つまり、増幅率制御回路１１５は、Ｓ１６０７で決定された増幅率を基に、２系統のＦＤ１０３の静電容量とＰＧＡ１０４の増幅率の再設定を行う。

Ｓ１６０９では、画像処理回路１０８が、Ｈｉｇｈゲイン画像を取得する。この時、増幅率制御回路１１５は、Ｈｉｇｈゲインを設定する経路に接続された電荷メモリ７００が保持している信号電荷を、ＦＤ１０３へ転送して信号電圧に変換させ、さらにＰＧＡ１０４で信号電圧の増幅後、ＡＤ変換回路１０５でデジタル値に変換させる。そして、画像処理回路１０８は、入力したデジタル値に対して前述した一般的な画像処理を必要に応じて行い、Ｈｉｇｈゲイン画像を取得する。

Ｓ１６１０では、画像処理回路１０８が、Ｓ１６０４取得したＬｏｗゲイン画像と、Ｓ１６０９で取得したＨｉｇｈゲイン画像との合成処理を行う。ここで、撮像部１００内で設定された増幅率が２系統でそれぞれ異なる場合、画像処理回路１０８は、それら２系統の画像の輝度範囲が重複する領域では、画質の良い画像の画素（例えば、高い増幅率を設定した画素）を選択的に用いるような選択処理を行う。一方、２系統で増幅率が同じであった場合、画像処理回路１０８は、それら２系統の画像の同じ位置の画素同士で画素値を平均化して用いる平均化処理を行う。そして、画像処理回路１０８による画像合成処理後の合成画像は、記録回路１１２によって所定の記録フォーマットのデータに変換された後、記録媒体１１３に記録されて保存される。

以上が、第６実施形態の撮像装置で行われる処理である。第６実施形態の撮像装置では、信号電荷を保持する電荷メモリを有し、前述した第４実施形態と第５実施形態のいずれかの増幅率決定処理が行われることにより、事前に増幅率を決定しておかなくても、被写体の輝度情報を基に増幅率を決定することができる。

＜第７実施形態＞
前述した第１実施形態から第６実施形態での合成処理において、画像処理回路１０８は、輝度範囲が重複している領域に関して、増幅率が異なる場合には増幅率の高い画素を選択し、増幅率が同じ場合には平均化して出力する。これに対して、第７実施形態において、画像処理回路１０８は、増幅率に基づく重みを用いて合成する。

以下に、増幅率に基づく重みを用いた合成方法について述べる。なお、構成図については第１実施形態と同様であるため、図示と説明は省略する。第７実施形態の場合は、前述したＳ２０４等のステップにおいて増幅率に基づく重みを用いた合成処理が行われる。
第７実施形態では、増幅率決定回路１１０が決定した増幅率のＨｉｇｈゲインをＧ_Highとし、ＬｏｗゲインをＧ_Lowとし、さらにＨｉｇｈゲイン画像Ｉ_HighとＬｏｗゲイン画像Ｉ_Lowとの合成重みをｗ、Ｌｏｗゲイン画像の飽和画素値をＭａｘとする。この場合、Ｈｉｇｈゲイン画像Ｉ_HighとＬｏｗゲイン画像Ｉ_Lowの（ｘ，ｙ）座標における合成画像Ｉ_Mixは、式（８）で表すことができる。

また、光ショットノイズの標準偏差をσ_Sとし、暗電流ノイズの標準偏差をσ_d、増幅率がＨｉｇｈゲインの時に発生する読出しノイズをσ_High、増幅率がＬｏｗゲインの時に発生する読出しノイズをσ_Lowとする。この場合の合成画像Ｉ_Mixのノイズの標準偏差σ_Mixは、式（９）で表すことができる。

そして、標準偏差σ_Mixが最小となる合成重みｗは、式（１０）のように表すことができる。

画像処理回路１０８は、式（１０）で求めた合成重みｗを用いて、式（８）で表される合成方法による合成を行う。なお、式（１０）において、合成重みｗは、Ｈｉｇｈゲインの増幅率Ｇ_HighとＬｏｗゲインの増幅Ｇ_Lowとの比率（Ｇ_High／Ｇ_Low）が１に近づくほど大きくなり、増幅率が等しい場合、つまり１．０の場合に最大のｗ＝０．５となる。この時、合成画像Ｉ_Mixは、Ｈｉｇｈゲイン画像Ｉ_HighとＬｏｗゲイン画像Ｉ_Lowを平均した結果となる。

以上が、第７実施形態で行われる処理である。第７実施形態では、Ｈｉｇｈゲイン及びＬｏｗゲインの増幅率に読出しノイズ量をも加味した重みを用いて、Ｈｉｇｈゲイン画像とＬｏｗゲイン画像が合成される。これにより、第７実施形態によれば、第１実施形態から第６実施形態で説明した合成処理を行う場合と比較して、合成後のノイズ量を減らすことができる。

＜第８実施形態＞
前述した第１実施形態では、前フレームの増幅率を基準にＨｉｇｈゲイン及びＬｏｗゲインの増幅率を決定している。これに対し、第８実施形態は、予備撮影時において、Ｈｉｇｈゲイン及びＬｏｗゲインの増幅率をそれぞれ決定し、本撮影時には、Ｌｏｗゲインの増幅率を固定して、Ｈｉｇｈゲインの増幅率のみを変更する例を説明する。なお、構成図については第１実施形態と同様であるため、図示と説明は省略する。

＜第８実施形態の撮像装置における撮影動作の説明＞
以下、第８実施形態の撮像装置における撮影動作の流れを、図１７に示すフローチャートを用いて説明する。
図１７のＳ１７０１では、前述のＳ２０１と同様に、撮像制御部１１４が、操作部１１９を介して外部から入力された指示に応じて、撮像装置の撮影条件を設定する。
Ｓ１７０２では、増幅率制御回路１１５が、前述のＳ２０２と同様に、ＰＧＡ１０４の増幅率及びＦＤ１０３の静電容量を設定する。

Ｓ１７０３では、操作部１１９を介して外部から入力された撮影指示に応じて、撮像制御部１１４が、撮像部１００の予備撮影動作を開始させる。
Ｓ１７０４では、画像処理回路１０８が、Ｓ１７０３の予備撮影動作で出力された２系統の画像の取得処理、及びそれら２系統の画像を合成して生成した画像を出力する画像合成処理を行う。

Ｓ１７０５では、輝度取得部１０９が、Ｓ１７０４で画像合成した予備撮影画像について、Ｓ２０５と同様に、輝度の代表値を輝度情報として取得してバッファに保存する。
Ｓ１７０６では、増幅率決定回路１１０が、Ｓ１７０５で輝度情報として取得された輝度値の平均値、標準偏差、最大値をバッファ１１１から読み出し、Ｓ２０６と同様にして、それらの情報を基に被写体の輝度に応じた増幅率を決定する。

Ｓ１７０７では、増幅率制御回路１１５が、Ｓ１７０６で決定された増幅率を基に、Ｓ２０７と同様に、撮像部１００内での増幅率を再設定する。
Ｓ１７０８では、システム制御部１１７が本撮影の開始判定を行う。システム制御部１１７は、本撮影を開始する場合にはＳ１７０９に進み、本撮影を開始しない場合には、Ｓ１７０３に処理を戻し、Ｓ１７０３からＳ１７０８の処理を再度実行する。

Ｓ１７０９に進むと、撮像制御部１１４は、撮像部１００を制御して本撮影動作を開始させる。
次のＳ１７１０では、画像処理回路１０８は、Ｓ１７０９の本撮影動作で取得された２系統の画像の取得処理、及びそれら２系統の画像を合成して生成した画像を出力する画像合成処理を行う。そして、画像処理回路１０８による画像合成処理による合成画像は、動画を構成されるフレームとして順次保存される。

Ｓ１７１１では、輝度取得部１０９が、Ｓ１７１０において画像合成された撮影画像の輝度の代表値を、Ｓ２０５と同様に、輝度情報として取得する。
Ｓ１７１２では、増幅率決定回路１１０が、Ｓ１７０５で取得されて保存された輝度情報をバッファ１１１から読み出し、その情報を基に被写体の輝度に応じた増幅率を決定する。この時、増幅率決定回路１１０は、Ｌｏｗゲインの増幅率については固定し、Ｈｉｇｈゲインの増幅率のみを決定する。

そしてＳ１７１３では、増幅率制御回路１１５が、Ｓ１７１２において決定したＨｉｇｈゲインの増幅率を再設定する。
その後、Ｓ１７１５では、システム制御部１１７が、撮影の終了判定を行う。システム制御部１１７は、撮影を終了しない場合にはＳ１７０９に処理を戻し、Ｓ１７０９からＳ１７１５の処理を再度実行する。一方、システム制御部１１７は、撮影を終了する場合には図１７のフローチャートの処理を終了する。

以上が、第８実施形態で行われる処理である。第８実施形態において、本撮影中にはＨｉｇｈゲインの増幅率が制御される。これにより、第８の実施形態によれば、被写体の輝度分布が時間とともに変化する場合において、Ｈｉｇｈゲイン及びＬｏｗゲインの増幅率が各々変化することによる合成画像の輝度変化を軽減させることができる。

＜第９実施形態＞
第８実施形態では、予備撮影においてＨｉｇｈゲイン及びＬｏｗゲインの増幅率を決定し、本撮影時にＨｉｇｈゲインのみ増幅率を再設定するとした。第９実施形態では、静止画撮影を前提とし、予備撮影において決定した増幅率を用いて、１度の撮影つまり静止画撮影が行われる例を挙げる。なお、構成図については第１実施形態と同様であるため、図示と説明は省略する。

＜第９実施形態の撮像装置における撮影動作の説明＞
以下、第９実施形態の撮像装置における撮影動作の流れを、図１８に示すフローチャートを用いて説明する。
図１８のＳ１８０１では、撮像制御部１１４が、Ｓ２０１と同様に、操作部１１９を介して外部から入力された指示に応じて、撮像装置の撮影条件を設定する。
Ｓ１８０２では、増幅率制御回路１１５が、Ｓ２０２と同様に、ＰＧＡ１０４の増幅率及びＦＤ１０３の静電容量を設定する。

Ｓ１８０３では、操作部１１９を介して外部から入力された撮影指示に応じて、撮像制御部１１４が、Ｓ１７０３と同様に、撮像部１００の予備撮影動作を開始させる。
Ｓ１８０４では、Ｓ１７０４と同様に、画像処理回路１０８が、Ｓ１８０３において出力された２系統の画像の取得処理とそれら２系統の画像を合成して生成した画像を出力する画像合成処理を行う。
Ｓ１８０５では、Ｓ１７０５と同様に、輝度取得部１０９が、Ｓ１８０４において画像合成した予備撮影画像の輝度の代表値を輝度情報として取得してバッファ１１１に保存する。

Ｓ１８０６では、Ｓ１７０６と同様に、増幅率決定回路１１０が、Ｓ１８０５で輝度情報をバッファ１１１から読み出し、その情報を基に被写体の輝度に応じた増幅率を決定する。
Ｓ１８０７では、Ｓ１７０７と同様に、増幅率制御回路１１５が、Ｓ１８０６で決定された増幅率を基に、撮像部１００内での増幅率を再設定する。
Ｓ１８０８では、システム制御部１１７が、静止画の本撮影を開始するかどうかの判定を行う。そして、システム制御部１１７は、本撮影を開始する場合にはＳ１８０９に処理を進め、本撮影を開始しない場合にはＳ１８０３に処理を戻し、Ｓ１８０３からＳ１８０８の処理を再度実行する。

Ｓ１８０９に進むと、撮像制御部１１４が、撮像部１００の本撮影動作を開始させる。
Ｓ１８１０では、画像処理回路１０８が画像合成処理を行い、その合成画像を保存させる。
以上が、第９実施形態で行われる処理である。第９実施形態では、予備撮影によって、Ｈｉｇｈゲイン及びＬｏｗゲインの増幅率を決定し、決定した増幅率により、静止画撮影を行うことが可能となる。

＜その他の実施形態＞
前述した第１実施形態から第９実施形態では、アナログ処理回路１０６が２系統のＰＧＡ１０４及びＡＤ変換回路１０５を持つ例を挙げたが、他の実施形態として、図１９に示すように、１系統のみのＰＧＡ１０４及びＡＤ変換回路１０５を有する構成でもよい。なお、図１９において、前述した第１実施形態から第８の構成と同じ構成要素には、前述と同一の参照符号を付し、それらの説明は省略する。

図１９に示した構成では、１系統のみのＰＧＡ１０４及びＡＤ変換回路１０５を時分割して使用する。図１９の構成の場合、システム制御部１１７は、まず第１の駆動制御として、ＨｉｇｈゲインとＬｏｗゲインのいずれか一方の設定で、ＦＤ１０３、ＰＧＡ１０４、ＡＤ変換回路１０５を駆動させる。次に、システム制御部１１７は、第２の駆動制御として、ＨｉｇｈゲインとＬｏｗゲインのうち、第１の駆動制御で使用しなかった方の設定で、ＦＤ１０３、ＰＧＡ１０４、ＡＤ変換回路１０５を同様に駆動させる。これにより、図１９の構成においても、Ｈｉｇｈゲイン画像及びＬｏｗゲイン画像が取得される。

前述した各実施形態のデジタル処理回路１０７の機能は、ハードウェア構成のみで実現されてもよいし、ＣＰＵ等がプログラムを実行することによるソフトウェア構成により実現されてもよい。また、一部がハードウェア構成で残りがソフトウェア構成により実現されてもよい。このソフトウェア構成のためのプログラムは、予め用意されている場合だけでなく、不図示の外部メモリ等の記録媒体から取得されたり、不図示のネットワーク等を介して取得されたりしてもよい。

また前述の実施形態では、撮像装置の一例としてデジタルカメラを想定しているが、例えばスマートフォンやタブレット端末等、監視カメラ、工業用カメラ、車載カメラ、医療用カメラなど画像の撮像が可能な各種機器にも適用可能である。

本発明に係る信号処理における１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの一つ以上のプロセッサにより読また出し実行されることで実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：撮像部、１０２：光電変換素子、１０３：ＦＤ、１０４：ＰＧＡ、１０５：ＡＤ変換回路、１０６：アナログ処理回路、１０７：デジタル処理回路、１０８：画像処理回路、１０９：輝度取得部、１１０：増幅率決定回路、１１１：バッファ、１１４：撮像制御部、１１５：増幅率制御回路、１１７：システム制御部、７００：電荷メモリ、９００：画像メモリ

Claims (16)

1. 被写体の光学像を光電変換した信号電荷が電圧変換された信号電圧を、増幅した後にデジタル変換する撮像装置であって、
   前記信号電圧を、それぞれに設定された増幅率によって増幅する二つ以上の増幅回路と、
   前記二つ以上の増幅回路それぞれにおける増幅率と、前記デジタル変換の際に発生する読出しノイズ量とに基づいて、前記増幅してデジタル変換された信号それぞれに対する重みを決定する重み決定手段と、
   前記二つ以上の増幅回路により増幅して前記デジタル変換された信号を、前記重みを用いて合成する合成手段と、
   を有することを特徴とする撮像装置。
2. 前記二つ以上の増幅回路の少なくとも一つに対し、前記被写体の輝度情報に応じた増幅率を決定する増幅率決定手段を有することを特徴とする請求項１に記載の撮像装置。
3. 前記二つ以上の増幅回路のうち一つの増幅回路により前記信号電圧が増幅されて前記デジタル変換された信号から、前記輝度情報を取得する輝度取得手段を有し、
   前記増幅率決定手段は、前記輝度情報の取得に用いた信号における前記信号電圧を増幅した増幅回路とは異なる増幅回路に対し、前記輝度情報に応じた増幅率を決定することを特徴とする請求項２に記載の撮像装置。
4. 前記輝度取得手段は、前記二つ以上の増幅回路のうち相対的に低い増幅率が設定された増幅回路により前記信号電圧が増幅されて前記デジタル変換された信号から、前記輝度情報を取得し、
   前記増幅率決定手段は、前記二つ以上の増幅回路のうち相対的に高い増幅率が設定された増幅回路に対し、前記輝度情報に応じた増幅率を決定することを特徴とする請求項３に記載の撮像装置。
5. 前記輝度取得手段は、前記デジタル変換された信号による画像の輝度の平均値および標準偏差、または、前記デジタル変換された信号による画像の輝度の歪度と尖度の少なくともいずれかを、前記輝度情報として取得することを特徴とする請求項３に記載の撮像装置。
6. 前記輝度取得手段は、前記デジタル変換された信号による画像の輝度の平均値および標準偏差を、前記輝度情報として取得し、
   前記増幅率決定手段は、前記輝度情報と、優先する輝度範囲を設定する設定モードとを基に、前記増幅回路の増幅率を決定することを特徴とする請求項３に記載の撮像装置。
7. 前記輝度取得手段は、前記デジタル変換された信号による画像の輝度の歪度と尖度の少なくともいずれかを、前記輝度情報として取得し、
   前記増幅率決定手段は、前記輝度情報と、増幅率を記したテーブルとを基に、前記増幅回路の増幅率を決定することを特徴とする請求項３に記載の撮像装置。
8. 前記信号電荷を保存する少なくとも一つ以上の電荷メモリを有し、
   前記輝度取得手段は、前記電荷メモリから出力された前記信号電荷を電圧変換した信号電圧を基に、前記輝度情報を取得することを特徴とする請求項３に記載の撮像装置。
9. 前記デジタル変換された信号による画像を画像メモリに保存する保存手段を有し、
   前記輝度取得手段は、前記保存された画像から輝度のヒストグラムを取得することを特徴とする請求項３に記載の撮像装置。
10. 前記増幅率決定手段は、前記ヒストグラムのなかで頻度が少ない部分を閾値処理により判定し、前記判定の結果と画質の評価値とを基に、前記増幅率の決定を行うことを特徴とする請求項９に記載の撮像装置。
11. 前記増幅率決定手段は、前記閾値処理による判定の結果を基に、候補となる複数の増幅率が取得された場合、前記候補となる複数の増幅率のなかから、前記画質の評価値を基に、前記決定する増幅率を選択することを特徴とする請求項１０に記載の撮像装置。
12. 前記増幅率決定手段は、前記画質の評価値としてＳ／Ｎを取得することを特徴とする請求項１０に記載の撮像装置。
13. 前記増幅率決定手段は、前記ヒストグラムのなかで頻度が少ない部分を閾値処理により判定し、前記判定の結果を基に前記ヒストグラムを輝度により分割し、前記分割した領域毎に重要度を決定して、前記重要度を基に、前記増幅率の決定を行うことを特徴とする請求項９に記載の撮像装置。
14. 前記増幅率決定手段は、前記重要度として、前記ヒストグラムの頻度の最大値、または、頻度の総数を取得することを特徴とする請求項１３に記載の撮像装置。
15. 被写体の光学像を光電変換した信号電荷が電圧変換された信号電圧を、増幅した後にデジタル変換する撮像装置の制御方法であって、
    二つ以上の増幅回路が、それぞれに設定された増幅率によって前記信号電圧を増幅する工程と、
    前記二つ以上の増幅回路それぞれにおける増幅率と、前記デジタル変換の際に発生する読出しノイズ量とに基づいて、増幅してデジタル変換された信号それぞれに対する重みを決定する重み決定工程と、
    前記二つ以上の増幅回路により増幅して前記デジタル変換された信号を、前記重みを用いて合成する合成工程と、
    を有することを特徴とする撮像装置の制御方法。
16. 被写体の光学像を光電変換した信号電荷が電圧変換された信号電圧を増幅した後にデジタル変換する撮像装置の制御方法をコンピュータに実行させるプログラムであって、
    二つ以上の増幅回路に、それぞれに設定された増幅率によって前記信号電圧を増幅させる工程と、
    前記二つ以上の増幅回路それぞれにおける増幅率と、前記デジタル変換の際に発生する読出しノイズ量とに基づいて、増幅してデジタル変換された信号それぞれに対する重みを決定する重み決定工程と、
    前記二つ以上の増幅回路により増幅して前記デジタル変換された信号を、前記重みを用いて合成する合成工程と、
    をコンピュータに実行させるプログラム。

Images