JP2024050105A - 撮像装置及び電子機器 - Google Patents

Abstract

【課題】ウェハ工程またはユーザ側での個体調整を削減し、リアルタイム補正値算出による補正精度改善を実現できる撮像装置を提供する。【解決手段】撮像装置は、画素ユニットと、合成ゲイン算出部と、合成部とを備える。画素ユニットは、第１の感度を有する第１の画素信号と、第１の感度よりも低い第２の感度を有する第２の画素信号と、を出力する。合成ゲイン算出部は、第２の画素信号に対して乗算する合成ゲインを算出する。合成部は、合成ゲインが乗算された第２の画素信号と、第１の画素信号と、を合成する。合成ゲイン算出部は、第１の画素信号が所定の第１の信号レベル以上且つ所定の第２の信号レベル以下であることを判定した場合に、合成ゲインを算出する。【選択図】図８

Description

本開示は、撮像装置、及び撮像装置を備える電子機器に関する。

光の明暗の差（明度差）が大きい環境下で撮像装置が良好な画質を得るためには、広いダイナミックレンジを有することが要求され、従来より、種々の方式のダイナミックレンジ拡大技術が提案されている。その中で、画素のダイナミックレンジ拡大を図る構造として、感度の異なる大画素、小画素を有し、小画素で発生した電荷を蓄積する容量を備えたサブピクセル構造がある（例えば、特許文献１）。

例えば、時分割方式は、大画素、小画素といった各受光素子が異なる感度で時分割に撮像し、該時分割で出力されるＳＰ１Ｈ／Ｌ，ＳＰ２Ｈ／Ｌといった感度の異なる４種類の画素信号を合成することにより、高いＤＲ（ダイナミックレンジ）を実現する技術である。また、空間分割方式は、感度が異なる受光素子のそれぞれから出力される画素信号を合成することにより、高いＤＲを実現する技術である。

特開２００５－２６９３３９号公報

ところで、上記特許文献１に記載の技術では、事前に各画素信号間の感度比を測定しておく必要がある。
本開示はこのような事情に鑑みてなされたもので、ウェハ工程またはユーザ側での個体調整を削減し、リアルタイム補正値算出による補正精度改善を実現できる撮像装置及び電子機器を提供することを目的とする。

本開示の一態様は、第１の感度を有する第１の画素信号と、前記第１の感度よりも低い第２の感度を有する第２の画素信号と、を出力する画素ユニットと、前記第２の画素信号に対して乗算する合成ゲインを算出する合成ゲイン算出部と、前記合成ゲインが乗算された前記第２の画素信号と、前記第１の画素信号と、を合成する合成部と、を備え、前記合成ゲイン算出部は、前記第１の画素信号が所定の第１の信号レベル以上且つ所定の第２の信号レベル以下であることを判定した場合に、前記合成ゲイン算出用のデータの積算を実行する撮像装置である。

本開示の他の態様は、第１の感度を有する第１の画素信号と、前記第１の感度よりも低い第２の感度を有する第２の画素信号と、を出力する画素ユニットと、前記第２の画素信号に対して乗算する合成ゲインを算出する合成ゲイン算出部と、前記合成ゲインが乗算された前記第２の画素信号と、前記第１の画素信号と、を合成する合成部と、を備え、前記合成ゲイン算出部は、前記第１の画素信号が所定の第１の信号レベル以上且つ所定の第２の信号レベル以下であることを判定した場合に、前記合成ゲイン算出用のデータの積算を実行する撮像装置を備えた、電子機器である。

本開示の第１の実施形態に係る撮像装置の概略的構成の一例を示すブロック図である。 図１の画素アレイ部に配置される画素の構成例を示す回路図である。 画素の露光開始時の動作を示すタイミングチャートである。 画素の読み出し時の動作を示すタイミングチャートである。 図１の信号処理部の構成例を示すブロック構成図である。 図５のＨＤＲ合成部の回路構成図である。 入射光量に対する低感度の画素信号、高感度の画素信号、補正低感度画素信号の関係を示す特性図である。 本開示の第１の実施形態に係る補正ゲイン生成回路のブロック構成図である。 本開示の第２の実施形態に係る撮像装置の概略的構成の一例を示すブロック図である。 本開示の第３の実施形態として、水平方向（行方向）及び垂直方向（列方向）にアレイ配列された画素により構成される画面である。 本開示の第４の実施形態として、補正ゲイン生成回路の合成ゲイン算出処理手順を示すフローチャートである。 本技術を適用した電子機器としての撮像システムの構成例を示すブロック図である。 本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 図１３に示した撮像部の設置位置の例を示す図である。

以下において、図面を参照して本開示の実施形態を説明する。以下の説明で参照する図面の記載において、同一又は類似の部分には同一又は類似の符号を付し、重複する説明を省略する。
なお、本明細書中に記載される効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

＜第１の実施形態＞
（撮像装置の全体構成）
図１は、本開示の第１の実施形態に係る撮像装置の概略的構成の一例を示すブロック図である。撮像装置１は、各画素を構成するフォトダイオード等の光電変換素子を用いて、該画素上に結像した光の強弱に応じた電荷量を電気信号に変換し、これを画像データとして出力する半導体装置であり、例えばＣＭＯＳイメージセンサとして構成される。撮像装置１は、例えば、ＣＭＯＳ ＬＳＩのようなシステム・オン・チップ（ＳｏＣ）として一体的に構成され得るが、例えば、以下に示すいくつかのコンポーネントが別体のＬＳＩとして構成されても良い。

同図に示すように、撮像装置１は、例えば、画素アレイ部１１と、垂直駆動部１２と、カラム処理部１３と、水平駆動部１４と、システム制御部１５と、信号処理部１６と、データ格納部１７といったコンポーネントを含み構成される。

画素アレイ部１１は、水平方向（行方向）及び垂直方向（列方向）にアレイ配列された画素１１０を構成するフォトダイオード等の光電変換素子群を含み構成される。画素アレイ部１１は、各画素１１０上に結像した入射光の強さに応じた電荷量を電気信号に変換し、画素信号として出力する。

垂直駆動部１２は、シフトレジスタやアドレスデコーダ等を含み構成される。垂直駆動部１２は、複数の画素駆動線１８を介して各画素１１０に駆動信号等を供給することにより、画素アレイ部１１の各画素１１０を例えば同時に又は行単位等で駆動する。

カラム処理部１３は、画素アレイ部１１の画素列（カラム）ごとに垂直信号線（ＶＳＬ）１９を介して各画素から画素信号を読み出して、ノイズ除去処理、相関二重サンプリング（ＣＤＳ）処理、及びＡ／Ｄ（Analog-to-Digital）変換処理等を行う。カラム処理部１３により処理された画素信号は、信号処理部１６に出力される。

水平駆動部１４は、シフトレジスタやアドレスデコーダ等を含み構成される。水平駆動部１４は、カラム処理部１３の画素列に対応する画素１１０を順番に選択する。この水平駆動部１４による選択走査により、カラム処理部１３において画素１１０ごとに信号処理された画素信号が順番に信号処理部１６に出力される。

システム制御部１５は、各種のタイミング信号を生成するタイミングジェネレータ等を含み構成される。システム制御部１５は、例えば図示しないタイミングジェネレータにより生成されたタイミング信号に基づいて、垂直駆動部１２、カラム処理部１３、及び水平駆動部１４の駆動制御を行なう。

信号処理部１６は、必要に応じてデータ格納部１７にデータを一時的に格納しながら、カラム処理部１３から供給された画素信号に対して演算処理等の信号処理を行ない、各画素信号に基づく画像信号を出力する。

なお、本技術が適用される撮像装置１は、上述したような構成に限られるものではない。例えば、撮像装置１は、データ格納部１７がカラム処理部１３の後段に配置され、カラム処理部１３から出力される画素信号を、データ格納部１７を経由して信号処理部１６に供給するように構成されても良い。或いは、撮像装置１は、縦続的に接続されたカラム処理部１３とデータ格納部１７と信号処理部１６とが各画素信号を並列的に処理するように構成されても良い。

（画素の回路構成）
図２は、図１の画素アレイ部１１に配置される画素１１０の構成例を示す回路図である。
画素１１０は、第１の光電変換部１１１、第１の転送ゲート部１１２、第２の光電変換部１１３、第２の転送ゲート部１１４、第３の転送ゲート部１１５、電荷蓄積部１１６、リセットゲート部１１７、ＦＤ（フローティングディフュージョン）部１１８、増幅トランジスタ１１９、及び、選択トランジスタ１２０を含むように構成される。

また、画素１１０に対して、画素駆動線１８として、複数の駆動線が、例えば画素行毎に配線される。そして、垂直駆動部１２から複数の駆動線を介して、各種の駆動信号ＴＧＬ、ＴＧＳ、ＦＣＧ、ＲＳＴ、ＳＥＬが供給される。これらの駆動信号は、画素１１０の各トランジスタがＮＭＯＳトランジスタなので、高レベル（例えば、電源電圧ＶＤＤ)の状態がアクティブ状態となり、低レベルの状態（例えば、負電位）が非アクティブ状態となるパルス信号である。

第１の光電変換部１１１は、例えば、ＰＮ接合のフォトダイオードからなる。第１の光電変換部１１１は、受光した光量に応じた電荷を生成し、蓄積する。
第１の転送ゲート部１１２は、第１の光電変換部１１１とＦＤ部１１８との間に接続されている。第１の転送ゲート部１１２のゲート電極には、駆動信号ＴＧＬが印加される。駆動信号ＴＧＬがアクティブ状態になると、第１の転送ゲート部１１２が導通状態になり、第１の光電変換部１１１に蓄積されている電荷が、第１の転送ゲート部１１２を介してＦＤ部１１８に転送される。

第２の光電変換部１１３は、第１の光電変換部１１１と同様に、例えば、ＰＮ接合のフォトダイオードからなる。第２の光電変換部１１３は、受光した光量に応じた電荷を生成し、蓄積する。
第１の光電変換部１１１と第２の光電変換部１１３を比較すると、第１の光電変換部１１１の方が受光面の面積が広く、感度が高く、第２の光電変換部１１３の方が受光面の面積が狭く、感度が低い。

第２の転送ゲート部１１４は、電荷蓄積部１１６とＦＤ部１１８との間に接続されている。第２の転送ゲート部１１４のゲート電極には、駆動信号ＦＣＧが印加される。駆動信号ＦＣＧがアクティブ状態になると、第２の転送ゲート部１１４が導通状態になり、電荷蓄積部１１６とＦＤ部１１８のポテンシャルが結合する。

第３の転送ゲート部１１５は、第２の光電変換部１１３と電荷蓄積部１１６との間に接続されている。第３の転送ゲート部１１５のゲート電極には、駆動信号ＴＧＳが印加される。駆動信号ＴＧＳがアクティブ状態になると、第３の転送ゲート部１１５が導通状態になり、第２の光電変換部１１３に蓄積されている電荷が、第３の転送ゲート部１１５を介して、電荷蓄積部１１６、或いは、電荷蓄積部１１６とＦＤ部１１８のポテンシャルが結合した領域に転送される。

また、第３の転送ゲート部１１５のゲート電極の下部は、ポテンシャルが若干深くなっており、第２の光電変換部１１３の飽和電荷量を超え、第２の光電変換部１１３から溢れた電荷を電荷蓄積部１１６に転送するオーバーフローパスが形成されている。なお、以下、第３の転送ゲート部１１５のゲート電極の下部に形成されているオーバーフローパスを、単に第３の転送ゲート部１１５のオーバーフローパスと称する。

電荷蓄積部１１６は、例えば、キャパシタからなり、第２の転送ゲート部１１４と第３の転送ゲート部１１５との間に接続されている。電荷蓄積部１１６の対向電極は、電源電圧ＶＤＤとは異なる電圧ＶＣＢを供給する可変電源ＶＣＢの間に接続されている。電荷蓄積部１１６は、第２の光電変換部１１３から転送される電荷を蓄積する。

リセットゲート部１１７は、可変電源ＶＣＢとＦＤ部１１８との間に接続されている。リセットゲート部１１７のゲート電極には、駆動信号ＲＳＴが印加される。駆動信号ＲＳＴがアクティブ状態になると、リセットゲート部１１７が導通状態になり、ＦＤ部１１８の電位が、電源電圧ＶＣＢのレベルにリセットされる。

ＦＤ部１１８は、電荷を電圧信号に電荷電圧変換して出力する。
増幅トランジスタ１１９は、ゲート電極がＦＤ部１１８に接続され、ドレイン電極が電源ＶＤＤに接続されており、ＦＤ部１１８に保持されている電荷を読み出す読出し回路、所謂ソースフォロワ回路の入力部となる。すなわち、増幅トランジスタ１１９は、ソース電極が選択トランジスタ１２０を介して垂直信号線１９に接続されることにより、当該垂直信号線１９の一端に接続される定電流源１２１とソースフォロワ回路を構成する。

選択トランジスタ１２０は、増幅トランジスタ１１９のソース電極と垂直信号線１９との間に接続されている。選択トランジスタ１２０のゲート電極には、駆動信号ＳＥＬが印加される。駆動信号ＳＥＬがアクティブ状態になると、選択トランジスタ１２０が導通状態になり、画素１１０が選択状態となる。これにより、増幅トランジスタ１１９から出力される画素信号が、選択トランジスタ１２０を介して、垂直信号線１９に出力される。

可変電源ＶＣＢの電源電圧ＶＣＢは、例えば、Ｈｉｇｈレベルの電圧ＶＨ、又は、Ｌｏｗレベルの電圧ＶＬに設定される。例えば、電圧ＶＨは、電源電圧ＶＤＤと同様のレベルに設定され、電圧ＶＬはグラウンド（ＧＮＤ）レベルに設定される。

なお、以下、各駆動信号がアクティブ状態になることを、各駆動信号がオンするともいい、各駆動信号が非アクティブ状態になることを、各駆動信号がオフするともいう。また、以下、各ゲート部又は各トランジスタが導通状態になることを、各ゲート部又は各トランジスタがオンするともいい、各ゲート部又は各トランジスタが非導通状態になることを、各ゲート部又は各トランジスタがオフするともいう。

（画素１１０の動作）
次に、図３及び図４のタイミングチャートを参照して、画素１１０の動作について説明する。

（画素１１０の露光開始時の動作）
まず、図３のタイミングチャートを参照して、画素１１０の露光開始時の動作について説明する。この処理は、例えば、画素アレイ部１１の画素行毎、又は、複数の画素行毎に、所定の走査順で行われる。なお、図３には、水平同期信号ＸＨＳ、駆動信号ＳＥＬ、電源電圧ＶＣＢ、駆動信号ＲＳＴ、ＴＧＳ、ＦＣＧ、ＴＧＬのタイミングチャートが示されている。

まず、時刻ｔ１において、水平同期信号ＸＨＳが入力され、画素１１０の露光処理が開始する。
次に、時刻ｔ２において、電源電圧ＶＣＢが、電圧ＶＬから電圧ＶＨに変更される。
その後、時刻ｔ３において、駆動信号ＲＳＴがオンし、リセットゲート部１１７がオンする。これにより、ＦＤ部１１８の電位が、電源電圧ＶＣＢのレベルにリセットされる。

次に、時刻ｔ４において、駆動信号ＴＧＬ、ＦＣＧ、ＴＧＳがオンし、第１の転送ゲート部１１２、第２の転送ゲート部１１４、第３の転送ゲート部１１５がオンする。これにより、電荷蓄積部１１６とＦＤ部１１８のポテンシャルが結合する。また、第１の光電変換部１１１に蓄積されている電荷が、第１の転送ゲート部１１２を介して、結合した領域に転送され、第２の光電変換部１１３に蓄積されている電荷が、第３の転送ゲート部１１５を介して、結合した領域に転送される。そして、結合した領域がリセットされる。

次に、時刻ｔ５において、駆動信号ＴＧＬ、ＴＧＳがオフし、第１の転送ゲート部１１２、第３の転送ゲート部１１５がオフする。これにより、第１の光電変換部１１１及び第２の光電変換部１１３への電荷の蓄積が開始され、露光期間が開始する。

次に、時刻ｔ６において、駆動信号ＲＳＴがオフし、リセットゲート部１１７がオフする。
次に、時刻ｔ７において、駆動信号ＦＣＧがオフし、第２の転送ゲート部１１４がオフする。これにより、電荷蓄積部１１６は、第２の光電変換部１１３から溢れ、第３の転送ゲート部１１５のオーバーフローパスを介して転送されてくる電荷の蓄積を開始する。

次に、時刻ｔ８において、電源電圧ＶＣＢが、電圧ＶＨから電圧ＶＬに変更される。そして、時刻ｔ９において、水平同期信号ＸＨＳが入力される。

（画素１１０の読み出し時の動作）
次に、図４のタイミングチャートを参照して、画素１１０の画素信号の読み出し時の動作について説明する。この処理は、例えば、画素アレイ部１１の画素行毎、又は、複数の画素行毎に、図３の処理が行われてから所定の時間後に所定の走査順で行われる。なお、図４には、水平同期信号ＸＨＳ、駆動信号ＳＥＬ、電源電圧ＶＣＢ、駆動信号ＲＳＴ、ＴＧＳ、ＦＣＧ、ＴＧＬのタイミングチャートが示されている。

まず、時刻ｔ２１において、水平同期信号ＸＨＳが入力され、画素１１０の読み出し期間が開始する。
次に、時刻ｔ２２において、駆動信号ＳＥＬがオンし、選択トランジスタ１２０がオンする。これにより、画素１１０が選択状態になる。また、電源電圧ＶＣＢが、電圧ＶＬから電圧ＶＨに変更される。

次に、時刻ｔ２３において、駆動信号ＲＳＴがオンし、リセットゲート部１１７がオンする。これにより、ＦＤ部１１８の電位が、電源電圧ＶＤＤのレベルにリセットされる。
次に、時刻ｔ２４において、駆動信号ＲＳＴがオフし、リセットゲート部１１７がオフする。

次に、時刻ｔ２５において、駆動信号ＦＣＧ、ＴＧＳがオンし、第２の転送ゲート部１１４及び第３の転送ゲート部１１５がオンする。これにより、電荷蓄積部１１６とＦＤ部１１８のポテンシャルが結合するとともに、第２の光電変換部１１３に蓄積されている電荷が、結合した領域に転送される。これにより、露光期間中に第２の光電変換部１１３及び電荷蓄積部１１６に蓄積された電荷が、結合した領域に蓄積される。

この時刻ｔ２５において、画素信号の読み出しが開始され、露光期間が終了する。
次に、時刻ｔ２６において、駆動信号ＴＧＳがオフし、第３の転送ゲート部１１５がオフする。これにより、第２の光電変換部１１３からの電荷の転送が停止する。

次に、時刻ｔ２６と時刻ｔ２７の間の時刻ｔａにおいて、電荷蓄積部１１６とＦＤ部１１８のポテンシャルが結合した領域の電位に基づく画素信号ＳＰ１Ｌが、増幅トランジスタ１１９及び選択トランジスタ１２０を介して垂直信号線１９に出力される。画素信号ＳＰ１Ｌは、露光期間中に第２の光電変換部１１３で生成され、第２の光電変換部１１３及び電荷蓄積部１１６に蓄積された電荷に基づく信号である。また、画素信号ＳＰ１Ｌは、露光期間中に第２の光電変換部１１３及び電荷蓄積部１１６に蓄積された電荷が、電荷蓄積部１１６とＦＤ部１１８のポテンシャルが結合した領域に蓄積された状態における結合した領域の電位に基づく信号となる。従って、画素信号ＳＰ１Ｌの読み出し時に電荷を電荷電圧変換する容量は、電荷蓄積部１１６とＦＤ部１１８を合わせた容量となる。
なお、以下、画素信号ＳＰ１Ｌのことを、低感度データ信号ＳＰ１Ｌとも称する。

次に、時刻ｔ２７において、駆動信号ＲＳＴがオンし、リセットゲート部１１７がオンする。これにより、電荷蓄積部１１６とＦＤ部１１８のポテンシャルが結合した領域がリセットされる。

次に、時刻ｔ２８において、選択信号ＳＥＬがオフし、選択トランジスタ１２０がオフする。これにより、画素１１０が非選択状態になる。
次に、時刻ｔ２９において、駆動信号ＲＳＴがオフし、リセットゲート部１１７がオフする。

次に、時刻ｔ３０において、選択信号ＳＥＬがオンし、選択トランジスタ１２０がオンする。これにより、画素１１０が選択状態になる。
次に、時刻ｔ３０と時刻ｔ３１の間の時刻ｔｂにおいて、電荷蓄積部１１６とＦＤ部１１８のポテンシャルが結合した領域の電位に基づく画素信号ＳＰ２Ｌが、増幅トランジスタ１１９及び選択トランジスタ１２０を介して垂直信号線１９に出力される。この画素信号ＳＰ２Ｌは、電荷蓄積部１１６とＦＤ部１１８のポテンシャルが結合した領域がリセットされた状態における結合した領域の電位に基づく信号となる。
なお、以下、画素信号ＳＰ２Ｌのことを、低感度リセット信号ＳＰ２Ｌとも称する。

次に、時刻ｔ３１において、駆動信号ＦＣＧがオフし、第２の転送ゲート部１１４がオフする。
次に、時刻ｔ３１と時刻ｔ３２の間の時刻ｔｃにおいて、ＦＤ部１１８の電位に基づく画素信号ＳＰ２Ｈが、増幅トランジスタ１１９及び選択トランジスタ１２０を介して垂直信号線１９に出力される。画素信号ＳＰ２Ｈは、リセットされた状態におけるＦＤ部１１８の電位に基づく信号となる。
なお、以下、画素信号ＳＰ２Ｈのことを、高感度リセット信号ＳＰ２Ｈとも称する。

次に、時刻ｔ３２において、駆動信号ＴＧＬがオンし、第１の転送ゲート部１１２がオンする。これにより、露光期間中に第１の光電変換部１１１で生成され、蓄積された電荷が、第１の転送ゲート部１１２を介してＦＤ部１１８に転送される。

次に、時刻ｔ３３において、駆動信号ＴＧＬがオフし、第１の転送ゲート部１１２がオフする。これにより、第１の光電変換部１１１からＦＤ部１１８への電荷の転送が停止する。

次に、時刻ｔ３３と時刻ｔ３４の間の時刻ｔｄにおいて、ＦＤ部１１８の電位に基づく画素信号ＳＰ１Ｈが、増幅トランジスタ１１９及び選択トランジスタ１２０を介して垂直信号線１９に出力される。画素信号ＳＰ１Ｈは、露光期間中に第１の光電変換部１１１で生成され、蓄積された電荷に基づく信号である。また、画素信号ＳＰ１Ｈは、露光期間中に第１の光電変換部１１１に蓄積された電荷がＦＤ部１１８に蓄積された状態におけるＦＤ部１１８の電位に基づく信号となる。従って、画素信号ＳＰ１Ｈの読み出し時に電荷を電荷電圧変換する容量は、ＦＤ部１１８の容量となり、時刻ｔａにおける低感度データ信号ＳＰ１Ｌの読み出し時より小さくなる。
なお、以下、画素信号ＳＰ１Ｈのことを、高感度データ信号ＳＰ１Ｈとも称する。

その後、時刻ｔ３４において、選択信号ＳＥＬがオフし、選択トランジスタ１２０がオフする。これにより、画素１１０が非選択状態になる。また、電源電圧ＶＣＢが、電圧ＶＨから電圧ＶＬに変更される。
次に、時刻ｔ３５において、水平同期信号ＸＨＳが入力され、画素１１０の画素信号の読み出し期間が終了する。

画素１１０では、露光が開始されてから読み出しが開始されるまでの電荷蓄積部１１６に電荷が蓄積される期間中に電源電圧ＶＣＢが電圧ＶＬに設定される。これにより、電荷蓄積部１１６に電荷が蓄積される期間中に電荷蓄積部１１６に印加される電界が緩和され、電荷蓄積部１１６に発生する暗電流が抑制される。

（信号処理部の構成）
図５は、図１の信号処理部１６の構成例を示すブロック構成図である。信号処理部１６は、ＨＤＲ合成部２１と、補正ゲイン生成回路２２とを備える。ＨＤＲ合成部２１は、画素信号ＳＰ１Ｈ／Ｌと、画素信号ＳＰ２Ｈ／Ｌとを合成することによりＨＤＲ信号を生成する。補正ゲイン生成回路２２は、ＨＤＲ合成を行う際に、異なる画素信号ＳＰ１Ｈ／Ｌ、ＳＰ２Ｈ／Ｌ間の感度差を補正するための合成ゲインを算出する。

（ＨＤＲ合成部の回路構成）
図６は、ＨＤＲ合成部２１の回路構成図である。ＨＤＲ合成部２１は、図６（ａ）に示すように、第１のブレンド部２１１と、第１の乗算部２１２と、第２のブレンド部２１３と、第２の乗算部２１４と、第３のブレンド部２１５と、第３の乗算部２１６とを含み構成される。

第１のブレンド部２１１には、画素信号ＳＰ１Ｈと、第１の乗算部２１２にて合成ゲインＧ１が乗算された画素信号ＳＰ１Ｌとが入力される。そして、第１のブレンド部２１１は、ブレンド比αが０から１へ変化されることにより、画素信号ＳＰ１Ｈと、画素信号ＳＰ１Ｌとを選択的に出力する。

第２のブレンド部２１３には、画素信号ＳＰ２Ｈと、第２の乗算部２１４にて合成ゲインＧ２が乗算された画素信号ＳＰ２Ｌとが入力される。そして、第２のブレンド部２１３は、ブレンド比αが０から１へ変化されることにより、画素信号ＳＰ２Ｈと、画素信号ＳＰ２Ｌとを選択的に出力する。

第３のブレンド部２１５には、第１のブレンド部２１１から出力される画素信号ＳＰ１と、第２のブレンド部２１３から出力され第３の乗算部２１６にて合成ゲインＧ３が乗算された画素信号ＳＰ２とが入力される。そして、第３のブレンド部２１５は、ブレンド比αが０から１へ変化されることにより、画素信号ＳＰ２と、画素信号ＳＰ１とを選択的に出力する。
つまり、第１のブレンド部２１１、第２のブレンド部２１３、及び第３のブレンド部２１５は、図６（ｂ）に示すように、２つの入力をＡ、Ｂとすると、Ａ（１－α）＋Ｂαを出力する。

（画素信号の演算処理の処理例）
まず、第１のブレンド部２１１は、低感度の画素信号ＳＰ１Ｌと合成ゲインＧ１との積を低感度の画素信号ＳＰ１Ｌの補正値として出力する。ここで、低感度の画素信号ＳＰ１Ｌの補正値（以下、補正低感度画素信号と称する）をＳＰ１Ｌ’とすると、合成ゲインＧ１及び補正低感度画素信号ＳＰ１Ｌ’は次式に基づいて求めることができる。
ＳＰ１Ｌ’＝Ｇ１×ＳＰ１Ｌ

図７は、入射光量に対する低感度の画素信号ＳＰ１Ｌ、高感度の画素信号ＳＰ１Ｈ、補正低感度画素信号ＳＰ１Ｌ’の関係を示している。
次に、第１のブレンド部２１１は、予め設定された所定の閾値Ｖｔ１，Ｖｔ２を用いる。閾値Ｖｔ１，Ｖｔ２は、光応答特性において、高感度の画素信号ＳＰ１Ｈが飽和前かつ光応答特性がリニアな領域において予め設定される。なお、第２のブレンド部２１３は、閾値Ｖｔ１，Ｖｔ２とは異なる閾値Ｖｔ１１，Ｖｔ２１を用いる。第３のブレンド部２１５は、閾値Ｖｔ１２，Ｖｔ２２を用いる。

そして、第１のブレンド部２１１は、高感度の画素信号ＳＰ１Ｈが閾値Ｖｔ１を超えない場合、高感度の画素信号ＳＰ１Ｈを処理対象画素の画素信号ＳＰ１として第１のブレンド部２１１から出力させる。すなわち、ＳＰ１Ｈ＜Ｖｔ１の場合、画素信号ＳＰ１＝高感度の画素信号ＳＰ１Ｈとなる。

一方、ＨＤＲ合成部２１は、高感度の画素信号ＳＰ１Ｈが閾値Ｖｔ１を超え、閾値Ｖｔ２未満の場合、高感度の画素信号ＳＰ１Ｈと補正低感度画素信号ＳＰ１Ｌ’とのブレンド出力を処理対象画素の画素信号ＳＰ１として第１のブレンド部２１１から出力させる。すなわち、高感度の画素信号ＳＰ１Ｈが閾値Ｖｔ１以上かつ閾値Ｖｔ２以下の場合、画素信号ＳＰ１＝高感度の画素信号ＳＰ１Ｈと補正低感度画素信号ＳＰ１Ｌ’とのブレンド出力となる。

＜実施形態の比較例＞
現行方式では、事前に測定された合成ゲインをレジスタから読み出している。この場合、感度差を補正する合成ゲインを事前に個体ごとに測定し、値をレジスタに格納しておく必要がある。
また、事前測定時と、実機環境（色温度等）が異なる場合は、合成境界部で補正誤差による信号段差が発生し、色むら等の不具合症状が発生する。

＜第１の実施形態による実現手段＞
図８は、本開示の第１の実施形態に係る補正ゲイン生成回路２２のブロック構成図である。補正ゲイン生成回路２２は、第１のセレクタ２２１と、第２のセレクタ２２２と、第１の積算部２２３と、第２の積算部２２４と、合成ゲイン算出部２２５と、ＩＩＲフィルタ２２６と、合成ゲインレジスタ２２７と、動被写体判定部２２８と、色判定部２２９と、画素エリア判定部２３０と、信号レベル判定部２３１と、ＡＮＤ回路２３２と、カウンタ２３３と、フィルタ強度算出部２３４と、更新判定カウンタ２３５と、各種設定レジスタ２３６とを含み構成されている。

第１のセレクタ２２１は、高感度の画素信号ＳＰ１Ｈを入力し、制御端に論理値「１」が入力されたとき、高感度の画素信号ＳＰ１Ｈを出力する。第２のセレクタ２２２は、低感度の画素信号ＳＰ１Ｌを入力し、制御端に論理値「１」が入力されたとき、低感度の画素信号ＳＰ１Ｌを出力する。

第１の積算部２２３は、第１のセレクタ２２１から出力される高感度の画素信号ＳＰ１Ｈの画素１１０ごとの信号レベルを積算して第１の積算値を求め、第１の積算値を合成ゲイン算出部２２５に出力する。第２の積算部２２４は、第２のセレクタ２２２から出力される低感度の画素信号ＳＰ１Ｌの画素１１０ごとの信号レベルを積算して第２の積算値を求め、第２の積算値を合成ゲイン算出部２２５に出力する。これら第１の積算部２２３及び第２の積算部２２４は、例えば、システム制御部１５から垂直リセット信号が入力された時に、リセットされる。また、第１の積算部２２３及び第２の積算部２２４は、積算した画素数をカウンタ２３３に出力する。なお、第１の積算部２２３および第２の積算部２２４は、画素１１０のカラーフィルタごとにそれぞれ設けられる。

合成ゲイン算出部２２５は、入力された第１の積算値及び第２の積算値から高感度の画素信号ＳＰ１Ｈと低感度の画素信号ＳＰ１Ｌとの感度比を合成ゲインＧ１として算出し、ＩＩＲフィルタ２２６に出力する。

ＩＩＲフィルタ２２６は、合成ゲインレジスタ２２７に記憶保持されている過去の合成ゲインＧ１と、合成ゲイン算出部２２５により算出された新規の合成ゲインＧ１とを時間方向に平滑化し、平滑化した合成ゲインＧ１を合成ゲインレジスタ２２７に出力する。また、ＩＩＲフィルタ２２６は、フィルタ強度算出部２３４により平滑化時の強度が可変制御される。ここで、平滑化強度が強い場合、ＩＩＲフィルタ２２６は、新規データの寄与率を下げて収束変化を緩やかに行う。一方、平滑化強度が弱い場合、ＩＩＲフィルタ２２６は、新規データの寄与率を上げて収束変化速度を速める。

合成ゲインレジスタ２２７は、入力された合成ゲインＧ１を記憶保持するとともに、ＨＤＲ合成部２１の第１の乗算部２１２に出力する。また、合成ゲインレジスタ２２７は、電源オン時に、各種設定レジスタ２３６から合成ゲインＧ１の初期値を読み込む。

動被写体判定部２２８は、入力される動き被写体判定信号に基づいて、被写体の動きを検出し、動被写体と判定した場合に、論理値「０」をＡＮＤ回路２３２に出力する。また、動被写体判定部２２８は、高感度の画素信号ＳＰ１Ｈ及び低感度の画素信号ＳＰ１Ｌが、露光タイミングが異なり、動被写体でないことを判定した場合に、論理値「１」をＡＮＤ回路２３２に出力する。また、動被写体判定部２２８は、判定を無効とする場合に、論理値「１」を出力する。有効／無効については、各種設定レジスタ２３６の設定に依存する。

色判定部２２９は、高感度の画素信号ＳＰ１Ｈの積算値近傍のカラー信号と、低感度の画素信号ＳＰ１Ｌの積算値近傍のカラー信号との比率、及び別途提供されるホワイトバランス（ＷＢ）ゲイン情報に基づいて、第１の積算値及び前記第２の積算値それぞれの色を判定し、白色の範囲と判定した場合に、論理値「１」をＡＮＤ回路２３２に出力する。また、色判定部２２９は、判定を無効とする場合に、論理値「１」を出力する。有効／無効については、各種設定レジスタ２３６の設定に依存する。

画素エリア判定部２３０は、入力される水平方向及び垂直方向のアドレスに基づいて、画面中央エリア信号であるか否かを判定し、画面中央エリア信号であると判定した場合に、論理値「１」をＡＮＤ回路２３２に出力する。また、画素エリア判定部２３０は、判定を無効とする場合に、論理値「１」を出力する。有効／無効については、各種設定レジスタ２３６の設定に依存する。

信号レベル判定部２３１は、高感度の画素信号ＳＰ１Ｈを入力し、高感度の画素信号ＳＰ１Ｈの信号レベルが合成境界内レベル、つまり高感度の画素信号ＳＰ１Ｈの信号レベルが閾値Ｖｔ１以上かつ閾値Ｖｔ２以下であるか否かを判定し、合成境界内レベルと判定した場合に、論理値「１」をＡＮＤ回路２３２に出力する。また、信号レベル判定部２３１は、判定を無効とする場合に、論理値「１」を出力する。有効／無効については、各種設定レジスタ２３６の設定に依存する。
なお、動被写体判定部２２８、色判定部２２９、画素エリア判定部２３０、及び信号レベル判定部２３１それぞれの判定基準値は、各種設定レジスタ２３６に記憶されている。

ＡＮＤ回路２３２は、動被写体判定部２２８、色判定部２２９、画素エリア判定部２３０、及び信号レベル判定部２３１の全てが論理値「１」であった場合に、論理値「１」を第１のセレクタ２２１、第２のセレクタ２２２、カウンタ２３３に出力する。

カウンタ２３３は、１Ｖ（１フレーム期間）内の積算有効画素数をカウントし、出力値をフィルタ強度算出部２３４に出力する。

フィルタ強度算出部２３４には、温度情報、ＷＢゲイン情報及びカウンタ２３３の出力値が入力される。フィルタ強度算出部２３４は、温度情報及びＷＢゲイン情報に基づいて、色温度変化時にＩＩＲフィルタ２２６の平滑化強度を弱めて、変化した光源条件に速やかに合わせたゲイン生成が行われるように動作させる。

また、フィルタ強度算出部２３４は、温度情報及びＷＢゲイン情報に基づいて、環境温度変化時にＩＩＲフィルタ２２６の平滑化強度を弱めて、変化した温度条件に速やかに合わせたゲイン生成が行われるように動作させる。

さらに、フィルタ強度算出部２３４は、カウンタ２３３の出力値に基づいて、合成ゲイン算出のために積算されたデータ数が一定数以下の場合に、ＩＩＲフィルタ２２６の平滑化処理を停止しデータ更新されないように制御する。

更新判定カウンタ２３５は、ＩＩＲフィルタ２２６の起動初期値からの平滑化処理の更新回数をカウントする。そして、フィルタ強度算出部２３４は、更新判定カウンタ２３５によるＩＩＲフィルタ２２６の起動初期値からの平滑化処理の更新回数が一定数以下の場合に、ＩＩＲフィルタ２２６の平滑化強度を弱めて、実環境に応じて速やかにゲイン生成が行われるように動作させる。

また、フィルタ強度算出部２３４は、新規画像から生成された新規合成ゲインと現合成ゲインとの差分を求め、差分が設定値Ａ以上のずれでｎ（ｎは整数）フレームを超える場合に、ＩＩＲフィルタ２２６による平滑動作を開始し、差分が設定値Ａより小さい設定値Ｂ以下になるまでＩＩＲフィルタ２２６の平滑動作を継続するようにＩＩＲフィルタ２２６を制御する。その後、差分判断は設定値Ａに戻す。なお、設定値Ａ以上のずれがｎフレーム以下の場合には、フィルタ強度算出部２３４は、ＩＩＲフィルタ２２６による平滑動作を開始しない。

本開示の第１の実施形態では、画素信号ＳＰ１Ｌに乗算する合成ゲインＧ１を算出する例について説明したが、例えば、第２の乗算部２１４で画素信号ＳＰ２Ｌに乗算する合成ゲインＧ２を算出する場合や、第３の乗算部２１６で画素信号ＳＰ２に乗算する合成ゲインＧ３を算出する場合にも、それぞれ補正ゲイン生成回路２２により並行して実施できる。

＜第１の実施形態による作用効果＞
以上のように第１の実施形態によれば、事前に各画素信号ＳＰ１Ｈ／Ｌ，ＳＰ２Ｈ／Ｌ間の感度比を測定しておく必要がなく、さらに感度の異なる画素信号ＳＰ１Ｈと画素信号ＳＰ１Ｌとを合成する際に、感度が高い画素信号ＳＰ１Ｈが閾値Ｖｔ１以上且つ閾値Ｖｔ２以下である、つまり画素信号ＳＰ１Ｈが飽和前かつ光応答特性がリニアな領域において、自動で合成ゲインＧ１を算出して感度の低い画素信号ＳＰ１Ｌに付加するようにしているので、ウェハ工程またはユーザ側での個体調整を削減し、合成境界部で補正誤差による信号段差が発生することなく、リアルタイム補正値算出による補正精度改善を実現できる。

また、第１の実施形態によれば、画面中央部のときに第１の積算値及び第２の積算値を算出することとしているが、画像エリア判定部２３０で規定するエリア設定を周辺領域に変える処理により、画面中央部だけでなく画面周辺部においてもそれぞれ異なる合成ゲインを取得し補正することができる。

また、第１の実施形態によれば、画素信号ＳＰ１Ｈと画素信号ＳＰ１Ｌとの間の色むらを補正することができ、これにより合成境界の感度比ずれによる色付きを補正できる。

また、第１の実施形態によれば、動被写体の無い、画素信号ＳＰ１Ｈ及び画素信号ＳＰ１Ｌが、露光タイミングが異なる時のみ合成ゲインＧ１の算出処理を有効とすることにより、不要な演算処理を削減できる。

また、第１の実施形態によれば、新規の合成ゲインの寄与率を下げて収束変化を緩やかに行うようにＩＩＲフィルタ２２６を制御し、また新規の合成ゲインの寄与率を上げて収束変化速度を速めるようにＩＩＲフィルタ２２６を制御できる。

また、第１の実施形態によれば、色温度変化時はＩＩＲフィルタ２２６の平滑化強度を弱めて、変化した光源条件に速やかに合わせた合成ゲインＧ１の算出を行うようにＩＩＲフィルタ２２６を動作させることができる。また、環境温度変化時はＩＩＲフィルタ２２６の平滑化強度を弱めて、変化した温度条件に速やかに合わせた合成ゲインＧ１の算出を行うようにＩＩＲフィルタ２２６を動作させることができる。さらに、起動初期値からのＩＩＲフィルタ２２６の平滑化処理の更新回数が一定回数以下の場合は、ＩＩＲフィルタ２２６の平滑化強度を弱めて、実環境に応じて速やかに合成ゲインＧ１の算出を行うようにＩＩＲフィルタ２２６を動作させることができる。

また、第１の実施形態によれば、合成ゲイン算出のために積算されたデータ数が一定数以下の場合は、ＩＩＲフィルタ２２６の平滑化処理を停止し、データ更新されないようにＩＩＲフィルタ２２６を制御できる。

さらに、第１の実施形態によれば、新規の合成ゲインと現の合成ゲインとの差分が設定値Ａ以上のずれがあるフレームが連続してｎ回を超える場合に、ＩＩＲフィルタ２２６を制御して平滑動作を開始し、差分が設定値Ａより小さい設定値Ｂ以下になるまでＩＩＲフィルタ２２６の平滑動作を継続するようにＩＩＲフィルタ２２６を制御することで、ＩＩＲフィルタ２２６の動作を安定させて時間に応じて誤差の少ない合成ゲインＧ１を算出できる。

＜第２の実施形態＞
図９は、本開示の第２の実施形態に係る撮像装置の概略的構成の一例を示すブロック図である。撮像装置１Ａは、大別して、センサチップ１１Ａと、信号処理部１６Ａとを含み構成されるとともに、電源制御ユニット３１と、フラッシュメモリ３２とが接続可能である。

信号処理部１６Ａは、ＣＰＵ３３と、ＩＳＰ部３４と、センサインタフェースユニット３５と、外部インタフェースユニット３６と、割り込みコントロール３７と、外部メモリインタフェースユニット３８とを備え、バス３９介して相互に接続されている。ＣＰＵ３３は、ＩＳＰ部３４と、センサインタフェースユニット３５と、外部インタフェースユニット３６と、割り込みコントロール３７と、外部メモリインタフェースユニット３８とを、バス３９を介して統括的に制御する。

ＩＳＰ部３４は、本開示の第２の実施形態に係る補正ゲイン生成回路２２Ａと、画像処理部３４１と、各種設定レジスタ３４２とを備える。画像処理部３４１は、ＨＤＲ合成部を備える。

外部インタフェースユニット３６及び割り込みコントロール３７には、電源ユニット（図示せず）が接続されている。外部メモリインタフェースユニット３８には、フラッシュメモリ３２が着脱自在となるように接続される。センサインタフェースユニット３５には、センサチップ１１Ａが接続される。

（撮像装置１Ａの動作）
（起動時制御）
先ず、ＣＰＵ３３は、外部メモリインタフェースユニット３８を経由してフラッシュメモリ３２に格納されている合成ゲイン初期値を読み込む。
そして、ＣＰＵ３３は、読み込んだ合成ゲイン初期値を、ＩＳＰ部３４の各種設定レジスタ３４２に書き込みを行う。

次に、ＣＰＵ３３は、撮像装置１Ａの動作を開始する。そして、補正ゲイン生成回路２２Ａは、各種設定レジスタ３４２に書き込まれた合成ゲイン初期値に基づき、合成ゲインＧ１の自動生成処理を実行する。

（終了時制御）
電源制御ユニット３１は、電源オフ動作に入った旨を割り込みコントロール３７を経由してＣＰＵ３３に通知する。
ＣＰＵ３３は、センサチップ１１Ａの動作を停止する。そして、ＣＰＵ３３は、センサチップ１１Ａの動作停止時に、それまでに生成された合成ゲインを各種設定レジスタ３４２から読み出し、外部メモリインタフェースユニット３８を経由してフラッシュメモリ３２に合成ゲインを書き込む。

書き込み終了後に、ＣＰＵ３３は外部インタフェースユニット３６を経由して電源制御ユニット３１に撮像装置１Ａでの各種終了処理が完了したことを通知する。
以後、電源制御ユニット３１から電源ユニットに対して電源オフ処理を実行する。

（通常動作時）
センサチップ１１Ａは、入射した光に応じた画素信号を生成し、画素信号をバス４０、センサインタフェースユニット３５、バス４１を経由して画像処理部３４１に出力する。画像処理部３４１は、入力された画素信号に基づいて、画像データを生成し、バス４２を経由して映像出力する。

＜第２の実施形態による作用効果＞
以上のように第２の実施形態によれば、センサチップ１１Ａの動作停止時に算出された合成ゲインをフラッシュメモリ３２に格納しておき、電源オン時にフラッシュメモリ３２に格納された合成ゲインを初期ゲイン値として読み出すことで、例えば、高感度の画素信号ＳＰ１Ｈと低感度の画素信号ＳＰ１Ｌとを合成する際に、電源オン時から低感度の画素信号ＳＰ１Ｌに対し合成ゲインＧ１を即座に乗算でき、さらに合成ゲインＧ１の補正精度を維持することができる。

なお、第２の実施形態において、センサチップ１１Ａの動作停止時に算出された合成ゲインをフラッシュメモリ３２に格納しておくとともに、ＩＩＲフィルタ２２６の更新された平滑化処理の回数をフラッシュメモリ３２に格納しておくようにしてもよい。このようにすれば、動作停止時ごとに、フラッシュメモリ３２に格納される合成ゲインが更新されるため、学習効果を持たせることができ、さらにフラッシュメモリ３２に格納された更新回数に基づいて合成ゲインの学習状況を出力画像上に表示できる。

＜第３の実施形態＞
本開示の第３の実施形態は、信号処理部１６で得られる画面を複数領域に分割し、分割した複数領域それぞれで合成ゲインを算出し、複数領域それぞれで算出した合成ゲインを行方向及び列方向に補間して画面全体の複数の画素それぞれにおけるゲイン補正値を算出し、複数の画素でそれぞれ算出された合成ゲインをゲイン補正値で補正するものである。

画素アレイ部１１は、水平方向（行方向）及び垂直方向（列方向）にアレイ配列された画素１１０により、図１０に示す画面４０２を構成する。補正ゲイン生成回路２２では、画面４０２の全領域を、例えば８×８に６４分割し、６４個の分割領域が、それぞれ合成ゲインを得るように、分割領域ごとに含まれる画素信号ＳＰ１Ｈ／Ｌ，ＳＰ２Ｈ／Ｌを積算して、画素信号ＳＰ１Ｌに乗算する合成ゲインＧ１（ｉ，ｊ）、画素信号ＳＰ２Ｌに乗算する合成ゲインＧ２（ｉ，ｊ）及び画素信号ＳＰ２に乗算する合成ゲインＧ３（ｉ，ｊ）を含む積算ブロック５０２を算出する。ｉ及びｊは、画面４０２における積算ブロックのｘ座標（行方向）及びｙ座標（列方向）をそれぞれ示すインデックスで、いずれも０を初期値とする。

そして、補正ゲイン生成回路２２は、６４個の分割領域それぞれで算出した積算ブロック５０２内の合成ゲインＧ１（ｉ，ｊ）、合成ゲインＧ２（ｉ，ｊ）及び合成ゲインＧ３（ｉ，ｊ）をｘ座標（行方向）及びｙ座標（列方向）に補間して画面４０２全体の複数の画素１１０それぞれにおけるゲイン補正値を算出する。

以後、補正ゲイン生成回路２２は、複数の画素１１０でそれぞれ算出された合成ゲインＧ１（ｉ，ｊ）、合成ゲインＧ２（ｉ，ｊ）及び合成ゲインＧ３（ｉ，ｊ）をゲイン補正値で補正する。

＜第３の実施形態による作用効果＞
以上のように第３の実施形態によれば、画面４０２を分割した複数領域それぞれで合成ゲインＧ１（ｉ，ｊ）、合成ゲインＧ２（ｉ，ｊ）及び合成ゲインＧ３（ｉ，ｊ）を算出し、複数領域それぞれで算出した合成ゲインＧ１（ｉ，ｊ）、合成ゲインＧ２（ｉ，ｊ）及び合成ゲインＧ３（ｉ，ｊ）をｘ座標（行方向）及びｙ座標（列方向）に補間して画面４０２の全体の複数の画素１１０それぞれにおけるゲイン補正値を算出し、複数の画素１１０でそれぞれ算出された合成ゲインＧ１（ｉ，ｊ）、合成ゲインＧ２（ｉ，ｊ）及び合成ゲインＧ３（ｉ，ｊ）をゲイン補正値で補正することにより、画面４０２全体における合成ゲインＧ１（ｉ，ｊ）、合成ゲインＧ２（ｉ，ｊ）及び合成ゲインＧ３（ｉ，ｊ）のゲイン補正値を短時間のうちに算出でき、しかもより正確なＨＤＲ信号を得ることができる。

＜第４の実施形態＞
本開示の第４の実施形態は、動被写体を判定するモード１と、色を判定するモード２と、画素エリアを判定するモード３とを備え、ユーザの選択指示に従いこれらのモード１乃至モード３を選択的に動作させるようにしている。

図１１は、本開示の第４の実施形態として、補正ゲイン生成回路２２の合成ゲイン算出処理手順を示すフローチャートである。
まず、補正ゲイン生成回路２２は、高感度の画素信号ＳＰ１Ｈの信号レベルを判定し（ステップＳＴ１１ａ）、高感度の画素信号ＳＰ１Ｈの信号レベルが合成境界内レベル、つまり高感度の画素信号ＳＰ１Ｈの信号レベルが閾値Ｖｔ１以上かつ閾値Ｖｔ２以下であるか否かを判定する（ステップＳＴ１１ｂ）。ここで、合成境界でないと判定された場合に（Ｎｏ）、補正ゲイン生成回路２２は上記ステップＳＴ１１ａ乃至ステップＳＴ１１ｂの処理を繰り返し実行する。

一方、合成境界内レベルと判定した場合に（Ｙｅｓ）、補正ゲイン生成回路２２は各種設定レジスタ２３６の記憶内容を参照してユーザによるモード設定が行われているか否かを判定する（ステップＳＴ１１ｃ）。ここで、例えば時間帯に応じてモードが設定されており、人や自動車の動きが頻繁にある朝夕の通勤時間帯でモード１が設定されている場合に、補正ゲイン生成回路２２は別途提供される動き被写体判定信号に基づいて、被写体の動きを検出し（ステップＳＴ１１ｄ）、動被写体と判定した場合に（ステップＳＴ１１ｇ：Ｎｏ）、上記ステップＳＴ１１ａの処理に移行する。

一方、高感度の画素信号ＳＰ１Ｈ及び低感度の画素信号ＳＰ１Ｌが、露光タイミングが異なり、動被写体でないことを判定した場合に（ステップＳＴ１１ｇ：Ｙｅｓ）、補正ゲイン生成回路２２は高感度の画素信号ＳＰ１Ｈ及び低感度の画素信号ＳＰ１Ｌそれぞれの画素１１０ごとの信号レベルの積算処理を実行する（ステップＳＴ１１ｈ）。そして、補正ゲイン生成回路２２は、１画面分の積算処理が終了したか否かの判断を行う（ステップＳＴ１１ｉ）。ここで、１画面分の積算処理が終了した場合（ステップＳＴ１１ｉ：Ｙｅｓ）、補正ゲイン生成回路２２は第１の積算値及び第２の積算値から高感度の画素信号ＳＰ１Ｈと低感度の画素信号ＳＰ１Ｌとの感度比を合成ゲインＧ１として算出する（ステップＳＴ１１ｊ）。一方、１画面分の積算処理が終了していない場合（ステップＳＴ１１ｉ：Ｎｏ）、補正ゲイン生成回路２２は１画面分の積算処理が終了するまで上記ステップＳＴ１１ａ乃至上記ステップＳＴ１１ｈの処理を繰り返し実行する。

また、上記ステップＳＴ１１ｃにおいて、人や自動車の動きが少ない昼間の時間帯でモード２が設定されている場合に、補正ゲイン生成回路２２は高感度の画素信号ＳＰ１Ｈの積算値近傍のカラー信号と、低感度の画素信号ＳＰ１Ｌの積算値近傍のカラー信号との比率、及び別途提供されるホワイトバランス（ＷＢ）ゲイン情報に基づいて、第１の積算値及び前記第２の積算値それぞれの色を判定し（ステップＳＴ１１ｅ）、白色の範囲と判定した場合に（ステップＳＴ１１ｇ：Ｙｅｓ）、高感度の画素信号ＳＰ１Ｈ及び低感度の画素信号ＳＰ１Ｌそれぞれの画素１１０ごとの信号レベルの積算処理を実行する（ステップＳＴ１１ｈ）。

一方、白色の範囲でない場合、例えば被写体が動いたことにより色が変化した場合に（ステップＳＴ１１ｇ：Ｎｏ）、補正ゲイン生成回路２２は上記ステップＳＴ１１ａの処理に移行する。

さらに、上記ステップＳＴ１１ｃにおいて、夜間の時間帯でモード３が設定されている場合に、補正ゲイン生成回路２２は入力される水平方向及び垂直方向のアドレスに基づいて、画面中央エリア信号であるか否かを判定し（ステップＳＴ１１ｆ）、画面中央エリア信号であると判定した場合に（ステップＳＴ１１ｇ：Ｙｅｓ）、高感度の画素信号ＳＰ１Ｈ及び低感度の画素信号ＳＰ１Ｌそれぞれの画素１１０ごとの信号レベルの積算処理を実行する（ステップＳＴ１１ｈ）。

一方、周辺部のエリア信号であると判定した場合に（ステップＳＴ１１ｇ：Ｎｏ）、補正ゲイン生成回路２２は上記ステップＳＴ１１ａの処理に移行する。なお、上記ステップＳＴ１１ｈにおいて、画像中央部に対する画素１１０ごとの信号レベルの積算処理が終了すると、補正ゲイン生成回路２２は画像中央部のそれぞれの領域について第１の積算値及び第２の積算値から高感度の画素信号ＳＰ１Ｈと低感度の画素信号ＳＰ１Ｌとの感度比を合成ゲインＧ１として算出する（ステップＳＴ１１ｊ）。そして、補正ゲイン生成回路２２は規定するエリア設定を周辺部に変更し、周辺部に対し高感度の画素信号ＳＰ１Ｈ及び低感度の画素信号ＳＰ１Ｌそれぞれの画素１１０ごとの信号レベルの積算処理を実行する（ステップＳＴ１１ｈ）。

なお、上記処理手順では、時間帯に応じてモード１、モード２、モード３を選択する例について説明したが、使用環境に応じてモード１、モード２、モード３を選択するようにしてもよい。さらに、時間帯に応じてモード１とモード３の組み合わせ、モード２とモード３の組み合わせを選択するようにしてもよい。

＜その他の実施形態＞
上記のように、本技術は第１乃至第４の実施形態によって記載したが、この開示の一部をなす論述及び図面は本技術を限定するものであると理解すべきではない。上記の一実施形態が開示する技術内容の趣旨を理解すれば、当業者には様々な代替実施形態、実施例及び運用技術が本技術に含まれ得ることが明らかとなろう。また、第１乃至第４の実施形態がそれぞれ開示する構成を、矛盾の生じない範囲で適宜組み合わせることができる。例えば、複数の異なる実施形態がそれぞれ開示する構成を組み合わせてもよく、同一の実施形態の複数の異なる変形例がそれぞれ開示する構成を組み合わせてもよい。

＜電子機器への応用例＞
上述した撮像装置は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
図１２は、本技術を適用した電子機器としての撮像システムの構成例を示すブロック図である。

図１２に示される撮像システム２２０１は、光学系２２０２、シャッタ装置２２０３、撮像装置としての固体撮像素子２２０４、制御回路２２０５、信号処理回路２２０６、モニタ２２０７、およびメモリ２２０８を備えて構成され、静止画像および動画像を撮像可能である。

光学系２２０２は、１枚または複数枚のレンズを有して構成され、被写体からの光（入射光）を固体撮像素子２２０４に導き、固体撮像素子２２０４の受光面に結像させる。
シャッタ装置２２０３は、光学系２２０２および固体撮像素子２２０４の間に配置され、制御回路２２０５の制御に従って、固体撮像素子２２０４への光照射期間および遮光期間を制御する。

固体撮像素子２２０４は、上述した固体撮像素子を含むパッケージにより構成される。固体撮像素子２２０４は、光学系２２０２およびシャッタ装置２２０３を介して受光面に結像される光に応じて、一定期間、信号電荷を蓄積する。固体撮像素子２２０４に蓄積された信号電荷は、制御回路２２０５から供給される駆動信号（タイミング信号）に従って転送される。

制御回路２２０５は、固体撮像素子２２０４の転送動作、および、シャッタ装置２２０３のシャッタ動作を制御する駆動信号を出力して、固体撮像素子２２０４およびシャッタ装置２２０３を駆動する。

信号処理回路２２０６は、固体撮像素子２２０４から出力された信号電荷に対して各種の信号処理を施す。信号処理回路２２０６が信号処理を施すことにより得られた画像（画像データ）は、モニタ２２０７に供給されて表示されたり、メモリ２２０８に供給されて記憶（記録）されたりする。
このように構成されている撮像システム２２０１においても、上述した固体撮像素子２２０４に代えて、撮像装置１，１Ａを適用することが可能となる。

＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１３に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１３の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図１４は、撮像部１２０３１の設置位置の例を示す図である。
図１４では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１４には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

なお、本開示は以下のような構成も取ることができる。
（１）
第１の感度を有する第１の画素信号と、前記第１の感度よりも低い第２の感度を有する第２の画素信号と、を出力する画素ユニットと、
前記第２の画素信号に対して乗算する合成ゲインを算出する合成ゲイン算出部と、
前記合成ゲインが乗算された前記第２の画素信号と、前記第１の画素信号と、を合成する合成部と、
を備え、
前記合成ゲイン算出部は、前記第１の画素信号が所定の第１の信号レベル以上且つ所定の第２の信号レベル以下であることを判定した場合に、前記合成ゲイン算出用のデータの積算を実行する
撮像装置。
（２）
前記合成ゲイン算出部は、第１の信号レベルから第２の信号レベルの範囲における前記第１の画素信号の信号レベルを積算して第１の積算値を求めるとともに、前記第２の画素信号の信号レベルを積算して第２の積算値を求め、前記第１の積算値及び前記第２の積算値から前記第１の画素信号と前記第２の画素信号との感度比を前記合成ゲインとして算出する、上記（１）に記載の撮像装置。
（３）
前記合成ゲイン算出部は、前記第１の画素信号及び前記第２の画素信号の任意の画像領域に対して前記第１の積算値及び前記第２の積算値を算出する、上記（２）に記載の撮像装置。
（４）
前記合成ゲイン算出部は、前記第１の画素信号の色信号と前記第２の画素信号の色信号との比率、及び別途提供されるホワイトバランスゲイン情報に基づいて、前記第１の積算値及び前記第２の積算値それぞれの色を判定し、指定の色範囲と判定された場合に、前記第１の積算値及び前記第２の積算値を算出する、上記（２）に記載の撮像装置。
（５）
前記合成ゲイン算出部は、前記第１の画素信号及び前記第２の画素信号が、露光タイミングが異なる場合に、被写体の動きを検出し、動被写体と判定した場合に、前記第１の積算値及び前記第２の積算値の積算処理を停止する、上記（２）に記載の撮像装置。
（６）
前記合成ゲイン算出部は、
前記第１の画素信号及び前記第２の画素信号の任意の画像領域に対して前記第１の積算値及び前記第２の積算値を算出する第１のモードと、
前記第１の画素信号の色信号と前記第２の画素信号の色信号との比率、及び別途提供されるホワイトバランスゲイン情報に基づいて、前記第１の積算値及び前記第２の積算値それぞれの色を判定し、指定の色範囲と判定された場合に、前記第１の積算値及び前記第２の積算値を算出する第２のモードと、
前記第１の画素信号及び前記第２の画素信号が、露光タイミングが異なる場合に、被写体の動きを検出し、動被写体と判定した場合に、前記第１の積算値及び前記第２の積算値の積算処理を停止する第３のモードと、
モード指定操作に応じて、前記第１乃至第３のモード、または前記第１乃至第３のモードの任意の組み合わせを選択的に実行させるモード選択制御部と、をさらに備える上記（２）に記載の撮像装置。
（７）
前記合成ゲイン算出部は、現時点の第１の合成ゲインと、前記現時点より新規に算出された第２の合成ゲインとを時間方向に平滑化する処理部を、備える上記（１）に記載の撮像装置。
（８）
前記合成ゲイン算出部は、予め設定された条件に応じて、前記処理部による平滑化時の強度を可変制御する制御部を、備える上記（７）に記載の撮像装置。
（９）
前記制御部は、前記条件の判断に、色温度変化時、環境温度変化時、起動初期値からの前記処理部の平滑化処理の更新回数が所定回数以下の場合のいずれか１つを用い、色温度変化時、環境温度変化時、または前記処理部の平滑化処理の更新回数が所定回数以下の場合に、前記処理部の平滑化強度を弱める、上記（８）に記載の撮像装置。
（１０）
前記制御部は、合成ゲイン算出のために積算されたデータ数が所定数以下の場合に、前記処理部の平滑化処理を停止する、上記（８）に記載の撮像装置。
（１１）
前記制御部は、前記第１の合成ゲインと前記第２の合成ゲインとの差分を求め、差分が第１の設定値以上のずれで前記第１の画素信号及び前記第２の画素信号のｎ（ｎは整数）フレームを超える場合に、前記処理部による平滑動作を開始し、差分が第１の設定値より小さい第２の設定値以下になるまで前記処理部の平滑動作を継続するように前記処理部を制御する、上記（８）に記載の撮像装置。
（１２）
前記合成ゲイン算出部は、動作停止時に算出された合成ゲインを格納する記憶部を備え、電源オン時に前記記憶部に格納された合成ゲインを初期ゲイン値として読み出して前記処理部にセットする、上記（７）に記載の撮像装置。
（１３）
前記合成ゲイン算出部は、
現時点の第１の合成ゲインと、前記現時点より新規に算出された第２の合成ゲインとを時間方向に平滑化する処理部と、
前記合成ゲイン算出部は、動作停止時に算出された合成ゲインを格納するとともに、前記処理部によって更新された平滑化処理の回数を記憶部と、を備え、
電源オン時に前記記憶部に格納された合成ゲインを初期ゲイン値として読み出して前記処理部にセットする、上記（１）に記載の撮像装置。
（１４）
前記画素ユニットは、画素アレイ部に行列状に複数配置されて、画面を構成し、
前記合成ゲイン算出部は、前記画面を分割した複数領域それぞれで前記合成ゲインを算出し、前記複数領域それぞれで算出した合成ゲインを行方向及び列方向に補間して前記画面の全体の複数の画素ユニットそれぞれにおけるゲイン補正値を算出し、前記複数の画素ユニットでそれぞれ算出された合成ゲインを前記ゲイン補正値で補正する、上記（１）に記載の撮像装置。
（１５）
第１の感度を有する第１の画素信号と、前記第１の感度よりも低い第２の感度を有する第２の画素信号と、を出力する画素ユニットと、
前記第２の画素信号に対して乗算する合成ゲインを算出する合成ゲイン算出部と、
前記合成ゲインが乗算された前記第２の画素信号と、前記第１の画素信号と、を合成する合成部と、
を備え、
前記合成ゲイン算出部は、前記第１の画素信号が所定の第１の信号レベル以上且つ所定の第２の信号レベル以下であることを判定した場合に、前記合成ゲイン算出用のデータの積算を実行する、撮像装置を備えた、
電子機器。

１，１Ａ 撮像装置
１１ 画素アレイ部
１１Ａ センサチップ
１２ 垂直駆動部
１３ カラム処理部
１４ 水平駆動部
１５ システム制御部
１６ 信号処理部
１６Ａ 信号処理部
１７ データ格納部
１８ 画素駆動線
１９ 垂直信号線（ＶＳＬ）
２１ ＨＤＲ合成部
２２ 補正ゲイン生成回路
２２Ａ 補正ゲイン生成回路
３１ 電源制御ユニット
３２ フラッシュメモリ
３４ ＩＳＰ部
３５ センサインタフェースユニット
３６ 外部インタフェースユニット
３７ 割り込みコントロール
３８ 外部メモリインタフェースユニット
３９，４０，４１，４２ バス
１１０ 画素
１１１ 第１の光電変換部
１１２ 第１の転送ゲート部
１１３ 第２の光電変換部
１１４ 第２の転送ゲート部
１１５ 第３の転送ゲート部
１１６ 電荷蓄積部
１１７ リセットゲート部
１１８ ＦＤ（フローティングディフュージョン）部
１１９ 増幅トランジスタ
１２０ 選択トランジスタ
１２１ 定電流源
２１１ 第１のブレンド部
２１２ 第１の乗算部
２１３ 第２のブレンド部
２１４ 第２の乗算部
２１５ 第３のブレンド部
２１６ 第３の乗算部
２２１ 第１のセレクタ
２２２ 第２のセレクタ
２２３ 第１の積算部
２２４ 第２の積算部
２２５ 合成ゲイン算出部
２２６ ＩＩＲフィルタ
２２７ 合成ゲインレジスタ
２２８ 動被写体判定部
２２９ 色判定部
２３０ 画素エリア判定部
２３１ 信号レベル判定部
２３２ ＡＮＤ回路
２３３ カウンタ
２３４ フィルタ強度算出部
２３５ 更新判定カウンタ
２３６ 各種設定レジスタ
３４１ 画像処理部
３４２ 各種設定レジスタ
４０２ 画面
５０２ 積算ブロック
２２０１ 撮像システム
２２０２ 光学系
２２０３ シャッタ装置
２２０４ 固体撮像素子
２２０５ 制御回路
２２０６ 信号処理回路
２２０７ モニタ
２２０８ メモリ
１２０００ 車両制御システム
１２００１ 通信ネットワーク
１２０１０ 駆動系制御ユニット
１２０２０ ボディ系制御ユニット
１２０３０ 車外情報検出ユニット
１２０３１ 撮像部
１２０４０ 車内情報検出ユニット
１２０４１ 運転者状態検出部
１２０５０ 統合制御ユニット
１２０５１ マイクロコンピュータ
１２０５２ 音声画像出力部
１２０６１ オーディオスピーカ
１２０６２ 表示部
１２０６３ インストルメントパネル
１２１００ 車両
１２１０１～１２１０５ 撮像部
１２１１１～１２１１４ 撮像範囲

Claims (15)

1. 第１の感度を有する第１の画素信号と、前記第１の感度よりも低い第２の感度を有する第２の画素信号と、を出力する画素ユニットと、
   前記第２の画素信号に対して乗算する合成ゲインを算出する合成ゲイン算出部と、
   前記合成ゲインが乗算された前記第２の画素信号と、前記第１の画素信号と、を合成する合成部と、
   を備え、
   前記合成ゲイン算出部は、前記第１の画素信号が所定の第１の信号レベル以上且つ所定の第２の信号レベル以下であることを判定した場合に、前記合成ゲイン算出用のデータの積算を実行する
   撮像装置。
2. 前記合成ゲイン算出部は、第１の信号レベルから第２の信号レベルの範囲における前記第１の画素信号の信号レベルを積算して第１の積算値を求めるとともに、前記第２の画素信号の信号レベルを積算して第２の積算値を求め、前記第１の積算値及び前記第２の積算値から前記第１の画素信号と前記第２の画素信号との感度比を前記合成ゲインとして算出する、請求項１に記載の撮像装置。
3. 前記合成ゲイン算出部は、前記第１の画素信号及び前記第２の画素信号の任意の画像領域に対して前記第１の積算値及び前記第２の積算値を算出する、請求項２に記載の撮像装置。
4. 前記合成ゲイン算出部は、前記第１の画素信号の色信号と前記第２の画素信号の色信号との比率、及び別途提供されるホワイトバランスゲイン情報に基づいて、前記第１の積算値及び前記第２の積算値それぞれの色を判定し、指定の色範囲と判定された場合に、前記第１の積算値及び前記第２の積算値を算出する、請求項２に記載の撮像装置。
5. 前記合成ゲイン算出部は、前記第１の画素信号及び前記第２の画素信号が、露光タイミングが異なる場合に、被写体の動きを検出し、動被写体と判定した場合に、前記第１の積算値及び前記第２の積算値の積算処理を停止する、請求項２に記載の撮像装置。
6. 前記合成ゲイン算出部は、
   前記第１の画素信号及び前記第２の画素信号の任意の画像領域に対して前記第１の積算値及び前記第２の積算値を算出する第１のモードと、
   前記第１の画素信号の色信号と前記第２の画素信号の色信号との比率、及び別途提供されるホワイトバランスゲイン情報に基づいて、前記第１の積算値及び前記第２の積算値それぞれの色を判定し、指定の色範囲と判定された場合に、前記第１の積算値及び前記第２の積算値を算出する第２のモードと、
   前記第１の画素信号及び前記第２の画素信号が、露光タイミングが異なる場合に、被写体の動きを検出し、動被写体と判定した場合に、前記第１の積算値及び前記第２の積算値の積算処理を停止する第３のモードと、
   モード指定操作に応じて、前記第１乃至第３のモード、または前記第１乃至第３のモードの任意の組み合わせを選択的に実行させるモード選択制御部と、をさらに備える請求項２に記載の撮像装置。
7. 前記合成ゲイン算出部は、現時点の第１の合成ゲインと、前記現時点より新規に算出された第２の合成ゲインとを時間方向に平滑化する処理部を、備える請求項１に記載の撮像装置。
8. 前記合成ゲイン算出部は、予め設定された条件に応じて、前記処理部による平滑化時の強度を可変制御する制御部を、備える請求項７に記載の撮像装置。
9. 前記制御部は、前記条件の判断に、色温度変化時、環境温度変化時、起動初期値からの前記処理部の平滑化処理の更新回数が所定回数以下の場合のいずれか１つを用い、色温度変化時、環境温度変化時、または前記処理部の平滑化処理の更新回数が所定回数以下の場合に、前記処理部の平滑化強度を弱める、請求項８に記載の撮像装置。
10. 前記制御部は、合成ゲイン算出のために積算されたデータ数が所定数以下の場合に、前記処理部の平滑化処理を停止する、請求項８に記載の撮像装置。
11. 前記制御部は、前記第１の合成ゲインと前記第２の合成ゲインとの差分を求め、差分が第１の設定値以上のずれで前記第１の画素信号及び前記第２の画素信号のｎ（ｎは整数）フレームを超える場合に、前記処理部による平滑動作を開始し、差分が第１の設定値より小さい第２の設定値以下になるまで前記処理部の平滑動作を継続するように前記処理部を制御する、請求項８に記載の撮像装置。
12. 前記合成ゲイン算出部は、動作停止時に算出された合成ゲインを格納する記憶部を備え、電源オン時に前記記憶部に格納された合成ゲインを初期ゲイン値として読み出して前記処理部にセットする、請求項７に記載の撮像装置。
13. 前記合成ゲイン算出部は、
    現時点の第１の合成ゲインと、前記現時点より新規に算出された第２の合成ゲインとを時間方向に平滑化する処理部と、
    前記合成ゲイン算出部は、動作停止時に算出された合成ゲインを格納するとともに、前記処理部によって更新された平滑化処理の回数を記憶部と、を備え、
    電源オン時に前記記憶部に格納された合成ゲインを初期ゲイン値として読み出して前記処理部にセットする、請求項１に記載の撮像装置。
14. 前記画素ユニットは、画素アレイ部に行列状に複数配置されて、画面を構成し、
    前記合成ゲイン算出部は、前記画面を分割した複数領域それぞれで前記合成ゲインを算出し、前記複数領域それぞれで算出した合成ゲインを行方向及び列方向に補間して前記画面の全体の複数の画素ユニットそれぞれにおけるゲイン補正値を算出し、前記複数の画素ユニットでそれぞれ算出された合成ゲインを前記ゲイン補正値で補正する、請求項１に記載の撮像装置。
15. 第１の感度を有する第１の画素信号と、前記第１の感度よりも低い第２の感度を有する第２の画素信号と、を出力する画素ユニットと、
    前記第２の画素信号に対して乗算する合成ゲインを算出する合成ゲイン算出部と、
    前記合成ゲインが乗算された前記第２の画素信号と、前記第１の画素信号と、を合成する合成部と、
    を備え、
    前記合成ゲイン算出部は、前記第１の画素信号が所定の第１の信号レベル以上且つ所定の第２の信号レベル以下であることを判定した場合に、前記合成ゲイン算出用のデータの積算を実行する、撮像装置を備えた、
    電子機器。

Images