JP6580111B2 - 撮像素子および撮像装置 - Google Patents

Description

本発明は、露出演算機能を備える撮像素子およびこれを用いた撮像装置に関する。

レンズ交換式のデジタルカメラ等の撮像装置には、撮像画像を逐次に表示させる、いわゆるライブビュー機能を有する装置がある。撮像装置の本体部に動画撮影用の交換レンズを装着して使用する場合、動画像の撮影にて細かな段数で滑らかに絞りを駆動可能である。また、撮像装置の本体部に静止画撮影用の交換レンズを装着して使用する場合、粗い段数で絞りの駆動制御が行われる。この場合、絞り駆動制御の段数が粗いため、駆動制御に要する時間がかかると、露出変化に対して速やかに対応できない可能性がある。撮像素子の電子シャッタとゲインの設定が行われる一方で、絞り制御は別のタイミングで行われる。これはフレーム間の露出差による画像のちらつきが発生する原因となる。特許文献１には、撮像素子が生成する画素信号を増幅し、絞りの開口と増幅率を変化させて画像データの露出量を調整する撮像装置が開示されている。

また、１０００ｆｐｓ（frames per second）といったハイフレームレート動画撮影機能を有するデジタルカメラが存在する。デジタルカメラの高機能化により撮像装置の演算処理部（ＣＰＵ）の負荷率やメモリ帯域の増加に伴って、ＣＰＵによる露出演算処理がフレーム間の時間内で収まらなくなることが懸念される。露出演算処理に時間がかかると露出変化への追従が更に遅れるため、画像のちらつきの原因となる露出状態のフレーム数が増加する可能性がある。特許文献２では、撮像素子においてカラーフィルタの色ごとに画像情報を積算し、積算値をＣＰＵに転送する処理が開示されている。画像データの転送処理にかかる時間を短縮することで、ＣＰＵの露出制御処理を高速化することができる。

特開２０１６−１８４８７４号公報 特開２００９−２９６３５３号公報

特許文献１では、撮像素子から読み出した画像情報から被写体輝度を算出し、算出結果に基づいて絞りの変化に追従してゲインを制御する。しかし、静止画撮影レンズにて絞りが急激に変化する場合には、画像情報の読み出し時間と絞りが変化するタイミングとが合わず、ゲイン制御が追い付かずにちらつきが発生する可能性がある。

特許文献２では、撮像素子の中で撮影した画像情報を積算して外部に出力し、撮像素子とＣＰＵとの間の転送データ量を削減することで露出制御を高速化している。しかし、ＣＰＵが積算値を受け取った後に、プログラム線図に応じて電子シャッタとゲインの演算が必要であり、ハイフレームレート動画のような高速駆動が必要な時には露出演算処理の遅延が懸念される。また、絞りの変化に対応していないため、画像のちらつきが発生し得る。
本発明の目的は、露出制御を行う撮像素子、および当該撮像素子により演算処理部の露出制御処理を軽減可能な撮像装置を提供することである。

本発明の一実施形態の装置は、複数の画素部を有する撮像部により取得された画像信号を出力する撮像素子であって、前記撮像部の出力信号に対するゲインを設定するゲイン部と、前記画素部の蓄積時間を制御する制御部と、目標輝度値および露出の制御情報を受信する受信部と、前記画素部から読み出される画像信号により輝度値を検出し、前記受信部で受信した前記目標輝度値および前記露出の制御情報に基づいて前記ゲインおよび前記蓄積時間を算出し、前記ゲイン部および前記制御部により前記撮像部の露出制御を行う演算部と、を備える。

本発明によれば、露出制御を行う撮像素子により演算処理部の露出制御処理を軽減することができる。

本発明の実施形態における撮像素子の概略構造図である。 本発明の実施形態における撮像素子の構成を模式的に示す図である。 本発明の実施形態における撮像素子の断面図である。 本発明の実施形態における撮像システムの概要を示すブロック図である。 本発明の第１実施形態の処理を説明するタイミング図である。 本発明の第１実施形態におけるフローチャートである。 本発明の第２実施形態におけるフローチャートである。 比較例の処理を説明するタイミング図である。 本発明の第４実施形態におけるフローチャートである。 本発明の第４実施形態の処理を説明するタイミング図である。 撮像システムの処理を説明するフローチャートである。

以下に本発明の実施形態として、高機能化に伴う撮像装置の演算処理部の処理負荷量やメモリ帯域の増加に対応可能な撮像素子および撮像装置を詳細に説明する。撮像素子における画素数の増加等による処理負荷量やメモリ帯域の増加により、露出演算処理に時間がかかると露出変化への追従が更に遅れるため、画像のちらつきの原因となる。各実施形態では演算処理部の露出制御処理を軽減し、ちらつきの原因となり得る絞り制御による露出の変化を抑えることが可能である。

[第１実施形態]
図１は、本実施形態における撮像素子の構成例を示す概略ブロック図である。撮像素子は多数の画素部１０１を２次元アレイ状に配置した構成を有する。例えば、積層型構成の撮像素子５０６は、第１のチップ（撮像層）１０と第２のチップ（回路層）１１を有する。撮像信号処理回路５０７は撮像素子５０６の出力信号を処理する。全体制御演算部５０９は、撮像素子５０６および撮像装置内のその他の構成部を制御する中枢部である。本実施形態において、撮像信号処理回路５０７と全体制御演算部５０９は、別の構成としているがこれに限られるものではなく、ＣＰＵを含む同じ回路上で構成してもよい。

各画素部１０１に対して、垂直出力線１０２、転送信号線１０３、リセット信号線１０４、行選択信号線１０５がそれぞれ接続されている。ゲインアンプ１１０は画素部１０１に接続され、後述の素子内演算部１１８からの利得制御信号（Ｓｇと記す）によってゲイン設定が可能である。カラムＡＤＣブロック１１１は、画素部１０１に接続された垂直出力線１０２からゲインアンプ１１０を介して出力される信号に対し、Ａ（アナログ）／Ｄ（デジタル）変換した信号を出力する。行走査回路１１２は転送信号線１０３、リセット信号線１０４、行選択信号線１０５により画素部１０１に接続される。複数の列走査回路１１３は、水平信号線１１５−ａ，１１５−ｂにより、複数のカラムＡＤＣブロック１１１に接続される。タイミング制御回路１１４は、カラムＡＤＣブロック１１１、列走査回路１１３にそれぞれタイミング制御信号を出力して制御を行う。なお、本実施形態においてゲインアンプ１１０は各画素部１０１からの画像信号を増幅するゲイン部に相当するが、画像信号の増幅手段としてはこれに限られるものではない。例えば、カラムＡＤＣブロック１１１においてデジタル変換に用いる際の変換ゲインによって信号増幅を行ってもよいし、デジタル変換した後に不図示のデジタルゲイン回路にて信号増幅を行ってもよい。

切り替え部１１６は、水平信号線１１５−ａと１１５−ｂによる各信号を切り替えて、フレームメモリ１１７と素子内演算部１１８に出力する。パラレル・シリアル変換部（以下、Ｐ/Ｓ変換部と表記する）１１９は素子内演算部１１８の出力を取得し、パラレル・シリアル変換を行う。Ｐ/Ｓ変換部１１９は変換した信号を撮像信号処理回路５０７に出力する。

撮像素子５０６は、第２のチップ１１上に第１のチップ１０が積層された構造である。第１のチップ１０は、マトリックス状に配列された複数の画素部１０１を有し、光の入射側に配置される。つまり、第１のチップ１０は被写体からの光を受光する入射側に位置している。各画素部１０１は水平方向（行方向）において転送信号線１０３、リセット信号線１０４、および行選択信号線１０５に接続され、垂直方向（列方向）において垂直出力線１０２に接続される。なお、垂直出力線１０２は各々、読み出し行単位に応じて接続先が異なる。

第２のチップ１１には、ゲインアンプ１１０、カラムＡＤＣブロック１１１、行走査回路１１２、列走査回路１１３、タイミング制御回路１１４等の画素駆動回路と、フレームメモリ１１７、素子内演算部１１８、Ｐ/Ｓ変換部１１９が形成されている。

このように撮像素子５０６は、第１のチップ１０において画素部１０１が形成され、第２のチップ１１において画素駆動回路やメモリ回路や演算回路等が形成されている。撮像素子５０６の撮像層と回路層とで製造プロセスを分けることができるので、回路層における配線の細線化、高密度化による高速化、小型化、および高機能化を図ることができる。なお、第２のチップ１１の一部の回路を第１のチップに設けるようにしてもよい。

切り替え部１１６は、チャンネルごとの水平信号線１１５−ａと１１５−ｂから出力される画像信号を、順次にフレームメモリ１１７へ選択的に出力する。フレームメモリ１１７は、出力された画像信号を一時的に記憶する。素子内演算部１１８は、撮像素子５０６内での露出制御の演算等を行うが、その詳細は後述する。Ｐ/Ｓ変換部１１９は、素子内演算部１１８で処理された画像情報に対し、タイミング制御回路１１４によるタイミング制御信号に合わせて変換を行い、撮像素子５０６の外部の撮像信号処理回路５０７へ出力する。露光制御部１２０は、素子内演算部１１８の制御指令にしたがって画素部１０１の露光制御を行う。

図２は、本実施形態の撮像素子５０６の外形構成を模式的に示す図である。図２（Ａ）は撮像素子５０６を光の入射側の斜め上方から見た場合の斜視図である。図２（Ｂ）は撮像素子５０６の概略断面図である。第１のチップ１０と第２のチップ１１はそれぞれ、複数のマイクロパッド３０２を有しており、複数のマイクロバンプ３０１を介して電気的に接続することで一体化される。

図３は、撮像素子５０６の断面構造の詳細を示す図である。図３では、下側に第１のチップ１０を示し、上側に第２のチップ１１を示す。つまり、撮像層４０１が第１のチップ１０に該当し、回路層４０２が第２のチップ１１に該当する。

撮像層４０１は、Ｓｉ（シリコン）基板４０３に配線層４０４が形成された構成を有する。Ｓｉ基板４０３には、フォトダイオード（以下、ＰＤと表記する）２０２としてのｎ拡散領域４０７が形成され、裏面照射型の構造をとっている。ＰＤ２０２の表面部、つまり配線層４０４との境界部にはｐ^＋拡散領域４０８が形成されている。Ｓｉ基板４０３の表面部には、フローティングディフュージョン（ＦＤ）のｎ^＋拡散領域４０９と、スイッチ用トランジスタのｎ^＋拡散領域４１０とが複数形成されている。

配線層４０４には、ＳｉＯ_２（二酸化珪素）等の絶縁層内に、各トランジスタのゲート配線４１１と、信号伝搬用配線４１２が形成されている。配線層４０４の表面部には、Ｃｕ等により形成されるマイクロパッド４１３が形成されている。ｎ^＋拡散領域４０９、ｎ^＋拡散領域４１０とトランジスタのゲート配線４１１から転送トランジスタ、リセットトランジスタ、増幅トランジスタ、選択トランジスタが構成される。配線層４０４には、ｎ^＋拡散領域４１０をマイクロパッド４１３と接続するためのビア（ＶＩＡ）４１４が形成されている。

回路層４０２は、Ｓｉ基板４０５に配線層４０６が形成された構成を有する。Ｓｉ基板４０５には、その表面部にトランジスタの拡散領域４１６が複数形成されている。配線層４０６には、ＳｉＯ_２等の絶縁層内に、各トランジスタのゲート配線４１７、信号伝搬用配線４１８が形成されている。配線層４０６の表面部にはＣｕ等により形成されるマイクロパッド４１９が形成されている。マイクロパッド４１９はマイクロバンプ４１５でマイクロパッド４１３と接続される。配線層４０６には、拡散領域４１６等をマイクロパッド４１９と接続するためのビア４２０が形成されている。トランジスタ拡散領域４１６やトランジスタのゲート配線４１７、信号伝搬用配線４１８等から各種の回路が構成される。それらの詳細については本発明にかかわる本質的な事項ではないため、説明を省略する。図３では、撮像層４０１と回路層４０２との接続を、積層接続端子としてのマイクロバンプ４１５を用いて行う構成例を示したが、マイクロバンプを用いることなく撮像層４０１と回路層４０２を直接に接続する実施形態も可能である。

次に図４を参照して、本実施形態の撮像システムを説明する。本実施形態の撮像システムは、一例として動画像又は静止画像を取得するデジタルカメラであるが、これに限られるものではない。例えば監視カメラやスマートフォン等の携帯機器や車載カメラ等の移動体にも適用可能である。図４は、撮像素子５０６を用いた撮像装置の概要を示すブロック図である。レンズ部５０１は、撮像光学系を構成する複数のレンズを備える。レンズ部５０１はカメラ本体部に装着可能な交換レンズ、またカメラ本体部に一体化されたレンズユニットである。レンズ駆動部５０２は、撮像光学系を構成する可動レンズ（ズームレンズ、フォーカスレンズ等）を駆動する。メカニカルシャッタ（図にはメカシャッタと表記する）５０３は露光時間の制御に用いられ、絞り５０４は露光量の制御に用いられる。メカニカルシャッタ・絞り駆動部（図にはシャッタ・絞り駆動部と表記する）５０５は、メカニカルシャッタ５０３および絞り５０４を駆動する。なお、露光量を制御するための手段としてＮＤフィルタ等の光学フィルタを設けるようにしてもよい。

撮像素子５０６は、撮像光学系を通して結像される被写体からの光を受光して光電変換を行い、電気信号を出力する。撮像信号処理回路５０７は撮像素子５０６の出力信号を処理し、処理後の画像信号を出力する。第１のメモリ部（図にはメモリ部Ｉと表記する）５０８は、撮像信号処理回路５０７が処理した画像信号等を記憶する。

全体制御演算部５０９は撮像システム全体の制御を司る中枢部であり、ＣＰＵ（中央演算処理部）を備える。ＣＰＵは第２のメモリ部（図にはメモリ部ＩＩと表記する）５１４から読み出したプログラムを実行することにより、各部の動作を制御する。第２のメモリ部５１４はＣＰＵの演算結果やユーザ操作によって撮像装置に設定されたカメラ情報等を記憶する。記録媒体制御インターフェース（Ｉ/Ｆ）部５１０は、全体制御演算部５０９の制御指令にしたがって、画像信号等を記録媒体５１２に記録し、また記録媒体５１２から情報を読み出す処理を行う。記録媒体５１２は撮像装置の本体部に着脱可能である。表示部５１１は液晶表示パネル等の表示デバイスを備え、全体制御演算部５０９の制御指令にしたがって画像データ等を画面に表示する。外部インターフェース（Ｉ/Ｆ）部５１３は、コンピュータ等の外部装置との間で情報を送受し合う通信処理部である。操作部５１５はスイッチやタッチパネル等の入力デバイスを備え、ユーザの操作指示を受け付けて操作指示信号を全体制御演算部５０９に出力する。また、全体制御演算部５０９は撮像素子５０６に対して、図１で示した撮像素子５０６の各構成要素を制御するための制御信号を出力して制御を行う。制御信号には、撮像同期信号、駆動モード設定、露出設定情報等が含まれる。

レンズ部５０１を通った被写体からの光は絞り５０４にて適切な光量に調整され、撮像素子５０６の撮像面上に結像される。撮像素子５０６の画素部１０１を構成する光電変換部は被写体の光学像に対して光電変換を行い、電気信号を出力する。電気信号はさらにゲイン制御が行われ、Ａ／Ｄ変換によってアナログ信号からデジタル信号へ変換された上でＲ、Ｇｒ、Ｇｂ、Ｂの信号として取り込まれ、撮像信号処理回路５０７に送られる。撮像信号処理回路５０７は、ノイズを低減するローパスフィルタ処理やシェーディング補正処理、ホワイトバランス処理等の各種の信号処理を行い、さらに各種の補正および画像信号の圧縮等を行う。

撮影中のレンズ部５０１は、レンズ駆動部５０２によってズーム駆動およびフォーカス駆動等の制御が行われる。メカニカルシャッタ５０３と絞り５０４はそれぞれ、全体制御演算部５０９に制御指令にしたがってメカニカルシャッタ・絞り駆動部５０５により駆動される。第１のメモリ部５０８は撮像後の画像信号を一時的に記憶する。記録媒体制御Ｉ／Ｆ部５１０は、記録媒体５１２に画像信号を記録する処理を行う。表示部５１１は撮像された画像を画面に表示する。

ここで、図８の比較例を参照して、絞り駆動と露出制御による、ちらつきの発生について説明する。図８は比較例の露出制御の仕組みを表したタイミングチャートである。撮像同期信号９０１は、撮像素子５０６における蓄積や読み出し等の設定のタイミングと、撮像素子５０６から転送される画像情報の撮像信号処理回路５０７への取り込みタイミングを制御するために使用される。撮像素子５０６の蓄積と読み出しのタイミング９０２、９０３、９０４を例示し、それらの設定のタイミング９０５、９０６、９０７をセンサ設定にそれぞれ示す。

ゲインは、撮像素子５０６にて各フレームで設定されるゲインを表す。ゲイン設定については素子内演算部１１８の利得制御信号によってゲインアンプ１１０に対して行われる。ゲイン９０８は「ｘ１」、ゲイン９０９は「ｘ２」、ゲイン９１０は「ｘ４」である。ｘ２はｘ１に対して１段分ゲインが高いことを示している。蓄積時間９１１は撮像素子５０６にて各フレームで設定され、ここでは蓄積時間を「固定」とする。その下にフレーム番号を示す。センサ内処理には、撮像素子５０６内の処理において、全体制御演算部５０９からの情報を受信するタイミング９１２、９１３、９１４を示す。エンジン内処理には、全体制御演算部５０９内の処理のうち、露出演算処理のタイミング９１５、９１６、９１７を示す。ここでは、２フレームに１回の割合で全体制御演算部５０９が露出演算処理を行うものとし、演算結果を撮像素子５０６が次のフレームで受け取れることを示す。絞り制御では、撮像装置に装着されているレンズ装置の絞り制御の変化９１８をグラフ線で表している。１フレームごとに１段で、２フレームかけて絞りを２段分絞る駆動が行われることを示す。露出には、「適」を適正露出状態とし、「−１」を１段分の露出アンダー状態とし、「−２」を２段分の露出アンダー状態として、露出状態の変化を例示する。期間９１９は、「適」から「−１」、さらに「−２」へと露出状態が変化した後、「−１」へ変化した場合の期間を示している。

次に制御の流れについて説明する。全体制御演算部５０９は、露出設定、プログラムモード、測光モード、被写体の状態等から目標輝度値を決定し、第２のメモリ部５１４に保持する。また、直前に撮像素子５０６から読み出された画像情報に基づいて被写体輝度値が算出される。全体制御演算部５０９は露出演算をタイミング９１５で行い、設定する蓄積時間９１１とゲイン９０８を決定して設定用データを撮像素子５０６に転送する。撮像素子５０６は１フレーム分の時間だけ遅れたタイミング９１２で受け取った情報を、センサ設定のタイミング９０５で設定する。これより、次のフレームの蓄積時間と読み出し（９０２）に反映される。読み出された画像情報はフレーム番号３の画像情報として撮像信号処理回路５０７に転送される。このように露出演算から画像情報の読み出しまでは少なくとも数フレームに相当する遅延時間が発生する。絞り制御では当該制御により露出が変化した後の画像情報を使って全体制御演算部５０９が露出演算を行うことになる。絞り制御の変化に追従するように撮像素子５０６の設定が行われるため、追従を終えて露出状態が安定するまでに時間がかかる。静止画用撮影レンズのように絞り５０４が短時間で大きく動く場合、例えば図８の期間９１９において露出状態が急変すると、画像にちらつきが発生する可能性がある。特に読み出される画素数が増加する中で全体制御演算部５０９が行う演算処理負荷は増加しており、露出演算結果を撮像素子の制御に反映させるまでにタイムラグが発生してしまう。さらに、フレームレートも同様に増加した場合に、演算処理を同一時間内で処理した場合であったとしても、フレーム単位で考えた場合には遅延フレーム数は増加することとなる。したがって、高フレームレートで取得した動画像をスロー再生する場合等において、露出の追従が間に合わない期間が顕著に増加してしまうこととなる。

図５および図６を参照して、本実施形態における、絞り制御による露出変化を抑える制御について説明する。図５は本実施形態における露出制御の仕組みを表したタイミングチャートである。図６は本実施形態の撮像システムの処理を説明するフローチャートである。

図５は、撮像素子５０６に対する撮像同期信号２０１、蓄積と読み出しのタイミング２０２〜２０４、設定タイミング２０５〜２０７、ゲイン制御のタイミング２０８〜２１０を示す。さらに蓄積時間の設定２１１、フレーム番号、絞り制御の変化２１７を示すが、図８と同様であるため、詳細な説明は省略する。図８との相違点は、撮像素子内で実行されるセンサ内処理である。センサ内処理には、露出演算のタイミング２１２、２１３、２１４、および情報の受信タイミング２１５、２１６を示す。センサ内処理では、毎フレームの露出演算が行われる。すなわちセンサ内処理は、全体制御演算部５０９のように、他の処理を実行することによるＣＰＵの負荷率やメモリ帯域等の影響を受けない。撮像素子５０６はタイミング２１５で、撮像システムに係るカメラ設定情報と目標輝度値を全体制御演算部５０９から受信する。そして撮像素子５０６はタイミング２１６で、メカニカルシャッタ・絞り駆動部５０５が使用する絞り制御情報を全体制御演算部５０９から受信する。

図６において撮像システムが起動すると、Ｓ６０１で全体制御演算部５０９は、撮像システムに係るカメラ設定情報と目標輝度値を撮像素子５０６に送信する。カメラ設定情報は、例えば露出設定情報、駆動モード、プログラムモードや測光モード等のモード情報、被写体情報等である。撮像素子５０６の受信タイミングを、図５のタイミング２１５に示す。カメラ設定情報や目標輝度値は、撮像システムに対してユーザ操作による設定の変更があった場合にその都度撮像素子５０６に送信されるものとするが、一定期間ごとに送信するようにしてもよい。

Ｓ６０２で全体制御演算部５０９はフレーム番号（Ｎと表記する）を初期化する。図５の例ではフレーム番号Ｎの値がゼロに初期化される。フレーム番号Ｎは、全体制御演算部５０９と撮像素子５０６との間で同期を取るために使用する情報である。初期化のタイミングは撮像システムの起動時点の一回だけでもよく、またカメラ設定情報や目標輝度値に変化があった時点でも構わない。

Ｓ６０３では、絞り制御情報の転送処理が行われる。絞り制御情報は、どのフレームの区間でどれだけの段数で絞りを制御するかを示す情報である。絞り５０４を制御する場合に全体制御演算部５０９は、レンズ駆動部５０２が使用する絞り制御情報を撮像素子５０６に転送する。撮像素子５０６の受信タイミングを、図５のタイミング２１６に示す。絞り制御情報としては、図５の例では、フレーム番号Ｎ＝４とＮ＝５で現在の絞り値から１段ずつ絞る制御（２１７）の情報が撮像素子５０６へ転送される。なお、絞り制御情報にてフレーム番号を指定する代わりに、所定の基準タイミングからの相対時間を指定する絞り制御情報を用いる方法でもよい。この場合、相対時間情報から撮像素子内でフレーム番号に変換する処理が行われる。また、絞り制御情報にはタイミングに関する情報を省略してもよい。この場合には、所定の遅延（フレーム後等）に制御が時限的に開始するようにする。

Ｓ６０４は最終フレームかどうかの判定処理であり、全体制御演算部５０９は撮像処理を終了するか否かを判定する。撮像処理の終了が行われるのは、ユーザにより操作部５１５を通じて明示的に撮像システムの電源がオフされる場合や、撮影停止の場合、メニュー操作による一時的な中断処理の場合等がある。最終フレームであると判定された場合、処理を終了し、最終フレームでないと判定された場合にはＳ６０５の処理に進む。これ以降のＳ６０５〜Ｓ６１０の各ステップに示す処理は、撮像素子５０６中の制御によるものである。カメラ設定情報の変化や目標輝度値の変化があった場合以外には、全体制御演算部５０９から毎フレームで撮像素子５０６にカメラ設定情報が転送されることはない。これにより全体制御演算部５０９と撮像素子５０６との間で行われる通信の量を削減できる。

Ｓ６０５で撮像素子５０６は、全体制御演算部５０９から受信した絞り制御情報に基づき、現在のフレームにて絞り動作を行うタイミングであるか否かを判定する。絞り動作のタイミングであると判定された場合、Ｓ６０６の処理へ進み、当該タイミングでないと判定された場合にはＳ６０７に移行する。

Ｓ６０６で撮像素子５０６の素子内演算部１１８は、絞り制御情報に基づいて絞りの動作による輝度変化量を求める。Ｓ６０７で素子内演算部１１８は、輝度変化量に応じた露出演算を行い、蓄積時間とゲインを決定する（図５のタイミング２１２）。輝度変化量がゼロである場合には前フレームでの設定が引き継がれる。Ｓ６０８では、Ｓ６０７で求めた蓄積時間とゲインがフレーム番号１の区間で設定される（図５のタイミング２０５参照）。素子内演算部１１８は露光制御部１２０により画像部１０１の蓄積時間を設定することで露光制御を行い、利得制御信号Ｓｇによってゲインアンプ１１０のゲイン値を設定する。ゲイン部を構成するゲインアンプ１１０は、ゲイン値の設定が可能な可変ゲインアンプである。Ｓ６０９で撮像素子５０６の撮像動作が行われる。例えば、フレーム番号２から３の区間にラインごとに蓄積処理と読み出し処理が逐次に実行されて、フレーム番号３で画像情報がフレームメモリ１１７に転送される（図５のタイミング２０２）。

Ｓ６１０で撮像素子５０６の素子内演算部１１８は、フレームメモリ１１７の画像情報から被写体の輝度値を算出して第２のメモリ部５１４に記憶させ、画像情報を撮像素子外部の画像処理部へ転送する。Ｓ６１１で全体制御演算部５０９は、フレーム番号Ｎのインクリメント処理を実行する。フレーム番号Ｎの値に１が加算され、Ｓ６０４に戻って処理を続行し、撮像動作の終了まで前記処理が繰り返される。なお、図５のタイミング２１３、２０６、２０３の関係および２１４、２０７、２０４の関係は、タイミング２１２、２０５，２０２の関係と同様である。図５の絞り制御の変化２１７に示すように、２段階の絞り動作が行われるが、露出状態は図８とは異なり、常に適正露出状態が維持される。

ＣＰＵの負荷やメモリ帯域の増加に加え、ハイフレームレート（ＨＦＲ）動画等の処理のような時間的に処理が厳しい駆動モードでは、露出演算処理がフレーム間の時間内に間に合わなくなることが懸念される。このような場合に本実施形態によれば、全体制御演算部５０９でのフレームごとの露出制御が可能となる。また、絞り制御情報を全体制御演算部５０９から撮像素子５０６に転送することで、予め絞り制御のタイミングを撮像素子５０６が把握できるようになる。よって、撮像素子５０６が絞り動作に応じた露出制御を行うことで、絞り動作に伴う画像のちらつきを抑えることができる。また、レンズ交換式の撮像システムの場合、カメラ本体部に装着されたレンズ装置の絞りの特性に応じた露出制御が可能となる。

本実施形態では、撮像素子５０６が全体制御演算部５０９から絞り制御情報を受信して次のフレームで設定に反映する処理例を説明した。これに限らず、撮像素子５０６に送信する絞り制御情報に露出追従速度を含める構成でもよい。露出追従速度は、絞り制御情報の受信時からどの程度の速度で露出演算を追従させるかを決定するための情報である。この場合、撮像素子５０６が受信した露出追従速度に応じて、図５のタイミング２１２ではなく、例えばタイミング２１３や２１４での露出演算にて情報を反映させることで露出追従速度を調整可能である。また本実施形態では、絞り制御中でも新たな目標輝度値の設定が可能であり、素子内演算部１１８は受信した新たな目標輝度値に基づいて露出演算を行う。これに限らず、絞り制御中には撮像素子５０６が新たな目標輝度値を受け付けない構成でも構わない。つまり、素子内演算部１１８は撮像部の露出演算および制御を行っている場合に新たな目標輝度値を受け付けない。
本実施形態によれば、撮像装置における演算処理部の露出制御にかかる処理負荷を軽減し、画像のちらつきの原因となり得る絞り制御による露出の変化を抑制できる。なお、図５で示した動作と図８で示した動作を、全体制御演算部５０９からの駆動モードの制御に応じて適宜切り替えるようにしてもよい。なお、カメラ設定情報や目標輝度値の他に所定の情報を撮像素子５０６に設定する構成としてもよい。例えば、追従可能範囲（最大ゲインや最小シャッタスピード等）等を設定することで適切に露出制御を行うことが可能となる。

[第２実施形態]
次に、本発明の第２実施形態を説明する。第１実施形態では、撮像素子５０６が露出演算機能を有する構成について説明したが、本実施形態では撮像システムの演算処理部による露出演算機能と、撮像素子５０６の露出演算機能とを切り替える処理を説明する。なお、第１実施形態と同様の事項については説明を省略し、主に相違点を説明する。このような説明の省略の仕方は後述の実施形態でも同じである。

図７のフローチャートを参照して、本実施形態における撮像システムの処理を説明する。撮像システムが起動すると、Ｓ７０１で全体制御演算部５０９は撮像システムが有するカメラ設定情報を取得する。カメラ設定情報は、静止画／動画といった駆動モード（４Ｋ/ＦullＨＤ/ＨＤ/ＨＦＲ）、露出設定、プログラムモード、測光モード、被写体情報等を含む。また各種設定の組み合わせに応じた、ＣＰＵの負荷情報が第２のメモリ部５１４に保持されており、当該負荷情報が取得される。

Ｓ７０２で全体制御演算部５０９は、より精度の高い露出演算が必要であるか否かを判定する。例えば、測光モードの設定情報や、被写体の顔または特定の器官（目等）の情報に応じて撮像素子５０６内の一部の測光演算が必要な場合を想定する。この場合、撮像素子５０６だけでは処理できないか、または、必要な精度で露出演算処理を実行できない可能性がある。全体制御演算部５０９は、より精度の高い演算が必要であると判定した場合には、Ｓ７０５の処理を実行し、より精度の高い演算が必要でないと判定した場合にはＳ７０３の処理に進む。

Ｓ７０３で全体制御演算部５０９は、露出演算時間に余裕があるかどうかを判断する。時間的な余裕度の判断処理は、単位時間当たりの処理負荷量に基づいて行われ、具体的には、フレーム内の画素数、各信号に対して行う画像処理の数が判断される。全体制御演算部５０９は、例えば次回のフレームでの処理負荷量を、設定パラメータ（駆動モードやデータの処理の内容）に基づいて判断する。データの処理の内容は、データを表示用に出力するのか、または表示だけでなく記録用にも出力するのかといった、処理の目的も含まれる。取得した駆動モードやＣＰＵの負荷情報等から、露出演算処理をフレームごとに実行できる状態であるか否かが判定される。演算処理に余裕がない場合の一例として、例えば全体制御演算部５０９が被写体検出を行い、その検出結果を用いて単位時間内には完了しないような負荷量の演算処理が必要な場合が挙げられる。Ｓ７０３にて、露出演算処理をフレームごとに実行できると判断された場合、Ｓ７０５へ移行する。一方、処理状況が厳しく、露出演算処理をフレームごとに実行できないと判断された場合にはＳ７０４の処理に進む。

Ｓ７０４で全体制御演算部５０９は、撮像素子５０６での露出制御モードを設定し、撮像素子５０６にカメラ設定情報を通知する。一方、Ｓ７０５にて全体制御演算部５０９は、全体制御演算部５０９での露出制御モードを設定する。当該モードでは、露光時間とゲイン設定情報が全体制御演算部５０９から撮像素子５０６に送信される。Ｓ７０４またはＳ７０５の処理後、Ｓ７０６の処理に進む。Ｓ７０６で全体制御演算部５０９は、Ｓ７０４またはＳ７０５で設定した露出制御モードでの撮影動作を開始し、フレームごとに処理を繰り返す。

Ｓ７０７で全体制御演算部５０９は、撮像システム（レンズ部およびカメラ本体部）の状態が変化したか否かを判定する。撮像システムの状態変化があったと判定された場合、Ｓ７０１に戻って、カメラ設定情報の再取得が行われ、前記処理を続行する。またＳ７０７で撮像システムの状態変化がないと判定された場合、Ｓ７０８に進む。Ｓ７０８で全体制御演算部５０９は撮像処理を終了するか否かを判定する。撮像処理を終了することが判定された場合、一連の処理を終了する。撮像処理を続行する場合には、Ｓ７０６に戻って撮影処理を繰り返す。

本実施形態では、カメラ設定情報を取得して駆動モードやＣＰＵの負荷状態に応じて、２種類の露出制御が適宜に切り替えられる。例えば、全体制御演算部５０９の処理負荷量が閾値以上である場合に撮像素子内で行う第１の露出制御へ切り替わり、処理負荷量が閾値未満である場合に全体制御演算部５０９が行う第２の露出制御へ切り替わる。必要に応じて第２の露出制御へ切り替えて、より精度の高い露出制御を行うことが可能となる。また、処理負荷量が大きい場合には第１の露出制御への切り替えによって全体制御演算部５０９の処理負担を軽減できる。なお、２つの露出制御モードは例示であって、第１および第２の露出制御を切り替える構成に限定されない。より複雑な機能での処理を実現するために２つの露出制御を併用する構成でも構わない。例えば、図７のＳ７０５にて撮像素子内で行われる演算に基づく第１の露出制御、および全体制御演算部５０９が行う第２の露出制御を併用した処理が実行される。あるいは追加の判定条件に基づく判定結果により、第３の露出制御として、第１および第２の露出制御を併用した制御が実行される。なお、全体制御演算部５０９は撮像素子５０６から所定の情報を取得可能な構成としてもよい。例えば、素子内演算部１１８による演算結果や、ゲインや電子シャッタスピードの設定値を取得してもよい。さらに、撮像素子５０６で追従可能な露出限界に到達している等の状態を示す情報を取得可能としてもよい。

[第３実施形態]
次に、本発明の第３実施形態を説明する。第１実施形態では、撮像素子５０６が露出演算機能を有する構成において、ゲイン乗算処理を画面内で一律に行う例を説明した。本実施形態では、撮影画面内の領域において異なるゲイン値で乗算処理を行う。具体的には、素子内演算部１１８がゲインアンプ１１０を制御し、画面の上下方向で異なるゲインをかける例について説明する。

図５を参照して、本実施形態における露出制御を説明する。動画撮影ではスリットローリング読み出しが行われるため、撮影画面の上下で蓄積のタイミングが異なる。図５において、絞りの変化が始まるフレーム番号４のゲイン設定は、フレーム番号２のセンサ設定に対応するタイミング２０９で行われる。ゲイン値が「ｘ２」で画面一律に設定される例を示している。本実施形態では、画面上下でのゲイン値を変えるために、撮像素子５０６は水平ラインごとにゲイン設定を変更する。図５の例ではゲイン値が「ｘ１」〜「ｘ２」の間で変化するため、画面の最上位ラインに対して「ｘ１」が設定され、画面の最下位ラインに対して「ｘ２」が設定される。最上位ラインと最下位ラインの間に位置するラインに対しては、「ｘ１」と「ｘ２」との間のゲイン値、例えば１倍より大きく２倍未満のゲイン値が均等に配分されるように設定が行われる。同様に次のフレームのゲイン設定では、最上位ラインから最下位ラインにかけて「ｘ２」と「ｘ３」との間のゲイン値、例えば２倍以上で３倍以下のゲイン値が均等に配分されるように設定が行われる。更にその次のフレームのゲイン設定では、最上位ラインから最下位ラインにかけて「ｘ３」と「ｘ４」との間のゲイン値が均等に配分されるように設定が行われる。

本実施形態では、絞り動作中に蓄積されるフレーム画像において、画面上下方向の露出状態が不均一になることを回避可能である。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

[第４実施形態]
次に、本発明の第４実施形態を説明する。第２実施形態で撮像システムの演算処理部による露出演算機能と、撮像素子５０６の露出演算機能とを切り替える処理について説明した。これに対して、本実施形態では撮像システムの演算処理部による露出演算機能と、撮像素子５０６の露出演算機能とを併用する処理を説明する。

図９のフローチャートを参照して、本実施形態における撮像システムの処理を説明する。撮像システムが起動すると、Ｓ１１０１で全体制御演算部５０９は、撮像システムが有するカメラ設定情報を取得する。なお、カメラ設定情報は、静止画／動画といった駆動モード（４Ｋ/ＦullＨＤ/ＨＤ/ＨＦＲ）、露出設定、プログラムモード、測光モード、被写体情報等を含む。

Ｓ１１０２で全体制御演算部５０９は、より精度の高い露出演算が必要であるか否かを判定する。例えば、測光モードの設定情報や、被写体の顔または特定の器官（目等）の情報に応じて撮像素子５０６内の一部の測光演算が必要な場合を想定する。この場合、撮像素子５０６だけでは処理できないか、または、必要な精度で露出演算処理を実行できない可能性がある。全体制御演算部５０９は、より精度の高い演算が必要であると判定した場合には、Ｓ１１０４の処理を実行し、全体制御演算部５０９と撮像素子５０６を併用した露出制御モードに移行する。また、より精度の高い演算が必要でないと判定した場合にはＳ１１０３の処理を実行し、撮像素子５０６での露出制御モードに移行する。Ｓ１１０３およびＳ１１０４で全体制御演算部５０９は、撮像素子５０６にカメラ設定情報を通知する。より高い精度が必要な演算処理の一例として、例えば全体制御演算部５０９が被写体検出を行い、その検出結果を用いて演算処理する場合がある。

Ｓ１１０５で全体制御演算部５０９は、Ｓ１１０３またはＳ１１０４で設定した露出制御モードでの撮影動作を開始し、フレームごとに処理を繰り返す。Ｓ１１０６で全体制御演算部５０９は、撮像システム（レンズ部およびカメラ本体部）の状態が変化したか否かを判定する。撮像システムの状態変化があったと判定された場合、Ｓ１１０１に戻って、カメラ設定情報の再取得が行われ、前記処理を続行する。また、Ｓ１１０６で撮像システムの状態変化がないと判定された場合、Ｓ１１０７に進む。Ｓ１１０７で全体制御演算部５０９は、撮像処理を終了するか否かを判定する。撮像処理を終了することが判定された場合、一連の処理を終了する。撮像処理を続行する場合には、Ｓ１１０５に戻って撮影処理を繰り返す。

図１０および図１１を参照して、本実施形態における、撮像システムの演算処理部による露出演算機能と、撮像素子５０６の露出演算機能とを併用する撮影処理について説明する。図１０は本実施形態における露出制御の仕組みを表したタイミングチャートである。図１１は本実施形態の撮像システムの処理を説明するフローチャートである。

図１０は、撮像素子５０６に対する撮像同期信号１００１、蓄積と読み出しのタイミング１００２〜１００４、設定タイミング１００５〜１００７、ゲイン制御のタイミング１００８〜１０１０を示す。さらに、蓄積時間の設定１０１１、フレーム番号、絞り制御の変化１０２６を示す。センサ内処理には、露出演算のタイミング１０１２、１０１３、１０１４、および情報の受信タイミング１０１５、１０１６を示すが、図５と同様であるため、詳細な説明は省略する。図５との相違点は、全体制御演算部５０９で実行されるエンジン内処理である。エンジン内処理には、露出演算のタイミング１０１７、設定タイミング１０１８〜１０１９、ゲイン制御のタイミング１０２０〜１０２２を示す。さらに、センサゲインとエンジンゲインの乗算により決まるトータルゲイン１０２３〜１０２５を示す。エンジン内の露出演算１０１７によりフレーム番号０から始まる撮影のエンジンゲインの設定値を決定する。また、同時に撮像素子５０６へカメラ設定情報と目標輝度値、絞り制御情報を送る。センサ内処理で毎フレームの演算処理が行われる一方で、エンジン内処理は最初または間欠的なタイミングで演算処理が行われるため、ＣＰＵの負荷率やメモリ帯域等の影響を低減している。

図１１において撮像システムが起動すると、Ｓ１２０１で全体制御演算部５０９は、図９のＳ１１０１で取得した撮像システムのカメラ設定情報を見て、エンジン内の露出演算を行う。例えば、カメラ設定情報の一つにプログラム線図がある。全体制御演算部５０９は、撮像素子５０９で制御する範囲とエンジン内で制御する範囲に分ける。撮像素子５０９が制御する範囲は１００８〜１０１０のように整数倍のゲインを扱うようにすることで、演算量を簡素化して撮像素子５０９内の回路規模を削減できる。一方で、エンジン内の方がより複雑な演算を行う回路が載っているため、エンジン内で制御する範囲は撮像素子５０９で演算できないような小数点のゲインを扱う。一例として、撮像素子５０９とエンジンでこのような役割分担を行うことが可能である。

Ｓ１２０２で全体制御演算部５０９は、撮像システムに係るカメラ設定情報と目標輝度値を撮像素子５０６に送信する。本実施形態では、カメラ設定情報にプログラム線図を含むこととする。カメラ設定情報は、露出設定情報、駆動モード、プログラムモードや測光モード等のモード情報、被写体情報等を含む構成であってもよい。撮像素子５０６の受信タイミングを、図１０のタイミング１０１５に示す。カメラ設定情報や目標輝度値は、撮像システムに対してユーザ操作による設定の変更があった場合にその都度撮像素子５０６に送信されるものとするが、一定期間ごとに送信するようにしてもよい。

Ｓ１２０３で全体制御演算部５０９は、フレーム番号（本実施形態では、Ｎと表記する）を初期化する。本実施形態では、フレーム番号Ｎの値がゼロに初期化される。なお、フレーム番号Ｎは、全体制御演算部５０９と撮像素子５０６との間で同期を取るために使用する情報である。初期化のタイミングは、撮像システムの起動時点の一回だけでもよく、またカメラ設定情報や目標輝度値に変化があった時点でも構わない。

Ｓ１２０４では、絞り制御情報の転送処理が行われる。絞り制御情報は、どのフレームの区間でどれだけの段数で絞りを制御するかを示す情報である。絞り５０４を制御する場合に全体制御演算部５０９は、レンズ駆動部５０２が使用する絞り制御情報を撮像素子５０６に転送する。撮像素子５０６の受信タイミングを、図１０のタイミング１０１６に示す。絞り制御情報として、本実施形態では、フレーム番号Ｎ＝４とＮ＝５で現在の絞り値から１段ずつ絞る制御（変化１０２６）の情報が撮像素子５０６へ転送される。なお、絞り制御情報にてフレーム番号を指定する代わりに、所定の基準タイミングからの相対時間を指定する絞り制御情報を用いる方法でもよい。この場合、相対時間情報から撮像素子内でフレーム番号に変換する処理が行われる。また、絞り制御情報にはタイミングに関する情報を省略してもよい。この場合には、所定の遅延（フレーム後等）に制御が時限的に開始するようにする。

Ｓ１２０５は最終フレームかどうかの判定処理であり、全体制御演算部５０９は、撮像処理を終了するか否かを判定する。撮像処理の終了が行われるのは、ユーザにより操作部５１５を通じて明示的に撮像システムの電源がオフされる場合や、撮影停止の場合、メニュー操作による一時的な中断処理の場合等がある。最終フレームであると判定された場合、処理を終了し、最終フレームでないと判定された場合にはＳ１２０６の処理に進む。これ以降のＳ１２０６〜Ｓ１２０９およびＳ１２１１〜Ｓ１２１２の各ステップに示す処理は、撮像素子５０６中の制御によるものである。カメラ設定情報の変化や目標輝度値の変化があった場合以外には、全体制御演算部５０９から毎フレームで撮像素子５０６にカメラ設定情報が転送されることはない。これにより全体制御演算部５０９と撮像素子５０６との間で行われる通信の量を削減できる。

Ｓ１２０６で撮像素子５０６は、全体制御演算部５０９から受信した絞り制御情報に基づき、現在のフレームにて絞り動作を行うタイミングであるか否かを判定する。撮像システムにおいてレンズ部５０１がカメラ本体部に括りつけられた撮像システムにおいては、焦点距離の変更により絞り値が変動する。そのため、事前に絞り制御情報を全体制御演算部５０９から受信し、同様に各フレームにおいて絞り動作を行うタイミングであるか否かを判定する。絞り動作のタイミングであると判定された場合、Ｓ１２０７の処理へ進み、当該タイミングでないと判定された場合にはＳ１２０８に移行する。

Ｓ１２０７で撮像素子５０６の素子内演算部１１８は、絞り制御情報に基づいて絞りの動作による輝度変化量を求める。Ｓ１２０８で素子内演算部１１８は、輝度変化量に応じた露出演算を行い、蓄積時間とゲインを決定する（図１０のタイミング１０１２）。輝度変化量がゼロである場合には、前フレームでの設定が引き継がれる。Ｓ１２０９では、Ｓ１２０７で求めた蓄積時間とゲインがフレーム番号１の区間で設定される（図１０のタイミング１００５参照）。素子内演算部１１８は、露光制御部１２０により画像部１０１の蓄積時間を設定することで露光制御を行い、利得制御信号Ｓｇによってゲインアンプ１１０のゲイン値を設定する。ゲイン部を構成するゲインアンプ１１０は、ゲイン値の設定が可能な可変ゲインアンプである。

Ｓ１２１０では、撮像素子５０６で蓄積時間とゲインを設定する一方、全体制御演算部５０９でエンジンのゲインを設定する。エンジン内で小数点のゲインを設定することでより細かい露出の制御が可能となる。本実施形態では、図１０に示すように、エンジンゲイン１０２１で「ｘ３／４」を１０２２で「ｘ３／４」のゲインを設定している。撮像システムが扱うトータルゲインは撮像素子５０６とエンジンの掛け算で決まり、１０２３では「ｘ１」、１０２４では「ｘ３／２」、１０２５では「ｘ３」のゲインを設定している。

Ｓ１２１１で撮像素子５０６の撮像動作が行われる。例えば、フレーム番号２から３の区間にラインごとに蓄積処理と読み出し処理が逐次に実行されて、フレーム番号３で画像情報がフレームメモリ１１７に転送される（図１０のタイミング１００２）。Ｓ１２１２で撮像素子５０６の素子内演算部１１８は、フレームメモリ１１７の画像情報から被写体の輝度値を算出して第２のメモリ部５１４に記憶させ、画像情報を撮像素子外部の画像処理部へ転送する。Ｓ１２１３で全体制御演算部５０９は、フレーム番号Ｎのインクリメント処理を実行する。フレーム番号Ｎの値に１が加算され、Ｓ１２０５に戻って処理を続行し、撮像動作の終了まで前記処理が繰り返される。なお、図１０のタイミング１０１３、１００６、１００３の関係および１０１４、１００７、１００４の関係は、タイミング１０１２、１００５，１００２の関係と同様である。図１０の絞り制御の変化１０２６に示すように、１／３段刻みの絞り動作が行われるが、常に適正露出状態が維持される。

被写体の検出結果に応じて露出を制御したいシーンや、フリッカーによる露出バラつきを制御したいシーン、測光モードに応じて露出を制御したいシーンなど、撮像システムのゲイン制御をより詳細に行いたい場合が存在する。この場合、本実施形態によれば、カメラ設定情報を撮像素子５０６に送信し、全体制御演算部５０９の露出演算と撮像素子５０６の露出演算とを併用して露出制御することで、ＣＰＵ負荷やメモリ帯域の増加を抑えながら高精度の露出制御を行うことが可能となる。

１１８：素子内演算部
５０１：レンズ部
５０４：絞り
５０６：撮像素子
５０７：撮像信号処理回路
５０９：全体制御演算部

Claims (13)

1. 複数の画素部を有する撮像部により取得された画像信号を出力する撮像素子であって、
   前記撮像部の出力信号に対するゲインを設定するゲイン部と、
   前記画素部の蓄積時間を制御する制御部と、
   目標輝度値および露出の制御情報を受信する受信部と、
   前記画素部から読み出される画像信号により輝度値を検出し、前記受信部で受信した前記目標輝度値および前記露出の制御情報に基づいて前記ゲインおよび前記蓄積時間を算出し、前記ゲイン部および前記制御部により前記撮像部の露出制御を行う演算部と、を備える
   ことを特徴とする撮像素子。
2. 前記演算部は前記制御情報を用いて輝度値の変化量を演算し、当該変化量に対応する前記蓄積時間を算出して前記制御部により前記撮像部の露出制御を行う
   ことを特徴とする請求項１に記載の撮像素子。
3. 前記制御情報は、前記撮像素子に対する絞り動作のタイミングを示す情報を含み、
   前記演算部は、絞り動作を行うタイミングであると判断した場合に前記輝度値の変化量を演算する
   ことを特徴とする請求項２に記載の撮像素子。
4. 前記演算部は、前記制御情報により露出の追従速度の情報を取得し、露出演算を前記撮像素子に対する絞り動作に追従させて実行するタイミングを決定する
   ことを特徴とする請求項２に記載の撮像素子。
5. 前記演算部は、前記絞り動作が行われているときであっても、前記受信部が新たな目標輝度値を受信した場合には当該目標輝度値を用いて演算を行う
   ことを特徴とする請求項３に記載の撮像素子。
6. 前記演算部は、前記ゲイン部および前記制御部により前記撮像部の露出制御を行っている場合に新たな目標輝度値を受け付けない
   ことを特徴とする請求項２に記載の撮像素子。
7. 前記演算部は、撮影画面のラインごとに異なるゲインを算出して前記ゲイン部の設定を制御する
   ことを特徴とする請求項１から６のいずれか１項に記載の撮像素子。
8. 前記画素部を有する第１チップと、前記第１チップに積層され、かつ前記演算部を有する第２チップから成る積層型構造
   をさらに備える
   ことを特徴とする請求項１乃至７のいずれか1項に記載の撮像素子。
9. 請求項１から８のいずれか１項に記載の撮像素子と、
   前記目標輝度値および制御情報を前記撮像素子に送信する演算処理部と、を備える撮像装置。
10. 前記演算処理部は、撮像光学系が備える絞りの制御情報を取得し、前記撮像素子により取得された画像信号から被写体の輝度値を検出して露出演算を行う
    ことを特徴とする請求項９に記載の撮像装置。
11. 前記演算処理部は、前記撮像素子内で露出演算を行う第１の制御と、前記演算処理部が行う演算結果により前記撮像素子の露出制御を行う第２の制御とを切り替える処理を行う
    ことを特徴とする請求項１０に記載の撮像装置。
12. 前記演算処理部は処理負荷量が閾値以上である場合、前記第１の制御へ切り替え、前記処理負荷量が閾値未満である場合、前記第２の制御へ切り替える処理を行う
    ことを特徴とする請求項１１に記載の撮像装置。
13. 前記演算処理部は、前記撮像素子内で露出演算を行う第１の制御と、前記演算処理部が行う演算結果により前記撮像素子の露出制御を行う第２の制御とを併用した制御を行う
    ことを特徴とする請求項１０に記載の撮像装置。

Images