JP7129264B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

従来、画像取得を行うための撮像装置において、複数枚の画像を用いた画像合成の技術が存在する。例えば特許文献１には、フレームメモリを利用して、互いに露光時間の異なる長露光時間画像と短露光時間画像を合成してダイナミックレンジの拡大を図る撮像装置が記載されている。

国際公開第２０１４／００７００４号

しかし、特許文献１において合成される長露光時間画像と短露光時間画像は異なるタイミングで取得されている。そのため、そのようなタイミングのズレに起因して複数の画像の間での時間同時性が低下し、結果として画像劣化が生じるおそれがある。例えば２枚の画像を合成する際、１枚目のための露光時間と２枚目のための露光時間の間で被写体が移動した場合などに、合成画像が劣化するおそれがある。

本発明は上記課題に鑑みてなされたものである。本発明の目的は、撮像装置において複数枚の画像を用いて画像を合成する際の画質を改善することにある。

本発明は、以下の構成を採用する。すなわち、
複数の画素回路と、
メモリと、
前記複数の画素回路から読み出された画素信号に基づく画像データを生成して前記メモリに保存する信号処理手段と、
前記画像データに基づいて画像を生成する演算手段と、
を有し、
前記信号処理手段は、
所定の露光時間の間に前記複数の画素回路から画素信号を読み出して、１つのフレームに対応する画像データとして前記メモリに保存するものであり、
少なくとも、第１の露光時間に対応する第１のフレームに対応する画像データと、前記第１の露光時間とは異なる第２の露光時間に対応する第２のフレームに対応する画像データと、前記第２の露光時間とは異なる第３の露光時間に対応する第３のフレームに対応する画像データと、を保存し、
前記第２のフレームのための露光は、前記第１のフレームのための露光と前記第３のフレームのための露光の間に行われるものであり、
前記演算手段は、前記メモリに保存された、前記第１のフレームおよび前記第３のフレームに対応する画像データを用いて第１の画像を生成し、前記第２のフレームに対応する画像データを用いて第２の画像を生成する
ことを特徴とする撮像装置である。
本発明はまた、以下の構成を採用する。すなわち、
複数の画素回路と、
第１のメモリおよび第２のメモリを含むメモリと、
前記複数の画素回路に蓄積された電荷に基づく画像データを取得して前記メモリに保存する信号処理手段と、
前記画像データを、前記第１のメモリと前記第２のメモリのいずれに保存するかを選択する選択部と、
前記画像データに基づいて画像を生成する演算手段と、
を有し、
前記信号処理手段は、
所定の露光時間の間に前記複数の画素回路から画素信号を読み出して、１つのフレームに対応する画像データとして前記第１のメモリに保存するものであり、
少なくとも、第１の露光時間に対応する第１のフレームに対応する画像データと、第２の露光時間に対応する第２のフレームに対応する画像データを保存し、
前記信号処理手段が前記１つのフレームに対応する画像データを保存するのに要する時間は、前記演算手段が前記１つのフレームに対応する画像データを読み出すのに要する時間よりも短い
ことを特徴とする撮像装置である。

本発明によれば、撮像装置において複数枚の画像を用いて画像を合成する際の画質を改善することができる。

実施例１に関わる撮像装置の模式図 実施例１に関わる回路図 実施例１に関わるタイミング図 変形例に関わるタイミング図 実施例２に関わる回路図 実施例２に関わるタイミング図 実施例３に関わる撮像装置の模式図 実施例３に関わるタイミング図 実施例４に関わるタイミング図 実施例５に関わるタイミング図 撮像装置の別の例を示す模式図 撮像装置を利用した撮像システムの構成を示す模式図 撮像装置を利用したシステム及び移動体を示す図

以下に図面を参照しつつ、本発明の好適な実施の形態について説明する。ただし、以下に記載されている構成部品の寸法、材質、形状およびそれらの相対配置などは、発明が適用される装置の構成や各種条件により適宜変更されるべきものである。よって、この発明の範囲を以下の記載に限定する趣旨のものではない。

＜実施例１＞
（装置構成）
図１は実施例１に関わる撮像装置１の模式図である。撮像装置１は概略、光電変換チップ１０と信号処理チップ２０を備える。光電変換チップ１０は、画素アレイ１１０、垂直走査回路１２０、信号線１３０を含む。画素アレイ１１０は、各々が少なくとも１つの光電変換素子を含む複数の画素回路１００をマトリクス状に配置して構成され、ここでは行１，２，…，ｎまでのｎ行の画素回路１００がある。なお、光電変換チップ１０には画素回路１００の少なくとも光電変換素子が設けられていればよく、画素回路１００の内の光
電変換素子以外の半導体素子は、他のチップに配されてもよい。信号処理チップ２０は、電流源１４０、ランプ生成器１５０、比較器１６０、カウンタ１７０、ラッチ部１８０、シリアライザ部１９０、メモリＩＦ部２１０、行デコーダ２２０、フレームメモリ２３０、演算部２８０、出力部２９０を含む。

光電変換チップ１０と信号処理チップ２０を互いに重ね合わせることにより、撮像装置１はチップ積層構造を有していてもよい。この場合、光電変換チップ１０を第１チップ、信号処理チップ２０を第２チップと呼んでも良い。チップ積層構造を有する撮像装置１において、光電変換チップ１０と信号処理チップ２０の接続は様々な方法を採用できる。光電変換チップ１０と信号処理チップ２０の接続は、例えば、ワイヤボンディング接続、フリップチップ接続、半導体層を貫通する貫通電極（ＴＳＶ）による接続、各チップの金属層の直接接合によるチップ間配線による接続である。これらの接続を組み合わせてもよい。なお、フレームメモリ２３０を信号処理チップ２０とは別のメモリチップに配置することもできる。メモリチップを光電変換チップ１０および／または信号処理チップ２０と互いに重ね合わせることもできる。光電変換チップ１０と信号処理チップ２０とメモリチップとを３層に積層した撮像装置１を採用することもできる。かかるメモリチップを第３チップと呼んでも良い。

各チップはそれぞれ、フォトダイオードなどの光電変換素子および／またはトランジスタなどの半導体素子が設けられた半導体層を含む。そのため、撮像装置１がチップ積層構造を有する場合は、光電変換素子が設けられた半導体層と、シリアライザ部１９０またはフレームメモリ２３０に含まれる半導体素子が設けられた半導体層と、が積層されることになる。上述のチップ積層構造は、光電変換チップ１０用のウエハと信号処理チップ２０用のウエハとの積層体を形成したのちにこの積層体をダイシングすることにより製造できる。あるいは、光電変換チップ１０用のウエハをダイシングして光電変換チップ１０を製造し、信号処理チップ２０用のウエハをダイシングして信号処理チップ２０を製造し、そのあとに、光電変換チップ１０と信号処理チップ２０とを積層してもよい。したがって、第１チップを第１半導体層と、第２チップを第２半導体層と、第３チップを第３半導体層と、それぞれ呼んでも良い。

フレームメモリ２３０は、少なくとも１つのフレームに対応する画像データが保存されるメモリである。フレームメモリ２３０はＤＲＡＭまたはＳＲＡＭ等のメモリセルのアレイで構成することができる。ＳＲＡＭからなるフレームメモリ２３０を信号処理チップ２０に配置し、光電変換チップ１０に重ねることが好ましい。あるいは、ＤＲＡＭからなるフレームメモリ２３０を信号処理チップ２０とは別のメモリチップに配置し、信号処理チップ２０に重ねることも好ましい。このように、図３において撮像装置１や、特に信号処理チップ２０に含んで記載されている各構成要素の配置は、全体として本発明に必要な処理を実施できるのであれば、任意である。図３の例では信号処理チップのうちフレームメモリ２３０に画像データを保存する部分が信号処理手段に相当し、演算部が演算手段に相当する。

また、タイミングジェネレータ５０はタイミングを示すための各種の信号を出力する。タイミングジェネレータ５０は、撮像装置１の外部からタイミング信号を供給しても良い。なお、後述するように、全体として本発明の処理を実現できるのであれば、チップ配置や回路構成は本図に限られない。例えば図１１に示すようにチップ構成を変更してもよい。また、光電変換チップ１０と外部の回路が協働して処理を行ってもよい。例えば撮像装置をカメラ等に適用する場合、撮像装置とカメラ等が備える画像処理装置が協働して、全体として本発明の処理を実現してもよい。

図２を用いて、画素回路１００の構成の一例を説明する。画素回路１００は、光電変換
素子としてのフォトダイオード４００、転送トランジスタ４１０、フローティングディフュージョン４２０、アンプトランジスタ４３０、選択トランジスタ４４０、リセットトランジスタ４５０を含む。選択トランジスタ４４０は、接続された信号線からの選択パルスＳＥＬのレベルにより制御される。リセットトランジスタ４５０は、接続された信号線からのリセットパルスＲＥＳのレベルにより制御される。転送トランジスタ４１０は、接続された信号線からのリードパルスＲＥＡＤのレベルにより制御される。

シャッタ動作の際には、転送トランジスタ４１０とリセットトランジスタ４５０をオンすることにより、フォトダイオード４００の電荷をリセットする。読み出しを行う際には、リセットトランジスタ４５０をオンしてフローティングディフュージョン４２０をリセットした後に転送トランジスタ４１０をオンして、フォトダイオード４００に蓄積された電荷をフローティングディフュージョン４２０へ転送する。該電荷はフローティングディフュージョン４２０に付随する容量にて電圧変換される。該電圧は、アンプトランジスタ４３０と電流源１４０で構成されるソースフォロワによって信号線１３０に読み出される。選択トランジスタ４４０は、図１の垂直走査回路１２０により、行順次で選択される。

ここで、画素回路１００の露光時間は、画素信号の信号レベルに対応した信号電荷が光電変換素子（フォトダイオード４００）で生成される時間であり、シャッタの開動作（先幕）と閉動作（後幕）で決まる。シャッタ動作の開動作と閉動作は、それぞれ、機械シャッタよってなされる場合と、電子シャッタによってなされる場合と、が想定される。機械シャッタの開閉は可動遮光部（後述）による遮光の有無により行われる。電子シャッタの開動作は画素回路１００による信号電荷の排出の完了に対応し、電子シャッタの閉動作は画素回路１００による信号電荷の蓄積の完了に対応しうる。つまり、上述のシャッタ動作においては、フォトダイオード４００の電荷をリセットし、転送トランジスタ４１０をオフした時刻が露光時間の開始時間であり、転送トランジスタ４１０をオンした時刻が露光時間の開始時間でありうる。機械シャッタと電子シャッタが併用される場合、露光時間の開始は、機械シャッタの開動作と電子シャッタの開動作の遅い方で規定され、露光時間の終了は、機械シャッタの閉動作と電子シャッタの閉動作の早い方で規定されうる。露光時間の開始を機械シャッタの開動作によって行い、露光時間の終了を機械シャッタの閉動作によって行う電子先幕シャッタを採用することもできる。

（タイミング制御）
図３のタイミング図を用いて、本実施例の動作について説明する。本例では、相対的に露光時間が長、短、長、となる連続する３フレーム分の画像データの読出し動作、フレームメモリへの書き込み動作、演算処理及び出力動作に関して説明する。これ以降、組になっている３つのフレーム（フレーム１，フレーム２，フレーム３）をそれぞれ、第１のフレーム、第２のフレームおよび第３のフレームとも呼ぶ。また、本例では第１および第３のフレームに適用される露光時間を第１の露光時間と、第２のフレームに適用される露光時間を第２の露光時間とも呼ぶ。図３の例では、第１の露光時間は比較的長く、第２の露光時間は比較的短い。これら所定の露光時間は、予め、または利用者の操作によって設定される。

図中、画素アレイ１１０、フレームメモリ２３０における縦方向は各動作の選択行を意味している。横軸は時間の経過を表し、ここではタイミングとして時刻ｔ３０１～ｔ３１０までを示す。また「ＶＤ」は、画素アレイ１１０の行順次の読み出し開始タイミングを制御する信号である。タイミングジェネレータ５０は、垂直走査回路１２０にこれらのタイミング信号を出力して行順次の動作を制御する。タイミングジェネレータ５０はまた、後段の信号処理チップ２０の構成要素に各種制御パルス出力を行う制御部として機能することができる。なお、撮像装置１に、タイミングジェネレータ５０とは別に制御部として機能する処理回路を設けても良い。

時刻ｔ３０１から、読み出し開始に先立って、画素アレイ１１０のシャッタ動作、すなわち、画素アレイ１１０中の画素回路１００のリセット動作が開始される。具体的には、まず画素アレイ１１０中の一番上の行（Ｌ１）の画素回路１００が一括でリセットされ、次に上から２番目の行（Ｌ２）、…、最終行（Ｌｎ）というふうに、時間とともに行順次で画素回路１００がリセットされる。

時刻ｔ３０２から、画素アレイ１１０の行順次の読み出し動作およびフレームメモリ２３０への信号書き込みが開始される。このとき画素回路１００の露光時間は、ｔ３０１～ｔ３０２の時間間隔となる。
以下、詳細に説明する。まず、垂直走査回路１２０により、画素アレイ１１０中の一番上の行（Ｌ１）の画素回路１００が選択され、それぞれの画素回路１００から信号線１３０へ信号を出力可能な状態となる。１行分の画素回路１００の信号は、電流源１４０によりバイアスされた信号線１３０へ出力される。

信号線１３０へ出力された信号は、比較器１６０によって、ランプ生成器１５０から供給されるランプ信号と比較される。カウンタ１７０は、信号線１３０の信号とランプ信号が等しくなることにより比較器１６０の出力が反転するまでの時間をカウントする。信号線１３０の信号は、画素回路１００での露光により発生した電荷量により異なるため、該カウント値は、画素回路１００毎に照射される光の強さにより異なる。このカウント値が、画素回路１００のアナログ画素信号をアナログデジタル変換した値となる。該カンウト値としてのデジタル信号は、ラッチ部１８０へ転送されて、保持される。複数のラッチ部１８０をラインメモリと称することもできる。

該デジタル信号は、更に、ラッチ部１８０からシリアライザ部１９０へ送られる。シリアライザ部１９０は複数列（図１では２列）からくるそれぞれのデジタル信号をパラレルシリアル変換し、シリアル信号として後段のメモリＩＦ部２１０へ送る。メモリＩＦ部２１０は、シリアライザ部１９０から送られてくる信号をフレームメモリ２３０へと書き込む。この時、行デコーダ２２０で行を指定し、メモリＩＦ部２１０に含まれる列デコーダで列を指定し、フレームメモリ２３０中のメモリセルへと書き込みを行う。

以上のようにして、画素アレイ１１０中の一番上の行（Ｌ１）の画素回路１００の信号がデジタル変換され、フレームメモリ２３０へと書き込まれる。続いて、２番目の行（Ｌ２）、３番目の行（Ｌ３）、…、最終行（Ｌｎ）というように、時間とともに行順次で、画素アレイ１１０の信号の読み出しおよびフレームメモリ２３０へ書き込みを行う。これにより、１フレーム分の画像データがフレームメモリ２３０へ書き込まれる。このフレームは、比較的長い第１の露光時間を持つ第１のフレームである。なお、画像データとは、複数の画素データの集合である。複数の画素データの各々は、アナログ信号としての画素信号であるアナログ画素信号をアナログデジタル変換によってデジタル信号としての画素信号であるデジタル画素信号に変換したものである。

なお、本実施例の構成によれば、ある行についてラッチ部１８０のデジタル信号を転送した後に、フレームメモリ２３０へと書き込みを行っている間に、次の行の画素回路１００の信号の読み出しを開始することが可能となっている。つまり、ある行の読み出しの途中から、次の読み出しを開始できるため、処理を高速化可能な構成となっている。

時刻ｔ３０３から再び画素アレイ１１０のシャッタ動作が開始され、行順次でリセットが行われる（これ以降、煩雑を避けるために図中への行番号の記載は省略する）。
続いて、時刻ｔ３０４から再び、画素アレイ１１０の行順次の読み出し動作およびフレームメモリ２３０への書き込みが開始される。この時、画素回路１００の露光時間は、時
刻ｔ３０３～ｔ３０４の時間間隔となる。この時間間隔は、時刻ｔ３０２から読み出したフレームよりも短い。つまり、時刻ｔ３０４からは露光時間を変更した画像データの読み出しを行う。このフレームは、比較的短い第２の露光時間を持つ第２のフレームである。

時刻ｔ３０５から再び、画素アレイ１１０のシャッタ動作が開始され、行順次でリセットが行われる。
続いて、時刻ｔ３０６から再び、画素アレイ１１０の行順次の読み出し動作およびフレームメモリ２３０への書き込みが開始される。この時、画素回路１００の露光時間は、時刻ｔ３０５～ｔ３０６の時間間隔となる。これは、時刻ｔ３０１～ｔ３０２と等しくなっている。このフレームは、比較的長い第１の露光時間を持つ第３のフレームである。なお、ここでの例では第３のフレームの露光時間は第１の露光時間と等しいものとしているが、本発明はこれに限られない。第３のフレームは、少なくとも、第２の露光時間とは異なる第３の露光時間に対応していれば良い。

ただし、第１の露光時間と第３の露光時間の長さの差は、第２の露光時間と第１の露光時間との差より小さいことが好ましいし、前記第２の露光時間と前記第３の露光時間との差より小さいことも好ましい。本例のように第３のフレームの露光時間が第１の露光時間と等しければ、第１の露光時間と第３の露光時間の長さの差はゼロとなる。このようにすることで、第１のフレームの画像データと第３のフレームの画像データとで、それらが示す明るさの差は小さくなる。その結果、第１のフレームの画像データおよび第３のフレームの画像データから得られる第１の画像と、第２のフレームから得られる第２の画像との明るさの違いが大きくなる。これによって、第１の画像と第２の画像とを合成することによる効果が高まる。この例の第３の露光時間は、第１の露光時間と同様に、第２の露光時間よりも長いが、別の例として、第１の露光時間および第３の露光時間は、第２の露光時間よりも短くすることもできる。
このように、時刻ｔ３０２から始まる読み出し処理と、時刻ｔ３０６から始まる読み出し処理においては、露光時間が等しい信号が読み出される。一方、時刻ｔ３０４から始まる読み出し処理では、他の２つとは異なる露光時間の信号が読み出される。

時刻ｔ３０７からは、フレームメモリ２３０から、３フレーム分の画像データを行順次で、メモリＩＦ部２１０を介して演算部２８０へ送る。画像データを行順次で送ることは、画像データに含まれる複数の画素データを、画素アレイ１１０の画素回路１００の１行に対応する画素データのグループごとに送ることを意味する。演算部２８０では、１フレーム目と３フレーム目のフレーム間の演算（平均や加算など）を行い、長露光時間の画像を生成する。本例では、ここで生成された長露光の合成画像が第１の画像に対応する。一方、短露光の画像が第２の画像に対応する。かかる合成画像を生成するために演算部２８０は、処理回路などの演算資源を用いて演算可能に構成される。出力部２９０は、長露光時間の画像と、短露光時間の画像（２フレーム目）を行順次で出力する。このような動作により、露光時間の重心を揃えた長露光時間画像と短露光時間画像を出力することが可能となる。

なお、出力部２９０は、長露光時間画像と短露光時間画像を受信して処理するチップ外の処理装置側の都合で、２枚の画像の同じ行の信号を同時に出力するのが望ましい場合は、２枚をパラレルに行順次で出力すると良い。もちろん、２枚をシリアルに出力しても良く、限定されるものではない。いずれにせよ、図３の時刻ｔ３０７～ｔ３０９にかけて、２枚分の画像が出力部２９０から出力される。長露光時間画像と短露光時間画像を、露光時間の違いに基づいて合成する方法としては、例えば、それぞれの画像を露光時間の比でゲインを掛けた後に重み付け加算するなどの方法がある。

（効果）
上述したように、ワイドダイナミックレンジの画像を取得するために長露光時間画像と短露光時間画像の２枚を合成する場合、画像取得タイミングのズレに起因して不自然な画像が生じるおそれがあった。一方、本実施例においては、長露光時間画像について、短露光時間画像の前後それぞれにあるフレームの画像を合成することにより、長露光時間画像と短露光時間画像の露光時間の重心が比較的揃っている。これにより、画像取得タイミングのズレが低減し、画質を改善することが可能となる。

また、出力部２９０から出力する画像は２枚分なので、出力動作に関わる電力増加やワイドダイナミックレンジ画像の合成処理を行う側の処理の複雑化などの問題も生じない。なお、演算部２８０でワイドダイナミックレンジ画像の合成処理まで行っても良い。これにより、出力動作に関わる電力消費量の低減や、後段の処理の複雑化の回避が可能となる。

（重心揃え）
なお、上の説明においては、長露光時間画像と短露光画像時間を合成するために、読出し開始時刻の重心を揃えている。すなわち、時刻ｔ３０２（１フレーム目の読み出し開始時刻）と時刻ｔ３０６（３フレーム目の読み出し開始時刻）の中央の時刻が、時刻ｔ３０４（２フレーム目の読み出し開始時刻）と重なっている。

ただし、重心を揃える方法はこれに限定されるものではない。例えば、露光時間の中心時刻に基づいて処理を行っても良い。具体的には、まず、長露光時間画像の重心について、フレーム１の露光時間（時刻ｔ３０１～ｔ３０２）の中心時刻Ｃ１と、フレーム３の露光時間（時刻ｔ３０５～ｔ３０６）の中心時刻Ｃ３と、を想定する。そして各中心時刻Ｃ１とＣ３の中央の時刻を取得する。そして取得した中点が、短露光時間画像であるフレーム２の露光時間の中心時刻（時刻ｔ３０３～ｔ３０４の中心時刻Ｃ２）と揃うようにタイミングを制御する。図３の場合であれば、フレーム３に関するタイミング（時刻ｔ３０５および時刻ｔ３０６）を少し後ろへずらしたり、フレーム２に関するタイミング（時刻ｔ３０３および時刻ｔ３０４）を少し前にずらしたりする方法がある。また、フレーム１のための露光時間の中心時刻Ｃ１と、フレーム２のための露光時間の中心時刻Ｃ２の時間間隔を第１の時間間隔とし、フレーム２のための露光時間の中心時刻Ｃ２と、フレーム３のための露光時間の中心時刻Ｃ３の時間間隔を第２の時間間隔とする。このとき、第１の時間間隔と第２の時間間隔との差が、第１の露光時間～第３の露光時間のうちの最短の露光時間よりも小さくなるように制御してもよい。

なお、フレームメモリ２３０からの読み出し時間は短縮した方がフレームレートを向上することが可能となるが、出力部２９０の面積増大や電力増大、またチップ外の受け側のコスト増加などにつながる。そのため図３の例では、ＶＤ２周期分（時刻ｔ３０７～ｔ３０９）を使ってフレームメモリ２３０からの読み出しを行っている。また、フレームメモリ２３０からの読出しが終わる時刻ｔ３０９から再び画素の読み出しおよびフレームメモリ２３０への書き込みを開始している。さらに、読み出しに先立つ時刻ｔ３０８からシャッタ動作を開始していることにより、次の画像の取得を早めている。

なお、長露光時間および短露光時間それぞれの具体的な時間長や、長露光時間と短露光時間の比率については、装置を構成する部材の性能や、所望の画質などの条件により適宜設定されるべきものであり、必ずしも一定の値に定められない。一例として、図３において時刻ｔ３０２～ｔ３０９の時間長をｘ（例えば、1/60秒や1/120秒）と置く。このとき
例えば、暗い条件では長露光をx/6、短露光をx/24とし、明るい条件では長露光を暗いと
きの４倍、短露光を20usとしても良い。

（変形例）
図３では１、３フレーム目を長露光時間画像、２フレーム目を短露光時間画像としたが、逆でも構わない。つまり、１、３フレーム目を短露光時間画像、２フレーム目を長露光時間画像としても構わない。この変形例におけるタイミング図を図４に示す。図に示されるように、１フレーム目の露光時間（時刻ｔ４０１～ｔ４０２）と、３フレーム目の露光時間（時刻ｔ４０５～ｔ４０６）は比較的短く、２フレーム目の露光時間（時刻ｔ４０３～ｔ４０４）は比較的長い。なお、図４の場合でも図３の場合と同様に、２つの短露光時間の間で重心を揃えるために、画素読み出し開始時刻の重心を揃える方法や、露光時間の中心時刻の重心を揃える方法など、様々な方法を利用できる。
図４の例によれば、１フレーム目のシャッタ動作開始から３フレーム目の画素読み出し開始までの時間（時刻ｔ４０１～ｔ４０６）を短縮できるため、処理時間の短縮という観点からはより好ましい。

また、３フレームとも同じ露光時間の画像とし、１、３フレーム目の加算から長露光時間画像を得て、２フレーム目を短露光時間画像とすることも可能である。

さらにまた、フレームの数は３つには限られず、より多数のフレームを用いても良い。例えば５フレームを使用する場合、１～５フレームそれぞれの露光時間を順に、「短、長、短、長、短」として、１，３，５フレーム目から短露光時間画像を取得し、２，４フレーム目から長露光時間画像を取得する。そして得られた短露光時間画像と長露光時間画像を用いてダイナミックレンジの拡大された画像を取得できる。なお、露光時間の順番は「長、短、長、短、長」でも構わない。

＜実施例２＞
図５に実施例２に関わる画素回路１００の回路図を示す。以下では、実施例１との相違点を中心に述べることとし、共通する部分については同じ符号を付し、説明を簡略化する。

図５の画素回路１００は、一対のフォトダイオード４００、４０１と一対の転送トランジスタ４１０、４１１を有する。フォトダイオード４００は第１のフォトダイオードと、フォトダイオード４０１は第２のフォトダイオードとも呼べる。本実施例の画素回路１００からは、一対のフォトダイオード４００、４０１の両方の信号を読み出すことも可能であり、いずれか一方のフォトダイオードからのみ信号を選択的に読み出すことも可能である。これにより、フォトダイオード４００から得られる信号による画像（以降、Ａ画像と呼ぶ）とフォトダイオード４０１から得られる信号による画像（以降、Ｂ画像と呼ぶ）の視差をもった２枚の画像を得ることが可能となる。この２枚の画像から焦点検出すなわちＡＦ（オートフォーカス）を行うための情報を取得できる。また、この２枚を１枚の画像フォーマットとすることで、撮影後にピントを調整可能な画像を取得可能となる。また、フォトダイオード４００、４０１の両方の信号をフローティングディフュージョン４２０で加算して読み出すことにより、ＳＮの良好な画像（以降、Ａ＋Ｂ画像と呼ぶ）を取得できる。

図６を用いて、図５の画素回路１００の動作例について説明する。時刻ｔ６００において、選択パルスＳＥＬをハイレベルとすることで、選択トランジスタ４４０をオン状態とする。また、リセットパルスＲＥＳをローレベルとすることにより、リセットトランジスタ４５０をオフ状態とする。
続いて、時刻ｔ６０１～ｔ６０２で転送トランジスタ４１０をオン状態とする（ＲＥＡＤＡ＝ハイ）ことにより、フォトダイオード４００に蓄積された電荷をフローティングディフュージョン４２０に転送する。これにより、信号線１３０には、フォトダイオード４００の電荷に基づく画素信号が読み出され、後段でＡＤ変換が行われる。
続いて、時刻ｔ６０３～ｔ６０４では、転送トランジスタ４１０、４１１をオン状態と
する（ＲＥＡＤＡ，ＲＥＡＤＢ＝ハイ）ことにより、フォトダイオード４００、４０１に蓄積された電荷をフローティングディフュージョン４２０に転送する。これにより、信号線１３０には、フォトダイオード４００、４０１の電荷に基づく加算信号が読み出され、後段でＡＤ変換が行われる。

以上により、Ａ画像とＡ＋Ｂ画像の１行分の信号が得られる。時刻ｔ６０５以降で、これを行順次で繰り返すことにより、Ａ画像とＡ＋Ｂ画像が得られる。図６の方法によれば、Ａ画像と、ＳＮの良好なＡ＋Ｂ画像とが得られる。さらに、Ａ＋Ｂ画像とＡ画像との差分からＢ画像も取得できるので、ＡＦ情報等を得ることも可能である。
なお、Ａ画像のみ、Ｂ画像のみ、Ａ＋Ｂ画像のみを得る読み出し方も可能である。Ａ＋Ｂ画像のみを得る場合は、ＡＦ情報等は得られない代わりに、読み出しが高速化できるメリットがある。

ここで、本実施例の画素回路１００を用いて、図３のタイミング図に従って画像を生成した場合の、各フレームと、画素読み出し及びフレームメモリ２３０への書き込みの対象となる画像との関係を、以下のように設定する。
フレーム１（読み出し時刻ｔ３０２～）：Ａ画像のフレームメモリ２３０への書き込み。
フレーム２（読み出し時刻ｔ３０４～）：Ａ＋Ｂ画像のフレームメモリ２３０への書き込み。
フレーム３（読み出し時刻ｔ３０６～）：Ａ画像のフレームメモリ２３０への書き込み。
これにより、フレームメモリ２３０から読み出し・演算・出力（時刻ｔ３０８～）においては、フレーム１と３のＡ画像から合成した長露光時間画像と、フレーム２のＡ＋Ｂ画像である短露光時間画像とが対象になる。

まず、フレーム２はＡ＋Ｂ画像のみの読み出しとすることで、読み出しを高速化し、ローリング読み出し動作に起因する画像の歪を低減することが可能となる。また、フレーム１と３から合成したＡ画像とフレーム２のＡ＋Ｂ画像の差分からＡＦ情報等を得ることも可能となる。この時、フレーム１と３の露光時間とフレーム２の露光時間の重心を揃えておくことにより、ＡＦ情報への悪影響を抑えることが可能となる。例えば、Ａ＋Ｂ画像にのみ映り込む被写体があり、当該被写体がＡ画像には映っていない場合、当該被写体はＡ画像とＡ＋Ｂ画像の差分から得られるＢ画像には映る。このような事態は、Ａ画像とＢ画像の比較から行うＡＦにおいて、ＡＦ精度低下の要因となりうる。

以上のように、本実施例においては、Ａ＋Ｂ画像の画像歪を改善しつつ、Ａ画像とＡ＋Ｂ画像の露光時間の重心をそろえて、ＡＦへの悪影響を抑えることが可能となる。

なお、演算部２８０において、２枚のＡ画像から１枚のＡ画像を合成する処理に加えて、合成されたＡ画像とＡ＋Ｂ画像との差分からＢ画像の情報を得て、Ａ画像とＢ画像の情報からＡＦの演算を行い、ＡＦの演算結果とＡ＋Ｂ画像のみを出力しても良い。これにより、出力動作に関わる電力消費の低減や、後段の処理の複雑化の改善が可能となる。また、その際に、ＡＦの演算結果を先に出力することで、次の撮像のためのレンズ駆動開始を早めることが可能となる。

また、画面の一部分でのみしかＡＦ演算を行わない場合は、画面の一部の画素回路１００についてのみのＡ画像を切り出してフレームメモリ２３０へ書き込んでも構わない。読み出しにおいても同様に、フレームメモリ２３０から一部のＡ画像のみを読み出しても構わない。また、ここでは画素回路が、光電変換素子として一対のフォトダイオードを備える構成としたが、光電変換素子の数はこれに限られず、少なくとも２つのフォトダイオー
ドであればよい。すなわち、フォトダイオードの数が３つ以上の場合でも本実施例は適用できる。

＜実施例３＞
図７に、実施例３に関わる撮像装置の模式図を示す。以下では、実施例１との相違点を中心に述べることとし、共通する部分については同じ符号を付し、説明を簡略化する。
図７の信号処理チップ２０は、マルチプレクサ２００、第２のメモリＩＦ部２４０、第２のフレームメモリ２５０、第２の行デコーダ２６０、第２のマルチプレクサ２７０をさらに備える。この場合、フレームメモリ２３０を第１のメモリ、第２のフレームメモリ２５０を第２のメモリと呼んでもよい。

図７の撮像装置を用いて、上述実施例と同様に３フレーム分の画像データを読み出して２フレーム分を出力する場合のタイミング図を、図８を用いて説明する。ここでは、図３との違いを中心に述べる。図３では、フレームメモリ２３０からの読み出し（時刻ｔ３０７～ｔ３０９）が終了する時刻ｔ３０９まで待ってから、次の画素読み出しを行っていた。

一方、図８においては、時刻ｔ８０７以降が図３とは異なる。具体的には、まず時刻ｔ８０７でシャッタ動作を行う。そして時刻ｔ８０８から、フレームメモリ２３０からの読み出し動作・演算・出力と並行して、画素アレイ１１０からの画素信号の読み出しと、第２のフレームメモリ２５０への書き込みを行っている。この時、マルチプレクサ２００は、シリアライザ部１９０と第２のメモリＩＦ部２４０を接続した状態とする。

マルチプレクサ２００は、読み出した画像データを、フレームメモリ２３０と第２のフレームメモリ２５０のいずれに保存するかを選択する選択部として機能する。このように本例では、選択的に画像データの書き込み先を決定する。これにより例えば、フレームメモリの一方から、第１のフレーム群（それぞれ時刻ｔ８０１～、時刻ｔ８０３～、時刻ｔ８０５～に露光されたフレーム群）に関する読み出しを行っている最中に、フレームメモリの他方に、第２のフレーム群（それぞれ時刻ｔ８０７～、時刻ｔ８０９～、時刻ｔ８１１～に露光されたフレーム群）に関する書き込みを行うことが可能になる。

このように、フレームメモリ２３０からの読み出しと並行して第２のフレームメモリ２５０への書き込みを行うことにより、フレームメモリからの出力動作によるフレームレートの低下を防ぎ、処理の高速化を実現できる。なお、図８においては、フレームメモリ２３０からの出力にＶＤの２単位程度の時間をかけている。しかし、次回のフレームメモリ２３０への書き込みまでに出力を終えればよいので、読み出し処理がＶＤの３単位時間程度まで延びてもフレームレートへの影響はない。

本実施例を実施例１と比較すると、第２のフレームメモリなどを追加する必要があるが、出力フレームレートが向上し、かつフレームメモリからの読み出しの速度を緩和できる。なお、３フレーム分の画像として、実施例２のようなＡ画像とＡ＋Ｂ画像の組み合わせを用いても構わない。

＜実施例４＞
本例では、図７の撮像装置を用いた画像処理動作の別の例に関して説明する。実施例１～３では、３フレームの読出し、２フレームの出力を前提としていた。一方、本例では２フレーム分の読出し、出力動作を実行する。

図９のタイミング図を用いて、本実施例の動作について説明する。時刻ｔ９０２の画素読み出し開始に先立って、時刻ｔ９０１から画素アレイ１１０のシャッタ動作が開始され
る。時刻ｔ９０２から、画素アレイ１１０の行順次の読み出し動作およびフレームメモリ２３０への信号書き込みが開始される。この時、画素回路１００の露光時間は、ｔ９０１～ｔ９０２の時間間隔となる。この時、マルチプレクサ２００はシリアライザ部１９０をメモリＩＦ部２１０と接続する。メモリＩＦ部２１０は、シリアライザ部１９０から送られてくる信号をフレームメモリ２３０へと書き込む。これにより、１フレーム分の画像データがフレームメモリ２３０に書き込まれる。

そして、時刻ｔ９０３から、フレームメモリ２３０からの読み出しを開始する。この時、第２のマルチプレクサ２７０は、メモリＩＦ部２１０を後段と接続する。そして、フレームメモリ２３０からの画像信号は、出力部２９０から読み出される。

時刻ｔ９０４からシャッタ動作、時刻ｔ９０５から画素信号の読み出しを開始する。このとき、マルチプレクサ２００はシリアライザ部１９０を第２のメモリＩＦ部２４０と接続する。これにより、フレームメモリ２３０の読み出し中である時刻ｔ９０５から、次の画素信号の読み出しおよび、第２のフレームメモリ２５０への書き込みを開始できる。時刻ｔ９０６から、第２のフレームメモリ２５０の信号の読み出しが開始される。２フレーム間の演算は、チップ外にて行われる。その後、第２のフレームメモリ２５０からの読み出しが続いている最中の時刻ｔ９０７からシャッタ動作が行われた後、時刻ｔ９０８から再び、フレームメモリ２３０への書き込みが行われる。

以上のように、マルチプレクサ２００、第２のフレームメモリ２５０、第２のマルチプレクサ２７０を設けることにより、１つのフレームメモリからの読み出し中から他方のフレームメモリへの書き込みが可能となる。これにより、２枚の画像を用いて演算を行う際の、２枚の画像の時間同時性を向上させることができる。

本実施例は、上述の実施例と比較すると、２フレームのみの読み込みとなるため、２枚の画像の露光時間の重心がずれる可能性が比較的高い。また、第２のフレームメモリなどの構成を追加する必要がある。しかし、画像データの読み出しが２枚分なので、読み出し等に係る時間や電力を削減できる。さらに、フレームレートが向上し、かつフレームメモリからの読み出しの速度を緩和することが可能となる。

なお本例では、長時間露光画像と短時間露光画像の時間同時性向上について述べたが、実施例２のように、２枚の画像としてＡ画像とＡ＋Ｂ画像を用いても構わない。
また、図７の構成を用いて同一露光時間の２枚の画像間での加算や平均化を行った場合でも、ＳＮの向上や２枚間の時間同時性の向上が可能になり、動体の歪を低減する効果が期待できる。
また、図７の構成を用いて同一露光時間の２枚の画像間での差分による動体検出を行う場合に、２枚間の時間同時性を向上しておくことで、検出の精度が向上する。

＜実施例５＞
図１０に、実施例５に関わるタイミング図を示す。本例では、図１の撮像装置の回路ブロック構成において、２枚の画像を用いて演算を行う際の時間同時性を改善する動作例について説明する。図１０においては、時刻ｔ１００２～と、時刻ｔ１００４～とで、２枚の画像をフレームメモリ２３０に書き込む。そして、時刻ｔ１００５から２枚の画像を行順次で、フレームメモリ２３０から読み出し、演算部２８０において２枚の画像間で演算を行い、出力部２９０から画像の出力を行う。その結果、図９の場合と比較して、２枚の画像の時間同時性を更に向上させられる。もちろん、「フレームメモリ２３０への書き込み（１枚目）→フレームメモリ２３０からの読み出し→フレームメモリ２３０への書き込み（２枚目）」の順で処理する場合と比較しても、画像間の時間同時性は向上する。

ここで、図１０において、時刻ｔ１００２からフレームメモリ２３０に書き込む画像がＡ＋Ｂ画像、時刻ｔ１００４からフレームメモリ２３０に書き込む画像がＡ画像である場合を例にとって更に説明する。実施例２と同様に、一枚目の画像はＡ＋Ｂ画像とすることで、ローリング歪の低減が可能となる。また、この時、フレームメモリ２３０を有する事により、出力部２９０の動作速度に左右されずに、画素信号の読み出し（つまりフレームメモリ２３０への書き込み）を高速化することが可能となっている。

なお図１０では、フレームメモリ２３０からのＡ＋Ｂ画像の読み出しに先立って、Ａ＋Ｂ画像のフレームメモリ２３０への書き込みに連続するように、時刻ｔ１００４からＡ画像のフレームメモリ２３０への書き込みを行っている。これによりＡＦ処理のための情報が得られる。このようにＡ＋Ｂ画像とＡ画像を連続して書き込むことにより、２枚の画像の時間同時性を向上させ、ＡＦの精度劣化を抑制できる。その後、時刻ｔ１００６からシャッタ動作が、時刻ｔ１００７から次の画像のフレームメモリへの書き込みが開始される。

また、時刻ｔ１００５からの演算、出力において、Ａ＋Ｂ画像とＡ画像の着目領域のみを先にフレームメモリ２３０から読み出して、ＡＦ情報の演算結果を先に出力することで、次の撮像のためのレンズ駆動開始を早めることが可能となる。この場合、その後にＡ＋Ｂ画像とＡ画像を読み出せば良い。

＜撮像装置の変形例＞
なお、上記各実施例では、光電変換チップ１０、信号処理チップ２０の２チップを用いた撮像装置を例にとって説明したが、これに限られるものではない。例えば、図１１に示すように、シリアライザ部１９０より後段の構成を備える第２の信号処理チップ３０を設け、３チップ構成としても構わない。かかる構成によれば、撮像装置の構造を柔軟に決定できるようになる。なお、チップの数や、どの構成要素をどのチップに配置するかは任意であり、装置規模、コスト、所望の処理能力などの条件に応じて好適に構成すればよい。

＜撮像システムへの適用例＞
本発明の撮像システムへの適用例を、図１２の模式図を用いて説明する。上記各実施例で述べた撮像装置１は、種々の撮像システムに適用可能である。適用可能な撮像システムとして、例えば、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などが挙げられる。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールも、撮像システムに含まれる。図にはこれらのうちの一例として、デジタルスチルカメラのブロック図を例示している。

撮像システム３０００は、撮像光学系３０２０、ＣＰＵ３１００、レンズ制御部３１２０、撮像装置制御部３１４０、画像処理部３１６０、絞りシャッタ制御部３１８０、表示部３２００、操作スイッチ３２２０、記録媒体３２４０を備える。
撮像光学系３０２０は、被写体の光学像を形成するための光学系であり、レンズ群や、可動遮光部３０４０等を含む。可動遮光部３０４０は、静止画撮影時には露光秒時調節用シャッタ（先述の機械シャッタ）としての機能を備えるほか、その開口径を調節することで撮影時の光量調節を行なう絞り機能も備えることができる。レンズ群及び可動遮光部３０４０は、光軸方向に沿って進退可能に保持されており、これらの連動した動作によって変倍機能（ズーム機能）や焦点調節機能を実現する。撮像光学系３０２０は、撮像システムに一体化されていてもよいし、撮像システムへの装着が可能な撮像レンズでもよい。

撮像光学系３０２０の像空間には、その撮像面が位置するように撮像装置１が配置されている。撮像装置１は、例えばＣＭＯＳセンサ（撮像領域）とその周辺回路（周辺回路領域）とを含んで構成される。撮像装置１は、複数の光電変換素子を有する画素回路が２次
元配置され、これらの光電変換素子に対してカラーフィルタが配置されることで、２次元単板カラーセンサを構成している。撮像装置１は、撮像光学系３０２０により結像された被写体像を光電変換し、画像信号や焦点検出信号として出力する。

レンズ制御部３１２０は、撮像光学系３０２０のレンズ群の進退駆動を制御して変倍操作や焦点調節を行うものであり、その機能を実現するように構成された回路や処理装置により構成されている。絞りシャッタ制御部３１８０は、可動遮光部３０４０の開閉を制御して露光時間を調節するものであり、その機能を実現するように構成された回路や処理装置により構成される。可動遮光部３０４０が絞り機能を有する場合、絞りシャッタ制御部３１８０は、可動遮光部３０４０の開口径を変化して（絞り値を可変として）撮影光量を調節するものでありその機能を実現するように構成された回路や処理装置により構成される。絞りシャッタ制御部３１８０を遮光制御部と称することもできる。

ＣＰＵ３１００は、カメラ本体の種々の制御を司るカメラ内の制御装置であり、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を含む。ＣＰＵ３１００は、ＲＯＭ等に記憶されたコンピュータプログラムに従ってカメラ内の各部の動作を制御し、撮像光学系３０２０の焦点状態の検出（焦点検出）を含むＡＦ、撮像、画像処理、記録等の一連の撮影動作を実行する。ＣＰＵ３１００は、処理手段でもある。

撮像装置制御部３１４０は、撮像装置１の動作を制御するとともに、撮像装置１から出力された信号をＡ／Ｄ変換してＣＰＵ３１００に送信するものであり、それら機能を実現するように構成された回路や制御装置により構成される。Ａ／Ｄ変換機能は、撮像装置１が備えていてもかまわない。画像処理部３１６０は、Ａ／Ｄ変換された信号に対してγ変換やカラー補間等の画像処理を行って画像信号を生成するものであり、その機能を実現するように構成された回路や制御装置により構成される。表示部３２００は、液晶表示装置（ＬＣＤ）等の表示装置であり、カメラの撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態等を表示する。操作スイッチ３２２０は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。記録媒体３２４０は、撮影済み画像等を記録するものであり、撮像システムに内蔵されたものでもよいし、メモリカード等の着脱可能なものでもよい。

このようにして、各実施例による撮像装置１を適用した撮像システム３０００を構成することにより、高精度の焦点調節が可能であり且つ被写界深度の深い画像を取得しうる高性能の撮像システムを実現することができる。

＜移動体への適用例＞
本発明の撮像システム及び移動体について、図１３を用いて説明する。図１３（ａ）は、車載カメラに関する撮像システム４０００の一例を示したものである。撮像システム４０００は、上述の各実施例に記載の撮像装置のいずれかである撮像装置１を有する。撮像システム４０００は、撮像装置１により取得された複数の画像データに対し、画像処理を行う画像処理部４１２０と、撮像装置４１００により取得された複数の画像データから視差（視差画像の位相差）の算出を行う視差取得部４１４０を有する。また、撮像システム４０００は、算出された視差に基づいて対象物までの距離を算出する距離取得部４１６０と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部４１８０と、を有する。ここで、視差取得部４１４０や距離取得部４１６０は、対象物までの距離情報を取得する距離情報取得部の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部４１８０はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計さ
れたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等によって実現されてもよいし、これらの組合せによって実現されてもよい。

撮像システム４０００は、車両情報取得装置４２００と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム４０００は、衝突判定部４１８０での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ４３００が接続されている。すなわち、制御ＥＣＵ４３００は、距離情報に基づいて移動体を制御する移動体制御部の一例である。また、撮像システム４０００は、衝突判定部４１８０での判定結果に基づいて、ドライバーへ警報を発する警報装置４４００とも接続されている。例えば、衝突判定部４１８０の判定結果として衝突可能性が高い場合、制御ＥＣＵ４３００はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置４４００は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。

本実施例では、車両の周囲、例えば前方又は後方を撮像システム４０００で撮像する。図１３（ｂ）に、車両前方（撮像範囲４５００）を撮像する場合の撮像システム４０００を示した。車両情報取得装置４２００は、撮像システム４０００を動作させ撮像を実行させるように指示を送る。上述の各実施例の撮像装置１を用いることで、撮像システム４０００は、測距の精度をより向上させることができる。

以上の説明では、他の車両と衝突しないように制御する例を述べたが、他の車両に追従して自動運転する制御、車線からはみ出さないように自動運転する制御等にも適用可能である。更に、撮像システムは、自動車等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用できる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用できる。

本発明はさらに、医療用の画像取得装置に適用されるイメージセンサー、精密部品の検査装置に用いられるイメージセンサー、監視カメラに用いられるイメージセンサーなど、様々な分野において利用可能である。

１：撮像装置、１００：画素回路、２３０：フレームメモリ、２０：信号処理チップ、２８０：演算部

Claims (17)

1. 複数の画素回路と、
   メモリと、
   前記複数の画素回路から読み出された画素信号に基づく画像データを生成して前記メモリに保存する信号処理手段と、
   前記画像データに基づいて画像を生成する演算手段と、
   を有し、
   前記信号処理手段は、
   所定の露光時間の間に前記複数の画素回路から画素信号を読み出して、１つのフレームに対応する画像データとして前記メモリに保存するものであり、
   少なくとも、第１の露光時間に対応する第１のフレームに対応する画像データと、前記第１の露光時間とは異なる第２の露光時間に対応する第２のフレームに対応する画像データと、前記第２の露光時間とは異なる第３の露光時間に対応する第３のフレームに対応する画像データと、を保存し、
   前記第２のフレームのための露光は、前記第１のフレームのための露光と前記第３のフレームのための露光の間に行われるものであり、
   前記演算手段は、前記メモリに保存された、前記第１のフレームおよび前記第３のフレームに対応する画像データを用いて第１の画像を生成し、前記第２のフレームに対応する画像データを用いて第２の画像を生成する
   ことを特徴とする撮像装置。
2. 前記第１のフレームに対応する画像データと前記第２のフレームに対応する画像データとを前記メモリが保持する期間に、前記第３の露光時間の少なくとも一部と、前記第３のフレームに対応する画素信号の前記複数の画素回路からの読み出し期間とが含まれる
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記演算手段は、前記第１の画像と前記第２の画像を合成する
   ことを特徴とする請求項１または２に記載の撮像装置。
4. 前記第１の露光時間および前記第３の露光時間は、前記第２の露光時間より長いまたは短い
   ことを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
5. 前記第１の露光時間と前記第３の露光時間の長さの差は、前記第２の露光時間と前記第１の露光時間との差および前記第２の露光時間と前記第３の露光時間との差より小さい
   ことを特徴とする請求項１ないし４のいずれか１項に記載の撮像装置。
6. 前記第３の露光時間は前記第１の露光時間に等しい
   ことを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
7. 前記第２のフレームに対応する前記画素信号の前記画素回路からの読み出し開始時刻は、前記第１のフレームに対応する前記画素信号の前記画素回路からの読み出し開始時刻と前記第３のフレームに対応する前記画素信号の前記画素回路からの読み出し開始時刻の中央の時刻である
   ことを特徴とする請求項１ないし６のいずれか１項に記載の撮像装置。
8. 前記第１のフレームのための露光時間の中心時刻と前記第２のフレームのための露光時間の中心時刻との時間間隔を第１の時間間隔とし、前記第２のフレームのための露光時間の中心時刻と前記第３のフレームのための露光時間の中心時刻との時間間隔を第２の時間間隔として、
   前記第１の時間間隔と前記第２の時間間隔との差が、前記第１の露光時間、前記第２の露光時間および前記第３の露光時間のうちの最短の露光時間よりも小さい
   ことを特徴とする請求項１ないし６のいずれか１項に記載の撮像装置。
9. 前記複数の画素回路のそれぞれは、少なくとも２つの光電変換素子を備えており、
   前記信号処理手段は、前記第１のフレームおよび前記第３のフレームに対応する画像データを取得するために前記２つの光電変換素子のいずれか一方から電荷を読み出し、前記第２のフレームに対応する画像データを取得するために前記２つの光電変換素子の両方から電荷を読み出す
   ことを特徴とする請求項１ないし８のいずれか１項に記載の撮像装置。
10. 前記演算手段は、前記第１の画像と前記第２の画像に基づいて、焦点検出を行う
    ことを特徴とする請求項９に記載の撮像装置。
11. 前記メモリは、第１のメモリおよび第２のメモリを含み、
    前記撮像装置は、前記画像データを、前記第１のメモリと前記第２のメモリのいずれに保存するかを選択する選択部をさらに有し、
    前記信号処理手段は、前記演算手段が前記第１のメモリおよび前記第２のメモリの一方から読み出しを行っている間に、前記第１のメモリおよび前記第２のメモリの他方に、前記画像データを保存する
    ことを特徴とする請求項１ないし１０のいずれか１項に記載の撮像装置。
12. 複数の画素回路と、
    第１のメモリおよび第２のメモリを含むメモリと、
    前記複数の画素回路に蓄積された電荷に基づく画像データを取得して前記メモリに保存する信号処理手段と、
    前記画像データを、前記第１のメモリと前記第２のメモリのいずれに保存するかを選択する選択部と、
    前記画像データに基づいて画像を生成する演算手段と、
    を有し、
    前記信号処理手段は、
    所定の露光時間の間に前記複数の画素回路から画素信号を読み出して、１つのフレームに対応する画像データとして前記第１のメモリに保存するものであり、
    少なくとも、第１の露光時間に対応する第１のフレームに対応する画像データと、第２の露光時間に対応する第２のフレームに対応する画像データを保存し、
    前記信号処理手段が前記１つのフレームに対応する画像データを保存するのに要する時間は、前記演算手段が前記１つのフレームに対応する画像データを読み出すのに要する時間よりも短い
    ことを特徴とする撮像装置。
13. 前記画素回路に含まれる光電変換素子が設けられた第１半導体層と、前記信号処理手段に含まれる半導体素子が設けられた第２半導体層とが積層された
    ことを特徴とする請求項１ないし１２のいずれか１項に記載の撮像装置。
14. 前記メモリに含まれる半導体素子が前記第２半導体層に設けられている、請求項１３に記載の撮像装置。
15. 前記メモリが設けられた第３半導体層が前記第２半導体層に積層された、請求項１３に記載の撮像装置。
16. 請求項１ないし１５のいずれか１項に記載の撮像装置と、
    前記撮像装置から出力される信号を処理する処理手段と、
    を有することを特徴とする撮像システム。
17. 請求項１ないし１５のいずれか１項に記載の撮像装置と、
    前記撮像装置から出力される信号から情報を取得する情報取得手段と、
    前記情報に基づいて移動体を制御する移動体制御手段と
    を有することを特徴とする移動体。

Images