JP6821967B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

対象物へ照射した光の反射光を受光することにより、対象物までの距離を測定する光飛行時間（ＴＯＦ；Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）計測法が知られている（例えば特許文献１）。このような方法により対象物までの距離を測定する際、同時に対象物の画像を得ることは困難であった。

特開２００８−８９３４６号公報

撮像装置は、光を光電変換して電荷を生成する第１光電変換部および第２光電変換部と、前記第１光電変換部および前記第２光電変換部を透過した光を光電変換して電荷を生成する第３光電変換部と、第１期間において前記第１光電変換部で生成された電荷に基づく信号と、前記第１期間とは異なる第２期間において前記第２光電変換部で生成された電荷に基づく信号とにより被写体までの距離を測距する第１測距部と、前記第１光電変換部で生成された電荷に基づく信号と、前記第２光電変換部で生成された電荷に基づく信号との相関演算により被写体までの距離を測距する第２測距部と、前記第３光電変換部で生成された電荷に基づく信号により画像データを生成する生成部と、を備える。

撮像装置の構成を模式的に示す断面図 撮像部を模式的に示す斜視図 撮像部の構成を模式的に示す図 撮像画素の配列を模式的に示す平面図 第１撮像画素および第２撮像画素の回路図 第１測距部による測距動作のタイミングチャート 差信号からパルス光と反射光束との位相差を算出する方法を示す説明図 第１測距部による測距動作のタイミングチャート マイクロレンズの変形例を示す断面図

（第１の実施の形態）
図１は、第１の実施の形態に係る撮像装置の構成を模式的に示す断面図である。撮像装置１は、光源部１０、撮像光学系１１、撮像部１２、および制御部１３を備える。

光源部１０は、被測定物２に対して測定光束３を放出する。測定光束３は、例えば可視光である。測定光束３のうち、被測定物２の表面で反射した反射光束４ａは、撮像光学系１１を通過して撮像部１２に入射する。被測定物２には、測定光束３の他に、例えば太陽や街灯などの光源６からの光束（背景光５）も放出される。測定光束３による反射光束４ａに加えて、背景光５による反射光束４ｂも撮像光学系１１を通過して撮像部１２に入射する。撮像部１２は、例えばＣＭＯＳイメージセンサである。なお、詳細は後述するが、撮像部１２は２層の光電変換部を有しており、１回の撮像により２種類の信号を同時に得ることができるように構成されている。

制御部１３は、不図示のＣＰＵおよびその周辺回路により構成される。制御部１３は、所定の制御プログラムを読み込んで実行することにより、撮像装置１全体を制御する。制御部１３は、第１測距部１３ａ、第２測距部１３ｂ、第１画像作成部１３ｃ、および第２画像作成部１３ｄを有する。制御部１３が有するこれらの各部は、上記の制御プログラムによりソフトウェア的に実現される。なお、制御部１３が有するこれらの各部を、同等の機能を有する電子回路等により構成してもよい。これらの各部の働きについては後に詳述する。

（撮像部１２の説明）
図２は、撮像部１２を模式的に示す斜視図である。撮像部１２は、第１撮像素子１２ａおよび第２撮像素子１２ｂを積層した構造を有する。第１撮像素子１２ａは、有機光電変換膜による複数の第１撮像画素３０ａを有する。第２撮像素子１２ｂは、フォトダイオードによる複数の第２撮像画素３０ｂを有する。被測定物２からの入射光は、まず第１撮像素子１２ａの第１撮像画素３０ａに入射する。

第１撮像素子１２ａは、シアン、マゼンタ、イエローの各色に感度を有する３種類の第１撮像画素３０ａを有する。第１撮像画素３０ａは、入射光のうち、それら各色に対応する波長域の光のみを光電変換する。シアンに対応する第１撮像画素３０ａは、シアンの色情報を有する信号を出力する。同様に、マゼンタに対応する第１撮像画素３０ａは、マゼンタの色情報を有する信号を出力し、イエローに対応する第１撮像画素３０ａは、イエローの色情報を有する信号を出力する。

第１撮像画素３０ａへの入射光のうち、光電変換されなかった残りの光は、第１撮像画素３０ａを通過し、下方に設けられた第２撮像画素３０ｂに入射する。シアンに対応する第１撮像画素３０ａの下方に設けられた第２撮像画素３０ｂは、シアンの光以外の光（シアンの補色、すなわち赤色の光を光電変換し、赤色の色情報を有する信号を出力する。同様に、マゼンタに対応する第１撮像画素３０ａの下方に設けられた第２撮像画素３０ｂは、マゼンタの光以外の光（マゼンタの補色、すなわち緑色の光を光電変換し、緑色の色情報を有する信号を出力する。イエローに対応する第１撮像画素３０ａの下方に設けられた第２撮像画素３０ｂは、イエローの光以外の光（イエローの補色、すなわち青色の光を光電変換し、青色の色情報を有する信号を出力する。

図３（ａ）は、撮像部１２の構成を模式的に示す断面図である。図３（ａ）の紙面上側が、被測定物２からの光束の入射面である。すなわち被測定物２からの光束は、図２（ａ）の紙面上側から紙面下側に向かって入射する。撮像部１２の最下層はシリコン基板１２０である。シリコン基板１２０の上層には、配線層１３０、下部電極１１４、有機光電変換膜１１２、共通電極１１３、マイクロレンズ１１１が順に配置されている。

シリコン基板１２０には、フォトダイオードＰＤや不図示の信号読み出し回路などが形成されている。配線層１３０には、個別電極１１４やフォトダイオードＰＤ、不図示の信号読み出し回路などを互いに接続する配線が形成されている。有機光電変換膜１１２は、可視光を吸収し、吸収した光の量に応じた量の電荷（電子正孔対）を生成する。

有機光電変換膜１１２の一方の面（上面）には、透明な共通電極１１３が設けられている。有機光電変換膜１１２の他方の面（下面）には、透明な個別電極１１４が設けられている。有機光電変換膜１１２は、全ての撮像画素部１２１に共通な１枚の薄膜として形成されている。共通電極１１３は、全ての撮像画素部１２１について共通な１つの電極として設けられている。共通電極１１３には、所定の正電圧Ｖｐｃが印加される。個別電極１１４は、撮像画素部１２１ごとに互いに分離して設けられている。個別電極１１４は、共通電極１１３と対向するように設けられている。

被測定物２からの光束は、マイクロレンズ１１１を通過し、シリコン基板１２０内に形成されたフォトダイオードＰＤに入射する。フォトダイオードＰＤは、入射した光束の光量に応じた量の信号電荷を生成する。

マイクロレンズ１１１は、入射光をフォトダイオードＰＤに向けて集光する。マイクロレンズ１１１は、フォトダイオードＰＤの受光面に結像面を有する。換言すると、マイクロレンズ１１１は、被測定物２の像をフォトダイオードＰＤに結像させる。

図３（ｂ）は、第１撮像画素３０ａを模式的に示す平面図である。第１撮像画素３０ａに含まれる個別電極１１４は、光軸を通過する直線に対して線対称な一対の第１個別電極１１４ａおよび第２個別電極１１４ｂとして構成される。第１撮像画素３０ａは、図３（ｂ）に図示した第１個別電極１１４ａおよび第２個別電極１１４ｂが占める領域に入射した光を光電変換した結果に基づく信号を出力する。第１撮像画素３０ａは、第１個別電極１１４ａが占める領域に入射した光を光電変換した結果に基づく信号と、第２個別電極１１４ｂが占める領域に入射した光を光電変換した結果に基づく信号と、を個別に出力する。つまり第１撮像画素３０ａは、第１個別電極１１４ａによる光電変換部と、第２個別電極１１４ｂによる光電変換部とを有している。

図３（ｃ）は、第２撮像画素３０ｂを模式的に示す平面図である。第２撮像画素３０ｂに含まれるフォトダイオードＰＤは、図３（ｂ）に図示した一対の第１個別電極１１４ａおよび第２個別電極１１４ｂが占める領域を全て含むように形成される。

以上のように構成された第１撮像画素３０ａは、撮像光学系１１の一対の瞳領域をそれぞれ通過した一対の光束を、それぞれ個別に光電変換した一対の信号を出力する。これに対して、第２撮像画素３０ｂは、それら一対の瞳領域を含む１つの瞳領域を通過した光束を光電変換した信号を出力する。

図４（ａ）は、第１撮像素子１２ａにおける第１撮像画素３０ａの配列を模式的に示す平面図であり、図４（ｂ）は、第２撮像素子１２ｂにおける第２撮像画素３０ｂの配列を模式的に示す平面図である。図４（ａ）において、「Ｃｙ」「Ｍｇ」「Ｙｅ」という文字は、それぞれシアン、マゼンタ、イエローの各色に対応する第１撮像画素３０ａを示す。図４（ｂ）において、「Ｒ」「Ｇ」「Ｂ」という文字は、それぞれ赤、緑、青の各色に対応する第２撮像画素３０ｂを示す。第２撮像画素３０ｂは、いわゆるベイヤ配列を為すように配列される。第１撮像画素３０ａは、第２撮像画素３０ｂと補色関係になるように配列される。

図５は、第１撮像画素３０ａおよび第２撮像画素３０ｂの回路図である。第１撮像画素３０ａは、共通電極１１３、有機光電変換膜１１２、第１個別電極１１４ａ、第２個別電極１１４ｂ、第１リセットトランジスタＲＳＴ１、第２リセットトランジスタＲＳＴ２、第１増幅トランジスタＡＭＰ１、第２増幅トランジスタＡＭＰ２、第１選択トランジスタＳＥＬ１、および第２選択トランジスタＳＥＬ２を有する。

共通電極１１３には、所定の正電圧Ｖｐｃが印加される。第１個別電極１１４ａには、有機光電変換膜１１２により吸収された（光電変換された）光量に応じた量の電荷（正孔）が蓄積される。第１リセットトランジスタＲＳＴ１は、第１リセット信号φＲＳＴ１に従って、第１個別電極１１４ａに蓄積されている電荷を所定電圧Ｖｒｅｆによりリセットする。第１増幅トランジスタＡＭＰ１は、第１個別電極１１４ａに蓄積されている電荷に応じた信号を、所定電圧Ｖｃｃに基づき出力する。第１選択トランジスタＳＥＬ１は、第１選択信号φＳＥＬ１に従って、第１増幅トランジスタＡＭＰ１から出力された信号を、この第１撮像画素３０ａからの第１信号として所定の出力信号線に出力する。

第２リセットトランジスタＲＳＴ２は、第２リセット信号φＲＳＴ２に従って、第２個別電極１１４ｂに蓄積されている電荷を所定電圧Ｖｒｅｆによりリセットする。第２増幅トランジスタＡＭＰ２は、第２個別電極１１４ｂに蓄積されている電荷に応じた信号を、所定電圧Ｖｃｃに基づき出力する。第２選択トランジスタＳＥＬ２は、第２選択信号φＳＥＬ２に従って、第２増幅トランジスタＡＭＰ２から出力された信号を、この第１撮像画素３０ａからの第２信号として所定の出力信号線に出力する。

第２撮像画素３０ｂは、フォトダイオードＰＤ、転送トランジスタＴＸ、第３リセットトランジスタＲＳＴ３、第３増幅トランジスタＡＭＰ３、および第３選択トランジスタＳＥＬ３を有する。フォトダイオードＰＤは、入射光を光電変換して光量に応じた量の電荷を生成する。転送トランジスタＴＸは、転送信号φＴＸに従って、フォトダイオードＰＤにより生成された電荷を、いわゆるフローティングディフュージョンＦＤに転送する。第３リセットトランジスタＲＳＴ３は、第３リセット信号φＲＳＴ３に従って、フォトダイオードＰＤおよびフローティングディフュージョンＦＤに蓄積されている電荷を所定電圧Ｖｃｃによりリセットする。第３増幅トランジスタＡＭＰ３は、フローティングディフュージョンＦＤに蓄積されている電荷に応じた信号を、所定電圧Ｖｃｃに基づき出力する。第３選択トランジスタＳＥＬ３は、第３選択信号φＳＥＬ３に従って、第３増幅トランジスタＡＭＰ３から出力された信号を、この第２撮像画素３０ｂからの第３信号として所定の出力信号線に出力する。

（第１測距部１３ａの説明）
第１測距部１３ａは、第１撮像画素３０ａにより出力された第１信号および第２信号から、被測定物２までの距離を測定する。第１測距部１３ａは、いわゆる光飛行時間（Time of Flight）計測法により、被測定物２までの距離を測定する。

図６は、第１測距部１３ａによる測距動作のタイミングチャートである。図６の横軸は、紙面左方向から紙面右方向に向かって時間の経過を示し、図６の縦軸は、光量および信号量を示す。なお、図６では説明を簡単にするため、１つの第１撮像画素３０ａに注目して説明を行い、第１選択信号φＳＥＬ１および第２選択信号φＳＥＬ２については図示および説明を省略する。

図６において、第１サンプルホールド信号とは、第１信号を所定周期ごとにサンプリングし保持した信号である。また、第２サンプルホールド信号とは、第２信号を所定周期ごとにサンプリングし保持した信号である。

時刻ｔ１に、制御部１３は第１リセット信号φＲＳＴ１をＨレベルにする。これにより、第１個別電極１１４ａがリセットされ、第１信号および第１サンプルホールド信号がＨレベルになる。その後の時刻ｔ２に、制御部１３は第２リセット信号φＲＳＴ２をＨレベルにする。これにより、第２個別電極１１４ｂがリセットされ、第２信号および第２サンプルホールド信号がＨレベルになる。

その後の時刻ｔ３に、制御部１３は、光源部１０から被測定物２に向けてパルス光を放出させる。このパルス光のパルス幅はＴｏである。これと同時に、制御部１３は、所定時間Ｔａごとに第１リセット信号φＲＳＴ１のＨレベルとＬレベルを繰り返し変化させ続ける。また、制御部１３は、第１リセット信号φＲＳＴ１を反転した信号（ＨレベルとＬレベルを逆転させた信号）を第２リセット信号φＲＳＴとして出力する。つまり、第１撮像画素３０ａからは、所定時間Ｔａの期間に入射した光が光電変換された第１信号と、その直後の所定時間Ｔａの期間に入射した光が光電変換された第２信号とが繰り返し出力される。換言すると、入射光を所定時間Ｔａごとに交互に光電変換した結果が、第１信号および第２信号として出力される。

光源部１０から放出されたパルス光は、被測定物２により反射され、反射光束４ａとして第１撮像画素３０ａに入射する。反射光束４ａが第１撮像画素３０ａに入射する時刻ｔ４は、パルス光を放出した時刻ｔ３から遅れ時間Ｔｄだけ遅れる。遅れ時間Ｔｄは、被測定物２の距離に応じた時間である。例えば被測定物２が遠ければ遠いほど、遅れ時間Ｔｄは大きくなる。

第１撮像画素３０ａには、反射光束４ａとは別に、背景光５による反射光束４ｂが入射し続けている。従って、反射光束４ａが入射しない間、第１撮像画素３０ａから出力される第１信号および第２信号は、環境光の光量に応じた大きさになる。第１サンプルホールド信号および第２サンプルホールド信号も同様である。第１サンプルホールド信号と第２サンプルホールド信号とを、位相を１８０度ずらして差を取った差信号は、反射光束４ｂが一定である限り、ゼロとなる。

これに対して、反射光束４ａが入射するときには、第１撮像画素３０ａから出力される第１信号および第２信号は、環境光の光量と反射光束４ａの光量とを加算した光量に応じた大きさになる。第１サンプルホールド信号および第２サンプルホールド信号も同様である。従って、第１サンプルホールド信号と第２サンプルホールド信号とを、位相を１８０度ずらして差を取った差信号には、反射光束４ａの光量が反映される。

制御部１３は、光源部１０から被測定物２に対して一定時間Ｔａごとに繰り返しパルス光を放出させる。このとき差信号は、パルス光および反射光束４ａと同一の周波数成分を有する。従って、差信号から、パルス光と反射光束４ａとの位相差（すなわち遅れ時間Ｔｄ）を検出することができる。遅れ時間Ｔｄは光速と被測定物２までの距離とにより決定されるので、遅れ時間Ｔｄが判明すれば、被測定物２までの距離を算出することができる。

図７は、差信号からパルス光と反射光束４ａとの位相差φを算出する方法を示す説明図である。なお図７では、説明を簡単にするため、光源部１０からパルス光ではなく正弦波の光を放出した場合について説明するが、パルス光でも同様の処理により位相差φを得ることができる。このとき、差信号はＡＳｉｎ（ωｔ―φ）と表記することができる。この差信号に対して、参照信号Ｓｉｎ（ωｔ）および参照信号Ｃｏｓ（ωｔ）を乗算すると、前者はＡ／２（ｃｏｓ（―φ）―ｃｏｓ（２ωｔ―φ））となり、後者はＡ／２（ｓｉｎ（―φ）＋ｓｉｎ（２ωｔ―φ））となる。この２つの信号に対してローパスフィルタを適用すると、Ａ／２（ｃｏｓ（―φ））、Ａ／２（ｓｉｎ（―φ））という信号が得られる。位相差φは、これら２つから、ａｒｃｔａｎ（―ｓｉｎ（―φ）／ｃｏｓ（―φ））を演算することにより算出される。

制御部１３は、第１測距部１３ａにより測定された第１撮像画素３０ａごとの距離を、例えば二次元状に配列してデプスマップを作成し、不図示の記憶媒体に記憶する。また、第１測距部１３ａにより測定された第１撮像画素３０ａごとの距離を、撮像光学系１１の焦点調節に利用することもできる。

（第２測距部１３ｂの説明）
第２測距部１３ｂは、第１撮像画素３０ａにより出力された信号から、被測定物２までの距離を測定する。第２測距部１３ｂは、いわゆる瞳分割方式の位相差検出法により、被測定物２までの距離を測定する。

第２測距部１３ｂは、Ｘ方向に並んだ複数の第１撮像画素３０ａの各々から、第１個別電極１１４ａに対応する信号をそれぞれ取得して配列した第１の信号列と、第２個別電極１１４ｂに対応する信号をそれぞれ取得して配列した第２の信号列とを生成する。

第２測距部１３ｂは、第１の信号列と第２の信号列との相関を、第１の信号列と第２の信号列とを少しずつシフトさせながら繰り返し演算し、相関量が極小となるシフト量を求める。ここで求められた相関量が極小となるシフト量は、撮像光学系１１のデフォーカス量に応じた量となる。相関量が極小となるシフト量に所定の係数を乗じることで、撮像光学系１１のデフォーカス量が算出できる。

第２測距部１３ｂは、撮像光学系１１のデフォーカス量と、撮像光学系１１の現在の撮影距離（フォーカス位置）とから、被測定物２までの距離を算出する。例えば、撮像光学系１１の現在の撮影距離が１メートルであり、撮像光学系１１のデフォーカス量が０である場合、撮像装置１から被測定物２までの距離は１メートルである。デフォーカス量の正負は、撮像光学系１１の現在の撮影距離よりも被測定物２が近い（遠い）ことを示しており、デフォーカス量の絶対値の大小は、その近さ（遠さ）を示している。従って、例えば撮影距離に応じて予め定められた係数を乗じることで、被測定物２までの距離を算出することができる。

制御部１３は、第２測距部１３ｂにより測定された被測定物２の各部分の距離を、例えば二次元状に配列してデプスマップを作成し、不図示の記憶媒体に記憶する。また、第２測距部１３ｂにより測定された距離やデフォーカス量を、撮像光学系１１の焦点調節に利用することもできる。

（第１画像作成部１３ｃの説明）
第１画像作成部１３ｃは、第１撮像画素３０ａにより出力された信号から、被測定物２の画像データを作成する。第１画像作成部１３ｃは、１つの第１撮像画素３０ａにより出力された一対の信号を加算した加算信号を、その第１撮像画素３０ａに対応する撮像信号と見なす。第１画像作成部１３ｃは、そのようにして作成された第１撮像画素３０ａの各々に対応する撮像信号に対して、周知のデモザイク処理や種々の画像処理（ホワイトバランスの調整など）を施すことにより、被測定物２の画像データを作成する。制御部１３は、第１画像作成部１３ｃにより作成された画像データを、例えば不図示の記憶媒体に記憶したり、不図示の表示装置に表示したりする。また、第１測距部１３ａや第２測距部１３ｂにより測定された距離に基づくデプスマップと、第１画像作成部１３ｃにより作成された画像データとを関連付けて、不図示の記憶媒体に記憶してもよい。

（第２画像作成部１３ｄの説明）
第２画像作成部１３ｄは、第２撮像画素３０ｂにより出力された信号から、被測定物２の画像データを作成する。第２画像作成部１３ｄは、第２撮像画素３０ｂの各々に対応する信号に対して、周知のデモザイク処理や種々の画像処理（ホワイトバランスの調整など）を施すことにより、被測定物２の画像データを作成する。制御部１３は、第２画像作成部１３ｄにより作成された画像データを、例えば不図示の記憶媒体に記憶したり、不図示の表示装置に表示したりする。また、第１測距部１３ａや第２測距部１３ｂにより測定された距離に基づくデプスマップと、第２画像作成部１３ｄにより作成された画像データとを関連付けて、不図示の記憶媒体に記憶してもよい。

上述した実施の形態によれば、次の作用効果が得られる。
（１）第１撮像素子１２ａは、変調光を含む入射光の一部を光電変換して残りを透過する。第２撮像素子１２ｂは、入射光の残りを光電変換する。第１測距部１３ａは、第１撮像素子１２ａが出力した第１信号に含まれる測定光束３の信号により被写体距離を演算する。このようにしたので、被測定物２までの距離の測定と同時に、測距用でない通常の信号を得ることができる。

（２）第２画像作成部１３ｄは、第２撮像素子１２ｂが出力した第３信号により画像データを生成する。このようにしたので、被測定物２までの距離の測定と同時に、被測定物２の画像データを得ることができる。

（３）第１撮像素子１２ａは光電変換部を有する第１撮像画素３０ａを備える。第２撮像素子１２ｂは光電変換部を有する第２撮像画素３０ｂを備える。第１撮像画素３０ａは、図３（ｂ）に示すように、第１個別電極１１４ａによる光電変換部と、第２個別電極１１４ｂによる光電変換部とを有している。第１測距部１３ａは、第１期間において第１個別電極１１４ａに対応する光電変換部による光電変換の結果に基づく第１信号と、第１期間とは異なる第２期間において第２個別電極１１４ｂに対応する光電変換部による光電変換の結果に基づく第２信号とにより測定光束３の信号を検出する。このようにしたので、被測定物２の同一部位からの反射光束４ａに基づき距離を測定することができる。

（４）マイクロレンズ１１１は、第１個別電極１１４ａによる光電変換部および第２個別電極１１４ｂによる光電変換部の受光面に結像面を有する。第２測距部１３ｂは、第１個別電極１１４ａに対応する光電変換部による光電変換の結果に基づく第１信号と、第２個別電極１１４ｂに対応する光電変換部による光電変換の結果に基づく第２信号と、の相関を演算することにより被写体距離を測定する。このようにしたので、いわゆるＴｏＦ法による被写体距離と、いわゆる像面位相差方式による被写体距離とを共に得ることができる。更に、第２画像作成部１３ｄにより作成される画像の画質と、第２測距部１３ｂにより測定される距離の精度と、が共に向上する。

（第２の実施の形態）
上述した第１の実施の形態では、光源部１０から放出したパルス光と、その反射光束４ａとの位相差φを検出することにより、遅れ時間Ｔｄを求めていた。第２の実施の形態に係る撮像装置の第１測距部１３ａは、位相差φを介さず、遅れ時間Ｔｄを直接検出する。以下、第２の実施の形態に係る第１測距部１３ａの動作について説明する。なお、第１の実施の形態と同一の箇所については説明を省略する。

図８は、第１測距部１３ａによる測距動作のタイミングチャートである。図８の横軸は、紙面左方向から紙面右方向に向かって時間の経過を示し、図８の縦軸は、光量および信号量を示す。なお、図８では説明を簡単にするため、１つの第１撮像画素３０ａに注目して説明を行い、第１選択信号φＳＥＬ１および第２選択信号φＳＥＬ２については図示および説明を省略する。

時刻ｔ１１に、制御部１３は第１リセット信号φＲＳＴ１をＨレベルにする。これにより、第１個別電極１１４ａがリセットされ、第１信号がＨレベルになる。その後の時刻ｔ１２に、制御部１３は第２リセット信号φＲＳＴ２をＨレベルにする。これにより、第２個別電極１１４ｂがリセットされ、第２信号がＨレベルになる。

その後の時刻ｔ１３に、制御部１３は、光源部１０から被測定物２に向けてパルス光を放出させる。このパルス光のパルス幅はＴｏである。つまり、パルス光は時刻ｔ３から時間Ｔｏの間だけ放出される。これと同時に、制御部１３は、第１リセット信号φＲＳＴ１を時間Ｔｏの間だけＬレベルにする。その後、時間Ｔｏが経過した後の時刻ｔ１４に、制御部１３は、第１リセット信号φＲＳＴ１をＨレベルにすると共に、第２リセット信号φＲＳＴ２をＬレベルにする。その後、時間Ｔｏが経過した後の時刻ｔ１５に、制御部１３は、第２リセット信号φＲＳＴ２をＨレベルにする。つまり、第１撮像画素３０ａからは、時刻ｔ１３から時刻ｔ１４までの期間に入射した光が光電変換された第１信号と、時刻ｔ１４から時刻ｔ１５までの期間に入射した光が光電変換された第２信号とが出力される。

その後の時刻ｔ１６に、制御部１３は、第１リセット信号φＲＳＴ１を時間Ｔｏの間だけＬレベルにする。その後、時間Ｔｏが経過した後の時刻ｔ１７に、制御部１３は、第１リセット信号φＲＳＴ１をＨレベルにすると共に、第２リセット信号φＲＳＴ２をＬレベルにする。その後、時間Ｔｏが経過した後の時刻ｔ１８に、制御部１３は、第２リセット信号φＲＳＴ２をＨレベルにする。つまり、第１撮像画素３０ａからは、時刻ｔ１６から時刻ｔ１７までの期間に入射した光が光電変換された第１信号と、時刻ｔ１７から時刻ｔ１８までの期間に入射した光が光電変換された第２信号とが出力される。

光源部１０から放出されたパルス光は、被測定物２により反射され、反射光束４ａとして第１撮像画素３０ａに入射する。反射光束４ａが第１撮像画素３０ａに入射する時刻ｔ１９は、パルス光を放出した時刻ｔ１３から遅れ時間Ｔｄだけ遅れる。遅れ時間Ｔｄは、被測定物２の距離に応じた時間である。例えば被測定物２が遠ければ遠いほど、遅れ時間Ｔｄは大きくなる。

第１撮像画素３０ａには、反射光束４ａとは別に、背景光５による反射光束４ｂが入射し続けている。従って、反射光束４ａが入射しない間、第１撮像画素３０ａから出力される第１信号および第２信号は、環境光の光量に応じた大きさＱｏになる。

これに対して、反射光束４ａが入射するときには、第１撮像画素３０ａから出力される第１信号および第２信号は、それぞれ、環境光の光量と反射光束４ａの光量とを加算した光量に応じた大きさＱＡ’、ＱＢ’になる。遅れ時間Ｔｄが小さいほど、ＱＡ’が相対的に大きくなり、ＱＢ’が相対的に小さくなる。逆に、遅れ時間Ｔｄが大きいと、ＱＡ’が相対的に小さくなり、ＱＢ’が相対的に大きくなる。

第１測距部１３ａは、時間ｔ１３から時間ｔ１４の間の光電変換の結果得られた第１信号および第２信号から、上記のＱＡ’およびＱＢ’を得る。第１測距部１３ａは、時間ｔ１４から時間ｔ１５の間の光電変換の結果得られた第１信号または第２信号から、上記のＱｏを得る。第１測距部１３ａは、ＱＡ’、ＱＢ’からそれぞれＱｏを減算することにより、反射光束４ａの光量を示す信号量ＱＡ、ＱＢを得る。第１測距部１３ａは、ＱＡとＱＢの比から、遅れ時間Ｔｄを演算する。

上述した実施の形態によれば、第１の実施の形態と同様の作用効果が得られる。

（変形例１）
第２撮像画素３０ｂにより出力される第３信号には、光源部１０からのパルス光の成分が含まれてしまう。そこで、第２画像作成部１３ｄが、第３信号からパルス光のパルスカウント分を減算して画像データを作成するようにしてもよい。つまり第２画像作成部１３ｄが、第３信号からパルス光の成分を減算して画像データを作成するようにしてもよい。このようにすることで、第２画像作成部１３ｄにより作成される画像データの画質が向上する。

（変形例２）
第２測距部１３ｂによる距離の測定（瞳分割方式による測距）が必要ない場合には、マイクロレンズ１１１を省略してもよい。この場合には、例えば有機光電変換膜１１２とフォトダイオードＰＤをより近づける、隣接するフォトダイオードＰＤ間に隔壁を設ける等の方法により、隣接する第２撮像画素３０ｂ間のクロストークを抑止することが望ましい。なお、この場合においても、第１測距部１３ａによる距離の測定（ＴｏＦ法による測距）は可能である。

（変形例３）
一部の第２撮像画素３０ｂについて、フォトダイオードＰＤを図３（ｂ）に示すように一対に分割し、第２測距部１３ｂがそれら一対のフォトダイオードＰＤからの信号に基づき被写体距離を演算するようにしてもよい。この場合において、分割された一対のフォトダイオードＰＤの各々に対応する一対の読み出し回路を設けてもよいし、一対のフォトダイオードＰＤに対して読み出し回路を１つだけ設け、信号の読み出しを異なるタイミングで行う（時分割的に行う）ようにしてもよい。

また、マイクロレンズ１１１がフォトダイオードＰＤに像を結ばないようにしてもよい。そのようなマイクロレンズの例を図９に示す。マイクロレンズ１１１が像を結ばずに入射光を拡散させるようにしたり、マイクロレンズ１１１がフォトダイオードＰＤよりも更に深い部分に像を結ぶようにしたりすることで、第１測距部１３ａにより測定される距離（ＴｏＦ法による測距）の精度が向上する。

また、マイクロレンズ１１１が下部電極１１４やその近傍に像を結ぶようにしてもよい。このようにすることで、第２測距部１３ｂにより測定される距離（瞳分割方式による測距）の精度が向上する。また、第１画像作成部１３ｃにより作成される画像の画質も向上する。

更に、それらを組み合わせてもよい。例えば、撮像面の一部にはフォトダイオードＰＤに像を結ばないマイクロレンズ１１１を配置し（もしくはマイクロレンズ１１１を配置せず）、撮像面の別の一部ではフォトダイオードＰＤを図３（ｂ）に示すように一対に分割し、撮像面の残りの部分には第１の実施の形態で示したマイクロレンズ１１１を配置する。このようにすることで、測距精度と画質とを両立させることができる。

（変形例４）
図２（ａ）に図示したように、撮像部１２は、いわゆる表面照射型の構造を有しているが、配線層１３０をフォトダイオードＰＤの裏面に移動させた、いわゆる裏面照射型の構造としてもよい。この場合において、第１撮像画素３０ａからの信号は、例えば有機光電変換膜１１２の近傍に薄膜トランジスタによる信号読み出し回路（図５に例示した回路）を形成することにより読み出す。あるいは、シリコン基板１２０に第１撮像画素３０ａの信号読み出し回路を形成し、その信号読み出し回路と個別電極１１４とを、シリコン基板１２０を貫通する貫通電極により接続してもよい。

（変形例５）
有機光電変換膜など、フォトダイオードＰＤとは異なる光電変換部材を、フォトダイオードＰＤの代わりに配置してもよい。つまり、第２撮像画素３０ｂが、フォトダイオードＰＤ以外の光電変換部を有するようにしてもよい。

（変形例６）
有機光電変換膜１１２に、シアン、マゼンタ、イエローの各色とは異なる波長域への感度を持たせてもよい。例えば、有機光電変換膜１１２が、赤外光を吸収し可視光を透過するようにしてもよい。この場合、有機光電変換膜１１２の前後いずれかに、赤、緑、青の各色に対応する波長域の光のみを通過させるカラーフィルタを配置し、下層のフォトダイオードＰＤに、それら各色の光のみが入射するようにすることが望ましい。

１…撮像装置、１３…制御部、１３ａ…第１測距部、１３ｂ…第２測距部、１３ｃ…第１画像作成部、１３ｄ…第２画像作成部、３０…撮像画素、３０ａ…第１撮像画素、３０ｂ…第２撮像画素、１１２…有機光電変換膜、ＰＤ…フォトダイオード

Claims (7)

1. 光を光電変換して電荷を生成する第１光電変換部および第２光電変換部と、
   前記第１光電変換部および前記第２光電変換部を透過した光を光電変換して電荷を生成する第３光電変換部と、
   第１期間において前記第１光電変換部で生成された電荷に基づく信号と、前記第１期間とは異なる第２期間において前記第２光電変換部で生成された電荷に基づく信号とにより被写体までの距離を測距する第１測距部と、
   前記第１光電変換部で生成された電荷に基づく信号と、前記第２光電変換部で生成された電荷に基づく信号との相関演算により被写体までの距離を測距する第２測距部と、
   前記第３光電変換部で生成された電荷に基づく信号により画像データを生成する生成部と、
   を備える撮像装置。
2. 請求項１に記載の撮像装置において、
   前記生成部は、前記第１光電変換部で生成された電荷に基づく信号と前記第２光電変換部で生成された電荷に基づく信号により画像データを生成する撮像装置。
3. 請求項１または２に記載の撮像装置において、
   前記第１光電変換部および前記第２光電変換部は、変調光を含む光を光電変換して電荷を生成し、
   前記第１測距部は、前記第１光電変換部で生成された電荷に基づく信号と、前記第２光電変換部で生成された電荷に基づく信号とから前記変調光の成分を検出することにより、被写体までの距離を測距する撮像装置。
4. 請求項３に記載の撮像装置において、
   前記生成部は、前記第３光電変換部で生成された電荷に基づく信号から前記変調光の信号を減算して画像データを生成する撮像装置。
5. 請求項１から４のいずれか一項に記載の撮像装置において、
   前記第１光電変換部および前記第２光電変換部を透過した光を光電変換して電荷を生成する、前記第３光電変換部とは異なる第４光電変換部を備え、
   前記第２測距部は、前記第３光電変換部で生成された電荷に基づく信号と、前記第４光電変換部で生成された電荷に基づく信号との相関演算により被写体までの距離を測距する撮像装置。
6. 請求項１から請求項５までのいずれか一項に記載の撮像装置において、
   所定のデューティ比を有するパルス波または所定の周波数を有する正弦波の波形を有する光を放出する光源部を備える撮像装置。
7. 請求項１から請求項６までのいずれか一項に記載の撮像装置において、
   前記第１光電変換部および前記第２光電変換部と前記第３光電変換部との少なくとも一方は、有機光電変換膜である撮像装置。
   

Images