WO2021010174A1

WO2021010174A1 - 受光装置、および、受光装置の駆動方法

Info

Publication number: WO2021010174A1
Application number: PCT/JP2020/025980
Authority: WO
Inventors: 俊海津; 基三原
Original assignee: ソニー株式会社
Priority date: 2019-07-16
Filing date: 2020-07-02
Publication date: 2021-01-21
Also published as: US20220268942A1

Abstract

本技術は、測定範囲を拡大できるようにする受光装置、および、受光装置の駆動方法に関する。受光装置は、入射された光を光電変換して電荷を生成する光電変換部と、光電変換部において第１蓄積時間で生成された第１電荷を蓄積する第１電荷蓄積部と、光電変換部において第１蓄積時間と異なる第２蓄積時間で生成された第２電荷を蓄積する第２電荷蓄積部とを有する画素を備える。本技術は、例えば、Indirect ToF方式による測距を行う測距モジュール等に適用できる。

Description

受光装置、および、受光装置の駆動方法

　本技術は、受光装置、および、受光装置の駆動方法に関し、特に、測定範囲を拡大できるようにした受光装置、および、受光装置の駆動方法に関する。

　近年の半導体技術の進歩により、スマートフォンなどのモバイル端末に、測距モジュールが搭載されているものがある。測距モジュールにおける測距方法としては、例えば、Indirect ToF（Time of Flight）方式がある。Indirect ToF方式では、測距モジュールは、変調された照射光を物体に向かって照射して物体の表面で反射してくる反射光を検出する。このとき、測距モジュールは、例えば、照射光に対して０度、９０度、１８０度、および、２７０度の４位相で反射光を検出することで照射光と反射光との位相差を検出して、物体までの距離に変換する。

　例えば、１画素に４つの電荷蓄積部を備え、照射光に対して０度、９０度、１８０度、および、２７０度の位相をずらして受光された電荷を、画素内の４つの電荷蓄積部に振り分ける構成とした距離画像装置が開示されている（例えば、特許文献１参照）。

特開２００９－８５３７号公報

　Indirect ToF方式の測距モジュールは、距離の測定範囲（ダイナミックレンジ）を広くすることが難しい。すなわち、照射光は距離の２乗に反比例して減衰するため、距離が遠くなるほど受光輝度が小さくなり、ノイズに埋もれてしまう。照射光の発光輝度を大きくすると、近距離では電荷が飽和して距離が計算できなくなる。

　本技術は、このような状況に鑑みてなされたものであり、測定範囲を拡大できるようにするものである。

　本技術の一側面の受光装置は、入射された光を光電変換して電荷を生成する光電変換部と、前記光電変換部において第１蓄積時間で生成された第１電荷を蓄積する第１電荷蓄積部と、前記光電変換部において前記第１蓄積時間と異なる第２蓄積時間で生成された第２電荷を蓄積する第２電荷蓄積部とを有する画素を備える。

　本技術の一側面の受光装置の駆動方法は、光電変換部と、第１電荷蓄積部と、第２電荷蓄積部とを有する画素を備える受光装置の駆動制御部が、前記光電変換部において第１蓄積時間で生成された第１電荷を前記第１電荷蓄積部へ蓄積させ、前記光電変換部において前記第１蓄積時間と異なる第２蓄積時間で生成された第２電荷を前記第２電荷蓄積部へ蓄積させる。

　本技術の一側面においては、光電変換部と、第１電荷蓄積部と、第２電荷蓄積部とを有する画素を備える受光装置の前記光電変換部において第１蓄積時間で生成された第１電荷が前記第１電荷蓄積部へ蓄積され、前記光電変換部において前記第１蓄積時間と異なる第２蓄積時間で生成された第２電荷が前記第２電荷蓄積部へ蓄積される。

　受光装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本技術を適用した測距モジュールの一実施の形態の構成例を示すブロック図である。画素アレイ部の画素の概略構造を説明する図である。測距センサが実行可能な動作モードを説明する図である。通常駆動モードにおけるデプスマップの算出を説明する図である。通常駆動モードにおけるデプスマップの算出を説明する図である。通常駆動モードにおけるデプスマップの算出を説明する図である。画素の第１の画素回路の構成例を示す図である。 HDR駆動モードにおける第１の画素回路の動作を説明する図である。画素の第２の画素回路の構成例を示す図である。 HDR駆動モードにおける第２の画素回路の動作を説明する図である。第２の画素回路においてHDR駆動モードを実現する他の駆動例を示す図である。信号処理部の詳細構成例を示すブロック図である。補正処理部が実行する補正処理を説明する図である。補正処理部が実行する補正処理を説明する図である。デプス算出部が実行するデプスマップ生成処理を説明する図である。デプス算出部が実行するデプスマップ生成処理を説明する図である。統計量算出部の第１構成例を示すブロック図である。統計量算出部の第２構成例を示すブロック図である。輝度値のヒストグラムを説明する図である。蓄積時間算出部の蓄積時間算出処理を説明する図である。 HDR駆動モードで物体までの距離を測定する測定処理のフローチャートである。測距センサのチップ構成例を示す図である。測距モジュールの使用例を説明する図である。車両制御システムの概略的な構成の一例を示すブロック図である。車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

　以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．測距モジュールの構成例
２．画素の概略説明
３．画素の第１の回路構成例
４．画素の第２の回路構成例
５．信号処理部の構成例
６．補正処理部による補正処理
７．デプス算出部によるデプス算出処理
８．統計量算出部による統計量算出処理
９．蓄積時間算出部による蓄積時間算出処理
１０．HDR駆動モードにおける測定処理
１１．測距センサのチップ構成例
１２．測距モジュールの使用例
１３．移動体への応用例

＜１．測距モジュールの構成例＞
　図１は、本技術を適用した測距モジュールの一実施の形態の構成例を示すブロック図である。

　図１に示される測距モジュール１１は、Indirect ToF方式による測距を行う測距モジュールであり、発光部１２、発光制御部１３、および、測距センサ１４を有する。測距モジュール１１は、物体に対して光を照射し、その光（照射光）が物体で反射されてきた光（反射光）を受光することにより、物体までの距離情報としてのデプスマップを生成して出力する。測距センサ１４は、反射光を受光する受光装置であり、受光部１５と、信号処理部１６とで構成される。

　発光部１２は、例えば、光源として赤外線レーザダイオードなどを有し、発光制御部１３から供給される発光制御信号に応じたタイミングで変調しながら発光し、物体に対して照射光を照射する。

　発光制御部１３は、所定の周波数（例えば、20MHzなど）の発光制御信号を発光部１２に供給することにより、発光部１２の発光を制御する。また、発光部１２における発光のタイミングに合わせて受光部１５を駆動させるために、発光制御部１３は、受光部１５にも発光制御信号を供給する。

　受光部１５には、受光した光量に応じた電荷を生成し、その電荷に応じた信号を出力する画素２１が行方向および列方向の行列状に２次元配置された画素アレイ部２２が設けられており、画素アレイ部２２の周辺領域に駆動制御回路２３が配置されている。

　受光部１５は、複数の画素２１が２次元配置された画素アレイ部２２で、物体からの反射光を受光する。そして、受光部１５は、画素アレイ部２２の各画素２１が受光した反射光の受光量に応じた検出信号で構成される画素データを信号処理部１６に供給する。

　信号処理部１６は、画素アレイ部２２の画素２１ごとに、受光部１５から供給される画素データに基づいて、測距モジュール１１から物体までの距離であるデプス値を算出し、各画素２１の画素値としてデプス値が格納されたデプスマップを生成して、モジュール外へ出力する。また、信号処理部１６は、受光部１５から供給される画素データに基づいて、各画素２１における電荷の蓄積時間を決定し、受光部１５に供給する。なお、後述するように、信号処理部１６は、測距センサ１４とは独立した別のチップ（半導体チップ）で構成してもよい。

　駆動制御回路２３は、例えば、発光制御部１３から供給される発光制御信号と、信号処理部１６から供給される蓄積時間などに基づいて、画素２１の駆動を制御するための制御信号を生成し、各画素２１へ供給する。駆動制御回路２３は、各画素２１が反射光を受光する受光期間が、信号処理部１６から供給される蓄積時間となるように、各画素２１を駆動する。

＜２．画素の概略説明＞
　図２を参照して、画素アレイ部２２の各画素２１の概略構造について説明する。

　画素アレイ部２２の各画素２１は、図２のAに示されるように、１つのフォトダイオード（以下、PDと称する。）３１と、２つのFD３２（３２A，３２B）と、２つの転送トランジスタ３３（３３A，３３B）とを有している。

　図２のAは、画素２１のPD３１、FD３２、および、転送トランジスタ３３の配置を示す断面構造と、ポテンシャル図を示している。

　以下では、２つのFD３２Aおよび３２Bの一方、例えばFD３２Aを第１タップ３２Aと称し、他方のFD３２Bを第２タップ３２Bと称する場合がある。２つの転送トランジスタ３３Aおよび３３Bも、第１タップ３２Aおよび第２タップ３２Bに対応して、第１転送トランジスタ３３Aおよび第２転送トランジスタ３３Bと称する。

　PD３１は、入射された光を光電変換して電荷を生成する光電変換部であり、反射光を受光して光電変換し、電荷を生成する。FD３２は、フォトダイオード３１で生成された電荷を蓄積する電荷蓄積部である。転送トランジスタ３３は、フォトダイオード３１で生成された電荷を、FD３２へ転送する。

　測距モジュール１１の発光部１２から照射された光（照射光）は、被写体としての所定の物体で反射され、所定の位相だけ遅れて、受光部１５のフォトダイオード３１へ反射光として入射される。

　駆動制御回路２３は、図２のBに示されるように、所定の露光期間Tにおいて、第１転送トランジスタ３３Aをアクティブ状態（オン）に制御し、フォトダイオード３１で生成された電荷を、第１タップ３２A（FD３２A）へ転送させ、蓄積させる。第１転送トランジスタ３３Aがアクティブ状態（オン）であるとき、第２転送トランジスタ３３Bは非アクティブ状態（オフ）に制御される。

　次の露光期間Tにおいて、駆動制御回路２３は、第２転送トランジスタ３３Bをアクティブ状態（オン）に制御し、フォトダイオード３１で生成された電荷を、第２タップ３２B（FD３２B）へ転送させ、蓄積させる。第２転送トランジスタ３３Bがアクティブ状態（オン）であるとき、第１転送トランジスタ３３Aは非アクティブ状態（オフ）に制御される。

　駆動制御回路２３は、上述したような第１転送トランジスタ３３Aと第２転送トランジスタ３３Bの逆位相のオンオフを交互に繰り返す。フォトダイオード３１で発生した電荷のうち、第１タップ３２Aに蓄積された電荷は検出信号Aとして出力され、第２タップ３２Bに蓄積された電荷は検出信号Bとして出力される。

　図３は、測距センサ１４が実行可能な動作モードを説明する図である。

　測距センサ１４は、図３のAに示される第１の動作モードと、図３のBに示される第２の動作モードの少なくとも２つの動作モードが実行可能である。

　図３のAに示される第１の動作モードは、第１タップ３２Aへ電荷を蓄積させる蓄積時間と、第２タップ３２Bへ電荷を蓄積させる蓄積時間とを同一の時間に設定し、同一露光時間の２つのタップ３２で検出された検出信号を用いて、デプスマップを生成するモードである。第１の動作モードを、以下では、通常駆動モードとも称する。

　これに対して、図３のBに示される第２の動作モードは、第１タップ３２Aへ電荷を蓄積させる蓄積時間と、第２タップ３２Bへ電荷を蓄積させる蓄積時間とを異なる時間に設定し、異なる露光時間の２つのタップで検出された検出信号を用いて、デプスマップを生成するモードである。第２の動作モードは、遠距離の測定範囲については、蓄積時間が長い第１タップ３２Aでの検出信号を用いて距離を算出し、近距離の測定範囲については、蓄積時間が短い第２タップ３２Bでの検出信号を用いて距離を算出することにより、近距離から遠距離まで測定範囲を拡大したモードである。第２の動作モードを、以下では、HDR（high dynamic range）駆動モードとも称する。

　なお、本実施の形態では、２つのタップ３２のうち、第１タップ３２Aの蓄積時間を長く設定し、第２タップ３２Bの蓄積時間を（第１タップ３２Aの蓄積時間より）短く設定することとするが、２つのタップ３２の蓄積時間の関係は反対でもよい。以下では、第１タップ３２Aの蓄積時間を第１蓄積時間または長蓄積時間、第２タップ３２Bの蓄積時間を第２蓄積時間または短蓄積時間とも称する。

　次に、図４乃至図６を参照しながら、基本となる通常駆動モードにおけるデプスマップの算出について説明する。

　発光部１２には、図４に示されるように、照射時間Ｔ（１周期＝２Ｔ）でオン／オフを繰り返す発光制御信号が、発光制御部１３から供給される。発光部１２は、照射時間Ｔで照射のオン／オフを繰り返すように照射光を出力する。

　受光部１５は、照射光の照射タイミングを基準に、位相を０°、９０°、１８０°、および、２７０°だけずらした受光タイミングで反射光を受光する。より具体的には、受光部１５は、あるフレーム期間では、照射光の照射タイミングに対して位相を０°にして受光し、次のフレーム期間では、位相を９０°にして受光し、次のフレーム期間では、位相を１８０°にして受光し、次のフレーム期間では、位相を２７０°にして受光する、というように、時分割で位相を変えて反射光を受光する。

　図５は、受光部１５における反射光の到達タイミングと、０°、９０°、１８０°、および、２７０°の各位相における画素２１の第１タップ３２Aの蓄積時間（露光期間）を、位相差が分かり易いように並べて示した図である。

　反射光は、図５に示されるように、物体までの距離に応じた遅延時間ΔTだけ遅れて、フォトダイオード３１に入射され、光電変換される。

　第１タップ３２Aにおいて、照射光と同一の位相（位相０°）で受光して得られる検出信号Aを検出信号A0、照射光と９０度ずらした位相（位相９０°）で受光して得られる検出信号Aを検出信号A1、照射光と１８０度ずらした位相（位相１８０°）で受光して得られる検出信号Aを検出信号A2、照射光と２７０度ずらした位相（位相２７０°）で受光して得られる検出信号Aを検出信号A3、と呼ぶことにする。

　検出信号A0乃至A3は、反射光がフォトダイオード３１に入射されている期間で、かつ、第１転送トランジスタ３３Aがオンされている期間に、フォトダイオード３１に入射された光量に相当する信号である。

　また、図示は省略するが、第２タップ３２Bにおいて、照射光と同一の位相（位相０°）で受光して得られる検出信号Bを検出信号B0、照射光と９０度ずらした位相（位相９０°）で受光して得られる検出信号Bを検出信号B1、照射光と１８０度ずらした位相（位相１８０°）で受光して得られる検出信号Bを検出信号B2、照射光と２７０度ずらした位相（位相２７０°）で受光して得られる検出信号Bを検出信号B3、と呼ぶことにする。

　図６は、４つの位相差で検出された検出信号を用いて、物体までの距離であるデプス値の算出方法を説明する図である。

　Indirect ToF方式において、デプス値dは、次式（１）で求めることができる。

　式（１）のｃは光速であり、ΔTは遅延時間であり、fは光の変調周波数を表す。また、式（１）のφは、反射光の位相ずれ量[rad]を表し、次式（２）で表される。

　式（２）のI,Qは、位相を０°、９０°、１８０°、２７０°に設定して得られた検出信号A0乃至A3および検出信号B0乃至B3を用いて、次式（３）で計算される。I,Qは、照射光の輝度変化をcos波と仮定し、cos波の位相を極座標から直交座標系（IQ平面）に変換した信号である。
　I＝ｃ₀－ｃ₁₈₀＝（A0－B0）－（A2－B2）
　Q＝ｃ₉₀－ｃ₂₇₀＝（A1－B1）－（A3－B3）　　・・・・・・・・・・（３）

　一方、例えば、２つのタップの片側のみを用いてデプス値ｄを算出する場合には、式（２）のI,Qは、位相を０°、９０°、１８０°、２７０°に設定して得られた検出信号A0乃至A3および検出信号B0乃至B3を用いて、次式（４）で計算される。
　I＝ｃ₀－ｃ₁₈₀＝（A0－A2）＝（－B0＋B2）
　Q＝ｃ₉₀－ｃ₂₇₀＝（A1－A3）＝（－B1＋B3）　　・・・・・・・・・・（４）

　また、画素２１の信頼度cnfは、次式（５）で求めることができる。

＜３．画素の第１の回路構成例＞
　次に、上述した通常駆動モードとHDR駆動モードの両方の動作が可能である画素アレイ部２２の画素２１の回路構成について説明する。

　図７は、画素２１の第１の回路構成例（第１の画素回路）を示している。なお、図７では、水平方向に隣接する２画素の回路構成が図示されているが、その他の画素２１についても同様である。

　画素２１は、上述したように、PD３１、２つのFD３２Aおよび３２B、および、第１転送トランジスタ３３Aおよび３３Bを備える。また、画素２１は、切替トランジスタ３４、リセットトランジスタ３５、増幅トランジスタ３６、および、選択トランジスタ３７を、第１タップ３２Aおよび第２タップ３２Bに対応して２つずつと、１つの排出トランジスタ３８とを有する。

　以下では、第１タップ３２Aおよび第２タップ３２Bに対応して画素内にそれぞれ２つずつ設けられる切替トランジスタ３４、リセットトランジスタ３５、増幅トランジスタ３６、および、選択トランジスタ３７のうち、第１タップ３２Aに対応する方を、第１切替トランジスタ３４A、第１リセットトランジスタ３５A、第１増幅トランジスタ３６A、および、第１選択トランジスタ３７Aと称し、第２タップ３２Bに対応する方を、第２切替トランジスタ３４B、第２リセットトランジスタ３５B、第２増幅トランジスタ３６B、および、第２選択トランジスタ３７Bと称する。

　転送トランジスタ３３、切替トランジスタ３４、リセットトランジスタ３５、増幅トランジスタ３６、選択トランジスタ３７、及び、排出トランジスタ３８は、例えば、N型のMOSトランジスタ（MOS FET）で構成される。

　第１転送トランジスタ３３Aは、信号線５１Aを介してゲート電極に供給される転送駆動信号TG_AがHighになるとこれに応答してアクティブ状態になることで、PD３１で生成された電荷を第１タップ３２A（FD３２A）へ転送させ、蓄積させる。第２転送トランジスタ３３Bは、信号線５１Bを介してゲート電極に供給される転送駆動信号TG_BがHighになるとこれに応答してアクティブ状態になることで、PD３１で生成された電荷を第２タップ３２B（FD３２B）へ転送させ、蓄積させる。

　第１タップ３２A（FD３２A）および第２タップ３２B（FD３２B）は、PD３１から転送された電荷を蓄積する電荷蓄積部である。

　第１切替トランジスタ３４Aは、信号線５２を介してゲート電極に供給されるFD駆動信号FDGがHighになるとこれに応答してアクティブ状態になることで、第１切替トランジスタ３４Aと第１リセットトランジスタ３５Aとの間のソース/ドレイン領域である付加容量FDLAを、第１タップ３２A（FD３２A）に接続させる。第２切替トランジスタ３４Bは、信号線５２を介してゲート電極に供給されるFD駆動信号FDGがHighになるとこれに応答してアクティブ状態になることで、第２切替トランジスタ３４Bと第２リセットトランジスタ３５Bとの間のソース/ドレイン領域である付加容量FDLBを、第２タップ３２B（FD３２B）に接続させる。

　駆動制御回路２３は、例えば、入射光の光量が多い高照度のとき、FD駆動信号FDGをHighとして、第１タップ３２A（FD３２A）と付加容量FDLAを接続するとともに、第２タップ３２B（FD３２B）と付加容量FDLBを接続する。これにより、高照度時に、より多くの電荷を蓄積することができる。

　一方、入射光の光量が少ない低照度のときには、駆動制御回路２３は、FD駆動信号FDGをLowとして、付加容量FDLAおよびFDLBを、それぞれ、第１タップ３２A（FD３２A）および第２タップ３２B（FD３２B）から切り離す。これにより、変換効率を上げることができる。

　第１リセットトランジスタ３５Aは、信号線５３Aを介してゲート電極に供給されるリセット駆動信号RST_AがHighになるとこれに応答してアクティブ状態になることで、第１タップ３２A（FD３２A）の電位を所定のレベル（電源電圧VDD_H）にリセットする。第２リセットトランジスタ３５Bは、信号線５３Bを介してゲート電極に供給されるリセット駆動信号RST_BがHighになるとこれに応答してアクティブ状態になることで、第２タップ３２B（FD３２B）の電位を所定のレベル（電源電圧VDD_H）にリセットする。なお、第１リセットトランジスタ３５Aがアクティブ状態とされるとき、第１切替トランジスタ３４Aも同時にアクティブ状態とされる。これにより、第１タップ３２A（FD３２A）の蓄積電荷が電源電圧VDD_Hに排出される。同様に、第２リセットトランジスタ３５Bがアクティブ状態とされるとき、第２切替トランジスタ３４Bも同時にアクティブ状態とされる。これにより、第２タップ３２B（FD３２B）の蓄積電荷が電源電圧VDD_Hに排出される。

　第１増幅トランジスタ３６Aは、ソース電極が第１選択トランジスタ３７Aを介して垂直信号線５６Aに接続されることにより、不図示の定電流源と接続し、ソースフォロワ回路を構成する。第２増幅トランジスタ３６Bは、ソース電極が第２選択トランジスタ３７Bを介して垂直信号線５６Bに接続されることにより、不図示の定電流源と接続し、ソースフォロワ回路を構成する。

　第１選択トランジスタ３７Aは、第１増幅トランジスタ３６Aのソース電極と垂直信号線５６Aとの間に接続されている。第１選択トランジスタ３７Aは、信号線５４を介してゲート電極に供給される選択信号SELがHighなるとこれに応答してアクティブ状態となり、第１増幅トランジスタ３６Aから出力される検出信号Aを垂直信号線５６Aに出力する。

　第２選択トランジスタ３７Bは、第２増幅トランジスタ３６Bのソース電極と垂直信号線５６Bとの間に接続されている。第２選択トランジスタ３７Bは、信号線５４を介してゲート電極に供給される選択信号SELがHighなるとこれに応答してアクティブ状態となり、第２増幅トランジスタ３６Bから出力される検出信号Bを垂直信号線５６Bに出力する。

　排出トランジスタ３８は、信号線５５を介してゲート電極に供給される排出信号OFGがHighなるとこれに応答してアクティブ状態となり、PD３１で生成されて保持されている電荷を、所定の電源電圧VDD_Lへ排出する。電源電圧VDD_Hと電源電圧VDD_Lとは、異なる電源電圧レベルでもよいし、同一の電源電圧レベルでもよい。

　画素１０の信号線５１乃至５４は、駆動制御回路２３に接続されており、転送トランジスタ３３、切替トランジスタ３４、リセットトランジスタ３５、選択トランジスタ３７、及び、排出トランジスタ３８は、駆動制御回路２３によって制御される。

　図７の第１の画素回路において、付加容量FDLAおよびFDLBと、その接続を制御する第１切替トランジスタ３４Aおよび第２切替トランジスタ３４Bは省略してもよいが、付加容量FDLAおよびFDLBを入射光量に応じて使い分けることにより、より広いダイナミックレンジを確保することができる。

　画素２１の第１タップ３２A（FD３２A）の例で、入射光の受光から検出信号の出力までの基本の動作を簡単に説明する。

　まず、受光を開始する前に、画素２１の電荷をリセットするリセット動作が行われる。すなわち、第１リセットトランジスタ３５Aと、第１切替トランジスタ３４A、並びに、排出トランジスタ３８がオンされ、PD３１、第１タップ３２A（FD３２A）、および、付加容量FDLAの蓄積電荷が電源電圧VDD_Hまたは電源電圧VDD_Lに接続され、リセットされる。

　電荷のリセット後、受光が開始される。すなわち、PD３１に光（反射光）が入射されると、PD３１において光電変換され、電荷が生成される。

　信号線５１Aを介してHighの転送駆動信号TG_Aが第１転送トランジスタ３３Aに供給されると、第１転送トランジスタ３３Aは、PD３１で生成された電荷を第１タップ３２A（FD３２A）へ転送させて蓄積させる。

　そして、一定時間経過後、信号線５４を介してHighの選択信号SELが第１選択トランジスタ３７Aに供給されると、第１タップ３２A（FD３２A）に蓄積された電位に応じた検出信号Aが、第１選択トランジスタ３７Aを介して垂直信号線５６Aに出力される。

　次に、図８を参照して、HDR駆動モードにおける第１の画素回路の動作を説明する。

　まず、時刻ｔ１において、リセット駆動信号RST_AおよびRST_BがHighに制御され、第１タップ３２A（FD３２A）および第２タップ３２B（FD３２B）の蓄積電荷がリセットされる。

　時刻ｔ２において、リセット駆動信号RST_AがLowに制御される。一方、リセット駆動信号RST_Bは、時刻ｔ３までHighが維持される。

　また、時刻ｔ２以降において、駆動制御回路２３は、第１転送トランジスタ３３Aと第２転送トランジスタ３３Bの逆位相のオンオフを露光期間Tで交互に繰り返すような転送駆動信号TG_AおよびTG_Bを出力する。

　リセット駆動信号RST_AがLowに制御された第１タップ３２A（FD３２A）では、時刻ｔ２以降において、転送駆動信号TG_AがHighとされている期間に、PD３１で生成された電荷が第１タップ３２Aに転送され、蓄積される。

　一方、第２タップ３２B（FD３２B）では、時刻ｔ２以降から時刻ｔ３までの間、リセット駆動信号RST_BがHighとされているので、転送駆動信号TG_BがHighとされている期間にPD３１で生成された電荷は、電源電圧VDD_Hに排出され、蓄積されない。

　時刻ｔ３にリセット駆動信号RST_BがLowとされた後、転送駆動信号TG_BがHighとされている期間にPD３１で生成された電荷は、第２タップ３２Bに転送され、蓄積される。

　時刻ｔ３から一定時間経過後の時刻ｔ４まで、第１転送トランジスタ３３Aと第２転送トランジスタ３３Bの逆位相のオンオフを露光期間Tで交互に繰り返す制御が継続される。

　第１の画素回路の第１タップ３２A側の蓄積時間（第１蓄積時間）は、時刻ｔ２から時刻ｔ４までの期間のうち、第１リセットトランジスタ３５Aが非アクティブ状態であり、かつ、第１転送トランジスタ３３Aがアクティブ状態に制御された時間に相当する。一方、第１の画素回路の第２タップ３２B側の蓄積時間（第２蓄積時間）は、時刻ｔ２から時刻ｔ４までの期間のうち、第２リセットトランジスタ３５Bが非アクティブ状態であり、かつ、第２転送トランジスタ３３Bがアクティブ状態に制御された時間に相当する。第２タップ３２B側は、第２リセットトランジスタ３５Bがアクティブ状態に制御される期間が第１タップ３２A側よりも長く、第２リセットトランジスタ３５Bがアクティブ状態に制御されている間、第２タップ３２Bに転送された電荷は捨てられるため、第２蓄積時間は、第１蓄積時間よりも短くなる。

　以上のように、第１の画素回路のHDR駆動モードでは、第１リセットトランジスタ３５Aをアクティブ状態にする時間と、第２リセットトランジスタ３５Bをアクティブ状態にする時間とを変えることで、第１タップ３２Aの蓄積時間と、第２タップ３２Bの蓄積時間とが異なる時間に制御される。

　なお、通常駆動モードは、上述したHDR駆動モードの駆動のうち、時刻ｔ２において、リセット駆動信号RST_Bを、リセット駆動信号RST_Aと同様にLowに制御することで、実現できる。

＜４．画素の第２の回路構成例＞
　図９は、画素２１の第２の回路構成例（第２の画素回路）を示している。

　なお、図９の第２の画素回路は、図７に示した第１の画素回路と同様に、水平方向に隣接する２画素の回路構成を示しており、図７と共通する部分については同一の符号を付してあり、その部分の説明は適宜省略する。

　図９の第２の画素回路は、リセットトランジスタ３５を制御する信号線５３の配線が、図７の第１の画素回路と異なる。

　すなわち、図７の第１の画素回路では、１つの画素２１（画素行）に対して２本の信号線５３Aおよび５３Bが設けられ、第１リセットトランジスタ３５Aは、信号線５３Aを介して供給されるリセット駆動信号RST_Aによって制御され、第２リセットトランジスタ３５Bは、信号線５３Bを介して供給されるリセット駆動信号RST_Bによって制御される構成とされていた。

　これに対して、図９の第２の画素回路では、１つの画素２１（画素行）に対して１本の信号線５３が設けられ、第１リセットトランジスタ３５Aおよび第２リセットトランジスタ３５Bが、共通の信号線５３を介して供給されるリセット駆動信号RSTによって制御される構成とされている。

　図９の第２の画素回路のその他の構成は、図７の第１の画素回路と同様である。

　図１０を参照して、HDR駆動モードにおける第２の画素回路の動作を説明する。

　まず、時刻ｔ１１において、リセット駆動信号RSTがHighに制御され、第１タップ３２A（FD３２A）および第２タップ３２B（FD３２B）の蓄積電荷がリセットされる。

　時刻ｔ１２において、リセット駆動信号RSTがLowに制御される。

　また、時刻ｔ１２以降において、駆動制御回路２３は、第１転送トランジスタ３３Aと第２転送トランジスタ３３Bの逆位相のオンオフを露光期間Tで交互に繰り返すような転送駆動信号TG_AおよびTG_Bを出力する。

　第１タップ３２A（FD３２A）では、転送駆動信号TG_AがHighとされている期間に、PD３１で生成された電荷が第１タップ３２Aに転送され、蓄積される。また、第２タップ３２B（FD３２B）では、転送駆動信号TG_BがHighとされている期間に、PD３１で生成された電荷が第２タップ３２Bに転送され、蓄積される。

　時刻ｔ１２以降、時刻ｔ１３までは、PD３１で生成された電荷を第１タップ３２Aと第２タップ３２Bに交互に蓄積する動作が繰り返される。

　時刻ｔ１３以降、駆動制御回路２３は、これまで転送駆動信号TG_BをHighに制御していた期間において、Lowに制御するように変更するとともに、信号線５５を介して排出トランジスタ３８に供給する排出信号OFGをHighに制御する。

　その結果、時刻ｔ１３から時刻ｔ１４までの期間は、第１転送トランジスタ３３Aと排出トランジスタ３８の逆位相のオンオフを露光期間Tで交互に繰り返す制御が実行される。

　第２の画素回路の第１タップ３２A側の蓄積時間（第１蓄積時間）は、時刻ｔ１２から時刻ｔ１４までの期間のうち、第１転送トランジスタ３３Aがアクティブ状態に制御された時間に相当する。一方、第２の画素回路の第２タップ３２B側の蓄積時間（第２蓄積時間）は、時刻ｔ１２から時刻ｔ１４までの期間のうち、第２転送トランジスタ３３Bがアクティブ状態に制御された時間に相当する。ただし、第２転送トランジスタ３３Bをアクティブ状態に制御する代わりに、排出トランジスタ３８をアクティブ状態に制御する時刻ｔ１３から時刻ｔ１４の期間があるため、第２蓄積時間は、第１蓄積時間よりも短くなる。

　なお、通常駆動モードは、上述したHDR駆動モードの動作のうち、時刻ｔ１３から時刻ｔ１４までの期間においても、時刻ｔ１２から時刻ｔ１３の制御を継続することで、実現できる。換言すれば、第２の画素回路のHDR駆動モードは、第２の画素回路の通常駆動モードの露光期間の一部を、第２タップ３２Bへの電荷の蓄積から、排出トランジスタ３８による電荷の排出へ変更した動作である。

　以上のように、第２の画素回路のHDR駆動モードでは、通常駆動モードにおいて第２タップ３２Bに電荷を蓄積する期間の一部を、排出トランジスタ３８をアクティブ状態に制御する駆動に変更することで、第１タップ３２Aの蓄積時間と、第２タップ３２Bの蓄積時間とが異なる時間に制御される。

　図８に示した第１の画素回路のHDR駆動モードでは、電荷の蓄積を開始する蓄積開始タイミングが、第１タップ３２Aと第２タップ３２Bとで異なり、電荷の蓄積を終了する蓄積終了タイミングが、略同一（露光時間Tのずれ）である。この場合、長蓄積時間の第１タップ３２Aで電荷が飽和している場合に、遅れて蓄積を開始する第２タップ３２Bに電荷が漏れ込む可能性がある。

　一方、第２の画素回路のHDR駆動モードでは、電荷の蓄積を開始する蓄積開始タイミングが、第１タップ３２Aと第２タップ３２Bとで略同一（露光時間Tのずれ）であり、電荷の蓄積を終了する蓄積終了タイミングが異なる。この場合、第２タップ３２Bの蓄積終了後、長蓄積時間の第１タップ３２Aで電荷が飽和している場合であっても、PD３１で生成された電荷は排出トランジスタ３８により捨てられるため、第２タップ３２Bに電荷が漏れ込む可能性は少ない。

　第２の画素回路では、図１０で説明した駆動以外の動作でも、HDR駆動モードを実現することができる。

　図１１は、第２の画素回路のHDR駆動モードの変形例であり、第２の画素回路においてHDR駆動モードを実現する他の動作例を示している。

　図１０で説明した動作は、電荷の蓄積を開始する蓄積開始タイミングを、第１タップ３２Aと第２タップ３２Bとで略同一として、全体の蓄積期間の前半部分に、第２タップ３２Bが蓄積する動作とされていた。この場合、第２タップ３２Bの蓄積期間が、全体の蓄積期間の前半部分に集中しているため、第１タップ３２Aと第２タップ３２Bとで蓄積時刻の同時性が崩れる。例えば、被写体が動体で、全体の蓄積期間の前半部分と後半部分とで動きが異なる場合に、第１タップ３２Aと第２タップ３２Bとで検出結果が異なるものとなる。

　そこで、図１１の第２の画素回路におけるHDR駆動モードの変形例では、駆動制御回路２３は、第１タップ３２Aと第２タップ３２Bとで、蓄積時刻の同時性を向上させた駆動を行う。

　具体的には、駆動制御回路２３は、第１タップ３２Aへの複数回の電荷の蓄積に対して、第２タップ３２Bへの１回の電荷の蓄積を実行するように制御する。図１１の例では、第１タップ３２Aへの２回の電荷の蓄積ごとに、第２タップ３２Bへの１回の電荷の蓄積を実行する例が示されている。

　すなわち、時刻ｔ２１において、リセット駆動信号RSTがHighに制御され、第１タップ３２Aおよび第２タップ３２Bの蓄積電荷がリセットされる。

　時刻ｔ２２において、リセット駆動信号RSTがLowに制御される。

　また、時刻ｔ２２から時刻ｔ２３の期間において、駆動制御回路２３は、転送駆動信号TG_AをHighに制御して第１転送トランジスタ３３Aをオンし、転送駆動信号TG_BをLowに制御して第２転送トランジスタ３３Bをオフする。

　次の時刻ｔ２３において、駆動制御回路２３は、転送駆動信号TG_AをLowに変更して第１転送トランジスタ３３Aをオフするとともに、排出信号OFGを瞬間的にHighに制御して排出トランジスタ３８を短期間だけオンする。そして、駆動制御回路２３は、排出トランジスタ３８をオフに戻した後、時刻ｔ２４まで、転送駆動信号TG_BをHighに制御して第２転送トランジスタ３３Bをオンする。

　次の時刻ｔ２４から時刻ｔ２５の期間において、駆動制御回路２３は、転送駆動信号TG_AをHighに制御して第１転送トランジスタ３３Aをオンし、転送駆動信号TG_BをLowに制御して第２転送トランジスタ３３Bをオフする。

　次の時刻ｔ２５から時刻ｔ２６の期間において、駆動制御回路２３は、Lowの転送駆動信号TG_Aにより第１転送トランジスタ３３Aをオフし、Highの排出信号OFGにより排出トランジスタ３８をオンする。

　時刻ｔ２２から時刻ｔ２６の期間において、第１タップ３２Aへの電荷の蓄積は２回実行されている。１回目の第１タップ３２Aへの電荷の蓄積の後は、第２タップ３２Bへの電荷の蓄積が実行され、２回目の第１タップ３２Aへの電荷の蓄積の後は、排出トランジスタ３８による電荷の排出が実行されている。これにより、第１タップ３２Aへの２回の電荷の蓄積ごとに、第２タップ３２Bへの１回の電荷の蓄積が実行されている。

　また、第１タップ３２Aへの電荷の蓄積と、第２タップ３２Bへの電荷の蓄積との間に、微小時間、排出トランジスタ３８がアクティブ状態に制御され、電荷の排出が行われている。第１タップ３２Aへの電荷の蓄積後、排出トランジスタ３８による電荷の排出を常に行うことにより、第２タップ３２Bへの電荷の蓄積の有無によって、第１タップ３２Aへの電荷の転送特性がばらつかないようにし、特性の安定化を図っている。

　時刻ｔ２６から時刻ｔ２７までは、上述した時刻ｔ２２から時刻ｔ２６までと同じ動作が、複数回、繰り返される。

　以上の第２の画素回路のHDR駆動モードの変形例によれば、第１タップ３２Aへの複数回の電荷の蓄積ごとに、第２タップ３２Bへの１回の電荷の蓄積を実行することで、第１タップ３２A側の第１蓄積時間と、第２タップ３２B側の第２蓄積時間とを異なる時間に制御するとともに、蓄積時刻の同時性を向上させることができる。蓄積時刻の同時性が高いため、動被写体特性が改善する。

　図７乃至図１１で説明した第１の画素回路および第２の画素回路の動作では、特に、位相については言及しなかったが、図４乃至図６を参照して説明したように、４つの位相それぞれについて、画素データが取得される。すなわち、画素２１は、照射光の照射タイミングを基準に、位相を０°、９０°、１８０°、および、２７０°だけずらした４つの位相それぞれについて、第１タップ３２Aの第１蓄積時間と、第２タップ３２Bの第２蓄積時間とを異なる時間に制御して電荷を蓄積し、検出信号A0乃至A3および検出信号B0乃至B3を出力する。

　受光部１５の画素アレイ部２２に配列された画素２１には、上述した第１の画素回路または第２の画素回路が採用され、上述したHDR駆動モードの動作により、第１タップ３２Aに第１蓄積時間（長蓄積時間）で蓄積された電荷に応じた検出信号A0乃至A3と、第２タップ３２Bに第２蓄積時間（短蓄積時間）で蓄積された電荷に応じた検出信号B0乃至B3とが、不図示のAD変換部でデジタル値に変換され、画素データとして、後段の信号処理部１６に出力される。

＜５．信号処理部の構成例＞
　図１２は、信号処理部１６の詳細構成例を示すブロック図である。

　信号処理部１６は、補正処理部７１、フレームメモリ７２、デプス算出部７３、統計量算出部７４、および、蓄積時間算出部７５により構成される。

　補正処理部７１には、受光部１５から各画素２１の画素データが供給されるとともに、その画素データが取得されたときの蓄積時間が、蓄積時間算出部７５から供給される。補正処理部７１は、画素アレイ部２２の各画素２１を注目画素として、注目画素の周辺の画素である周辺画素の画素データを用いて、注目画素の画素データを補正する補正処理を実行する。補正処理の詳細は、図１３および図１４を参照して後述する。

　フレームメモリ７２には、補正処理部７１による補正処理後の各画素２１の画素データ、具体的には、位相０°、９０°、１８０°、および、２７０°の検出信号Aおよび検出信号Bが、順次、供給される。ここで、検出信号Aは、第１タップ３２Aの蓄積電荷に対応する、第１蓄積時間（長蓄積時間）の信号であり、検出信号Bは、第２タップ３２Bの蓄積電荷に対応する、第２蓄積時間（短蓄積時間）の信号である。

　フレームメモリ７２は、各画素２１の位相０°、９０°、１８０°、および、２７０°の検出信号Aおよび検出信号Bを、１フレームのデータとして記憶し、必要に応じて、デプス演算部７３に供給する。

　デプス算出部７３は、フレームメモリ７２に記憶されている、位相０°、９０°、１８０°、および、２７０°の各画素２１の検出信号Aおよび検出信号Bを取得し、測距モジュール１１から物体までの距離であるデプス値ｄを算出する。そして、デプス演算部７３は、各画素２１の画素値としてデプス値が格納されたデプスマップを生成して、モジュール外へ出力する。デプス値ｄの算出処理については、図１５および図１６を参照して後述する。

　統計量算出部７４は、受光部１５から供給される各画素２１の画素データの統計量を算出する。画素２１の画素データは、画素２１が受光した反射光の輝度値に相当し、反射光には、照射光の他、太陽光などの環境光も含まれる。統計量算出部７４は、例えば、各画素の輝度値の平均値（輝度平均値）や、画素アレイ部２２の全画素のうち、電荷（輝度値）が飽和した画素の比率を表す画素飽和率などを算出する。統計量算出部７４による統計量算出処理の詳細は、図１７乃至図２０を参照して後述する。算出された統計量は、蓄積時間算出部７５に供給される。

　蓄積時間算出部７５は、統計量算出部７４から供給される各画素２１の画素データの統計量を用いて、受光部１５の次のフレームの各画素２１の蓄積時間（長蓄積時間と短蓄積時間それぞれ）を算出し、受光部１５および補正処理部７１に供給する。すなわち、統計量算出部７４によって算出された現在の各画素２１の輝度値の統計量に応じて、次の受光における画素２１の蓄積時間が調整され、受光部１５に供給されて、制御される。

＜６．補正処理部による補正処理＞
　図１３および図１４を参照して、補正処理部７１が実行する補正処理について説明する。

　受光部１５の画素アレイ部２２において、画素間を電気的に完全に遮断することは困難であるため、隣接画素で生成された電荷が入り込み、自分の画素の検出信号として出力されることが有り得る。また、図１３に示されるように、画素２１内の第１タップ３２A（FD３２A）と第２タップ３２B（FD３２B）の物理的位置の違いによって、電荷の漏れ込み量も第１タップ３２Aと第２タップ３２Bとで異なる場合がある。

　そこで、補正処理部７１は、画素アレイ部２２の各画素２１を注目画素として、注目画素の周辺画素の画素データに、蓄積時間に応じた補正係数を乗算した乗算結果を、注目画素の画素データに加算することで、注目画素の画素データを補正する。周辺画素としては、例えば、図１３に示されるように、注目画素を中心とする３ｘ３の周辺の８画素の画素データが用いられる。

　具体的には、補正処理部７１は、図１４に示されるように、注目画素の画素位置を(x,y)とすると、式（６）により、注目画素(x,y)の第１タップ３２Aの補正後の検出信号A’(x,y)、および、注目画素(x,y)の第２タップ３２Bの補正後の検出信号B’(x,y)を算出する。

　式（６）のc(i,j),d(i,j),e(i,j)、および、f(i,j)は、測距センサ１４の出荷前検査等で事前に決定された補正係数を表す。この補正係数c(i,j),d(i,j),e(i,j)、および、f(i,j)は、蓄積時間の長さや、第１タップ３２Aの第１蓄積時間（長蓄積時間）と、第２タップ３２Bの第２蓄積時間（短蓄積時間）との蓄積時間の比率に応じて予め決定し、内部のメモリに記憶される。

　補正処理部７１は、蓄積時間算出部７５から供給された、その画素データが取得されたときの蓄積時間に対応する補正係数c(i,j),d(i,j),e(i,j)、および、f(i,j)を、内部のメモリから取得し、式（６）の補正計算を行う。補正処理部７１による補正処理により、隣接画素からの電荷の漏れ込みに相当する信号が補正されるので、デプス算出部７３が算出するデプス値ｄの誤差を抑えることができる。

＜７．デプス算出部によるデプス算出処理＞
　図１５および図１６を参照して、デプス算出部７３が実行するデプスマップ生成処理について説明する。

　図１５は、デプス算出部７３の詳細構成例を示すブロック図である。

　デプス算出部７３は、ブレンド率算出部９１、ブレンド処理部９２－１乃至９２－４、および、デプスマップ生成部９３により構成される。

　デプス算出部７３は、位相０°、９０°、１８０°、および、２７０°の第１タップ３２Aの検出信号A0、A1、A2、および、A3と、位相０°、９０°、１８０°、および、２７０°の第２タップ３２Bの検出信号B0、B1、B2、および、B3とを、フレームメモリ７２から取得する。

　ブレンド率算出部９１は、長蓄積時間で検出した第１タップ３２Aの検出信号A0、A1、A2、および、A3に基づいて、第１タップ３２Aの検出信号Aに対する第２タップ３２Bの検出信号Bのブレンド率α（以下、短畜ブレンド率αと称する。）を算出する。

　具体的には、ブレンド率算出部９１は、以下の式（７）および式（８）により、ブレンド率αを算出する。

　式（７）によれば、位相０°、９０°、１８０°、および、２７０°の第１タップ３２Aの検出信号A0、A1、A2、および、A3のなかの最大値lumが検出される。そして、検出信号Aの最大値lumに基づいて、短畜ブレンド率αが式（８）により算出される。

　図１６は、式（８）の処理を表した図である。

　式（８）は、検出信号Aの最大値lumが第１の閾値lth0より小さい場合には、短畜ブレンド率α＝0、即ち長蓄積時間で検出した第１タップ３２Aの検出信号Aのみを採用し、検出信号Aの最大値lumが第１の閾値lth0以上で第２の閾値lth1より小さい場合には、最大値lumに応じて検出信号AとBとをブレンドし、検出信号Aの最大値lumが第２の閾値lth1以上である場合には、短畜ブレンド率α＝1、即ち短蓄積時間で検出した第２タップ３２Bの検出信号Bのみを採用することを表している。式（８）により算出された短畜ブレンド率αは、ブレンド処理部９２－１乃至９２－４に供給される。

　ブレンド処理部９２－１乃至９２－４は、ブレンド率算出部９１から供給される短畜ブレンド率αを用いて、第１タップ３２Aの検出信号Aと第２タップ３２Bの検出信号Bとをブレンドした検出信号Cを算出する。

　ブレンド処理部９２－１は、以下の式（９）により、第１タップ３２Aの検出信号A0と第２タップ３２Bの検出信号B2とをブレンドした検出信号C0を算出し、デプスマップ生成部９に供給する。

　ブレンド処理部９２－２は、以下の式（１０）により、第１タップ３２Aの検出信号A1と第２タップ３２Bの検出信号B3とをブレンドした検出信号C1を算出し、デプスマップ生成部９に供給する。

　ブレンド処理部９２－３は、以下の式（１１）により、第１タップ３２Aの検出信号A2と第２タップ３２Bの検出信号B0とをブレンドした検出信号C2を算出し、デプスマップ生成部９に供給する。

　ブレンド処理部９２－４は、以下の式（１２）により、第１タップ３２Aの検出信号A3と第２タップ３２Bの検出信号B1とをブレンドした検出信号C3を算出し、デプスマップ生成部９に供給する。

　C0=A0×（１－α）＋B2×α×β　　　　　・・・・・・・（９）
　C1=A1×（１－α）＋B3×α×β　　　　　・・・・・・・（１０）
　C2=A2×（１－α）＋B0×α×β　　　　　・・・・・・・（１１）
　C3=A3×（１－α）＋B1×α×β　　　　　・・・・・・・（１２）

　式（９）乃至式（１２）において、βは、第１タップ３２Aの長蓄積時間と、第２タップ３２Bの短蓄積時間との蓄積時間比（β＝長蓄積時間／短蓄積時間）を表す。

　デプスマップ生成部９３は、以下の式（１３）により、画素アレイ部２２の各画素２１のI,Q信号を算出し、上述した式（２）により、デプス値ｄを算出する。

　I＝ｃ₀－ｃ₁₈₀＝（C0－C2）
　Q＝ｃ₉₀－ｃ₂₇₀＝（C1－C3）　　・・・・・・・・・・（１３）

　そして、デプスマップ生成部９３は、各画素２１の画素値としてデプス値ｄが格納されたデプスマップを生成して、モジュール外へ出力する。

＜８．統計量算出部による統計量算出処理＞
　次に、図１７乃至図２０を参照して、統計量算出部７４が実行する統計量算出処理について説明する。

　統計量算出部７４は、図１７に示される第１構成例か、または、図１８に示される第２構成例のいずれかの構成を採用することができる。

　図１７は、統計量算出部７４の第１構成例を示すブロック図である。

　統計量算出部７４は、飽和率算出部１０１および平均値算出部１０２を備える。

　飽和率算出部１０１は、受光部１５から供給される画素アレイ部２２の各画素２１の画素データのうち、長蓄積時間の検出信号A、即ち、位相０°、９０°、１８０°、および、２７０°の第１タップ３２Aの検出信号A0乃至A3を用いて、輝度値が飽和した画素の比率を表す画素飽和率を算出する。

　より具体的には、飽和率算出部１０１は、第１タップ３２Aの検出信号A0乃至A3の長畜平均検出信号A_AVEを、画素アレイ部２２の全画素について算出する。そして、飽和率算出部１０１は、長畜平均検出信号A_AVEが、予め決定された飽和閾値SAT_THを超えている画素数P_SATをカウントし、画素アレイ部２２の全画素数Nで除算することにより、画素飽和率（＝P_SAT／N）を算出する。

　なお、第１タップ３２Aの検出信号A0乃至A3の長畜平均検出信号A_AVEが飽和閾値SAT_THを超えている画素数P_SATをカウントするのではなく、第１タップ３２Aの検出信号A0乃至A3の最大値A_MAXまたは最小値A_MINがが、飽和閾値SAT_THを超えている画素数P_SATをカウントしてもよい。

　平均値算出部１０２は、受光部１５から供給される画素アレイ部２２の各画素２１の画素データのうち、短蓄積時間の検出信号B、即ち、位相０°、９０°、１８０°、および、２７０°の第２タップ３２Bの検出信号B0乃至B3を用いて、画素アレイ部２２全体の画素の輝度値の平均値（輝度平均値）を算出する。

　より具体的には、平均値算出部１０２は、第２タップ３２Bの検出信号B0乃至B3の短畜平均検出信号B_AVEを、画素アレイ部２２の全画素について算出する。そして、平均値算出部１０２は、短畜平均検出信号B_AVEの全画素の和を算出し、画素アレイ部２２の全画素数Nで除算することにより、輝度平均値（＝ΣB_AVE／N）を算出する。

　統計量算出部７４は、飽和率算出部１０１が算出した画素飽和率と、平均値算出部１０２が算出した輝度平均値を、蓄積時間算出部７５に供給する。

　図１８は、統計量算出部７４の第２構成例を示すブロック図である。

　統計量算出部７４は、ヒストグラム生成部１０３を備える。

　ヒストグラム生成部１０３は、受光部１５から供給される画素アレイ部２２の各画素２１の画素データのうち、短蓄積時間の検出信号B、即ち、位相０°、９０°、１８０°、および、２７０°の第２タップ３２Bの検出信号B0乃至B3を用いて、輝度値のヒストグラムを生成する。

　より具体的には、ヒストグラム生成部１０３は、第２タップ３２Bの検出信号B0乃至B3の短畜平均検出信号B_AVEを、画素アレイ部２２の全画素について算出する。そして、ヒストグラム生成部１０３は、各画素２１の短畜平均検出信号B_AVEを輝度値として、図１９に示されるような、輝度値のヒストグラムを生成（算出）する。生成された輝度値のヒストグラムは、蓄積時間算出部７５に供給される。

　統計量算出部７４は、図１７の第１構成例か、または、図１８の第２構成例のいずれか一方の構成を採用することができる他、図１７の第１構成例と図１８の第２構成例の両方を備え、初期設定やユーザ設定などで、どの統計量を使用するかを選択する構成としてもよい。

＜９．蓄積時間算出部による蓄積時間算出処理＞
　次に、蓄積時間算出部７５が実行する蓄積時間算出処理について説明する。

　初めに、統計量算出部７４として図１７の第１構成例が採用され、統計量算出部７４から、画素飽和率と輝度平均値が供給される場合の蓄積時間算出部７５の蓄積時間算出処理について説明する。

　蓄積時間算出部７５は、短蓄積時間の検出信号Bを用いた輝度平均値に基づいて、次の検出フレームの長蓄積時間を制御する。具体的には、蓄積時間算出部７５は、次の式（１４）を算出し、次の検出フレームの長蓄積時間（更新後の長蓄積時間）を算出する。
　更新後の長蓄積時間＝（目標平均値／輝度平均値）×現在の短蓄積時間　・・（１４）

　式（１４）の現在の短蓄積時間は、現在設定されている第２タップ３２Bの短蓄積時間であり、更新後の長蓄積時間は、受光部１５の次の受光時に設定される第１タップ３２Aの長蓄積時間である。目標平均値は予め決定される。この制御は、輝度平均値が目標平均値となるように長蓄積時間を制御することを表し、蓄積時間算出部７５は、被写体のうちの暗いところ（遠距離、低反射率）が高いSN比で受光できるように長蓄積時間を制御する。

　また、蓄積時間算出部７５は、長蓄積時間の検出信号Aを用いた画素飽和率に基づいて、次の検出フレームの短蓄積時間を制御する。具体的には、蓄積時間算出部７５は、画素飽和率が目標画素飽和率を超えていた場合に、次の式（１５）により、次の検出フレームの短蓄積時間（更新後の短蓄積時間）を制御する。
　更新後の短蓄積時間＝現在の短蓄積時間×制御率　　・・・・・（１５）

　式（１５）の現在の短蓄積時間は、現在設定されている第２タップ３２Bの短蓄積時間であり、更新後の短蓄積時間は、受光部１５の次の受光時の第２タップ３２Bの短蓄積時間である。制御率は、1.0より大きい定数の制御パラメータである。この制御は、画素飽和率が目標画素飽和率より小さくなるように制御することを表し、蓄積時間算出部７５は、極力飽和画素が発生しないように短蓄積時間を制御する。

　次に、統計量算出部７４として図１８の第２構成例が採用され、統計量算出部７４から、輝度値のヒストグラムが供給される場合の蓄積時間算出部７５の蓄積時間算出処理について説明する。

　図２０は、統計量算出部７４から輝度値のヒストグラムが供給される場合の蓄積時間算出部７５の蓄積時間算出処理を説明する図である。

　蓄積時間算出部７５は、統計量算出部７４から供給された輝度値のヒストグラムを、輝度値が低い方から頻度値を累積した累積ヒストグラムを生成する。そして、蓄積時間算出部７５は、生成した累積ヒストグラムを全画素数で割ることで、累積値を正規化した正規化累積ヒストグラムを生成する。

　さらに、蓄積時間算出部７５は、正規化累積ヒストグラムにおいて、累積値が、予め決定したCP0およびCP1となる輝度値lum0およびlum1を決定し、輝度値lum0およびlum1を使用して、以下の式（１６）および式（１７）により、次の検出フレームの長蓄積時間および短蓄積時間を決定する。

　更新後の長蓄積時間＝(長蓄積時間目標値／lum0)×現在の短蓄積時間　・・・（１６）
　更新後の短蓄積時間＝(短蓄積時間目標値／lum1)×現在の短蓄積時間　・・・（１７）

　例えば、CP1を90％、CP0を50％とする輝度値lum0およびlum1を決定すると、全輝度値のうち、上位10％の明るい信号レベルを、短蓄積時間の飽和率が50％になるように制御する、というような制御が可能となる。

＜１０．HDR駆動モードにおける測定処理＞
　図２１のフローチャートを参照して、測距モジュール１１がHDR駆動モードで物体までの距離を測定する測定処理について説明する。

　この処理は、例えば、動作モードとしてHDR駆動モードが設定された状態で、測定開始が指示されたとき開始される。

　初めに、ステップＳ１において、信号処理部１６は、受光部１５の各画素２１の第１タップ３２Aの第１蓄積時間（長蓄積時間）と、第２タップ３２Bの第２蓄積時間（短蓄積時間）の初期値を、受光部１５に供給する。

　ステップＳ２において、発光制御部１３は、所定の周波数（例えば、20MHzなど）の発光制御信号を、発光部１２と受光部１５に供給する。

　ステップＳ３において、発光部１２は、発光制御部１３から供給される発光制御信号に基づいて、物体に対して照射光を照射する。

　ステップＳ４において、受光部１５の各画素２１は、駆動制御回路２３の制御に基づいて、物体からの反射光を受光する。各画素２１は、図７に示した第１の画素回路、または、図９に示した第２の画素回路で構成される。各画素２１は、照射光の照射タイミングを基準に、位相を０°、９０°、１８０°、および、２７０°だけずらした４つの位相それぞれについて、第１タップ３２Aの第１蓄積時間と、第２タップ３２Bの第２蓄積時間とを異なる時間に制御して、受光量に応じた電荷を蓄積し、検出信号A0乃至A3および検出信号B0乃至B3を出力する。各画素２１の検出信号A0乃至A3および検出信号B0乃至B3は、信号処理部１６の補正処理部７１と、統計量算出部７４とに供給される。

　ステップＳ５において、補正処理部７１は、画素アレイ部２２の各画素２１を注目画素として、注目画素の周辺画素の画素データを用いて、注目画素の画素データを補正する補正処理を実行する。具体的には、補正処理部７１は、画素データが取得されたときの蓄積時間に応じた補正係数c(i,j),d(i,j),e(i,j)、および、f(i,j)を、周辺画素の画素データに乗算し、補正後の画素データを算出する。補正後の各画素２１の画素データである、位相０°、９０°、１８０°、および、２７０°の検出信号Aおよび検出信号Bは、順次、フレームメモリ７２に供給され、記憶される。

　ステップＳ６において、デプス算出部７３は、補正処理後の画素データを用いて、デプスマップを生成し、出力する。より具体的には、デプス算出部７３は、フレームメモリ７２に記憶されている、位相０°、９０°、１８０°、および、２７０°の各画素２１の検出信号Aおよび検出信号Bを取得する。そして、デプス算出部７３は、検出信号Aの最大値lumに基づいて短畜ブレンド率αを決定し、式（９）乃至式（１２）により、検出信号Aおよび検出信号Bを短畜ブレンド率αでブレンドした４位相の検出信号C0乃至C3を算出する。さらに、デプス算出部７３は、式（１３）および式（２）により、デプス値ｄを算出する。そして、デプス演算部７３は、各画素２１の画素値としてデプス値ｄが格納されたデプスマップを生成して、モジュール外へ出力する。

　ステップＳ７において、統計量算出部７４は、受光部１５から供給された各画素２１の画素データを用いて、受光した反射光の輝度値の統計量を算出する。

　例えば、統計量算出部７４が、図１７に示した第１構成例で構成される場合、統計量算出部７４は、統計量として、各画素２１の輝度平均値と画素飽和率を算出し、蓄積時間算出部７５に供給する。

　あるいはまた、統計量算出部７４が、図１８に示した第２構成例で構成される場合、統計量算出部７４は、統計量として、輝度値のヒストグラムを生成し、蓄積時間算出部７５に供給する。

　ステップＳ８において、蓄積時間算出部７５は、統計量算出部７４から供給された各画素２１の輝度値の統計量を用いて、受光部１５が次に受光を行う際の各画素２１の長蓄積時間および短蓄積時間を算出し、受光部１５および補正処理部７１に供給する。受光部１５の駆動制御回路２３は、次のフレームの駆動（次のステップＳ４の処理）において、各画素２１の第１タップ３２Aおよび第２タップ３２Bの蓄積時間が、蓄積時間算出部７５から供給された長蓄積時間および短蓄積時間となるように各画素２１を制御する。

　統計量算出部７４から、画素飽和率と輝度平均値が供給された場合、蓄積時間算出部７５は、上述した式（１４）により、次の検出フレームの長蓄積時間を算出し、上述した式（１５）により、次の検出フレームの短蓄積時間を算出する。

　一方、統計量算出部７４から、輝度値のヒストグラムが供給された場合、蓄積時間算出部７５は、正規化累積ヒストグラムを生成し、累積値が、予め決定したCP0およびCP1となる輝度値lum0およびlum1を決定して、上述した式（１６）および式（１７）により、次の検出フレームの長蓄積時間および短蓄積時間を算出する。算出された長蓄積時間および短蓄積時間は、受光部１５に供給されるとともに、補正処理部７１にも供給される。

　ステップＳ９において、測距モジュール１１は、測定を中止するかを判定する。例えば、測距モジュール１１は、測定を中止する操作または命令が供給された場合、測定を中止すると判定する。

　ステップＳ９で、まだ測定を中止しない（測定を継続する）と判定された場合、処理はステップＳ２へ戻り、上述したステップＳ２乃至Ｓ９の処理が繰り返される。

　一方、ステップＳ９で、測定を中止すると判定された場合、図２１の測定処理が終了される。

　以上の測距モジュール１１によるHDR駆動モードの測定処理によれば、各画素２１の第１タップ３２Aの第１蓄積時間と、第２タップ３２Bの第２蓄積時間とを異なる時間に制御して得られた検出信号A0乃至A3および検出信号B0乃至B3に基づいて、デプス値ｄを算出し、デプスマップを生成することができる。各画素２１の第１タップ３２Aの第１蓄積時間と、第２タップ３２Bの第２蓄積時間とを異なる時間に制御することで、測定範囲を拡大した距離の測定を行うことができる。

　測定範囲を拡大する測距センサの測定方法として、例えば、第１のフレームで各画素２１の２つのタップ３２を長蓄積時間に制御して受光し、第２のフレームで各画素２１の２つのタップ３２を短蓄積時間に制御して受光するようなフレーム単位で蓄積時間を変える方法が考えられる。この測定方法では、長蓄積時間と短蓄積時間の画素データを取得するためには、少なくとも２フレームが必要となる。

　測距モジュール１１によれば、１フレームで長蓄積時間と短蓄積時間の画素データを取得することができるので、フレームレートを低下させることなく、測定範囲を拡大した距離の測定を行うことができる。

　あるいはまた、１フレームで長蓄積時間と短蓄積時間の画素データを取得する他の方法として、画素アレイ部２２の全画素を、長蓄積時間に制御する画素２１と、短蓄積時間に制御する画素２１とに空間方向に分割して、長蓄積時間と短蓄積時間の画素データを取得する方法がある。この測定方法では、長蓄積時間の画素数と短蓄積時間の画素数が、画素アレイ部２２の全画素数の半分ずつとなるため、解像度が低下する。

　測距モジュール１１によれば、画素アレイ部２２の全画素から長蓄積時間と短蓄積時間の画素データを取得することができるので、解像度を低下させることなく、測定範囲を拡大した距離の測定を行うことができる。

　また、測距モジュール１１によれば、４位相の長蓄積時間の画素データは、１つのタップ３２（第１タップ３２A）で取得され、短蓄積時間の画素データも、１つのタップ３２（第２タップ３２B）で取得される。すなわち、４位相の画素データが検出される画素トランジスタが同じであるので、画素トランジスタのバラツキを考慮する必要がなく、画素トランジスタのバラツキ等に起因する固定パターンノイズを抑制することができる。

＜１１．測距センサのチップ構成例＞
　図２２は、測距センサ１４のチップ構成例を示す斜視図である。

　測距センサ１４は、例えば、図２２のAに示されるように、複数のダイ（基板）としてのセンサダイ１５１とロジックダイ１５２とが積層された１つのチップで構成することができる。

　センサダイ１５１には、センサ部１６１（としての回路）が構成され、ロジックダイ１５２には、ロジック部１６２が構成されている。

　センサ部１６１には、例えば、画素アレイ部２２と駆動制御回路２３とが形成されている。ロジック部１６２には、例えば、検出信号をAD変換するAD変換部や、信号処理部１６、入出力端子などが形成されている。

　また、測距センサ１４は、センサダイ１５１とロジックダイ１５２とに加えて、もう１つのロジックダイを積層した３層で構成してもよい。勿論、４層以上のダイ（基板）の積層で構成してもよい。

　あるいはまた、測距センサ１４は、例えば、図２２のBに示されるように、第１のチップ１７１および第２のチップ１７２と、それらが搭載された中継基板（インターポーザ基板）１７３とで構成してもよい。

　第１のチップ１７１には、例えば、画素アレイ部２２と駆動制御回路２３とが形成されている。第２のチップ１７２には、検出信号をAD変換するAD変換部や、信号処理部１６が形成されている。

　なお、上述した図２２のAにおけるセンサダイ１５１とロジックダイ１５２との回路配置、および、図２２のBにおける第１のチップ１７１と第２のチップ１７２との回路配置は、あくまで一例であり、これに限定されない。例えば、図１２に示した信号処理部１６の構成のうち、フレームメモリ７２やデプス算出部７３などが、測距センサ１４の外部に設けられてもよい。

＜１２．測距モジュールの使用例＞
　本技術は、測距モジュールへの適用に限られるものではない。即ち、本技術は、例えば、スマートフォン、タブレット型端末、携帯電話機、パーソナルコンピュータ、ゲーム機、テレビ受像機、ウェアラブル端末、デジタルスチルカメラ、デジタルビデオカメラなどの電子機器全般に対して適用可能である。上述の測距モジュール１１は、発光部１２、発光制御部１３、および、測距センサ１４がまとめてパッケージングされた形態であってもよいし、発光部１２と測距センサ１４とが別に構成され、測距センサ１４のみをワンチップとして構成してもよい。

　図２３は、上述の測距モジュール１１の使用例を示す図である。

　上述した測距モジュール１１は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。

　・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置

＜１３．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

　図２４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２４に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２４の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

　図２５は、撮像部１２０３１の設置位置の例を示す図である。

　図２５では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

　なお、図２５には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。具体的には、例えば、図１の測距モジュール１１は、撮像部１２０３１に適用することができる。撮像部１２０３１は、例えばＬＩＤＡＲであり、車両１２１００の周囲の物体及び物体までの距離の検出に用いられる。撮像部１２０３１に本開示に係る技術を適用することにより、車両１２１００の周囲の物体及び物体までの距離の測定範囲が拡大する。その結果、例えば、車両の衝突警告を適切なタイミングで行うことができ、交通事故を防止することが可能となる。

　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。

　なお、本技術は、以下の構成を取ることができる。
（１）
　入射された光を光電変換して電荷を生成する光電変換部と、
　前記光電変換部において第１蓄積時間で生成された第１電荷を蓄積する第１電荷蓄積部と、
　前記光電変換部において前記第１蓄積時間と異なる第２蓄積時間で生成された第２電荷を蓄積する第２電荷蓄積部と
　を有する画素
　を備える受光装置。
（２）
　前記画素は、
　　前記第１電荷蓄積部の前記第１電荷を排出する第１リセットトランジスタと、
　　前記第２電荷蓄積部の前記第２電荷を排出する第２リセットトランジスタと
　をさらに有し、
　前記第１リセットトランジスタをアクティブ状態にする時間と、前記第２リセットトランジスタをアクティブ状態にする時間とを変えることで、前記第１蓄積時間と第２蓄積時間とが異なる時間に制御される
　前記（１）に記載の受光装置。
（３）
　前記光電変換部の電荷を排出する排出トランジスタをさらに有し、
　前記排出トランジスタは、前記第２電荷蓄積部に電荷を蓄積する期間に、アクティブ状態に制御される
　前記（１）または（２）に記載の受光装置。
（４）
　前記第１電荷蓄積部への複数回の前記第１電荷の蓄積に対して、前記第２電荷蓄積部への１回の前記第２電荷の蓄積が実行される
　前記（３）に記載の受光装置。
（５）
　前記第２電荷蓄積部への前記第２電荷の蓄積と、前記第１電荷蓄積部への前記第１電荷の蓄積との間に、前記排出トランジスタがアクティブ状態に制御される
　前記（４）に記載の受光装置。
（６）
　前記画素に入射された前記光は、照射光が物体に反射されてきた反射光であり、
　前記画素は、前記照射光の照射タイミングに対する４つの位相それぞれについて、前記第１電荷および前記第２電荷を蓄積する
　前記（１）乃至（５）のいずれかに記載の受光装置。
（７）
　前記画素が行列状に複数配置された画素アレイ部と、
　前記画素の画素データを、前記画素の周辺画素の画素データを用いて補正する補正処理部と
　をさらに備える
　前記（１）乃至（６）のいずれかに記載の受光装置。
（８）
　前記補正処理部は、前記画素の周辺画素の画素データに、蓄積時間に応じた補正係数を乗算した乗算結果を、前記画素の画素データに加算することで、前記画素の画素データを補正する
　前記（７）に記載の受光装置。
（９）
　前記画素が行列状に複数配置された画素アレイ部と、
　複数の前記画素の画素データの統計量を算出する統計量算出部と
　をさらに備える
　前記（１）乃至（８）のいずれかに記載の受光装置。
（１０）
　前記統計量算出部は、前記統計量として、前記電荷が飽和した画素の比率である画素飽和率と、複数の前記画素の輝度平均値とを算出する
　前記（９）に記載の受光装置。
（１１）
　前記画素飽和率は、前記画素の前記第１蓄積時間の前記画素データを用いて算出され、
　前記輝度平均値は、前記画素の前記第２蓄積時間の前記画素データを用いて算出される
　前記（１０）に記載の受光装置。
（１２）
　前記統計量算出部は、複数の前記画素の画素データのヒストグラムを算出する
　前記（９）乃至（１１）のいずれかに記載の受光装置。
（１３）
　複数の前記画素の画素データの統計量に基づいて、次のフレームの前記第１蓄積時間と前記第２蓄積時間とを算出する蓄積時間算出部をさらに備える
　前記（９）乃至（１２）のいずれかに記載の受光装置。
（１４）
　蓄積時間が前記第１蓄積時間と前記第２蓄積時間となるように前記画素を駆動する駆動制御部をさらに備える
　前記（１３）に記載の受光装置。
（１５）
　光電変換部と、第１電荷蓄積部と、第２電荷蓄積部とを有する画素を備える受光装置の駆動制御部が、
　前記光電変換部において第１蓄積時間で生成された第１電荷を前記第１電荷蓄積部へ蓄積させ、
　前記光電変換部において前記第１蓄積時間と異なる第２蓄積時間で生成された第２電荷を前記第２電荷蓄積部へ蓄積させる
　受光装置の駆動方法。

　１１　測距モジュール，　１２　発光部，　１３　発光制御部，　１４　測距センサ，　１５　受光部，　１６　信号処理部，　２１　画素，　２２　画素アレイ部，　２３　駆動制御回路，　３１　フォトダイオード（PD），　３２A　FD（第１タップ），　３２B　FD（第２タップ），　３３　転送トランジスタ，　３４　切替トランジスタ，　３５　リセットトランジスタ，　３６　増幅トランジスタ，　３７　選択トランジスタ，　３８　排出トランジスタ，　５１乃至５５　信号線，　５６　垂直信号線，　７１　補正処理部，　７２　フレームメモリ，　７３　デプス算出部，　７４　統計量算出部，　７５　蓄積時間算出部，　９１　ブレンド率算出部，　９２－１乃至９２－４　ブレンド処理部，　９３　デプスマップ生成部，　１０１　飽和率算出部，　１０２　平均値算出部，　１０３　ヒストグラム生成部

Claims

　入射された光を光電変換して電荷を生成する光電変換部と、
　前記光電変換部において第１蓄積時間で生成された第１電荷を蓄積する第１電荷蓄積部と、
　前記光電変換部において前記第１蓄積時間と異なる第２蓄積時間で生成された第２電荷を蓄積する第２電荷蓄積部と
　を有する画素
　を備える受光装置。
　前記画素は、
　　前記第１電荷蓄積部の前記第１電荷を排出する第１リセットトランジスタと、
　　前記第２電荷蓄積部の前記第２電荷を排出する第２リセットトランジスタと
　をさらに有し、
　前記第１リセットトランジスタをアクティブ状態にする時間と、前記第２リセットトランジスタをアクティブ状態にする時間とを変えることで、前記第１蓄積時間と第２蓄積時間とが異なる時間に制御される
　請求項１に記載の受光装置。
　前記光電変換部の電荷を排出する排出トランジスタをさらに有し、
　前記排出トランジスタは、前記第２電荷蓄積部に電荷を蓄積する期間に、アクティブ状態に制御される
　請求項１に記載の受光装置。
　前記第１電荷蓄積部への複数回の前記第１電荷の蓄積に対して、前記第２電荷蓄積部への１回の前記第２電荷の蓄積が実行される
　請求項３に記載の受光装置。
　前記第２電荷蓄積部への前記第２電荷の蓄積と、前記第１電荷蓄積部への前記第１電荷の蓄積との間に、前記排出トランジスタがアクティブ状態に制御される
　請求項４に記載の受光装置。
　前記画素に入射された前記光は、照射光が物体に反射されてきた反射光であり、
　前記画素は、前記照射光の照射タイミングに対する４つの位相それぞれについて、前記第１電荷および前記第２電荷を蓄積する
　請求項１に記載の受光装置。
　前記画素が行列状に複数配置された画素アレイ部と、
　前記画素の画素データを、前記画素の周辺画素の画素データを用いて補正する補正処理部と
　をさらに備える
　請求項１に記載の受光装置。
　前記補正処理部は、前記画素の周辺画素の画素データに、蓄積時間に応じた補正係数を乗算した乗算結果を、前記画素の画素データに加算することで、前記画素の画素データを補正する
　請求項７に記載の受光装置。
　前記画素が行列状に複数配置された画素アレイ部と、
　複数の前記画素の画素データの統計量を算出する統計量算出部と
　をさらに備える
　請求項１に記載の受光装置。
　前記統計量算出部は、前記統計量として、前記電荷が飽和した画素の比率である画素飽和率と、複数の前記画素の輝度平均値とを算出する
　請求項９に記載の受光装置。
　前記画素飽和率は、前記画素の前記第１蓄積時間の前記画素データを用いて算出され、
　前記輝度平均値は、前記画素の前記第２蓄積時間の前記画素データを用いて算出される
　請求項１０に記載の受光装置。
　前記統計量算出部は、複数の前記画素の画素データのヒストグラムを算出する
　請求項９に記載の受光装置。
　複数の前記画素の画素データの統計量に基づいて、次のフレームの前記第１蓄積時間と前記第２蓄積時間とを算出する蓄積時間算出部をさらに備える
　請求項９に記載の受光装置。
　蓄積時間が前記第１蓄積時間と前記第２蓄積時間となるように前記画素を駆動する駆動制御部をさらに備える
　請求項１３に記載の受光装置。
　光電変換部と、第１電荷蓄積部と、第２電荷蓄積部とを有する画素を備える受光装置の駆動制御部が、
　前記光電変換部において第１蓄積時間で生成された第１電荷を前記第１電荷蓄積部へ蓄積させ、
　前記光電変換部において前記第１蓄積時間と異なる第２蓄積時間で生成された第２電荷を前記第２電荷蓄積部へ蓄積させる
　受光装置の駆動方法。