JP7290632B2 - 時間計測装置 - Google Patents

Description

本開示は、光を射出したタイミングから光を検出したタイミングまでの時間を計測する時間計測装置に関する。

測定対象物までの距離を測定する際、しばしば、ＴＯＦ（Time Of Flight）法が用いられる。このＴＯＦ法では、光を射出するとともに、測定対象物により反射された反射光を検出する。そして、ＴＯＦ法では、光を射出したタイミングおよび反射光を検出したタイミングの間の時間差を計測することにより、測定対象物までの距離を計測する（例えば、特許文献１）。

特開２０１０－９１３７７号公報

ところで、一般に、電子機器では、消費電力が低いことが望まれており、時間計測装置においても、消費電力が低いことが期待されている。

消費電力を低減することができる時間計測装置を提供することが望ましい。

本開示の一実施の形態における第１の時間計測装置は、画素と、タイミング検出部と、パルス数検出部と、制御部とを備えている。画素は、受光素子を有し、光源が複数の光パルスを射出する期間において、受光素子における受光結果に基づいて論理パルスを含むパルス信号を生成可能なものである。タイミング検出部は、パルス信号に基づいて受光素子における受光タイミングを検出可能なものである。パルス数検出部は、パルス信号に含まれる論理パルスのパルス数を検出可能なものである。制御部は、パルス数に基づいて、光源の動作を制御可能なものである。

本開示の一実施の形態における第２の時間計測装置は、第１の画素と、第２の画素と、タイミング検出部と、パルス数検出部と、制御部とを備えている。第１の画素は、第１の受光素子を有し、光源が複数の光パルスを射出する期間において、第１の受光素子における受光結果に基づいて論理パルスを含む第１のパルス信号を生成可能なものである。第２の画素は、第２の受光素子を有し、上記期間において、第２の受光素子における受光結果に基づいて論理パルスを含む第２のパルス信号を生成可能なものである。タイミング検出部は、第１のパルス信号に基づいて第１の受光素子における受光タイミングを検出可能なものである。パルス数検出部は、第２のパルス信号に含まれる論理パルスのパルス数を検出可能なものである。制御部は、パルス数に基づいて、光源の動作を制御可能なものである。

本開示の一実施の形態における第１の時間計測装置では、受光素子における受光結果に基づいて、論理パルスを含むパルス信号が生成され、このパルス信号に基づいて、受光素子における受光タイミングが検出される。また、パルス信号に含まれる論理パルスのパルス数が検出され、このパルス数に基づいて、複数の光パルスを射出する光源の動作が制御される。

本開示の一実施の形態における第２の時間計測装置では、第１の受光素子における受光結果に基づいて、論理パルスを含む第１のパルス信号が生成され、この第１のパルス信号に基づいて、第１の受光素子における受光タイミングが検出される。また、第２の受光素子における受光結果に基づいて、論理パルスを含む第２のパルス信号が生成される。そして、この第２のパルス信号に含まれる論理パルスのパルス数が検出され、このパルス数に基づいて、複数の光パルスを射出する光源の動作が制御される。

本開示の一実施の形態における第１の時間計測装置および第２の時間計測装置によれば、パルス信号に含まれる論理パルスのパルス数に基づいて光源の動作を制御するようにしたので、消費電力を低減することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果があってもよい。

本開示の第１の実施の形態に係る時間計測装置の一構成例を表す構成図である。 図１に示したセンサ部の一構成例を表すブロック図である。 図２に示した画素アレイの一構成例を表す回路図である。 図３に示したインバータの一構成例を表す回路図である。 図２に示したヒストグラム生成回路が生成したヒストグラムの一例を表す説明図である。 図２に示した光強度設定部の一動作例を表す説明図である。 図２に示した光強度設定部の他の動作例を表す説明図である。 図２に示した光強度設定部の他の動作例を表す説明図である。 図２に示したセンサ部の実装例を表す説明図である。 図１に示した時間計測装置の一動作例を表すタイミング波形図である。 暗い環境における時間計測装置の一動作例を表すタイミング図である。 明るい環境における時間計測装置の一動作例を表すタイミング図である。 暗い環境におけるヒストグラムの一例を表す説明図である。 明るい環境におけるヒストグラムの一例を表す説明図である。 比較例に係るヒストグラムの一例を表す説明図である。 変形例に係る時間計測装置の一構成例を表す構成図である。 他の変形例に係るセンサ部の一構成例を表すブロック図である。 他の変形例に係る時間計測装置の一構成例を表す構成図である。 図１６に示したセンサ部の一構成例を表すブロック図である。 他の変形例に係る時間計測装置の一構成例を表す構成図である。 図１８に示したセンサ部の一構成例を表すブロック図である。 他の変形例に係るセンサ部の一構成例を表すブロック図である。 他の変形例に係るセンサ部の一構成例を表すブロック図である。 他の変形例に係るセンサ部の一構成例を表すブロック図である。 一実施の形態に係る時間計測装置の一構成例を表す構成図である。 第２の実施の形態に係るセンサ部の一構成例を表すブロック図である。 第２の実施の形態に係る光パルスの一例を表す説明図である。 第３の実施の形態に係るセンサ部の一構成例を表すブロック図である。 暗い環境におけるヒストグラムの一例を表す説明図である。 明るい環境におけるヒストグラムの一例を表す説明図である。 応用例に係る撮像装置の一構成例を表す構成図である。 図２９に示した撮像部の一構成例を表すブロック図である。 図３０に示した画素アレイにおける画素の配置例を示す説明図である。

以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．応用例（撮像装置への応用）

＜１．第１の実施の形態＞
［構成例］
図１は、第１の実施の形態に係る時間計測装置（時間計測装置１）の一構成例を表すものである。時間計測装置１は、光を射出するとともに、測定対象物により反射された反射光を検出し、光を射出したタイミングおよび反射光を検出したタイミングの間の時間差を計測するものである。時間計測装置１は、光源１１と、光源駆動部１２と、レンズ１３と、センサ部２０とを備えている。

光源１１は、測定対象物に向かって光パルスＬ１を射出するものであり、例えば、パルスレーザ光源を用いて構成されるものである。

光源駆動部１２は、センサ部２０からの指示に基づいて、光源１１を駆動するものである。具体的には、光源駆動部１２は、センサ部２０から供給された発光トリガ信号Ｓ１に基づいて、光源１１が発光トリガ信号Ｓ１に含まれるトリガパルスに応じたタイミングで発光するように、光源１１の動作を制御する。また、光源駆動部１２は、センサ部２０から供給された光強度制御信号Ｓ２に基づいて、光源１１が射出する光パルスＬ１の光強度を制御する機能を有している。

レンズ１３は、センサ部２０のセンサ面において像を結像させるものである。このレンズ１３には、測定対象物により反射された光パルス（反射光パルスＬ２）が入射するようになっている。

センサ部２０は、反射光パルスＬ２を検出することにより、測定対象物までの距離についての情報を有する深度画像（デプス画像）ＰＩＣを生成するものである。深度画像ＰＩＣに含まれる複数の画素値のそれぞれは、深度についての値（深度値Ｄ）を示すものである。そして、センサ部２０は、生成した深度画像ＰＩＣを出力するようになっている。また、センサ部２０は、発光トリガ信号Ｓ１および光強度制御信号Ｓ２を生成し、これらの発光トリガ信号Ｓ１および光強度制御信号Ｓ２を光源駆動部１２に供給する機能をも有している。

図２は、センサ部２０の一構成例を表すものである。センサ部２０は、画素アレイ２１と、選択信号生成部２２と、カウンタ部１２３と、時間計測部１２４と、ヒストグラム生成部１２５と、処理部２６と、制御部２７とを有している。

画素アレイ２１は、マトリクス状に配置された複数の画素ＰＺを有している。

図３は、画素アレイ２１の一構成例を表すものである。この図３は、画素アレイ２１における、互いに隣り合う４個（＝２×２）の画素ＰＺを図示している。画素アレイ２１は、複数の選択線ＳＥＬと、複数の信号線ＳＧＬとを有している。複数の選択線ＳＥＬのそれぞれは、図２，３における縦方向に延伸するものであり、図２に示したように、一端は選択信号生成部２２に接続される。この選択線ＳＥＬには、選択信号生成部２２により、選択信号ＳＳＥＬが印加される。複数の信号線ＳＧＬのそれぞれは、図２，３における横方向に延伸するものであり、図２に示したように、一端はカウンタ部１２３および時間計測部１２４に接続される。画素ＰＺは、受光素子３１と、トランジスタ３２，３３と、インバータ３４とを有している。

受光素子３１は、光を検出するフォトダイオードであり、例えば、シングルフォトンアバランシェダイオード（ＳＰＡＤ）を用いて構成される。受光素子３１のカソードはトランジスタ３２，３３のドレインおよびインバータ３４の入力端子に接続され、アノードには、所定のバイアス電圧Ｖbiasが供給される。

トランジスタ３２は、Ｐ型のＭＯＳ（Metal Oxide Semiconductor）トランジスタであり、ソースには電源電圧Ｖddが供給され、ゲートには電圧Ｖg1が供給され、ドレインは、受光素子３１のカソード、トランジスタ３３のドレイン、およびインバータ３４の入力端子に接続される。画素アレイ２１が動作を行う場合には、トランジスタ３２は、受光素子３１に、電圧Ｖg1に応じた所定の電流を流す定電流源として機能する。また、画素アレイ２１が動作を行わない場合には、電圧Ｖg1は高レベルになり、これにより、トランジスタ３２はオフ状態に設定されるようになっている。

トランジスタ３３は、Ｎ型のＭＯＳトランジスタであり、ソースは接地され、ゲートには電圧Ｖg2が供給され、ドレインは、受光素子３１のカソード、トランジスタ３２のドレイン、およびインバータ３４の入力端子に接続される。画素アレイ２１が動作を行う場合には、電圧Ｖg2は低レベルになり、これにより、トランジスタ３３はオフ状態に設定される。また、画素アレイ２１が動作を行わない場合には、電圧Ｖg2は高レベルになり、これにより、トランジスタ３３はオン状態に設定されるようになっている。

インバータ３４は、入力端子における電圧を反転し、反転された電圧を出力端子から出力するものである。また、インバータ３４は、制御端子に入力された選択信号ＳＳＥＬに基づいて、出力インピーダンスをハイインピーダンスにする機能をも有している。インバータ３４の入力端子は受光素子３１のカソードおよびトランジスタ３２，３３のドレインに接続され、制御端子は選択線ＳＥＬに接続され、出力端子は信号線ＳＧＬに接続される。

図４は、インバータ３４の一構成例を表すものである。インバータ３４は、トランジスタ３５～３８と、インバータ３９とを有している。

トランジスタ３５，３６は、Ｐ型のＭＯＳトランジスタである。トランジスタ３５のソースには電源電圧Ｖddが供給され、ゲートはインバータ３９の出力端子に接続され、ドレインはトランジスタ３６のソースに接続される。トランジスタ３６のソースはトランジスタ３５のドレインに接続され、ゲートはインバータ３４の入力端子に接続され、ドレインはインバータ３４の出力端子に接続される。トランジスタ３７，３８は、Ｎ型のＭＯＳトランジスタである。トランジスタ３７のドレインはインバータ３４の出力端子に接続され、ゲートはインバータ３４の入力端子に接続され、ソースはトランジスタ３８のドレインに接続される。トランジスタ３８のドレインはトランジスタ３７のソースに接続され、ゲートはインバータ３４の制御端子に接続され、ソースは接地される。インバータ３９の入力端子はインバータ３４の制御端子に接続され、出力端子はトランジスタ３５のゲートに接続される。

この構成により、インバータ３４は、制御端子に入力された選択信号ＳＳＥＬの電圧が高レベルである場合には、入力端子における電圧を反転し、反転された電圧を出力端子から出力する。また、インバータ３４は、制御端子に入力された選択信号ＳＳＥＬの電圧が低レベルである場合には、出力インピーダンスをハイインピーダンスにするようになっている。

画素アレイ２１では、選択信号ＳＳＥＬに基づいて、複数の画素ＰＺのうちの一列分の画素ＰＺが選択される。具体的には、選択信号生成部２２が、複数の選択信号ＳＳＥＬのうちの１つの選択信号ＳＳＥＬの電圧を高レベルにすることにより、その高レベルである選択信号ＳＳＥＬが供給された選択線ＳＥＬに接続された一列分の画素ＰＺが選択される。選択された画素ＰＺでは、受光素子３１に光パルス（反射光パルスＬ２）が入射すると、受光素子３１に電流が流れ、受光素子３１のカソードにおける電圧が過渡的に低下する。インバータ３４は、受光素子３１のカソードにおける電圧に基づいて、パルスＰＵを出力端子から出力する。このようにして、選択された画素ＰＺは、入射された反射光パルスＬ２に応じたパルスＰＵを含む画素信号ＳＩＧを出力するようになっている。

選択信号生成部２２（図２）は、制御部２７から供給された制御信号に基づいて、複数の選択信号ＳＳＥＬを生成し、これらの複数の選択信号ＳＳＥＬを、画素アレイ２１における画素ＰＺの複数の列にそれぞれに供給するものである。選択信号生成部２２は、複数の選択信号ＳＳＥＬのうちの１つの選択信号ＳＳＥＬの電圧を順次高レベルにすることにより、複数の画素ＰＺを、列単位で順次選択するようになっている。

カウンタ部１２３は、複数のカウンタ２３（カウンタ２３（１），２３（２），２３（３），…）を有している。複数のカウンタ２３は、画素アレイ２１における複数の信号線ＳＧＬにそれぞれ接続される。複数のカウンタ２３のそれぞれは、制御部２７から供給された制御信号に基づいて、画素アレイ２１から信号線ＳＧＬを介して供給された画素信号ＳＩＧに含まれるパルスＰＵの数をカウントするものである。そして、カウンタ部１２３は、複数のカウンタ２３におけるカウント結果（カウント値ＣＮＴ）を制御部２７に供給するようになっている。

時間計測部１２４は、複数のＴＤＣ（Time to Digital Converter）２４（ＴＤＣ２４（１），２４（２），２４（３），…）を有している。複数のＴＤＣ２４は、画素アレイ２１における複数の信号線ＳＧＬにそれぞれ接続される。複数のＴＤＣ２４のそれぞれは、制御部２７から供給された制御信号に基づいて、画素アレイ２１から信号線ＳＧＬを介して供給された画素信号ＳＩＧに含まれるパルスＰＵのタイミングを計測するものである。具体的には、ＴＤＣ２４は、制御部２７から供給された開始信号ＳＴＴに基づいて、制御部２７から供給されたクロック信号ＣＫのクロックパルスをカウントし始める。そして、ＴＤＣ２４は、画素信号ＳＩＧにパルスＰＵが現れる度に、そのときのカウント値を出力するようになっている。開始信号ＳＴＴが示すタイミングは、光源１１の発光タイミングに対応している。よって、ＴＤＣ２４が出力するカウント値は、光源１１が光パルスＬ１を射出したタイミングおよび画素ＰＺが反射光パルスＬ２を検出したタイミングの間の時間差に対応しており、言い換えれば、時間計測装置１と測定対象物との間の距離に対応している。すなわち、ＴＤＣ２４が出力するカウント値は、深度値Ｄである。時間計測部１２４は、このようにして、画素信号ＳＩＧにパルスＰＵが現れる度に、深度値Ｄを出力するようになっている。

ヒストグラム生成部１２５は、複数のヒストグラム生成回路２５（ヒストグラム生成回路２５（１），２５（２），２５（３），…）を有している。複数のヒストグラム生成回路２５は、複数のＴＤＣ２４にそれぞれ対応して設けられている。ヒストグラム生成回路２５（１）は、制御部２７から供給された制御信号に基づいて、ＴＤＣ２４（１）から供給された深度値ＤのヒストグラムＨＹを生成するものである。ヒストグラム生成回路２５（２）は、制御部２７から供給された制御信号に基づいて、ＴＤＣ２４（２）から供給された深度値ＤのヒストグラムＨＹを生成するものである。その他のヒストグラム生成回路２５についても同様である。

図５は、ヒストグラム生成回路２５が生成するヒストグラムＨＹの一例を表すものである。横軸は、深度値Ｄを示し、縦軸は、深度値Ｄが現れる頻度を示す。この例では、ヒストグラムＨＹは、ピークＷ１と、それ以外のフロアＷ２とを有している。

ピークＷ１は、反射光パルスＬ２に応じたパルスＰＵに基づくものである。ピークＷ１の中心値Ｄ１は、例えば、光源１１が光パルスＬ１を射出したタイミングおよび画素ＰＺが反射光パルスＬ２を検出したタイミングの間の時間差に対応しており、時間計測装置１と測定対象物との間の距離に対応している。すなわち、例えば、この中心値Ｄ１が、時間計測装置１が計測すべき、所望の深度値Ｄである。このピークＷ１の高さは、例えば、光源１１が射出する光パルスＬ１の光強度を大きくすることにより、高くすることができる。

フロアＷ２は、ランダムなタイミングで生じるパルスＰＵに基づくものである。すなわち、各画素ＰＺには、反射光パルスＬ２以外に環境光が入射されるので、各画素ＰＺは、この環境光に応じたパルスＰＵを生成する。また、各画素ＰＺでは、光が入射しない場合であっても、例えばいわゆる暗電流に応じたパルスＰＵを生成する場合もある。これらのパルスＰＵは、ランダムなタイミングで生じるので、ヒストグラムＨＹでは、図５に示したように、フロアＷ２として現れる。例えば、暗い環境では、このフロアＷ２は低くなり、明るい環境では、このフロアＷ２は高くなる。ピークＷ１の位置を検出する際、フロアＷ２はノイズとなるので、フロアＷ２は低いことが望ましい。時間計測装置１では、後述するように、ピークＷ１の高さがフロアＷ２を上回るように、そして、ピークＷ１の高さがフロアＷ２に比べて高くなりすぎないように、光パルスＬ１の光強度が調節されるようになっている。

複数のヒストグラム生成回路２５のそれぞれは、このようなヒストグラムＨＹを生成する。そして、ヒストグラム生成部１２５は、これらのヒストグラム生成回路２５が生成したヒストグラムＨＹについての情報（例えば各ヒストグラムＨＹの中心値Ｄ１）を処理部２６に供給するようになっている。

処理部２６は、制御部２７から供給された制御信号、およびヒストグラム生成部１２５から供給された複数のヒストグラムＨＹについての情報に基づいて、深度画像ＰＩＣを生成するものである。深度画像ＰＩＣに含まれる複数の画素値のそれぞれは、深度についての値（深度値Ｄ）を示す。そして、処理部２６は、生成した深度画像ＰＩＣを出力するようになっている。

制御部２７は、選択信号生成部２２、カウンタ部１２３、時間計測部１２４、ヒストグラム生成部１２５、および処理部２６に対して制御信号を供給するとともに、光源駆動部１２に対して発光トリガ信号Ｓ１および光強度制御信号Ｓ２を供給することにより、時間計測装置１の動作を制御するものである。制御部２７は、発光タイミング設定部２８と、光強度設定部２９とを有している。

発光タイミング設定部２８は、光源１１における発光タイミングを指示する発光トリガ信号Ｓ１を生成するものである。発光トリガ信号Ｓ１は、複数のトリガパルスを含んでいる。制御部２７は、この発光トリガ信号Ｓ１を光源駆動部１２に供給することにより、光源１１が、この発光トリガ信号Ｓ１に含まれるトリガパルスに応じたタイミングで発光するように、光源１１の動作を制御するようになっている。

光強度設定部２９は、カウンタ部１２３から供給された複数のカウント値ＣＮＴに基づいて、光パルスＬ１の光強度を指示する光強度制御信号Ｓ２を生成するものである。カウント値ＣＮＴは、反射光パルスＬ２に応じたパルスＰＵの数だけでなく、環境光や暗電流に応じたパルスＰＵの数をも含んでいる。よって、カウント値ＣＮＴが小さい場合にはフロアＷ２は低く、カウント値ＣＮＴが大きい場合にはフロアＷ２が高い。光強度設定部２９は、このようなカウント値ＣＮＴに基づいて、光パルスＬ１の光強度を指示する光強度制御信号Ｓ２を生成する。制御部２７は、この光強度制御信号Ｓ２を光源駆動部１２に供給することにより、光源１１が、この光強度制御信号Ｓ２に応じた光強度の光パルスＬ１を射出するように、光源１１の動作を制御するようになっている。

この光強度設定部２９は、例えば、全ての画素ＰＺについての複数のカウント値ＣＮＴの最大値（最大カウント値ＣＮＴmax）に基づいて、光パルスＬ１の光強度を設定する。

図６Ａは、光強度設定部２９の一動作例を表すものである。横軸は、最大カウント値ＣＮＴmaxを示し、縦軸は光パルスＬ１の光強度を示す。この例では、光強度は、最大カウント値ＣＮＴmaxが値Ｃ１以上かつ値Ｃ２以下である場合に、最大カウント値ＣＮＴmaxが大きいほど、一次関数的に大きくなる。また、光強度は、最大カウント値ＣＮＴmaxが値Ｃ１より小さい場合には変化せず、同様に、最大カウント値ＣＮＴmaxが値Ｃ２より大きい場合には変化しない。

図６Ｂ，６Ｃは、光強度設定部２９の他の動作例を表すものである。図６Ｂに示したように、最大カウント値が大きいほど、光強度を段階的に大きくしてもよい。また、図６Ｃに示したように、光強度と最大カウント値ＣＮＴmaxとの間の関係は、一次関数以外の関係であってもよい。

このように、光強度設定部２９は、最大カウント値ＣＮＴmaxが小さい場合には光パルスＬ１の光強度を小さくし、最大カウント値ＣＮＴmaxが大きい場合には光パルスＬ１の光強度を大きくする。これにより、時間計測装置１では、例えば、フロアＷ２が低い場合には、光パルスＬ１の光強度を小さくし、フロアＷ２が高い場合には、光パルスＬ１の光強度を大きくすることができる。

この構成により、時間計測装置１では、カウンタ部１２３から供給された複数のカウント値ＣＮＴに基づいて、ピークＷ１の高さがフロアＷ２を上回るように、そして、ピークＷ１の高さがフロアＷ２に比べて高くなりすぎないように、光パルスＬ１の光強度が調節される。これにより、時間計測装置１では、消費電力を効果的に低減することができるようになっている。

図７は、センサ部２０の実装例を表すものである。この例では、センサ部２０は、２枚の半導体基板１１１，１１２に形成されている。半導体基板１１１には、画素アレイ２１に含まれる複数の受光素子３１が形成され、半導体基板１１２には、画素アレイ２１における複数の受光素子３１以外の素子、カウンタ部１２３、時間計測部１２４、ヒストグラム生成部１２５、処理部２６、および制御部２７が形成される。半導体基板１１１，１１２は互いに重ね合わされ、例えばいわゆるＴＣＶ（Through Chip Via）などを介して互いに電気的に接続されるようになっている。なお、この例では、センサ部２０を２枚の半導体基板１１１，１１２に形成したが、これに限定されるものではなく、これに代えて、例えば、センサ部２０および光源駆動部１２を、２枚の半導体基板１１１，１１２に形成してもよい。光源駆動部１２は、例えば、半導体基板１１２に形成することができる。また、例えば、センサ部２０を１枚の半導体基板に形成してもよい。

ここで、画素ＰＺは、本開示における「画素」の一具体例に対応する。画素信号ＳＩＧは、本開示における「パルス信号」の一具体例に対応する。時間計測部１２４は、本開示における「タイミング検出部」の一具体例に対応する。カウンタ部１２３は、本開示における「パルス数検出部」の一具体例に対応する。制御部２７は、本開示における「制御部」の一具体例に対応する。

［動作および作用］
続いて、本実施の形態の時間計測装置１の動作および作用について説明する。

（全体動作概要）
まず、図１を参照して、時間計測装置１の全体動作概要を説明する。光源１１は、測定対象物に向かって光パルスＬ１を射出する。光源駆動部１２は、センサ部２０から供給された発光トリガ信号Ｓ１に基づいて、光源１１が発光トリガ信号Ｓ１に含まれるトリガパルスに応じたタイミングで発光するように、光源１１の動作を制御する。また、光源駆動部１２は、センサ部２０から供給された光強度制御信号Ｓ２に基づいて、光源１１が射出する光パルスＬ１の光強度を制御する。

センサ部２０は、反射光パルスＬ２を検出することにより深度画像ＰＩＣを生成する。具体的には、選択信号生成部２２は、制御部２７から供給された制御信号に基づいて、複数の選択信号ＳＳＥＬを生成することにより、複数の画素ＰＺを列単位で順次選択する。画素アレイ２１の選択された画素ＰＺは、入射された反射光パルスＬ２に応じたパルスＰＵを含む画素信号ＳＩＧを出力する。カウンタ部１２３のカウンタ２３は、制御部２７から供給された制御信号に基づいて、画素信号ＳＩＧに含まれるパルスＰＵの数をカウントする。時間計測部１２４のＴＤＣ２４は、制御部２７から供給された制御信号に基づいて、画素信号ＳＩＧに含まれるパルスＰＵのタイミングを計測することにより深度値Ｄを生成する。ヒストグラム生成部１２５のヒストグラム生成回路２５は、制御部２７から供給された制御信号に基づいて、ＴＤＣ２４から供給された深度値ＤのヒストグラムＨＹを生成する。処理部２６は、制御部２７から供給された制御信号、およびヒストグラム生成部１２５から供給された複数のヒストグラムＨＹについての情報に基づいて、深度画像ＰＩＣを生成する。制御部２７は、選択信号生成部２２、カウンタ部１２３、時間計測部１２４、ヒストグラム生成部１２５、および処理部２６に対して制御信号を供給するとともに、光源駆動部１２に対して発光トリガ信号Ｓ１および光強度制御信号Ｓ２を供給することにより、時間計測装置１の動作を制御する。

（詳細動作）
図８は、時間計測装置１の一動作例を表すものであり、（Ａ）は光源１１から射出された射出光の波形を示し、（Ｂ）は画素アレイ２１における左から１列目の画素ＰＺ（１）の動作を示し、（Ｃ）は画素アレイ２１における左から２列目の画素ＰＺ（２）の動作を示し、（Ｄ）は画素アレイ２１における左から３列目の画素ＰＺ（３）の動作を示し、（Ｅ）は画素アレイ２１における一番右の列（Ｎ列目）の画素ＰＺ（Ｎ）の動作を示し、（Ｆ）はカウンタ部１２３の動作を示す。図８（Ｂ）～（Ｅ）において、網掛けされた部分は、画素ＰＺが選択されていることを示し、網掛けされていない部分は、画素ＰＺが選択されていないことを示す。また、図８（Ｆ）において、網掛けされた部分は、カウンタ部１２３がカウント動作を行っていることを示し、網掛けされていない部分は、カウンタ部１２３がカウント動作を行っていないことを示す。

タイミングｔ１においてフレーム期間Ｆが開始すると、まず、タイミングｔ１～ｔ３の期間において、選択信号生成部２２は、１列目の画素ＰＺ（１）を選択する（図８（Ｂ））。そして、光源駆動部１２は、発光トリガ信号Ｓ１に基づいて、このタイミングｔ１～ｔ３の期間において、光源１１が光パルスＬ１を所定の発光周期（発光周期Ｔ）で複数回（例えば１０００回）射出するように、光源１１の動作を制御する（図８（Ａ））。これにより、画素ＰＺ（１）は、入射された反射光パルスＬ２に応じたパルスＰＵを含む画素信号ＳＩＧを出力する。時間計測部１２４のＴＤＣ２４は、この画素信号ＳＩＧにパルスＰＵが現れる度に深度値Ｄを生成する。ヒストグラム生成部１２５のヒストグラム生成回路２５は、ＴＤＣ２４から供給された深度値ＤのヒストグラムＨＹを生成し、このヒストグラムＨＹについての情報を処理部２６に供給する。

また、カウンタ部１２３のカウンタ２３は、タイミングｔ１～ｔ２の期間において、画素信号ＳＩＧに含まれるパルスＰＵの数をカウントする。カウンタ２３がカウント動作を行うカウント期間（タイミングｔ１～ｔ２の期間）の長さは、光源１１が光パルスＬ１を射出する周期（発光周期Ｔ）に対応する時間よりも長い時間に設定される。そして、カウンタ部１２３は、複数のカウンタ２３におけるカウント結果（カウント値ＣＮＴ）を、制御部２７の光強度設定部２９に供給する。

図９は、時間計測装置１を暗い環境で動作させたときの、時間計測装置１の一動作例を表すものであり、図１０は、時間計測装置１を明るい環境で動作させたときの、時間計測装置１の一動作例を表すものである。図９，１０において、（Ａ）はヒストグラムＨＹを示し、（Ｂ）は光源１１から射出される射出光の波形を示し、（Ｃ）は画素信号ＳＩＧの波形を示す。

この例では、タイミングｔ１１において光源１１が光パルスＬ１を射出し、タイミングｔ１２において、画素ＰＺが反射光パルスＬ２を検出し、その反射光パルスＬ２に応じたパルスＰＵ（パルスＰＵ１）を生成する。これにより、ヒストグラムＨＹは、タイミングｔ１２に応じた深度値Ｄの位置にピークＷ１を有する。

また、このタイミングｔ１１～ｔ１３の期間において、画素ＰＺは、環境光や暗電流に応じたパルスＰＵを、ランダムなタイミングで生成する。図９の例では、時間計測装置１を暗い環境で動作させているので、環境光や暗電流に応じたパルスＰＵの出現頻度は低く、図１０の例では、時間計測装置１を明るい環境で動作させているので、環境光や暗電流に応じたパルスＰＵの出現頻度は高い。これにより、図９の例では、フロアＷ２が低くなり、図１０の例では、フロアＷ２が高くなる。

次に、タイミングｔ３～ｔ５の期間において、選択信号生成部２２は、２列目の画素ＰＺ（２）を選択する（図８（Ｃ））。そして、光源駆動部１２は、発光トリガ信号Ｓ１に基づいて、このタイミングｔ３～ｔ５の期間において、光源１１が光パルスＬ１を所定の発光周期（発光周期Ｔ）で複数回（例えば１０００回）射出するように、光源１１の動作を制御する（図８（Ａ））。これにより、画素ＰＺ（２）は、入射された反射光パルスＬ２に応じたパルスＰＵを含む画素信号ＳＩＧを出力する。ＴＤＣ２４は、この画素信号ＳＩＧにパルスＰＵが現れる度に深度値Ｄを生成する。ヒストグラム生成回路２５は、ＴＤＣ２４から供給された深度値ＤのヒストグラムＨＹを生成し、このヒストグラムＨＹについての情報を処理部２６に供給する。

また、カウンタ部１２３のカウンタ２３は、タイミングｔ３～ｔ４の期間において、画素信号ＳＩＧに含まれるパルスＰＵの数をカウントする。そして、カウンタ部１２３は、複数のカウンタ２３におけるカウント結果（カウント値ＣＮＴ）を、制御部２７の光強度設定部２９に供給する。

このようにして、センサ部２０は、タイミングｔ１～ｔ７の期間（フレーム期間Ｆ）において、複数の画素ＰＺを列単位で順次選択し、ヒストグラム生成部１２５は、画素アレイ２１の全ての画素ＰＺについてのヒストグラムＨＹを生成し、カウンタ部１２３は、画素アレイ２１の全ての画素ＰＺについてのカウント値ＣＮＴを生成する。

そして、処理部２６は、全ての画素ＰＺについてのヒストグラムＨＹについての情報に基づいて、深度画像ＰＩＣを生成する。また、制御部２７の光強度設定部２９は、全ての画素ＰＺについてのカウント値ＣＮＴに基づいて、光強度制御信号Ｓ２を生成し、この光強度制御信号Ｓ２を光源駆動部１２に供給する。これにより、図８（Ａ）に示したように、タイミングｔ７から始まる次のフレーム期間Ｆにおいて射出される光パルスＬ１の光強度が設定される。

（光強度の設定について）
光強度設定部２９は、例えば、複数のカウント値ＣＮＴに基づいて、光パルスＬ１の光強度を設定する。具体的には、光強度設定部２９は、図６Ａに示したように、最大カウント値ＣＮＴmaxが小さい場合には、光パルスＬ１の光強度が小さくし、最大カウント値ＣＮＴmaxが大きい場合には、光パルスＬ１の光強度を大きくする。これにより、時間計測装置１では、消費電力を効果的に低減することができる。以下に、この動作について詳細に説明する。

図１１は、時間計測装置１を暗い環境で動作させたときのヒストグラムＨＹを示し、図１２は、時間計測装置１を明るい環境で動作させたときのヒストグラムＨＹを示す。

時間計測装置１を暗い環境で動作させた場合には、図９に示したように、環境光や暗電流に応じたパルスＰＵの出現頻度は低いので、カウント値ＣＮＴが小さくなり、フロアＷ２が低くなる。光強度設定部２９は、あるフレーム期間Ｆにおいて得られた全ての画素ＰＺについてのカウント値ＣＮＴに基づいて、それらのカウント値ＣＮＴの最大値（最大カウント値ＣＮＴmax）を取得する。この最大カウント値ＣＮＴmaxは、時間計測装置１を明るい環境で動作させた場合の最大カウント値ＣＮＴmaxよりも小さい。光強度設定部２９は、この最大カウント値ＣＮＴmaxに基づいて、次のフレーム期間Ｆにおける光パルスＬ１の光強度を設定する。このように最大カウント値ＣＮＴmaxが小さい場合には、光強度設定部２９は、図６Ａに示したように、光パルスＬ１の光強度を小さくする。これにより、時間計測装置１では、図１１に示したように、ピークＷ１の高さがフロアＷ２に比べて高くなりすぎないようにすることができる。

また、時間計測装置１を明るい環境で動作させた場合には、図１０に示したように、環境光や暗電流に応じたパルスＰＵの出現頻度は高いので、カウント値ＣＮＴが大きくなり、フロアＷ２が高くなる。光強度設定部２９は、あるフレーム期間Ｆにおいて得られた全ての画素ＰＺについてのカウント値ＣＮＴに基づいて、それらのカウント値ＣＮＴの最大値（最大カウント値ＣＮＴmax）を取得する。この最大カウント値ＣＮＴmaxは、時間計測装置１を暗い環境で動作させた場合の最大カウント値ＣＮＴmaxよりも大きい。光強度設定部２９は、この最大カウント値ＣＮＴmaxに基づいて、次のフレーム期間Ｆにおける光パルスＬ１の光強度を設定する。このように最大カウント値ＣＮＴmaxが大きい場合には、光強度設定部２９は、図６Ａに示したように、光パルスＬ１の光強度を大きくする。これにより、時間計測装置１では、図１２に示したように、ピークＷ１の高さがフロアＷ２を上回るようにする。

このように、時間計測装置１では、カウンタ部１２３から供給されたカウント値ＣＮＴに基づいて、光パルスＬ１の光強度を調節するようにした。具体的には、光強度設定部２９は、例えば図６Ａに示したように、最大カウント値ＣＮＴmaxが小さい場合には光パルスＬ１の光強度を小さくし、最大カウント値ＣＮＴmaxが大きい場合には光パルスＬ１の光強度を大きくした。これにより、時間計測装置１では、ピークＷ１の高さがフロアＷ２を上回るように、そして、ピークＷ１の高さがフロアＷ２に比べて高くなりすぎないように、光パルスＬ１の光強度を調節することができる。その結果、時間計測装置１では、消費電力を効果的に低減することができる。

すなわち、例えば、時間計測装置１を暗い環境で動作させる場合において、光パルスＬ１の光強度を、明るい環境で動作させる場合と同じ光強度にした場合には、図１３に示したように、フロアＷ２に対してピークＷ１の高さが高くなりすぎる場合がある。この場合には、光源１１が多くの電力を消費してしまう。一方、本実施の形態では、カウンタ部１２３から供給された複数のカウント値ＣＮＴに基づいて、光パルスＬ１の光強度を調節するようにしたので、図１１に示したように、ピークＷ１の高さがフロアＷ２に比べて高くなりすぎないようにすることができる。このように、時間計測装置１では、フロアＷ２に応じて、光パルスＬ１の光強度を必要最小限な光強度に設定することができるので、光源１１において消費される電力を押さえることができ、その結果、消費電力を効果的に低減することができる。

また、時間計測装置１では、光強度設定部２９が、全ての画素ＰＺについてのカウント値ＣＮＴの最大値（最大カウント値ＣＮＴmax）に基づいて、光パルスＬ１の光強度を調節するようにした。最大カウント値ＣＮＴmaxに係る画素ＰＺは、例えば、全ての画素ＰＺのうちの、フロアＷ２が一番高い画素ＰＺである場合が多い。よって、この最大カウント値ＣＮＴmaxに基づいて光パルスＬ１の光強度を調節することにより、一部の画素ＰＺに係るヒストグラムＨＹにおいてピークＷ１がフロアＷ２に埋もれるおそれを低減することができる。

［効果］
以上のように本実施の形態では、カウンタ部から供給されたカウント値に基づいて、光パルスの光強度を調節するようにしたので、消費電力を効果的に低減することができる。

本実施の形態では、最大カウント値に基づいて光パルスの光強度を調節するようにしたので、ヒストグラムＨＹにおいてピークがフロアに埋もれるおそれを低減することができる。

［変形例１－１］
上記実施の形態では、センサ部２０が光源駆動部１２に対して発光トリガ信号Ｓ１を供給することにより、センサ部２０が光源１１の動作を制御したが、これに限定されるものではない。これに代えて、例えば図１４に示す時間計測装置１Ａのように、光源駆動部がセンサ部に対して、動作タイミングを指示するトリガ信号を供給してもよい。この時間計測装置１Ａは、光源駆動部１２Ａと、センサ部２０Ａとを備えている。光源駆動部１２Ａは、センサ部２０Ａの動作タイミングを指示するトリガ信号Ｓ３を生成し、このトリガ信号Ｓ３をセンサ部２０Ａに供給する。センサ部２０Ａは、このトリガ信号Ｓ３に基づいて動作を行う。

［変形例１－２］
上記実施の形態では、全ての画素ＰＺについてのカウント値ＣＮＴの最大値（最大カウント値ＣＮＴmax）に基づいて光パルスＬ１の光強度を調節したが、これに限定されるものではない。例えば、全ての画素ＰＺについてのカウント値ＣＮＴが、互いにほぼ等しい場合には、光強度設定部２９は、全ての画素ＰＺについてのカウント値ＣＮＴの平均値に基づいて光パルスＬ１の光強度を調節してもよい。この場合には、例えば、故障している画素ＰＺがある場合でも、その故障している画素ＰＺの光強度への影響を抑えることができる。

［変形例１－３］
上記実施の形態では、複数の信号線ＳＧＬの数と同じ数の複数のカウンタ２３を設け、全ての画素ＰＺに係るカウント値ＣＮＴを得るようにしたが、これに限定されるものではない。これに代えて、例えば、より少ない数のカウンタ２３を設け、一部の画素ＰＺに係るカウント値ＣＮＴを得るようにしてもよい。カウンタ２３の数は、複数であってもよいし、例えば図１５に示すセンサ部２０Ｃのように、１つであってもよい。このセンサ部２０Ｃは、カウンタ２３と、制御部２７Ｃとを有している。カウンタ２３は、画素アレイ２１の複数の信号線ＳＧＬのうちの１つ（この例では一番上の信号線ＳＧＬ）に接続され、制御部２７Ｃから供給された制御信号に基づいて、画素アレイ２１からこの信号線ＳＧＬを介して供給された画素信号ＳＩＧに含まれるパルスＰＵの数をカウントする。これにより、カウンタ２３は、その信号線ＳＧＬに接続された複数の画素ＰＺに係るカウント値ＣＮＴを得る。そして、カウンタ２３は、これらのカウント値ＣＮＴを制御部２７Ｃに供給する。制御部２７Ｃは、光強度設定部２９Ｃを有している。光強度設定部２９Ｃは、このカウンタ２３から供給された複数のカウント値ＣＮＴに基づいて光パルスＬ１の光強度を指示する光強度制御信号Ｓ２を生成する。

［変形例１－４］
上記実施の形態では、センサ部２０が光源駆動部１２に対して光強度制御信号Ｓ２を供給したが、これに限定されるものではない。以下に、本変形例について、いくつか例を挙げて説明する。

図１６は、本変形例に係る時間計測装置１Ｄの一構成例を表すものである。時間計測装置１Ｄは、光源駆動部１２Ｄと、センサ部２０Ｄとを備えている。光源駆動部１２Ｄは、光強度設定部１７Ｄを有している。光強度設定部１７Ｄは、上記実施の形態に係る光強度設定部２９と同様に、センサ部２０Ｄから供給されたカウント値ＣＮＴに基づいて、光源１１が射出する光パルスＬ１の光強度を設定するものである。

図１７は、センサ部２０Ｄの一構成例を表すものである。センサ部２０Ｄは、カウンタ２３と、制御部２７Ｄとを有している。カウンタ２３は、画素アレイ２１の複数の信号線ＳＧＬのうちの１つ（この例では一番上の信号線ＳＧＬ）に接続され、制御部２７Ｄから供給された制御信号に基づいて、画素アレイ２１からこの信号線ＳＧＬを介して供給された画素信号ＳＩＧに含まれるパルスＰＵの数をカウントする。これにより、カウンタ２３は、その信号線ＳＧＬに接続された複数の画素ＰＺに係るカウント値ＣＮＴを得る。そして、カウンタ２３は、これらのカウント値ＣＮＴを光源駆動部１２Ｄの光強度設定部１７Ｄに供給するようになっている。制御部２７Ｄは、上記実施の形態に係る制御部２７から、光強度設定部２９を省いたものである。

図１８は、本変形例に係る時間計測装置１Ｅの一構成例を表すものである。時間計測装置１Ｅは、光源駆動部１２Ｅと、センサ部２０Ｅとを備えている。光源駆動部１２Ｅは、カウンタ１６Ｅと、光強度設定部１７Ｄとを有している。カウンタ１６Ｅは、上記実施の形態に係るカウンタ２３と同様に、画素信号ＳＩＧに含まれるパルスＰＵの数をカウントするものである。そして、カウンタ１６Ｅは、カウント結果（カウント値ＣＮＴ）を光強度設定部１７Ｄに供給するようになっている。光強度設定部１７Ｄは、カウンタ１６Ｅから供給されたカウント値ＣＮＴに基づいて、光源１１が射出する光パルスＬ１の光強度を設定するものである。

図１９は、センサ部２０Ｅの一構成例を表すものである。センサ部２０Ｅは、制御部２７Ｅを有している。センサ部２０Ｅは、画素アレイ２１が生成した複数の画素信号ＳＩＧのうちの１つを光源駆動部１２Ｅのカウンタ１６Ｅに供給するようになっている。制御部２７Ｅは、上記実施の形態に係る制御部２７から、光強度設定部２９を省くとともに、カウンタ２３の動作を制御する機能を省いたものである。

［変形例１－５］
上記実施の形態では、深度値Ｄを求めるための画素ＰＺが生成した画素信号ＳＩＧを、カウンタ２３に供給したが、これに限定されるものではない。これに代えて、例えば、図２０に示すセンサ部２０Ｆのように、深度値Ｄを求めるための画素ＰＺ以外の画素が生成した画素信号ＳＩＧをカウンタ２３に供給してもよい。センサ部２０Ｆは、画素アレイ２１Ｆと、カウンタ２３とを有している。画素アレイ２１Ｆは、複数のダミー画素ＰＤＭを有している。ダミー画素ＰＤＭの回路構成は、画素ＰＺの回路構成（図３）と同じである。複数のダミー画素ＰＤＭは、１つの信号線ＳＧＬに接続されている。ここで、画素ＰＺは、本開示における「第１の画素」の一具体例に対応する。ダミー画素ＰＤＭは、本開示における「第２の画素」の一具体例に対応する。カウンタ２３は、複数のダミー画素ＰＤＭが接続された信号線ＳＧＬに接続される。カウンタ２３は、ダミー画素ＰＤＭから供給された画素信号ＳＩＧに含まれるパルスＰＵの数をカウントする。

［変形例１－６］
上記実施の形態では、複数のカウンタ２３を設け、これらのカウンタ２３におけるカウント値ＣＮＴに基づいて光パルスＬ１の光強度を設定したが、これに限定されるものではない。これに代えて、例えば、図２１に示すセンサ部２０Ｇのように、ヒストグラム生成回路２５が生成したヒストグラムＨＹに基づいて、光パルスＬ１の光強度を設定してもよい。センサ部２０Ｇは、ヒストグラム生成部１２５Ｇと、制御部２７Ｇを有している。ヒストグラム生成部１２５Ｇは、複数のヒストグラム生成回路２５が生成したヒストグラムＨＹにおけるフロアＷ２についての情報を制御部２７Ｇに供給する機能を有している。制御部２７Ｇは、光強度設定部２９Ｇを有している。光強度設定部２９Ｇは、ヒストグラム生成部１２５Ｇから供給された、フロアＷ２についての情報に基づいて、光パルスＬ１の光強度を設定する。具体的には、光強度設定部２９Ｇは、例えば、複数のヒストグラムＨＹに含まれるフロアＷ２のうちの一番高いフロアＷ２に基づいて、光パルスＬ１の光強度を設定する。光強度設定部２９Ｇは、例えば、フロアＷ２が低い場合には、光パルスＬ１の光強度を小さくし、フロアＷ２が高い場合には、光パルスＬ１の光強度を大きくする。そして、光強度設定部２９Ｇは、設定した光パルスＬ１の光強度に基づいて、光パルスＬ１の光強度を指示する光強度制御信号Ｓ２を生成するようになっている。ここで、ヒストグラム生成部１２５Ｇは、本開示における「パルス数検出部」の一具体例に対応する。

［変形例１－７］
上記実施の形態では、画素アレイ２１において、１列単位で画素ＰＺを選択したが、これに限定されるものではない。これに代えて、例えば、図２２に示すセンサ部２０Ｈのように、複数列単位（この例では２列単位）で画素ＰＺを選択してもよい。センサ部２０Ｈは、画素アレイ２１Ｈを有している。画素アレイ２１Ｈは、複数の選択線ＳＥＬと、複数の信号線ＳＧＬと、複数の画素ＰＺとを有している。例えば、左から１列目の複数の画素ＰＺおよび２列目の複数の画素ＰＺは、左から１本目の選択線ＳＥＬに接続される。また、３列目の複数の画素ＰＺおよび４列目の複数の画素ＰＺは、２本目の選択線ＳＥＬに接続される。５列目以降についても同様である。また、例えば１行目の複数の画素ＰＺのうちの奇数列に属する画素ＰＺと、偶数列に属する画素ＰＺは、互いに異なる信号線ＳＧＬに接続される。２行目以降についても同様である。この構成により、センサ部２０Ｈでは、画素ＰＺが２列単位で選択される。

［変形例１－８］
上記実施の形態では、カウンタ部１２３および時間計測部１２４が同じ期間に動作を行うようにしたが、これに限定されるものではない。これに代えて、例えば、あらかじめ、カウンタ部１２３が動作を行うことにより光パルスＬ１の光強度を設定し、その後に、設定された光強度に基づいて光源１１が光パルスＬ１を生成することにより、時間計測装置１が深度画像ＰＩＣを生成してもよい。

［その他の変形例］
また、これらの変形例のうちの２以上を組み合わせてもよい。

＜２．第２の実施の形態＞
次に、第２の実施の形態に係る時間計測装置２について説明する。本実施の形態は、複数のカウント値ＣＮＴに基づいて光パルスＬ１の数を調節するものである。なお、上記第１の実施の形態に係る時間計測装置１と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。

図２３は、時間計測装置２の一構成例を表すものである。時間計測装置２は、光源駆動部４２と、センサ部４０とを備えている。

光源駆動部４２は、センサ部４０からの指示に基づいて、光源１１を駆動するものである。具体的には、光源駆動部４２は、センサ部４０から供給された発光トリガ信号Ｓ１に基づいて、光源１１が発光トリガ信号Ｓ１に含まれるトリガパルスに応じたタイミングで発光するように、光源１１の動作を制御する。この例では、トリガパルスの数が変化する。これにより、時間計測装置２では、光パルスＬ１の数が変更されるようになっている。

センサ部４０は、反射光パルスＬ２を検出することにより、測定対象物までの距離についての情報を有する深度画像ＰＩＣを生成するものである。また、センサ部４０は、発光トリガ信号Ｓ１を生成し、この発光トリガ信号Ｓ１を光源駆動部４２に供給する機能をも有している。

図２４は、センサ部４０の一構成例を表すものである。センサ部４０は、制御部４７を有している。制御部４７は、選択信号生成部２２、カウンタ部１２３、時間計測部１２４、ヒストグラム生成部１２５、および処理部２６に対して制御信号を供給するとともに、光源駆動部４２に対して発光トリガ信号Ｓ１を供給することにより、時間計測装置２の動作を制御するものである。制御部４７は、光パルス数設定部４９と、発光タイミング設定部４８とを有している。

光パルス数設定部４９は、カウンタ部１２３から供給された複数のカウント値ＣＮＴに基づいて、光源１１が射出する光パルスＬ１の数を設定するものである。具体的には、光パルス数設定部４９は、例えば、あるフレーム期間Ｆにおいて得られた全ての画素ＰＺについての複数のカウント値ＣＮＴの最大値（最大カウント値ＣＮＴmax）に基づいて、次のフレーム期間Ｆにおける光パルスＬ１の数を設定する。例えば、光パルス数設定部４９は、最大カウント値ＣＮＴmaxが小さい場合には光パルスＬ１の数を少なくし、最大カウント値ＣＮＴmaxが大きい場合には光パルスＬ１の数を多くするようになっている。

発光タイミング設定部４８は、光パルス数設定部４９により設定された光パルスＬ１の数に基づいて、光源１１における発光タイミングを指示する発光トリガ信号Ｓ１を生成するものである。

図２５は、時間計測装置２の光源１１が生成する光パルスＬ１の一例を表すものである。この例では、最初のフレーム期間Ｆ（タイミングｔ２１～ｔ２２）において、光源１１は、所定の発光周期で光パルスＬ１を射出する。そして、この例では、このフレーム期間Ｆにおいて得られた最大カウント値ＣＮＴmaxが小さいので、光パルス数設定部４９は、光パルスＬ１の数を少ない数に設定する。発光タイミング設定部４８は、光パルス数設定部４９により設定された光パルスＬ１の数に基づいて、光パルスＬ１を間引くように、光源１１における発光タイミングを設定する。これにより、光源１１は、図２５に示したように、次のフレーム期間Ｆ（タイミングｔ２２～ｔ２３）において、タイミングｔ２１～ｔ２２よりも少ない数の光パルスＬ１を射出する。

このように、時間計測装置２では、光パルス数設定部４９が、カウンタ部１２３から供給されたカウント値ＣＮＴに基づいて、光パルスＬ１の数を調節するようにした。具体的には、光パルス数設定部４９は、最大カウント値ＣＮＴmaxが小さい場合には光パルスＬ１の数を少なくし、最大カウント値ＣＮＴmaxが大きい場合には光パルスＬ１の数を多くした。これにより、時間計測装置２では、時間計測装置１と同様に、ピークＷ１の高さがフロアＷ２を上回るように、そして、ピークＷ１の高さがフロアＷ２に比べて高くなりすぎないように、光パルスＬ１の数を調節することができる。その結果、時間計測装置２では、光源１１における消費電力を効果的に低減することができる。

また、光パルスＬ１の数を減らす場合には、カウンタ部１２３および時間計測部１２４の動作時間が短くなり、ヒストグラム生成部１２５および処理部２６における演算量が少なくなる。これにより、カウンタ部１２３、時間計測部１２４、ヒストグラム生成部１２５、および処理部２６における消費電力を効果的に低減することができる。

以上のように本実施の形態では、カウンタ部から供給されたカウント値に基づいて、光パルスの数を調節するようにしたので、消費電力を効果的に低減することができる。

［変形例２］
上記実施の形態に係る時間計測装置２に、上記第１の実施の形態の各変形例を適用してもよい。

＜３．第３の実施の形態＞
次に、第３の実施の形態に係る時間計測装置３について説明する。本実施の形態は、ヒストグラムＨＹにおけるピークＷ１の高さが、フロアＷ２に応じたしきい値ＴＨに到達したときに、光源１１の動作を停止するものである。なお、上記第１の実施の形態に係る時間計測装置１と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。

図２３に示したように、時間計測装置３は、センサ部５０を有している。センサ部５０は、反射光パルスＬ２を検出することにより、測定対象物までの距離についての情報を有する深度画像ＰＩＣを生成するものである。また、センサ部５０は、発光トリガ信号Ｓ１を生成し、この発光トリガ信号Ｓ１を光源駆動部４２に供給する機能をも有している。

図２６は、センサ部５０の一構成例を表すものである。センサ部５０は、ヒストグラム生成部１５５と、制御部５７とを有している。

ヒストグラム生成部１５５は、複数のヒストグラム生成回路２５（ヒストグラム生成回路２５（１），２５（２），２５（３），…）を有している。ヒストグラム生成部１５５は、制御部５７から供給されたしきい値ＴＨに基づいて、複数のヒストグラム生成回路２５が生成するヒストグラムＨＹにおけるピークＷ１の高さが、このしきい値ＴＨに到達したかどうかを確認する。そして、ヒストグラム生成部１５５は、１列分の画素ＰＺに係る全てのヒストグラムＨＹにおけるピークＷ１の高さが、このしきい値ＴＨに到達したときに、停止信号ＳＴＰを生成する。そして、ヒストグラム生成部１５５は、この停止信号ＳＴＰを制御部５７に供給するようになっている。

制御部５７は、選択信号生成部２２、カウンタ部１２３、時間計測部１２４、ヒストグラム生成部１５５、および処理部２６に対して制御信号を供給するとともに、光源駆動部４２に対して発光トリガ信号Ｓ１を供給することにより、時間計測装置３の動作を制御するものである。制御部５７は、しきい値設定部５９と、発光タイミング設定部５８とを有している。

しきい値設定部５９は、カウンタ部１２３から供給された複数のカウント値ＣＮＴに基づいて、しきい値ＴＨを生成するものである。具体的には、しきい値設定部５９は、例えば、あるフレーム期間Ｆにおいて得られた全ての画素ＰＺについての複数のカウント値ＣＮＴの最大値（最大カウント値ＣＮＴmax）に基づいて、次のフレーム期間Ｆにおいて使用するしきい値ＴＨを設定する。例えば、しきい値設定部５９は、最大カウント値ＣＮＴmaxが小さい場合にはしきい値ＴＨを低くし、最大カウント値ＣＮＴmaxが大きい場合にはしきい値ＴＨを高くするようになっている。

発光タイミング設定部５８は、光源１１における発光タイミングを指示する発光トリガ信号Ｓ１を生成するものである。そして、発光タイミング設定部５８は、ヒストグラム生成部１５５から供給された停止信号ＳＴＰに基づいて、発光トリガ信号Ｓ１の生成を停止するようになっている。

図２７は、時間計測装置３を暗い環境で動作させたときのヒストグラムＨＹを示し、図２８は、時間計測装置３を明るい環境で動作させたときのヒストグラムＨＹを示す。

時間計測装置３を暗い環境で動作させた場合には、カウント値ＣＮＴが小さいので、しきい値設定部５９は、図２７に示したように、しきい値ＴＨを低くする。そして、次のフレーム期間Ｆにおいて、ヒストグラム生成部１５５は、図２７に示したように、１列目の画素ＰＺに係る全てのヒストグラムＨＹにおけるピークＷ１の高さが、このしきい値ＴＨに到達したときに、停止信号ＳＴＰを生成する。これにより、光源１１は光パルスＬ１の生成を停止する。２列目以降についても同様である。これにより、時間計測装置３では、図２７に示したように、ピークＷ１の高さがフロアＷ２に比べて高くなりすぎないようにすることができる。

また、時間計測装置３を明るい環境で動作させた場合には、カウント値ＣＮＴが大きいので、しきい値設定部５９は、図２８に示したように、しきい値ＴＨを高くする。そして、次のフレーム期間Ｆにおいて、ヒストグラム生成部１５５は、図２８に示したように、１列目の画素ＰＺに係る全てのヒストグラムＨＹにおけるピークＷ１の高さが、このしきい値ＴＨに到達したときに、停止信号ＳＴＰを生成する。これにより、光源１１は光パルスＬ１の生成を停止する。２列目以降についても同様である。これにより、時間計測装置３では、図２８に示したように、ピークＷ１の高さがフロアＷ２を上回るようにすることができる。

このように、時間計測装置３では、カウンタ部１２３から供給されたカウント値ＣＮＴに基づいてしきい値ＴＨを設定した。具体的には、しきい値設定部５９は、最大カウント値ＣＮＴmaxが小さい場合にはしきい値ＴＨを低くし、最大カウント値ＣＮＴmaxが大きい場合にはしきい値ＴＨを高くした。そして、時間計測装置３では、ヒストグラムＨＹにおけるピークＷ１の高さがこのしきい値ＴＨに到達したときに、光パルスＬ１の生成を停止するようにした。これにより、時間計測装置３では、時間計測装置１と同様に、ピークＷ１の高さがフロアＷ２を上回るように、そして、ピークＷ１の高さがフロアＷ２に比べて高くなりすぎないように、光パルスＬ１の数を調節することができる。その結果、時間計測装置３では、光源１１における消費電力を効果的に低減することができる

また、光パルスＬ１の数を減らす場合には、カウンタ部１２３および時間計測部１２４の動作時間が短くなり、ヒストグラム生成部１５５および処理部２６における演算量が少なくなる。これにより、カウンタ部１２３、時間計測部１２４、ヒストグラム生成部１５５、および処理部２６における消費電力を効果的に低減することができる。

以上のように本実施の形態では、カウンタ部から供給されたカウント値に基づいてしきい値を設定し、ヒストグラムにおけるピークの高さがこのしきい値に到達したときに、光パルスの生成を停止するようにしたので、消費電力を効果的に低減することができる。

＜４．応用例＞
次に、上記実施の形態に係る時間計測装置の応用例について説明する。

図２９は、撮像装置９の一構成例を表すものである。この撮像装置９は、第１の実施の形態に係る時間計測装置１に係る技術を撮像装置に適用したものである。なお、これに限定されるものではなく、第２の実施の形態に係る時間計測装置２に係る技術や、第３の実施の形態に係る時間計測装置３に係る技術を撮像装置に適用してもよい。撮像装置９は、撮像部６０を備えている。

撮像部６０は、撮像動作を行うことにより、撮像画像ＰＩＣ２を生成するものである。また、撮像部６０は、光源１１を動作させたときに、反射光パルスＬ２を検出することにより、深度画像ＰＩＣを生成する機能をも有している。そして、撮像部６０は、生成した撮像画像ＰＩＣ２および深度画像ＰＩＣを出力するようになっている。また、撮像部６０は、深度画像ＰＩＣを生成する際、発光トリガ信号Ｓ１および光強度制御信号Ｓ２を生成し、これらの発光トリガ信号Ｓ１および光強度制御信号Ｓ２を光源駆動部１２に供給する機能をも有している。

図３０は、撮像部６０の一構成例を表すものである。撮像部６０は、画素アレイ６１と、カウンタ部１６３と、処理部６６とを有している。

画素アレイ６１は、複数の画素Ｐを有している。複数の画素Ｐは、複数の赤画素ＰＲと、複数の緑画素ＰＧと、複数の青画素ＰＢと、複数の画素ＰＺとを含んでいる。赤画素ＰＲは赤色の光を検出するものであり、緑画素ＰＧは緑色の光を検出するものであり、青画素ＰＢは青色の光を検出するものである。赤画素ＰＲ、緑画素ＰＧ、および青画素ＰＢの回路構成は、画素ＰＺの回路構成（図３）と同様である。赤画素ＰＲには赤色のカラーフィルタが形成され、緑画素ＰＧには緑色のカラーフィルタが形成され、青画素ＰＢには青色のカラーフィルタが形成されている。

図３１は、画素アレイ６１における、赤画素ＰＲ、緑画素ＰＧ、青画素ＰＢ、および画素ＰＺの配置例を表すものである。画素アレイ６１には、２行２列で配置された４つの画素（単位Ｕ）が繰り返し配置されている。単位Ｕにおいて、左上には緑画素ＰＧが配置され、左下には青画素ＰＢが配置され、右上には赤画素ＰＲが配置され、右下には画素ＰＺが配置されている。

また、画素アレイ６１は、図３０に示したように、複数の選択線ＳＥＬと、複数の信号線ＳＧＬと、複数の信号線ＳＧＬ２とを有している。複数の信号線ＳＧＬのそれぞれは、図３０における横方向に延伸するものであり、図３０に示したように、一端は時間計測部１２４に接続される。複数の信号線ＳＧＬ２のそれぞれは、図３０における横方向に延伸するものであり、図３０に示したように、一端はカウンタ部１６３に接続される。

単位Ｕにおいて、緑画素ＰＧおよび青画素ＰＢは、互いに同じ選択線ＳＥＬに接続され、赤画素ＰＲおよび画素ＰＺは、緑画素ＰＧおよび青画素ＰＢが接続された選択線ＳＥＬとは互いに異なる選択線ＳＥＬに接続される。また、単位Ｕにおいて、緑画素ＰＧおよび赤画素ＰＲは、互いに同じ信号線ＳＧＬ２に接続され、青画素ＰＢは、緑画素ＰＧおよび赤画素ＰＲが接続された信号線ＳＧＬ２とは互いに異なる信号線ＳＧＬ２に接続される。また、画素ＰＺは、信号線ＳＧＬに接続される。

カウンタ部１６３は、複数のカウンタ６３（カウンタ６３（１），６３（２），６３（３），６３（４），…）を有している。複数のカウンタ６３は、画素アレイ２１における複数の信号線ＳＧＬ２にそれぞれ接続される。複数のカウンタ６３のそれぞれは、制御部２７から供給された制御信号に基づいて、画素アレイ６１から信号線ＳＧＬ２を介して供給された画素信号ＳＩＧに含まれるパルスＰＵの数をカウントするものである。そして、カウンタ部１６３は、複数のカウンタ６３におけるカウント結果を処理部６６に供給するようになっている。また、カウンタ部１６３は、複数のカウンタ６３におけるカウント結果（カウント値ＣＮＴ）を、制御部２７の光強度設定部２９に供給する機能をも有している。

処理部６６は、カウンタ部１６３から供給されたカウント結果に基づいて、撮像画像ＰＩＣ２を生成するものである。そして、処理部６６は、生成した撮像画像ＰＩＣ２を出力するようになっている。

ここで、画素ＰＺは、本開示における「第１の画素」の一具体例に対応する。赤画素ＰＲ、緑画素ＰＧ、および青画素ＰＢは、本開示における「第２の画素」の一具体例に対応する。

撮像装置９では、画素アレイ６１における複数の赤画素ＰＲ、緑画素ＰＧ、および青画素ＰＢが画素信号ＳＩＧを出力し、カウンタ部１６３の複数のカウンタ６３が、画素信号ＳＩＧに含まれるパルスＰＵの数をカウントする。そして、処理部６６が、複数のカウンタ６３におけるカウント結果に基づいて撮像画像ＰＩＣ２を生成する。

また、撮像装置９が深度画像ＰＩＣを生成する場合には、カウンタ部１６３は、複数のカウンタ６３におけるカウント結果（カウント値ＣＮＴ）を制御部２７の光強度設定部２９に供給する。光強度設定部２９は、カウンタ部１６３から供給された複数のカウント値ＣＮＴに基づいて、光パルスＬ１の光強度を設定する。光源１１は、設定された光強度に基づいて光パルスＬ１を生成する。画素アレイ６１における画素ＰＺは、反射光パルスＬ２に応じたパルスＰＵを含む画素信号ＳＩＧを出力する。時間計測部１２４のＴＤＣ２４は、制御部２７から供給された制御信号に基づいて、画素信号ＳＩＧに含まれるパルスＰＵのタイミングを計測することにより深度値Ｄを生成する。ヒストグラム生成部１２５のヒストグラム生成回路２５は、制御部２７から供給された制御信号に基づいて、ＴＤＣ２４から供給された深度値ＤのヒストグラムＨＹを生成する。処理部２６は、制御部２７から供給された制御信号、およびヒストグラム生成部１２５から供給された複数のヒストグラムＨＹについての情報に基づいて、深度画像ＰＩＣを生成する。

このように、撮像装置９では、撮像動作において使用するカウンタ部１６３を用いて、カウント値ＣＮＴを取得し、このカウント値ＣＮＴに基づいて、光パルスＬ１の光強度を設定することができる。これにより、カウンタ部１６３とは別に、図２に示したカウンタ部１２３を設ける必要がないので、回路規模を小さくすることができる。

以上、いくつかの実施の形態および変形例、ならびにそれらの具体的な応用例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。

例えば、上記の各実施の形態では、複数の画素ＰＺを用いて時間計測装置を構成したが、これに限定されるものではなく、これに代えて、例えば１つの画素ＰＺを用いて時間計測装置を構成してもよい。この場合でも、光を射出するとともに、測定対象物により反射された反射光を検出することにより、光を射出したタイミングおよび反射光を検出したタイミングの間の時間差を計測することができる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

なお、本技術は以下のような構成とすることができる。

（１）受光素子を有し、前記受光素子における受光結果に基づいて論理パルスを含むパルス信号を生成可能な画素と、
前記パルス信号に基づいて前記受光素子における受光タイミングを検出可能なタイミング検出部と、
前記パルス信号に含まれる前記論理パルスのパルス数を検出可能なパルス数検出部と、
前記パルス数に基づいて、複数の光パルスを射出する光源の動作を制御可能な制御部と
を備えた時間計測装置。
（２）前記制御部は、前記パルス数に基づいて、前記複数の光パルスのそれぞれの光強度を制御可能である
前記（１）に記載の時間計測装置。
（３）前記制御部は、前記パルス数が第１のパルス数である場合に、前記光強度を第１の光強度に設定可能であり、前記パルス数が前記第１のパルス数よりも多い第２のパルス頻度である場合に、前記光強度を前記第１の光強度よりも強い第２の光強度に設定可能である
前記（２）に記載の時間計測装置。
（４）前記制御部は、前記パルス数に基づいて、前記複数の光パルスの光パルス数を制御可能である
前記（１）に記載の時間計測装置。
（５）前記制御部は、前記パルス数が第１のパルス数である場合に、前記光パルス数を第１の光パルス数に設定可能であり、前記パルス数が前記第１のパルス数よりも多い第２のパルス数である場合に、前記光パルス数を前記第１の光パルス数よりも多い第２の光パルス数に設定可能である
前記（４）に記載の時間計測装置。
（６）前記受光タイミングに基づいて、前記受光タイミングについてのヒストグラムを生成可能なヒストグラム生成部をさらに備えた
前記（１）に記載の時間計測装置。
（７）前記制御部は、前記ヒストグラムのピーク値が、前記パルス数に応じたしきい値に到達したときに、前記光源の動作を停止可能である
前記（６）に記載の時間計測装置。
（８）前記制御部は、前記パルス数が第１のパルス数である場合に、前記しきい値を第１のしきい値に設定可能であり、前記パルス数が前記第１のパルス数よりも多い第２のパルス数である場合に、前記しきい値を前記第１のしきい値よりも大きい第２のしきい値に設定可能である
前記（７）に記載の時間計測装置。
（９）前記パルス数検出部は、前記パルス信号に基づいて、前記パルス数を検出可能である
前記（１）から（８）のいずれかに記載の時間計測装置。
（１０）前記パルス数検出部は、前記受光タイミングに基づいて、前記受光タイミングについてのヒストグラムを生成することにより、前記パルス数を検出可能である
前記（１）から（８）のいずれかに記載の時間計測装置。
（１１）前記タイミング検出部は、前記光パルスの発光タイミングを基準として、前記受光タイミングを検出可能である
前記（１）から（１０）のいずれかに記載の時間計測装置。
（１２）前記光源をさらに備えた
前記（１）から（１１）のいずれかに記載の時間計測装置。
（１３）第１の受光素子を有し、前記第１の受光素子における受光結果に基づいて論理パルスを含む第１のパルス信号を生成可能な第１の画素と、
第２の受光素子を有し、前記第２の受光素子における受光結果に基づいて論理パルスを含む第２のパルス信号を生成可能な第２の画素と、
前記第１のパルス信号に基づいて前記第１の受光素子における受光タイミングを検出可能なタイミング検出部と、
前記第２のパルス信号に含まれる前記論理パルスのパルス数を検出可能なパルス数検出部と、
前記パルス数に基づいて、複数の光パルスを射出する光源の動作を制御可能な制御部と
を備えた時間計測装置。
（１４）前記第２の受光素子は、所定色の光を受光可能である
前記（１２）に記載の時間計測装置。

本出願は、日本国特許庁において２０１８年５月２４日に出願された日本特許出願番号２０１８－０９９５１５号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。

当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (14)

1. 受光素子を有し、光源が複数の光パルスを射出する期間において、前記受光素子における受光結果に基づいて論理パルスを含むパルス信号を生成可能な画素と、
   前記パルス信号に基づいて前記受光素子における受光タイミングを検出可能なタイミング検出部と、
   前記パルス信号に含まれる前記論理パルスのパルス数を検出可能なパルス数検出部と、
   前記パルス数に基づいて、前記光源の動作を制御可能な制御部と
   を備えた時間計測装置。
2. 前記制御部は、前記パルス数に基づいて、前記複数の光パルスのそれぞれの光強度を制御可能である
   請求項１に記載の時間計測装置。
3. 前記制御部は、前記パルス数が第１のパルス数である場合に、前記光強度を第１の光強度に設定可能であり、前記パルス数が前記第１のパルス数よりも多い第２のパルス数である場合に、前記光強度を前記第１の光強度よりも強い第２の光強度に設定可能である
   請求項２に記載の時間計測装置。
4. 前記制御部は、前記パルス数に基づいて、前記複数の光パルスの光パルス数を制御可能である
   請求項１に記載の時間計測装置。
5. 前記制御部は、前記パルス数が第１のパルス数である場合に、前記光パルス数を第１の光パルス数に設定可能であり、前記パルス数が前記第１のパルス数よりも多い第２のパルス数である場合に、前記光パルス数を前記第１の光パルス数よりも多い第２の光パルス数に設定可能である
   請求項４に記載の時間計測装置。
6. 前記受光タイミングに基づいて、前記受光タイミングについてのヒストグラムを生成可能なヒストグラム生成部をさらに備えた
   請求項１に記載の時間計測装置。
7. 前記制御部は、前記ヒストグラムのピーク値が、前記パルス数に応じたしきい値に到達したときに、前記光源の動作を停止可能である
   請求項６に記載の時間計測装置。
8. 前記制御部は、前記パルス数が第１のパルス数である場合に、前記しきい値を第１のしきい値に設定可能であり、前記パルス数が前記第１のパルス数よりも多い第２のパルス数である場合に、前記しきい値を前記第１のしきい値よりも大きい第２のしきい値に設定可能である
   請求項７に記載の時間計測装置。
9. 前記パルス数検出部は、前記パルス信号に基づいて、前記パルス数を検出可能である
   請求項１に記載の時間計測装置。
10. 前記パルス数検出部は、前記受光タイミングに基づいて、前記受光タイミングについてのヒストグラムを生成することにより、前記パルス数を検出可能である
    請求項１に記載の時間計測装置。
11. 前記タイミング検出部は、前記光パルスの発光タイミングを基準として、前記受光タイミングを検出可能である
    請求項１に記載の時間計測装置。
12. 前記光源をさらに備えた
    請求項１に記載の時間計測装置。
13. 第１の受光素子を有し、光源が複数の光パルスを射出する期間において、前記第１の受光素子における受光結果に基づいて論理パルスを含む第１のパルス信号を生成可能な第１の画素と、
    第２の受光素子を有し、前記期間において、前記第２の受光素子における受光結果に基づいて論理パルスを含む第２のパルス信号を生成可能な第２の画素と、
    前記第１のパルス信号に基づいて前記第１の受光素子における受光タイミングを検出可能なタイミング検出部と、
    前記第２のパルス信号に含まれる前記論理パルスのパルス数を検出可能なパルス数検出部と、
    前記パルス数に基づいて、前記光源の動作を制御可能な制御部と
    を備えた時間計測装置。
14. 前記第２の受光素子は、所定色の光を受光可能である
    請求項１３に記載の時間計測装置。

Images