JPWO2020196378A1 - 距離画像の取得方法、及び、距離検出装置 - Google Patents

Abstract

距離画像の取得方法は、奥行方向に複数の距離分割区間を設定する設定ステップ（Ｓ１０）と、設定された複数の距離分割区間に基づいて距離画像を取得する撮像ステップとを含む。撮像ステップは、複数の距離分割区間の一部を撮像した複数の距離画像を取得する第１距離画像群撮像ステップ（Ｓ２０〜Ｓ９０）と、複数の距離分割区間の一部と位相の異なる距離分割区間を撮像した複数の距離画像を取得する第２距離画像群撮像ステップ（Ｓ１１０〜Ｓ１９０）とを含む。

Description

本開示は、距離画像の取得方法、及び、距離検出装置に関する。

近年、ロボティクス、自動車、セキュリティ、アミューズメント等の多くの分野において、リアルタイムに距離画像を得る距離画像センサ（つまり、距離検出装置）が注目されてきている。ここで、距離画像とは、対象物の空間における３次元情報であり、対象物（つまり、被写体）までの距離を示す画素値で構成される。

距離画像を得るための測距の方法として、ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）方式により、対象物の距離を検出する方法が知られている。例えば、特許文献１には、光を照射して対象物の３次元情報（３次元形状）を検出する装置が開示されている。

特開２００１−１１６５１６号公報

一般に、自動車等に用いられる距離画像センサは、前方の近距離から遠距離までの広い範囲にわたり、対象物までの情報をより早く取得することを求められている。と同時に測定する距離の細かさ、すなわち測距分解能も高精度を求められている。

そこで、本開示は、近距離から遠距離まで広い範囲にわたり、高精度な分解能で、対象物までの情報を早く取得することができる距離画像の取得方法、及び、距離検出装置を提供することを目的とする。

本開示に係る距離画像の取得方法は、奥行方向に複数の距離分割区間を設定する設定ステップと、設定された前記複数の距離分割区間に基づいて距離画像を取得する撮像ステップとを含み、前記撮像ステップは、前記複数の距離分割区間の一部を撮像した複数の距離画像を取得する第１距離画像群撮像ステップと、前記複数の距離分割区間の前記一部と位相の異なる距離分割区間を撮像した複数の距離画像を取得する第２距離画像群撮像ステップと、を含む。

また、本開示の一態様に係る距離検出装置は、ＡＰＤ（Ａｖａｌａｎｃｈｅ Ｐｈｏｔｏ Ｄｉｏｄｅ）を有する画素が二次元状に配置された画像センサと、撮像する対象物に向けて照射光を発光する光源と、前記画像センサで撮像した画像を処理する演算部と、前記光源、前記画像センサおよび前記演算部を制御する制御部と、前記演算部で処理した画像を合成する合成部と、合成された画像に所定の情報を付加して出力する出力部とを備え、前記制御部は、奥行方向に複数の距離分割区間を設定し、前記光源、前記画像センサおよび前記演算部を制御することで、設定された前記複数の距離分割区間の一部を撮像した複数の距離画像である第１距離画像群を取得し、かつ、前記複数の距離分割区間の前記一部と位相の異なる距離分割区間を撮像した複数の距離画像である第２距離画像群を取得する。

本開示の一態様に係る距離検出方法、及び、距離検出装置によれば、近距離から遠距離まで広い範囲にわたり、高精度な分解能で、対象物までの情報を早く取得することができる。

図１は、実施の形態１に係る距離検出装置の構成を示すブロック図である。 図２は、実施の形態１に係るカメラの構成を示すブロック図である。 図３Ａは、実施の形態１に係る画素の構成を示す回路図である。 図３Ｂは、実施の形態１に係るＣＤＳ回路の構成を示す回路図である。 図３Ｃは、実施の形態１に係るＡＤＣ回路の構成を示す回路図である。 図４Ａは、実施の形態１に係る距離検出装置のＡグループの第１サブフレームにおける測距処理タイミングの一例を示す図である。 図４Ｂは、実施の形態１に係る第１サブフレーム画像を示す図である。 図５Ａは、実施の形態１に係る距離検出装置のＡグループの第３サブフレームにおける測距処理タイミングの一例を示す図である。 図５Ｂは、実施の形態１に係る第３サブフレーム画像を示す図である。 図６Ａは、実施の形態１に係る距離検出装置のＡグループの第５サブフレームにおける測距処理タイミングの一例を示す図である。 図６Ｂは、実施の形態１に係る第５サブフレーム画像を示す図である。 図７は、実施の形態１に係る合成後の距離画像を示す図である。 図８は、実施の形態１に係る距離検出装置の距離画像生成処理の一例を示すフローチャートである。 図９Ａは、実施の形態１に係る第１距離画像の一例を説明するための模式図である。 図９Ｂは、実施の形態１に係る第１距離画像が生成される流れを模式的に示すフローチャートである。 図９Ｃは、実施の形態１に係る第２距離画像の一例を説明するための模式図である。 図９Ｄは、実施の形態１に係るフレームごとの測距区間の関係の第１例を示す図である。 図９Ｅは、実施の形態１に係るフレームごとの測距区間の関係の第２例を示す図である。 図１０Ａは、実施の形態１に係る第１距離画像の他の一例を説明するための模式図である。 図１０Ｂは、実施の形態１に係る第２距離画像の他の一例を説明するための模式図である。 図１０Ｃは、実施の形態１に係るフレームごとの測距区間の関係の第３例を示す図である。 図１０Ｄは、実施の形態１に係るフレームごとの測距区間の関係の第４例を示す図である。 図１１は、実施の形態２に係る距離検出装置の構成を示すブロック図である。 図１２は、実施の形態２に係る画像センサの構成を示すブロック図である。 図１３は、実施の形態２に係る画素の構成を示す回路図である。 図１４は、実施の形態２に係る距離検出装置の測距処理タイミングを示す図である。 図１５は、実施の形態２に係る１フレームの距離画像を説明するための模式図である。 図１６は、実施の形態２に係る距離検出装置の距離画像生成処理の一例を示すフローチャートである。 図１７Ａは、実施の形態２に係る第１距離画像の一例を説明するための模式図である。 図１７Ｂは、実施の形態２に係る第１距離画像が生成される流れを模式的に示すフローチャートである。 図１７Ｃは、実施の形態２に係る第２距離画像の一例を説明するための模式図である。 図１８Ａは、実施の形態２に係る第１距離画像の他の一例を説明するための模式図である。 図１８Ｂは、実施の形態２に係る第２距離画像の他の一例を説明するための模式図である。

以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。本開示は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素について説明される。

なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、実質的に同一の構成に対する重複説明は省略する場合がある。

また、本明細書において、等しいなどの要素間の関係性を示す用語、並びに、数値、および、数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度の差異をも含むことを意味する表現である。

（実施の形態１）
［１−１．構成］
まず、本実施の形態に係る距離検出装置の構成について、図１〜図３Ｂを参照しながら説明する。図１は、本実施の形態に係る距離検出装置１００の構成を示すブロック図である。図２は、本実施の形態に係るカメラ１２０の構成を示すブロック図である。

図１に示すように、距離検出装置１００は、ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）方式により測定対象の距離範囲内に位置する対象物の距離を示す距離画像を生成する。この距離検出装置１００は、例えば、三次元の画像センサに用いることができる。距離検出装置１００は、光源１１０と、カメラ１２０と、制御部１３０と、演算部１４０と、記憶部１５０と、合成部１６０と、出力部１７０とを備える。

光源１１０は、照射光を照射する。光源１１０は、発光部１１１と、駆動部１１２とを有する。発光部１１１は、照射光（例えば、光パルス）を発光する。発光部１１１は、例えば、ＬＤ（レーザダイオード）又はＬＥＤ（発光ダイオード）等である。駆動部１１２は、発光部１１１に電力を供給するタイミングを制御することにより、発光部１１１による発光を制御する。

カメラ１２０は、照射光が対象物で反射した反射光を受光することで検出信号を生成する。本実施の形態では、カメラ１２０は、アバランシェ増幅型の受光素子であるＡＰＤ（Ａｖａｌａｎｃｈｅ Ｐｈｏｔｏ Ｄｉｏｄｅ：アバランシェフォトダイオード）を備えるカメラである。カメラ１２０は、図１及び図２に示すように、レンズ１２１と、画像センサ１２２と、ＣＤＳ回路１２６（相関二重サンプリング回路）と、ＡＤＣ回路１２７とを備える。

レンズ１２１は、画像センサ１２２に反射光を集光する。画像センサ１２２は、反射光を受光し、受光した光の光量に応じた値を有する検出積算値を出力する。画像センサ１２２は、ＡＰＤを有する画素が二次元状に配置されて構成される受光部を持つＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ−ｏｘｉｄｅ−ｓｅｍｉｃｏｎｄｕｃｔｏｒ）画像センサである。

ＣＤＳ回路１２６は、画素１２２ａからの出力である検出積算値に含まれるオフセット成分を除去するための回路である。なお、このオフセット成分は、各画素１２２ａで異なる値となる場合がある。ＡＤＣ回路１２７は、ＣＤＳ回路１２６から出力された信号であるアナログ信号（オフセット成分が除去された検出積算値）をデジタル信号に変換する。ＡＤＣ回路１２７は、例えば、ＣＤＳ回路１２６から出力されたアナログ信号（例えば、オフセット除去後検出積算信号）ＣＤＳＯＵＴ（図３Ｂ参照）をＲＡＭＰ信号（ランプ信号とも記載する）と比較してデジタル変換するシングルスロープ方式を利用することで、画素１２２ａでの受光量に対応するデジタル信号（例えば、デジタル変換後検出積算信号）を生成する。なお、以下では、アナログ信号ＣＤＳＯＵＴを出力信号ＣＤＳＯＵＴとも記載する場合がある。

なお、画像センサ１２２、ＣＤＳ回路１２６及びＡＤＣ回路１２７の詳細は、後述する。また、本実施の形態では、距離検出装置１００は、ＣＤＳ回路１２６を備える例について説明するが、ＣＤＳ回路１２６を備えていなくてもよい。また、ＡＤＣ回路１２７は、演算部１４０が有していてもよい。

制御部１３０は、光源１１０の照射タイミング及びカメラ１２０の受光タイミング（露光期間）を制御する。また、制御部１３０は、第１フレーム及び当該第１フレームの後の第２フレームにおいて、互いに異なる測距範囲を設定する。なお、第１フレームと第２フレームとは、例えば、複数のフレームの中の時間的に隣接するフレームである。

制御部１３０は、第１フレームを分割したＡグループのサブフレーム群に含まれる複数のサブフレームのそれぞれに、例えば、互いに異なる測距範囲であり、かつ互いに距離連続性を有しない測距範囲を設定する。そして、制御部１３０は、Ａグループのサブフレーム群のそれぞれにおいて、設定された測距範囲における測距を行うように、光源１１０の照射タイミング及びカメラ１２０の受光タイミングを制御する。Ａグループのサブフレーム群は、例えば、第１フレームを分割した複数の測距区間（サブフレーム）のうちの一部の測距区間により構成される。

なお、距離連続性を有さないとは、Ａグループのサブフレーム群のそれぞれの測距範囲が連続していないことを意味する。距離連続性を有さないとは、例えば、Ａグループの２つのサブフレームのうちの一方のサブフレームの測距範囲と他方のサブフレームの測距範囲とが、少なくとも一部が重複していないことを意味する。つまり、一方のサブフレームの測距範囲と他方のサブフレームの測距範囲とは、距離的に離隔している測距範囲である。一方のサブフレームの測距範囲と他方のサブフレームの測距範囲との間の測距範囲は、第１フレーム以外のフレーム（本実施の形態では、第２フレーム）において測距される測距範囲であり、第２フレームで設定する複数のサブフレームでそれらの測距範囲を測距する。

また、制御部１３０は、第２フレームを分割したＢグループのサブフレーム群に含まれる複数のサブフレームのそれぞれに、第１フレームで設定されていない測距範囲を設定する。制御部１３０は、例えば、第１フレームで設定されていない測距範囲であり、かつ、互いに異なる測距範囲であり、互いに距離連続性を有しない測距範囲を、Ｂグループのサブフレーム群のそれぞれに設定する。そして、制御部１３０は、Ｂグループのサブフレーム群のそれぞれにおいて、設定された測距範囲における測距を行うように、光源１１０の照射タイミング及びカメラ１２０の受光タイミングを制御する。Ｂグループのサブフレーム群は、例えば、第２フレームを分割した複数の測距区間（サブフレーム）のうちの一部の測距区間により構成されてもよい。Ｂグループのサブフレーム群は、例えば、Ａグループの複数の測距区間を奥行方向にシフトさせた区間に対応するサブフレームにより構成されてもよい。

制御部１３０は、光源１１０及びカメラ１２０を測距範囲ごとに制御することで、当該距離範囲内の対象物の距離を示す距離画像を生成するためのデジタル変換後検出積算信号（検出信号）をカメラ１２０に生成させる。

本実施の形態では、制御部１３０は、第１フレームにおける測距範囲と第２フレームにおける測距範囲とで、距離連続性を有する距離範囲となるように測距範囲を設定する例について説明する。なお、制御部１３０は、画像センサ１２２のフレームレートをハード的に向上させるのではなく、見かけ上、時間あたりの測距範囲を広げて、近距離から遠距離まで広い範囲を短時間に測距する観点から、３以上のフレームにより距離連続性を有するように３以上のフレームのそれぞれの距離範囲を設定してもよい。制御部１３０が設定する測距範囲の詳細については後述する。

演算部１４０は、Ａグループのサブフレーム群のそれぞれ及びＢグループのサブフレーム群のそれぞれにおいて、出力回路１２５から出力された検出積算値出力信号（電圧信号）に基づいて、当該サブフレームにおける物体の有無を判定する処理部である。本実施の形態では、演算部１４０は、当該検出積算値出力信号に所定の処理（例えば、後述する相関二重サンプリング処理）が行われたデジタル変換後検出積算信号に基づいて、物体の有無を判定する。演算部１４０は、例えば、デジタル変換後検出積算信号と所定の閾値（例えば、記憶部１５０に格納されているＬＵＴ）とを比較することで、物体の有無を判定してもよい。演算部１４０は、例えば、デジタル変換後検出積算信号の値（例えば、電圧値）が所定の閾値以上である場合、当該測距範囲（当該サブフレーム）に物体があると判定し、デジタル変換後検出積算信号の値が所定の閾値未満である場合、当該測距範囲（当該サブフレーム）に物体がないと判定してもよい。なお、デジタル変換後検出積算信号の値とは、ＡＰＤが反射光を受光した受光回数に基づく検出積算値に対応する値である。

演算部１４０は、サブフレームごとのサブフレーム番号（サブフレームＮｏ）を識別し、当該サブフレームの画素ごとに物体の有無を判定する。そして、演算部１４０は、サブフレーム番号と画素ごとの物体有無判定結果とを合成部１６０に出力する。本実施の形態では、演算部１４０は、判定結果として、物体有りを示す「Ｚ」、物体なしを示す「０」、及び、サブフレーム番号を、合成部１６０に出力する。

合成部１６０は、演算部１４０から取得した複数のサブフレームごとの物体有無情報とサブフレーム番号とに基づいて、１つの距離画像を生成する処理部である。合成部１６０は、例えば、演算部１４０から出力されたサブフレーム番号を距離情報に変換した上で、サブフレームすなわち距離ごとの物体有無を示す物体有無情報を合成することで１つの距離画像を生成する。合成部１６０は、複数の距離画像（距離画像群とも記載する）を合成することで、１つの距離画像を生成するとも言える。なお、便宜上、測距区間それぞれの距離画像を、区間距離画像とも記載する。

合成部１６０は、例えば、第１フレームにおけるＡグループのサブフレーム群（Ａグループの距離画像群であり、例えば、後述する第１距離画像群）のそれぞれにおける画素１２２ａごとの物体有無判定結果と距離情報とに基づいて、第１フレームに対応する第１距離画像を生成する。具体的には、合成部１６０は、Ａグループのサブフレーム群のそれぞれにおけるサブフレーム画像（区間距離画像）の判定結果と距離情報とを抽出して合成することで、１つの第１距離画像を生成する。

また、合成部１６０は、例えば、第２フレームにおけるＢグループのサブフレーム群（Ｂグループの距離画像群であり、例えば、後述する第２距離画像群）のそれぞれにおける画素１２２ａごとの物体有無の判定結果と距離情報とに基づいて、第２フレームに対応する第２距離画像を生成する。具体的には、合成部１６０は、Ｂグループのサブフレーム群のそれぞれにおけるサブフレーム画像（区間距離画像）の判定結果と距離情報とを抽出して合成することで、１つの第２距離画像を生成する。

なお、第１距離画像と第２距離画像とは、例えば、互いに異なる距離範囲を測距した画像であってもよい。第１距離画像と第２距離画像とで、距離検出装置１００が測距可能な全体の距離範囲内の対象物の距離を取得することができる。

なお、合成部１６０は、第１距離画像群から３次元化距離画像を生成してもよい。また、合成部１６０は、第２距離画像群から３次元化距離画像を生成してもよい。また、合成部１６０は、演算部１４０により第１距離画像群および第２距離画像群のそれぞれにおいて、同一画素１２２ａの複数（２以上）の区間距離画像で対象物が有ると判定された場合、奥行方向の手前側の区間距離画像の判定結果を優先して選択してもよい。

記憶部１５０は、例えば、ＲＡＭであり、演算部１４０の演算に用いられるデータ等（例えば、ＬＵＴ）を格納する。

出力部１７０は、合成部１６０が合成した第１距離画像及び第２距離画像に基づく距離画像に距離情報を付加して出力する。また、出力部１７０は、第１距離画像（例えば、後述する第１距離画像群撮像ステップにより生成される距離画像）に個別に設定された互いに異なる色彩を当該第１距離画像に付加してもよい。出力部１７０は、例えば、３次元化距離画像に当該色彩を付与してもよい。出力部１７０は、例えば、演算部１４０により対象物が有ると判定された画素１２２ａに色彩を付与してもよい。また、出力部１７０は、第２距離画像（例えば、後述する第２距離画像群撮像ステップにより生成される距離画像）に個別に設定された互いに異なる色彩を当該第２距離画像に付加してもよい。なお、色彩は、第１距離画像群及び第２距離画像群のそれぞれにおいても、互いに異なっていてもよい。

なお、出力部１７０は、演算部１４０により、第１距離画像群および第２距離画像群のそれぞれにおいて、同一画素１２２ａの複数（２以上）の区間距離画像で対象物が有ると判定され、かつ、合成部１６０により、奥行方向の手前側の区間距離画像の判定結果が優先して選択された場合、複数の距離画像のうち選択された当該距離画像に色彩を付加してもよい。

また、出力部１７０は、例えば、距離画像を距離検出装置１００の外部に出力ためのインターフェースを有していてもよい。インターフェースは、例えば、ＵＳＢインターフェースである。例えば、出力部１７０は、外部のＰＣ（パーソナルコンピュータ）等に距離画像を出力する。なお、ここでは、距離検出装置１００から外部への出力機能のみを記載しているが、外部のＰＣ等から制御信号又はプログラム等が当該インターフェースを介して距離検出装置１００に入力されてもよい。

制御部１３０、演算部１４０、合成部１６０、及び、出力部１７０は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）により実現される。なお、制御部１３０、演算部１４０、及び、合成部１６０の少なくとも一方は、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサにより実現されてもよいし、専用のハードウェア（回路）により実現されてもよいし、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

ここで、カメラ１２０の構成、及び、各種回路について、さらに図３Ａ〜図３Ｃを参照しながら説明する。図３Ａは、本実施の形態に係る画素１２２ａの構成を示す回路図である。図３Ａは、画像センサ１２２が有する複数の画素のうちの１つの画素１２２ａの回路図を示す。

図２に示すように、画像センサ１２２は、入射光を受ける受光回路１２３と、積算回路１２４と、出力回路１２５との３つのブロックによって構成されている。以下、３つのブロックのそれぞれについて、図３Ａを参照しながら具体的な構成及び機能を説明する。なお、以下で説明する具体的な構成は、一例を示したものであり、画素１２２ａの構成は、以下に記載したものに限定されない。例えば、同じような機能を有する他の構成であっても、本実施の形態と同様の作用効果が得られる。なお、以下に説明する各種の信号について、「ＯＮする」とはハイレベルの電圧値の信号を印加することをいい、「ＯＦＦする」とはローレベルの電圧値の信号を印加することをいう。

画像センサ１２２を構成する複数の画素１２２ａのそれぞれは、受光回路１２３、積算回路１２４、及び、出力回路１２５を有する。なお、二次元状に配置された複数の画素１２２ａにより、画素領域（図示しない）が形成される。

図３Ａに示すように、受光回路１２３は、所定の露光時間内にＡＰＤに到達した入射光の有無に応じて変化する受光信号を積算回路１２４に出力する機能を有する。受光回路１２３は、ＡＰＤと、トランジスタＴＲ１及びＴＲ２とを有する。

ＡＰＤは、フォトンを検出するための受光素子の一例である。具体的には、ＡＰＤは、アバランシェ増幅型のフォトダイオードである。つまり、ＡＰＤは、入射した光を光電変換して電荷を発生させ、発生させた電荷をアバランシェ増倍させる光電変換部である。ＡＰＤのアノードは、電源ＶＳＵＢに接続され、カソードは、トランジスタＴＲ２を介してフローティングディフュージョンＦＤに接続されている。ＡＰＤは、入射するフォトンを捉え、捉えたフォトンによって電荷を発生する。発生した電荷は、トランジスタＴＲ２を介して、フローティングディフュージョンＦＤに蓄積保持される。つまり、フローティングディフュージョンＦＤには、ＡＰＤによるアバランシェ増倍の発生回数に応じた電荷が蓄積される。電源ＶＳＵＢから供給される電圧は、例えば、−２０Ｖである。

トランジスタＴＲ１は、ＡＰＤと電源ＲＳＤとの間に接続されたスイッチングトランジスタである。トランジスタＴＲ１の制御端子（例えば、ゲート端子）には、制御信号であるリセット信号ＯＶＦが入力され、当該リセット信号ＯＶＦによってトランジスタＴＲ１の導通及び非導通が制御される。リセット信号ＯＶＦがＯＮするとトランジスタＴＲ１が導通し、電源ＲＳＤからリセット電圧がＡＰＤに印加され、ＡＰＤが初期状態にリセットされる。なお、リセット電圧は、例えば、３Ｖである。

トランジスタＴＲ２は、ＡＰＤとフローティングディフュージョンＦＤとの間に接続されたスイッチングトランジスタである。トランジスタＴＲ２の制御端子（例えば、ゲート端子）には、制御信号である読出信号ＴＲＮが入力され、当該読出信号ＴＲＮによってトランジスタＴＲ２の導通及び非導通が制御される。読出信号ＴＲＮがＯＮするとトランジスタＴＲ２が導通し、ＡＰＤで発生した電荷がフローティングディフュージョンＦＤに転送される。トランジスタＴＲ２は、ＡＰＤで発生した電荷がフローティングディフュージョンＦＤに転送するための転送トランジスタであるとも言える。

制御部１３０は、ＡＰＤの露光タイミングに合わせて、トランジスタＴＲ１が非導通となり、かつトランジスタＴＲ２が導通となるように、各種制御信号を制御する。

積算回路１２４は、サブフレームごとに複数回の露光が行われる場合に、当該複数回の露光で発生した電荷を積算する（蓄積する）機能を有する。積算回路１２４は、例えば、Ａグループのサブフレーム群のそれぞれ及びＢグループのサブフレーム群のそれぞれにおいて、ＡＰＤが検出したフォトンを電圧に変換して積算する。そして、積算回路１２４は、積算された電荷（以降において、検出積算値とも記載する）を出力回路１２５に出力する。積算回路１２４は、トランジスタＴＲ３及びＴＲ４と、電荷蓄積コンデンサＭＩＭ１とを有する。

トランジスタＴＲ３は、フローティングディフュージョンＦＤと電荷蓄積コンデンサＭＩＭ１との間に接続されたスイッチングトランジスタ（カウンタトランジスタ）である。トランジスタＴＲ３の制御端子（例えば、ゲート端子）には、制御信号である積算信号ＣＮＴが入力され、当該積算信号ＣＮＴによってトランジスタＴＲ３の導通及び非導通が制御される。積算信号ＣＮＴがＯＮするとトランジスタＴＲ３が導通し、フローティングディフュージョンＦＤに蓄積されている電荷が電荷蓄積コンデンサＭＩＭ１に蓄積される。これにより、電荷蓄積コンデンサＭＩＭ１には、複数回の露光によりＡＰＤが受光したフォトンの受光数に応じた電荷が蓄積される。

トランジスタＴＲ４は、電荷蓄積コンデンサＭＩＭ１と電源ＲＳＤとの間に接続されたスイッチングトランジスタである。トランジスタＴＲ４の制御端子（例えば、ゲート端子）には、制御信号であるリセット信号ＲＳＴが入力され、当該リセット信号ＲＳＴによってトランジスタＴＲ４の導通及び非導通が制御される。リセット信号ＲＳＴがＯＮするとトランジスタＴＲ４が導通し、電源ＲＳＤからのリセット電圧がフローティングディフュージョンＦＤに印加され、フローティングディフュージョンＦＤに蓄積されている電荷が初期状態にリセットされる。

また、トランジスタＴＲ３及びＴＲ４が導通した場合、電源ＲＳＤからのリセット電圧が電荷蓄積コンデンサＭＩＭ１に印加され、電荷蓄積コンデンサＭＩＭ１の電圧が当該リセット電圧にリセット（初期状態にリセット）される。

電荷蓄積コンデンサＭＩＭ１は、受光回路１２３の出力と負側電源ＶＳＳＡとの間に接続され、サブフレーム内における複数の露光のそれぞれで発生した電荷を蓄積する。電荷蓄積コンデンサＭＩＭ１は、第１距離画像群及び第２距離画像群を含む複数の距離画像群の取得のそれぞれにおいて、画素１２２ａが検出したフォトン数に対応する画素信号を画素電圧として記憶する。これにより、ＡＰＤがフォトンを受光するたびに電荷蓄積コンデンサＭＩＭ１に電荷が蓄積される。なお、初期状態における電荷蓄積コンデンサＭＩＭ１の電圧は、リセット電圧の３Ｖである。また、電荷蓄積コンデンサＭＩＭ１に電荷が蓄積されると、電荷蓄積コンデンサＭＩＭ１の電圧は初期状態から下がる。電荷蓄積コンデンサＭＩＭ１は、画素１２２ａの回路内に設けられた記憶素子の一例である。

出力回路１２５は、電荷蓄積コンデンサＭＩＭ１に蓄積された電荷（検出積算値）に応じた電圧を増幅し、増幅された電圧を信号線ＳＬに出力する。出力回路１２５は、例えば、Ａグループのサブフレーム群のそれぞれ及びＢグループのサブフレーム群のそれぞれにおいて、積算回路１２４が積算した検出積算値に応じた検出積算値出力信号を出力する。出力回路１２５は、トランジスタＴＲ５及びＴＲ６を有する。なお、検出積算値は、積算値の一例である。

トランジスタＴＲ５は、トランジスタＴＲ６と電源ＶＤＤとの間に接続された増幅トランジスタである。トランジスタＴＲ５の制御端子（例えば、ゲート端子）は、電荷蓄積コンデンサＭＩＭ１に接続され、ドレインに電源ＶＤＤから電圧が供給され、電荷蓄積コンデンサＭＩＭ１に蓄積された電荷の電荷量に応じた検出積算値出力信号を出力する。

トランジスタＴＲ６は、トランジスタＴＲ５と信号線ＳＬ（例えば、列信号線）との間に接続されたスイッチングトランジスタ（選択トランジスタ）である。トランジスタＴＲ６の制御端子（例えば、ゲート端子）は、制御信号である行選択信号ＳＥＬが入力され、当該行選択信号ＳＥＬによってトランジスタＴＲ６の導通及び非導通が制御される。トランジスタＴＲ６は、検出積算値出力信号を出力するタイミングを決定する。行選択信号ＳＥＬがＯＮするとトランジスタＴＲ６が導通し、トランジスタＴＲ５からの検出積算値出力信号が信号線ＳＬに出力される。

図２を再び参照して、ＣＤＳ回路１２６は、画素１２２ａからの出力である検出積算値出力信号に含まれるオフセット成分を除去するための回路である。オフセット成分とは、検出積算値出力信号に重畳しているトランジスタＴＲ５固有のオフセット電圧信号を意味する。なお、このオフセット成分は、各画素１２２ａで異なる値となる場合がある。

ここで、ＣＤＳ回路１２６について、図３Ｂを参照しながら説明する。図３Ｂは、本実施の形態に係るＣＤＳ回路１２６の構成を示す回路図である。ＣＤＳ回路１２６は、画素列ごとに設けられる。相関二重サンプリングとは、画素から供給される検出積算値出力信号と電荷蓄積コンデンサＭＩＭ１の電圧をリセットした後の増幅トランジスタからの出力電圧との差分を、実際の信号成分としてサンプリングする技術である。相関二重サンプリングについては、特に限定される必要はなく、従来技術が用いられてもよい。したがって、相関二重サンプリングの詳細な説明については省略する。

図３Ｂに示すように、ＣＤＳ回路１２６は、インバータＡＭＰ１と、第１のＣＤＳ回路ＣＤＳ１（第１の相関二重サンプリング回路）と、第２のＣＤＳ回路ＣＤＳ２（第２の相関二重サンプリング回路）と、出力部ＡＭＰ２とを有する。第１のＣＤＳ回路ＣＤＳ１と、第２のＣＤＳ回路ＣＤＳ２とは、並列に接続されている。

インバータＡＭＰ１は、信号線ＳＬからの検出積算値出力信号を反転増幅させる。

第１のＣＤＳ回路ＣＤＳ１は、トランジスタＴＲ７及びＴＲ８と、コンデンサＣ１とを有する。コンデンサＣ１の一端は、負側電源ＶＳＳＡに接続されている。トランジスタＴＲ７は、インバータＡＭＰ１とコンデンサＣ１の他端との間に接続されているスイッチングトランジスタである。トランジスタＴＲ７の制御端子（例えば、ゲート端子）には、制御信号ＯＤＤ＿ＳＨが入力され、当該制御信号ＯＤＤ＿ＳＨによってトランジスタＴＲ７の導通及び非導通が制御される。制御信号ＯＤＤ＿ＳＨがＯＮするとトランジスタＴＲ７が導通し、コンデンサＣ１に検出積算値出力信号とオフセット電圧信号との差分に比例するオフセット除去後検出積算信号（画素信号）が蓄積される。

トランジスタＴＲ８は、出力部ＡＭＰ２とコンデンサＣ１の他端との間に接続されているスイッチングトランジスタである。トランジスタＴＲ８の制御端子（例えば、ゲート端子）には、制御信号ＥＶＥＮ＿ＳＨが入力され、当該制御信号ＥＶＥＮ＿ＳＨによって導通及び非導通が制御される。制御信号ＥＶＥＮ＿ＳＨがＯＮするとトランジスタＴＲ８が導通し、コンデンサＣ１に蓄積されたオフセット除去後検出積算信号が出力部ＡＭＰ２（出力バッファ）に出力される。

第１のＣＤＳ回路ＣＤＳ１は、画素行における隣り合う画素１２２ａの一方の画素１２２ａに対応するオフセット除去後検出積算信号を蓄積する。第１のＣＤＳ回路ＣＤＳ１は、例えば、奇数行の画素１２２ａに対応するオフセット除去後検出積算信号を蓄積する。

第２のＣＤＳ回路ＣＤＳ２は、トランジスタＴＲ９及びＴＲ１０と、コンデンサＣ２とを有する。コンデンサＣ２の一端は、負側電源ＶＳＳＡに接続されている。トランジスタＴＲ８は、インバータＡＭＰ１とコンデンサＣ２の他端との間に接続されているスイッチングトランジスタである。トランジスタＴＲ９の制御端子（例えば、ゲート端子）には、制御信号ＥＶＥＮ＿ＳＨが入力され、当該制御信号ＥＶＥＮ＿ＳＨによってトランジスタＴＲ９の導通及び非導通が制御される。制御信号ＥＶＥＮ＿ＳＨがＯＮするとトランジスタＴＲ９が導通し、コンデンサＣ２に検出積算値出力信号とオフセット電圧信号との差分に比例するオフセット除去後検出積算信号（画素信号）が蓄積される。なお、コンデンサＣ２には、コンデンサＣ１とは異なる画素列の画素１２２ａのオフセット除去後検出積算信号が蓄積される。

トランジスタＴＲ１０は、出力部ＡＭＰ２とコンデンサＣ２の他端との間に接続されているスイッチングトランジスタである。トランジスタＴＲ１０の制御端子（例えば、ゲート端子）には、制御信号ＯＤＤ＿ＳＨが入力され、当該制御信号ＯＤＤ＿ＳＨによって導通及び非導通が制御される。制御信号ＯＤＤ＿ＳＨがＯＮするとトランジスタＴＲ１０が導通し、コンデンサＣ２に蓄積された電荷が出力部ＡＭＰ２に出力される。

第２のＣＤＳ回路ＣＤＳ２は、画素行における隣り合う画素１２２ａの他方の画素１２２ａに対応するオフセット除去後検出積算信号を蓄積する。第２のＣＤＳ回路ＣＤＳ２は、例えば、偶数行の画素１２２ａに対応するオフセット除去後検出積算信号を蓄積する。

上記のように、ＣＤＳ回路１２６は、トランジスタＴＲ７及びＴＲ１０が同時に導通し、トランジスタＴＲ８及びＴＲ９が同時に導通する。また、トランジスタＴＲ７及びＴＲ１０が導通するタイミングと、トランジスタＴＲ８及びＴＲ９が導通するタイミングとは、互いに異なるように制御される。

例えば、コンデンサＣ２にオフセット除去後検出積算信号が蓄積されている場合、トランジスタＴＲ７及びＴＲ１０が導通されることにより、コンデンサＣ１に相関二重サンプリング処理されたオフセット除去後検出積算信号が蓄積されるとともに、コンデンサＣ２に蓄積されていたオフセット除去後検出積算信号をＡＤＣ回路１２７に出力することができる。コンデンサＣ２に蓄積されたオフセット除去後検出積算信号をＡＤＣ回路１２７に出力中（例えば、当該オフセット除去後検出積算信号をＡＤ変換中）に、コンデンサＣ２に蓄積されたオフセット除去後検出積算信号に対応する画素１２２ａとは異なる画素１２２ａに対応するオフセット除去後検出積算信号をコンデンサＣ１に蓄積することができる。このように、トランジスタＴＲ７及びＴＲ１０と、トランジスタＴＲ８及びＴＲ９とを交互に導通させることにより、コンデンサＣ１及びＣ２の一方のコンデンサに蓄積されていたオフセット除去後検出積算信号を出力するとともに、他方のコンデンサにオフセット除去後検出積算信号を蓄積することができる。

相関二重サンプリングとは、画素１２２ａから供給される検出積算値出力信号と電荷蓄積コンデンサＭＩＭ１の電圧をリセットした後の増幅トランジスタ（例えば、トランジスタＴＲ５）からの出力電圧との差分を、実際の信号成分としてサンプリングする技術である。相関二重サンプリングについては、特に限定される必要はなく、従来技術が用いられてもよい。したがって、相関二重サンプリングの詳細な説明については省略する。

このように、ＣＤＳ回路１２６でオフセット除去動作とＡＤ変換動作とを同時に行うことができ、画像センサ１２２のフレームレートをハード的に高速化することができる。

ここで、ＡＤＣ回路１２７について、図３Ｃを参照しながら説明する。図３Ｃは、本実施の形態に係るＡＤＣ回路１２７の構成を示す回路図である。

図３Ｃに示すように、ＡＤＣ回路１２７は、画素列ごとに設けられる。ＡＤＣ変換は、例えば、シングルスロープ方式である。ＤＡＣ（Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｅｒ）がＲＡＭＰ信号を出力し、そのＲＡＭＰ信号と、ＣＤＳ回路１２６の出力信号ＣＤＳＯＵＴとをＣＯＭＰＡＲＡＴＯＲで比較する。両信号が一致した瞬間に、ＣＯＭＰＡＲＡＴＯＲの出力が初期値から反転して、後段のＣＯＵＮＴＥＲのカウント動作を停止させる信号を出力する。ＣＯＵＮＴＥＲのカウント値とＤＡＣのＲＡＭＰ信号とは同期しており、停止したカウント値はＣＤＳ回路１２６の出力信号ＣＤＳＯＵＴに比例することから、このカウント値を出力信号ＣＤＳＯＵＴのデジタル値としている。その後、デジタル値は、各列のＤＡＴＡ−ＬＡＴＣＨに転送された後、ＤＩＧＩＴＡＬ−ＳＨＩＦＴＲＥＧＩＳＴＥＲで高速転送して画像センサ１２２から出力される。すなわち、ＡＤＣ回路１２７は、図２のデジタル変換後検出積算信号を順次高速転送して、図１の演算部１４０にする出力する回路である。

［１−２．動作］
次に、上記のようなＡＰＤを有する画素１２２ａを二次元状に配置した距離検出装置１００における距離画像を生成する動作について説明する。まずは、距離検出装置１００における距離画像を生成する概略動作について、図４Ａ〜図７を参照しながら説明する。図４Ａは、本実施の形態に係る距離検出装置１００のＡグループの第１サブフレームにおける測距処理タイミングの一例を示す図である。

上記で説明したように、制御部１３０は、互いに異なる第１フレーム及び第２フレームにおいて、例えば、異なる測距範囲となるように第１フレーム及び第２フレームの測距範囲を決定する。そして、制御部１３０は、例えば、第１フレームを複数のサブフレームに分割し、複数のサブフレームのそれぞれに、互いに異なり、かつ互いに距離連続性を有しない測距範囲を設定する。Ａグループは、当該１フレームを分割した複数のサブフレームを含む。図４Ａ〜図７では、第１フレームを３つのサブフレーム（第１サブフレーム、第３サブフレーム、及び、第５サブフレーム）に分割した場合について説明する。例えば、第１サブフレームは、測距範囲が９ｍ〜１２ｍであり、第３サブフレームは、測距範囲が１５ｍ〜１８ｍであり、第５サブフレームは、測距範囲が２１〜２４ｍである。このように、サブフレームのそれぞれは、測距範囲が互いに距離連続性を有さないように決定される。なお、１２ｍ〜１５ｍ、及び、１８ｍ〜２１ｍの測距範囲の測距は、例えば、第２フレームで行われる。なお、この場合、測距範囲の幅（測距区間の幅）は、一律３ｍである例を示しているが、これに限定されない。

図４Ａに示すように、第１サブフレームは、第１測距期間と第１読出し期間とを有する。第１測距期間は、第１サブフレームに応じた測距範囲における測距を行う期間であり、第１読出し期間は、画素１２２ａからＣＤＳ回路１２６に検出積算値出力信号を読み出す（出力する）期間である。

まず、制御部１３０は、積算回路１２４のトランジスタＴＲ４のゲート端子にリセット信号ＲＳＴを印加することでトランジスタＴＲ４を導通させ、電荷蓄積コンデンサＭＩＭ１をリセットする。

さらに、制御部１３０は、光源１１０を制御し、期間Ｔ１の幅を有する光源パルス（光パルス）を照射する。期間Ｔ１は、例えば、２０ｎｓであるがこれに限定されない。

第１測距期間で測定する測距範囲（ここでは、９ｍ〜１２ｍ）に物体が位置する場合、当該物体で反射した反射光は、光源１１０から光源パルスが照射された時刻に対して、期間ＴＤ１だけ遅れて距離検出装置１００に到達する。したがって、受光回路１２３の読出信号ＴＲＮにより、露光をこの時刻に開始し期間ＴＥ１間だけ露光するように設定すれば、この距離範囲内にある物体からの反射光を検知することができる。なお、期間ＴＤ１は、測距範囲の最小値（ここでは９ｍ）と光速とに基づいて決定される。また、ＴＥ１は、測距範囲内の最大値（ここでは１２ｍ）と最小値との差分と光速とに基づいて決定される。期間ＴＤ１は、例えば、６０ｎｓであり、期間ＴＥ１は、例えば、２０ｎｓである。

図４Ａでは、期間ＴＥ１が露光期間である。期間ＴＥ１では、トランジスタＴＲ１が非導通であり、かつトランジスタＴＲ２が導通する。露光期間後、トランジスタＴＲ１が導通し、かつトランジスタＴＲ２が非導通となる。これにより、ＡＰＤは、リセットされる。

このあと、積算回路１２４において、積算信号ＣＮＴによりトランジスタＴＲ３が導通することで、フローティングディフュージョンＦＤに蓄積された電荷が、電荷蓄積コンデンサＭＩＭ１に蓄積される。

第１測距期間において、上記の動作が所定回数繰り返し実行される。所定回数は特に限定されない。第１測距期間において、上記の動作が少なくとも１回実行されればよい。なお、第１測距期間において、上記の動作が複数回繰り返し実行される場合、ＡＰＤが反射光を受光するごとに、電荷蓄積コンデンサＭＩＭ１に蓄積されている電荷が増加する。

そして、第１測距期間が経過すると、第１読出し期間に移り、電荷蓄積コンデンサＭＩＭ１に蓄積された電荷に対応する検出積算値出力信号が出力回路１２５からＣＤＳ回路１２６に出力される。第１のＣＤＳ期間は、上記の検出積算値出力信号を出力回路１２５からＣＤＳ回路１２６に出力するための期間である。第１のＣＤＳ期間では、まずトランジスタＴＲ３及びＴＲ４のうちトランジスタＴＲ３を導通させる。これにより、検出積算値出力信号が出力回路１２５からＣＤＳ回路１２６に出力される。その後、第１のＣＤＳ期間において、トランジスタＴＲ３及びＴＲ４の両方を導通させる。これにより、電荷蓄積コンデンサＭＩＭ１がリセットされる。再びトランジスタＴＲ３及びＴＲ４を非導通にすることで、電荷蓄積コンデンサＭＩＭ１のリセット動作が完了する。

第２のＣＤＳ期間は、電荷蓄積コンデンサＭＩＭ１が初期状態ときの電圧に対応するリセット電圧信号を出力回路１２５からＣＤＳ回路１２６に出力するための期間である。第２のＣＤＳ期間では、まずトランジスタＴＲ３及びＴＲ４のうちトランジスタＴＲ３を導通させる。これにより、リセット電圧信号が出力回路１２５からＣＤＳ回路１２６に出力される。その後、第２のＣＤＳ期間において、トランジスタＴＲ３及びＴＲ４の両方を導通させる。これにより、再度電荷蓄積コンデンサＭＩＭ１がリセットされる。再びトランジスタＴＲ３及びＴＲ４を非導通にすることで、電荷蓄積コンデンサＭＩＭ１のリセット動作が完了する。

これにより、ＣＤＳ回路１２６において、検出積算値出力信号とリセット電圧信号との差分に基づくオフセット除去後検出積算信号が生成され、蓄積される。オフセット除去後検出積算信号は、ＡＰＤが受光した反射光の強度のみに依存した信号である。

そして、オフセット除去後検出積算信号は、ＡＤＣ回路１２７でデジタル信号に変換され、演算部１４０で物体の有無の判定等が行われる。そして、判定結果は、合成部１６０に出力される。

このように、本実施の形態に係る距離検出装置１００は、測距するとすぐに当該測距により生成される検出積算値出力信号を読出す処理を行う。これにより、画素１２２ａ（画素回路）を単純に構成することができるので、画素１２２ａ（画素回路）を微細化することができる。

図４Ｂは、本実施の形態に係る第１サブフレーム画像を示す図である。図４Ｂは、縦横各３画素で構成される画像を示す。なお、後述する図５Ｂ及び６Ｂにおいても同様である。

図４Ｂでは、演算部１４０が、デジタル信号とＬＵＴとに基づいて、９画素のうち、２画素において、物体があると判定した場合を示す。図中の「Ｚ１」は、第１サブフレームにおいて物体があると判定されたことを示す情報である。「Ｚ１」が記載されている画素１２２ａは、第１サブフレームにおいて、物体があると判定された画素である。「Ｚ１」は、距離情報を有する。

次に、第３サブフレームについて、図５Ａ及び５Ｂを参照しながら説明する。第３サブフレームは、例えば、第１サブフレームより後に測距されるサブフレームであって、第１サブフレームの測距範囲より遠い範囲を測距する。図５Ａは、本実施の形態に係る距離検出装置１００の第３サブフレームにおける測距処理タイミングの一例を示す図である。

図５Ａに示すように、第３サブフレームは、第３測距期間と第３読出し期間とを有する。第３測距期間は、測距を行う期間であり、第３読出し期間は、画素１２２ａからＣＤＳ回路１２６に検出積算値出力信号を読出す（出力する）期間である。

第３測距期間においては、光源パルスを発してから露光を開始するまでの期間ＴＤ３が第１測距期間における期間ＴＤ１と異なる。第３サブフレームは第１サブフレームより遠い測距範囲を測距するので、期間ＴＤ３は期間ＴＤ１より長い。このように、各サブフレームにおいて、当該サブフレームにおける測距範囲に応じて、光源パルスの発光に対する読出信号ＴＲＮの供給タイミングが異なる。なお、期間Ｔ３は期間Ｔ１と同じでもよく、例えば、２０ｎｓである。また、測距範囲内の最大値と最小値との差分（ここでは、３ｍ）が同じであるので、期間ＴＥ３は期間ＴＥ１と同じであり、例えば、２０ｎｓである。

また、第３読出し期間における処理は、第１読出し期間と同様であり、説明を省略する。

図５Ｂは、本実施の形態に係る第３サブフレーム画像を示す図である。

図５Ｂでは、演算部１４０が、９画素のうち、２つの画素において、物体があると判定した場合を示す。図中の「Ｚ３」の画素１２２ａが、物体があると判定された画素である。

次に、第５サブフレームについて、図６Ａ及び６Ｂを参照しながら説明する。第５サブフレームは、例えば、第３サブフレームより後に測距されるサブフレームであって、第３サブフレームの測距範囲より遠い範囲を測距する。図６Ａは、本実施の形態に係る距離検出装置１００の第５サブフレームにおける測距処理タイミングの一例を示す図である。

図６Ａに示すように、第５サブフレームは、第５測距期間と第５読出し期間とを有する。第５測距期間は、測距を行う期間であり、第５読出し期間は、画素１２２ａからＣＤＳ回路１２６に検出積算値出力信号を読出す（出力する）期間である。

第５測距期間においては、光源パルスを発してから露光を開始するまでの期間ＴＤ５が第３測距期間における期間ＴＤ３と異なる。第５サブフレームは第３サブフレームより遠い測距範囲を測距するので、期間ＴＤ５は期間ＴＤ３より長い。なお、期間Ｔ５は期間Ｔ３と同じでもよく、例えば、２０ｎｓである。また、測距範囲内の最大値と最小値との差分（ここでは、３ｍ）が同じであるので、期間ＴＥ５は期間ＴＥ３と同じであり、例えば、２０ｎｓである。

また、第５読出し期間における処理は、第３読出し期間と同様であり、説明を省略する。

図６Ｂは、本実施の形態に係る第５サブフレーム画像を示す図である。

図６Ｂでは、演算部１４０が、９画素のうち、２画素において、物体があると判定した場合を示す。図中の「Ｚ５」の画素１２２ａが、物体があると判定された画素である。

次に、合成部１６０における距離画像の生成について、図７を参照しながら説明する。図７は、本実施の形態に係る合成後の距離画像を示す図である。

図７に示すように、合成部１６０は、第１サブフレーム画像、第３サブフレーム画像、及び、第５サブフレーム画像に基づいて、第１フレームにおける距離画像（第１距離画像の一例）を生成する。合成部１６０は、第１サブフレーム画像、第３サブフレーム画像、及び、第５サブフレーム画像を合成することで、第１フレームにおいて、１つの距離画像を生成する。

合成部１６０は、例えば、右下の画素１２２ａにおいては、第１サブフレーム画像、第３サブフレーム画像、及び、第５サブフレーム画像のうち第１サブフレーム画像において距離情報「Ｚ１」が対応付けられている。そのため、合成部１６０は、例えば、右下の画素１２２ａにおいては、距離情報「Ｚ１］とする。言い換えると、合成部１６０は、右下の画素１２２ａにおいては、Ａグループの第１サブフレームに対応する測距範囲である９ｍ〜１２ｍの位置に物体があることを示す情報を当該画素１２２ａに対応づける。

なお、演算部１４０は、同一の画素１２２ａに対して、２以上サブフレーム（２以上の区間距離画像）において物体があると判定することがある。例えば、図４Ｂ及び図６Ｂに示すように、演算部１４０は、左上の画素１２２ａにおいて、９ｍ〜１２ｍ、及び、１８ｍ〜２１ｍのそれぞれに物体があると判定している。この場合、合成部１６０は、距離検出装置１００の用途などに応じて、一方を適宜選択する。合成部１６０は、例えば、距離検出装置１００が自動車に用いられる場合、近距離の情報の方が運転における影響が大きいので、近距離の情報を優先して選択する。本実施の形態では、図７に示すように、９ｍ〜１２ｍの位置に物体があることを示す「Ｚ１」を選択する。

上記のように、合成部１６０は、第１フレームにおいて、演算部１４０が１つの画素１２２ａに対して、Ａグループのサブフレーム群のうち２以上のＡグループのサブフレームで物体が有ると判定した場合、当該２以上のＡグループのサブフレームのうち、近距離側の測距範囲を測距したＡグループのサブフレームの判定結果に基づいて、第１距離画像を生成してもよい。また、第２フレームにおいても、同様である。

なお、距離検出装置１００の用途に応じては、遠距離の情報が優先して選択されてもよい。

ここで、距離検出装置１００における距離画像を生成する動作について説明する。図８は、本実施の形態に係る距離検出装置１００の距離画像生成処理の一例を示すフローチャートである。なお、以下に示すステップＳ１０〜Ｓ１００までの処理は、第１フレームにおいて、物体までの距離を検出する第１距離検出ステップの一例である。また、以下に示すステップＳ１１０〜Ｓ２００までの処理は、第２フレームにおいて、物体までの距離を検出する第２距離検出ステップの一例である。また、以下に示す及びステップＳ１０は、設定ステップの一例であり、ステップＳ２０〜Ｓ９０は、第１距離画像群撮像ステップの一例であり、ステップＳ１１０〜Ｓ１９０は、第２距離画像群撮像ステップの一例である。また、第１距離画像群撮像ステップ及び第２距離画像群撮像ステップは、撮像ステップに含まれる。

図８に示すように、制御部１３０は、奥行方向に測距区間を分割する（Ｓ１０）。奥行方向は、画像センサ１２２の撮像方向であり、例えば、前方などである。制御部１３０は、例えば、画像センサ１２２からの距離ごとに測距区間を分割する。制御部１３０は、例えば、画像センサ１２２での測距範囲が９ｍ〜１５ｍである場合、測距範囲９ｍ〜１２ｍを１つの測距区間とし、測距範囲１２ｍ〜１５ｍを１つの測距区間とする。これは、奥行方向に測距区間を分割することの一例である。制御部１３０は、奥行方向に距離連続性を有するように、測距区間を分割してもよい。つまり、制御部１３０は、Ａグループの測距区間のそれぞれに、互いに異なる測距範囲であって、かつ互いに距離連続性を有する測距範囲を設定してもよい。制御部１３０は、第１フレームを測距区間ごとの複数のサブフレームに分割するとも言える。当該測距区間の一部のサブフレーム（サブフレーム群）は、Ａグループに含まれる。分割数は、特に限定されない。測距区間は、距離分割区間の一例である。

なお、各測距区間の幅（距離の幅）は、等しい（例えば、３ｍ）である例について説明したが、これに限定されない。制御部１３０は、奥行方向の手前側（カメラ１２０に近い側）の測距区間の距離を、奥行方向の奥側の測距区間より距離を狭く設定してもよい。制御部１３０は、奥行方向の手前側から奥側までの測距区間の距離を、徐々に変化させてもよい。制御部１３０は、奥行方向の手前側の測距区間から奥側の測距区間になるにつれ、（例えば、カメラ１２０から遠ざかるにつれ）測距区間の距離を、徐々に大きくしてもよい。

なお、制御部１３０は、例えば、Ａグループの各測距区間（例えば、各サブフレーム）を、互いに非連続な測距区間に設定してもよい。具体的には、制御部１３０は、Ａグループの測距区間のそれぞれに、互いに異なる測距範囲であって、かつ互いに距離連続性を有しない測距範囲を設定してもよい。ステップＳ１０は、第１設定ステップの一例でもある。

そして、制御部１３０は、Ａグループの測距区間ごとに距離画像の撮像を実行する（Ｓ２０）。制御部１３０は、ＡステップＳ１０で設定されたＡグループの測距区間それぞれにおける測距を行うように、光源１１０及びカメラ１２０を制御する。制御部１３０は、例えば、上記の図４Ａ等に示すように、光源１１０及びカメラ１２０を制御する。なお、Ａグループの測距区間は、ステップＳ１０で設定された測距区間の一部の区間である。

そして、ステップＳ２０の撮像が実行されることで、当該測距区間において、フォトン入射による発生電荷を複数回積算した距離画像を撮像する（Ｓ３０）。積算された電荷を積算電荷Ｓ１とも記載する。ここでの距離画像を撮像することは、例えば、当該距離画像の積算電荷Ｓ１を取得することに相当する。なお、積算電荷Ｓ１は、図２に示す検出積算値に対応する。また、積算電荷Ｓ１は、電荷蓄積コンデンサＭＩＭ１に蓄積される。ステップＳ２０及びＳ３０は、第１測距ステップの一例である。

そして、演算部１４０は、距離画像の積算電荷Ｓ１を画像センサ１２２からリードする（Ｓ４０）。これにより、Ａグループの測距区間ごとに、積算電荷Ｓ１に対応した検出積算値出力信号（ＡＰＤが受光した光に対応する電圧信号）が画素１２２ａの外部に出力される。

なお、ステップＳ４０は、さらに、画素１２２ａから出力された検出積算値出力信号に対して相関二重サンプリング処理が行い、保持するＣＤＳ処理ステップと、当該検出積算値出力信号の前に取得された検出積算値出力信号（つまり、画素列における隣り合う画素１２２ａから出力された検出積算値出力信号）であって、相関二重サンプリング処理が行われ保持されている検出積算値出力信号（つまり、オフセット除去後検出積算信号）を出力する出力ステップとを含んでいてもよい。ＣＤＳ処理ステップと出力ステップとは、並行して行われる。

例えば、図４Ａ等に示す第１読出し期間においてＣＤＳ処理ステップが実行されるとともに、当該第１読出し期間において、ＣＤＳ回路１２６から相関二重サンプリング処理されたオフセット除去後検出積算信号がＡＤＣ回路１２７に出力される。言い換えると、検出積算値出力信号に対する相関二重サンプリング処理中に、相関二重サンプリング処理されたオフセット除去後検出積算信号が出力される。

そして、演算部１４０は、距離画像に測距区間情報を付与する（Ｓ５０）。測距区間情報は、測距区間を示す情報を含み、例えば、サブフレームＮｏに基づく情報を含む。

そして、演算部１４０は、Ａグループの測距区間ごとに、測距された結果（例えば、検出積算値出力信号に基づいて生成されたデジタル信号）に基づいて、物体の有無を判定する（Ｓ６０）。例えば、演算部１４０は、積算電荷Ｓ１（第１電圧信号の一例）と閾値電圧とを比較する。例えば、演算部１４０は、積算電荷Ｓ１に対応する信号（電圧信号）と閾値電圧とを比較する。そして、演算部１４０は、積算電荷Ｓ１が閾値電圧より大きい場合（Ｓ６０でＹｅｓ）、物体が有ることを示す有り判定画素にフラグを立てる（Ｓ７０）。ステップＳ７０の処理は、画素１２２ａごとに行われる。当該サブフレームにおいて、物体が有ると判定された画素１２２ａに、当該フラグが立つ。また、演算部１４０は、積算電荷Ｓ１が閾値電圧以下である場合（Ｓ６０でＮｏ）、ステップＳ８０に進む。

演算部１４０は、Ａグループの測距区間のそれぞれにおいて、判定結果と測距区間情報とを合成部１６０に出力する。判定結果は、例えば、図４Ｂ等に示すサブフレーム画像である。ステップＳ６０は、第１判定ステップの一例である。

そして、制御部１３０は、Ａグループの全測距区間の距離画像を撮像したか否かを判定する（Ｓ８０）。合成部１６０は、制御部１３０がＡグループの全測距区間の距離画像を撮像したと判定する（Ｓ８０でＹｅｓ）と、第１距離画像群の撮像を完了し（Ｓ９０）、各測距区間の画素１２２ａに立ったフラグを合成し、第１距離画像を生成し出力する（Ｓ１００）。ステップＳ１００は、第１距離画像生成ステップの一例である。

なお、制御部１３０は、Ａグループの全測距区間の距離画像を撮像していないと判定する（Ｓ８０でＮｏ）と、ステップＳ２０に戻りＡグループの全測距区間で距離画像の撮像が完了するまでステップＳ２０〜Ｓ７０の処理を継続する。

次に、第２フレームにおける第２距離画像を生成する処理が行われる。第２距離画像は、第１距離画像で測距されていなかった測距区間を測距した結果に基づいて生成される画像である。

制御部１３０は、ステップＳ１０で設定した測距区間から、奥行方向に測距区間の分割位置（分割距離）をシフトさせる（Ｓ１１０）。制御部１３０は、ステップＳ１０で設定した測距区間と位相の異なる測距区間を設定するとも言える。また、制御部１３０は、第２フレームを測距区間ごとの複数のサブフレームに分割するとも言える。当該測定区間それぞれのサブフレーム（サブフレーム群）は、Ｂグループに含まれる。分割数は、特に限定されないが、例えば、Ａグループのサブフレームと同数であってもよい。

なお、制御部１３０は、例えば、Ａグループで設定していない非連続な測距区間をＢグループの測距区間に設定してもよい。具体的には、制御部１３０は、Ｂグループの測距区間のそれぞれに、第１フレームで設定されていない測距範囲のうち、互いに異なる測距範囲であって、かつ互いに距離連続性を有しない測距範囲を設定してもよい。制御部１３０は、距離検出装置１００における測距可能は範囲から、第１フレームで設定されていない測距範囲を選択し、選択した測距範囲をＢグループの測距区間のそれぞれに割り当てることで測距区間を設定してもよい。このように測距区間を割り当てることも、奥行方向に測距区間の分割位置をシフトさせることに含まれる。

そして、制御部１３０は、Ｂグループの測距区間ごとに距離画像の撮像を実行する（Ｓ１２０）。制御部１３０は、ステップＳ１１０で設定された測距区間における測距を行うように、光源１１０及びカメラ１２０を制御する。

そして、ステップＳ１２０の撮像が実行されることで、当該測距区間において、でフォトン入射による発生電荷を複数回積算した距離画像を撮像する（Ｓ１３０）。積算された電荷を積算電荷Ｓ２とも記載する。ここでの距離画像を撮像することは、例えば、当該距離画像の積算電荷Ｓ２を取得することに相当する。積算電荷Ｓ２は、図２に示す検出積算値に対応する。また、積算電荷Ｓ２は、電荷蓄積コンデンサＭＩＭ１に蓄積される。ステップＳ１２０及びＳ１３０は、第２測距ステップの一例である。

そして、演算部１４０は、距離画像の積算電荷Ｓ２を画像センサ１２２からリードする（Ｓ１４０）。これにより、Ｂグループの測距区間ごとに、積算電荷Ｓ２に対応した検出積算値出力信号（ＡＰＤが受光した光に対応する電圧信号）が画素１２２ａの外部に出力される。

なお、ステップＳ４０と同様に、ステップＳ１４０は、さらに、ＣＤＳ処理ステップと出力ステップとを含み、当該ＣＤＳ処理ステップと出力ステップとは並行して行われてもよい。

そして、演算部１４０は、距離画像に測距区間情報を付与する（Ｓ１５０）。

そして、演算部１４０は、Ｂグループの測距区間ごとに、測距された結果（デジタル信号）に基づいて、物体の有無を判定する（Ｓ１６０）。すなわち、演算部１４０は、積算電荷Ｓ２と閾値電圧とを比較する。そして、演算部１４０は、積算電荷Ｓ２が閾値電圧より大きい場合（Ｓ１６０でＹｅｓ）、物体が有ることを示す有り判定画素にフラグを立てる（Ｓ１７０）。ステップＳ１７０の処理は、画素１２２ａごとに行われる。当該距離画像において、物体が有ると判定された画素に、当該フラグが立つ。また、演算部１４０は、積算電荷Ｓ２が閾値電圧以下である場合（Ｓ１６０でＮｏ）、ステップＳ１８０に進む。なお、ステップＳ１６０で用いられる閾値電圧と、Ｓ６０で用いられる閾値電圧とは同じ電圧値であるが、異なる電圧値であってもよい。

演算部１４０は、Ｂループの測距区間のそれぞれにおいて、判定結果と測距区間情報とを合成部１６０に出力する。ステップＳ１６０は、第２判定ステップの一例である。

そして、制御部１３０は、Ｂグループの全測距区間の距離画像を撮像したか否かを判定する（Ｓ１８０）。合成部１６０は、制御部１３０がＢグループの全測距区間の距離画像を撮像したと判定する（Ｓ１８０でＹｅｓ）と、第２距離画像群の撮像を完了し（Ｓ１９０）、各測距区間の画素１２２ａに立ったフラグを合成し、第２距離画像を生成し出力する（Ｓ２００）。ステップＳ２００は、第２距離画像生成ステップの一例である。

なお、制御部１３０は、Ｂグループの全測距区間の距離画像を撮像していないと判定する（Ｓ１８０でＮｏ）と、Ｓ１２０に戻りＢグループの全測距区間で距離画像の撮像が完了するまで、ステップＳ１２０〜Ｓ１７０の処理を継続する。

なお、距離検出装置１００は、図８に示すＳ１０〜Ｓ２００までの処理を繰り返し実行する。言い換えると、第１距離画像と第２距離画像とが交互に生成される。具体的には、制御部１３０は、例えば、第１距離画像と第２距離画像とを交互に生成するように、光源１１０及びカメラ１２０を制御する。そのため、出力部１７０は、第１距離画像と第２距離画像とを交互に出力することができる。

ここで、ステップＳ１００で生成される第１距離画像、及び、ステップＳ２００で生成される第２距離画像について、図９Ａ〜図９Ｅを参照しながら説明する。図９Ａは、本実施の形態に係る第１距離画像の一例を説明するための模式図である。図９Ｂは、本実施の形態に係る第１距離画像が生成される流れを模式的に示すフローチャートである。図９Ｂは、図８に示すステップＳ２０〜Ｓ８０の処理が繰り返し実行されている場合を示す。具体的には、図９Ｂは、ステップＳ２０〜Ｓ４０の処理が繰り返し実行されている場合を示す。図９Ｂに示すフローチャートは、第１距離画像群撮像ステップの一例である。図９Ｃは、本実施の形態に係る第２距離画像の一例を説明するための模式図である。なお、図９Ａ〜図９Ｅでは、Ａグループ及びＢグループの各測距区間を互いに連続な測距区間に設定している場合を示している。

図９Ａに示すように、第１距離画像群は、第１区間距離画像〜第１０区間距離画像を含む。例えば、第１区間距離画像に対応する第１測距区間と第２区間距離画像に対応する第２測距区間とは、互いに連続する測距区間である。また、第１距離画像群における各測距区間の幅は、互いに等しくてもよい。例えば、当該幅は、３ｍなどであってもよい。なお、図９Ａでは、ステップＳ１０で設定された測距区間のうち、第１区間距離画像に対応する測距区間〜第１０区間距離画像に対応する測距区間までがＡフレームにおける測距区間（第１距離画像を生成するための測距区間）として設定された例を示している。

図９Ｂに示すように、画像センサ１２２は、まず第１区間距離画像を撮像し（Ｓ３１０）、当該第１区間距離画像を出力する（Ｓ３２０）。図９Ａに示す第１区間距離画像は、図９Ｂに示すステップＳ３１０及びＳ３２０により生成される。ステップＳ３１０は、第１測距区間におけるステップＳ２０及びＳ３０の処理に対応し、ステップＳ３２０は、第１測距期間におけるステップＳ４０の処理に対応する。また、ステップＳ３１０及びＳ３２０は、第１区間距離画像撮像ステップの一例である。また、ステップＳ３１０及びＳ３２０は、図４Ａに示す第１サブフレームにおいて行われる処理であり、ステップＳ３１０は、第１測距期間における処理であり、ステップＳ３２０は、第１読み出し期間における処理である。

また、第２区間距離画像〜第１０区間距離画像の撮像及び出力（Ｓ３３０〜Ｓ４００）についても、同様に順次実行される。

図９Ｃに示すように、第２距離画像群は、第１区間距離画像〜第１０区間距離画像を含む。例えば、第１区間距離画像に対応する第１測距区間と第２区間距離画像に対応する第２測距区間とは、互いに連続する測距区間である。第２距離画像群における各測距区間の幅は、互いに等しくてもよい。例えば、３ｍなどであってもよい。また、第２距離画像群における第１測距区間と第１距離画像群における第１測距区間とは、少なくとも一部が異なる区間である。

ここで、各距離画像群のそれぞれにおける測距区間の関係について、図９Ｄ及び図９Ｅを参照しながら説明する。図９Ｄは、本実施の形態に係るフレームごとの測距区間の関係の第１例を示す図である。具体的には、図９Ｄは、第１距離画像群及び第２距離画像群における測距区間の関係の一例を示す図である。

図９Ｄに示すように、第１距離画像群の第１測距区間と、第２距離画像群の第１測距区間とは、少なくとも一部が重なっていてもよい。第１距離画像群の第１測距区間の測距範囲の最小値から第２距離画像群の第１測距区間の測距範囲の最小値までの距離を距離Ｘ１とし、第２距離画像群の第１測距区間の測距範囲の最小値から第１距離画像群の第１測距区間の測距範囲の最大値までの距離を距離Ｙ１とすると、例えば、距離Ｘ１＝距離Ｙ１であってもよい。つまり、第１距離画像群の第１測距区間の半分の区間が、第２距離画像群の第１測距区間と重なっていてもよい。

例えば、第１距離画像群の各測距区間のそれぞれ、及び、第２距離画像群の各測距区間のそれぞれの最大値と最小値との差（つまり、測距区間の幅）が等しい場合、第２距離画像群の第１測距区間は、第１距離画像群の第１測距区間及び第２測距区間のそれぞれの半分の区間と重なる。つまり、第１距離画像群撮像ステップに含まれる複数の測距区間と、第２距離画像群撮像ステップに含まれる複数の測距区間とは、互いに半区間ずらしてあってもよい。なお、この場合、第１距離画像群の各測距区間の幅と、第２距離画像群の各測距区間の幅とは、例えば、等しくてもよい。

図９Ｅは、本実施の形態に係るフレームごとの測距区間の関係の第２例を示す図である。具体的には、図９Ｅは、第１距離画像群及び第Ｎ距離画像群における測距区間の関係の一例を示す図である。なお、Ｎは、３以上の整数である。

図９Ｅに示すように、第１距離画像群の第１測距区間と、第Ｎ距離画像群の第１測距区間とは、少なくとも一部が重なっていてもよい。第１距離画像群の第１測距区間の測距範囲の最小値から第Ｎ距離画像群の第１測距区間の測距範囲の最小値までの距離を距離Ｘ２とし、第Ｎ距離画像群の第１測距区間の測距範囲の最小値から第１距離画像群の第１測距区間の測距範囲の最大値までの距離を距離Ｙ２とすると、例えば、距離Ｙ２＝距離Ｘ２／Ｎであってもよい。つまり、第１距離画像群撮像ステップに含まれる複数の測距区間と、第Ｎ距離画像群撮像ステップに含まれる複数の分割区間とは、互いに１／Ｎ区間ずらした区間であってもよい。つまり、第１距離画像群〜第Ｎ距離画像群の測距区間のそれぞれは、等間隔の区間ずらした区間であってもよい。

このように、互いの測距区間の少なくとも一部もが重なるように第１距離画像群及び第２距離画像群の測距区間が設定されることで、例えば、第１距離画像群及び第２距離画像群の一方で測距が正確に行えていない区間があっても、他方の測距で補えることができる。つまり、測定精度が向上する。また、測距区間を距離画像群ごとに変更することで、分解能を低下させることなく、近距離から遠距離までの広い範囲を測定することが可能である。

なお、第２距離画像群の第１測距区間は、第１距離画像群の各測距区間のいずれか１つと少なくとも一部が重なっていてもよい。

ここで、各距離画像群のそれぞれにおける測距区間の設定について、図１０Ａ〜図１０Ｄを参照しながら説明する。図１０Ａは、本実施の形態に係る第１距離画像の他の一例を説明するための模式図である。図１０Ｂは、本実施の形態に係る第２距離画像の他の一例を説明するための模式図である。なお、図１０Ａ〜図１０Ｄでは、Ａグループ及びＢグループの各測距区間を互いに非連続な測距区間に設定している場合を示している。

図１０Ａに示すように、第１距離画像群は、第１区間距離画像〜第１０区間距離画像を含む。例えば、第１区間距離画像に対応する第１測距区間と第２区間距離画像に対応する第２測距区間とは、互いに連続しない測距区間である。また、第１距離画像群における各測距区間の幅は、互いに等しくてもよい。例えば、当該幅は、３ｍなどであってもよい。

図１０Ｂに示すように、第２距離画像群は、第１区間距離画像〜第１０区間距離画像を含む。例えば、第１区間距離画像に対応する第１測距区間と第２区間距離画像に対応する第２測距区間とは、互いに連続しない測距区間である。第２距離画像群における各測距区間の幅は、互いに等しくてもよい。例えば、当該幅は、３ｍなどであってもよい。また、第２距離画像群における第１測距区間と第１距離画像群における第１測距区間とは、少なくとも一部が異なる区間である。言い換えると、第２距離画像群における第１測距区間と第１距離画像群における第１測距区間とは、少なくとも一部が重なる区間であってもよい。

ここで、各距離画像群のそれぞれにおける測距区間の設定について、図１０Ｃ及び図１０Ｄを参照しながら説明する。図１０Ｃは、本実施の形態に係るフレームごとの測距区間の関係の第２例を示す図である。具体的には、図１０Ｃは、第１距離画像群及び第２距離画像群における測距区間の関係の一例を示す図である。

距離検出装置１００は、９ｍ〜６９ｍまでを測距可能であり、各測距区間の測距範囲は、９ｍから３ｍごとの範囲で設定されているとする。つまり、測距区間の幅は、３ｍに設定されている。具体的には、第１距離画像群（Ａグループ）の第１測距区間（第１サブフレーム）の測距範囲は９ｍ〜１２ｍ、第２距離画像群（Ｂグループ）の第１測距区間（第２サブフレーム）の測距範囲は１２ｍ〜１５ｍ、第１距離画像群の第２測距区間（第３サブフレーム）の測距範囲は１５ｍ〜１８ｍ、・・・、第２距離画像群の第１０測距区間（第１０サブフレームの測距範囲）は６６ｍ〜６９ｍであるとする。第１距離画像群及び第２距離画像群とも、距離範囲が間欠に設定されている。

図１０Ｃに示すように、第１距離画像群及び第２距離画像群は、互いに欠落した測距範囲を補うような画像である。言い換えると、制御部１３０は、互いに欠落した測距範囲を補い合うように第１距離画像群及び第２距離画像群の各測距区間の測距範囲を設定する。制御部１３０が第１距離画像群の画像及び第２距離画像群の画像を交互に生成するように光源１１０及びカメラ１２０を制御することで、距離検出装置１００は、フレームごとの測距範囲に距離連続性を確保することができる。

ここで、各測距区間の期間を４．３ｍｓｅｃ（例えば、測距期間が１ｍｓｅｃであり、読出し期間が３．３ｍｓｅｃ）とする。本実施の形態では、第１距離画像群及び第２距離画像群はそれぞれ１０個の測距区間（区間距離画像）で構成されるので、１フレームのフレーム速度は４３ｍｓｅｃ（フレームレートは２３．３ｆｐｓ）である。一方、比較例として、１フレームで２０個の測距区間の全てを測距すると、１フレームのフレーム速度は８６ｍｓｅｃ（フレームレート１１．６ｆｐｓ）となる。よって、本実施の形態によれば、見かけ上のフレームレートを向上させることができる。

なお、上記では、第１フレームにおいて設定される測距範囲と第２フレームにおいて設定される測距範囲とは、互いに重ならない例について説明したが、これに限定されない。例えば、第１フレームにおいて設定される測距範囲と第２フレームにおいて設定される測距範囲とは、一部が重なっていてもよい。つまり、ステップＳ１１０では、ステップＳ１０で設定される測距範囲と一部が重複するように測距範囲が設定されてもよい。この場合、ステップＳ１０及びステップＳ１１０では、互いの測距範囲の幅が等しくなるように、第１フレームの測距範囲と第２フレームの測距範囲とが設定されるとよい。例えば、Ａグループの第１測距区間の測距範囲は８ｍ〜１３ｍ、Ｂグループの第１測距区間の測距範囲は１１ｍ〜１６ｍ、Ａグループの第２測距区間の測距範囲は１４ｍ〜１９ｍなどのように設定されるとよい。この場合、測距区間の幅は、５ｍである。なお、第１フレーム及び第２フレームのそれぞれにおいて、互いに時間的に隣り合う測距区間（例えば、Ａグループの第１測距区間及び第２測距区間）同士の測距範囲は、重ならないように設定されてもよい。

［１−３．効果］
以上のように、距離画像の取得方法は、奥行方向に複数の距離分割区間を設定する設定ステップ（Ｓ１０）と、設定された複数の距離分割区間に基づいて距離画像を取得する撮像ステップとを含む。撮像ステップは、複数の距離分割区間の一部を撮像した複数の距離画像を取得する第１距離画像群撮像ステップ（Ｓ２０〜Ｓ９０）と、複数の距離分割区間の前記一部と位相の異なる距離分割区間を撮像した複数の距離画像を取得する第２距離画像群撮像ステップ（Ｓ１１０〜Ｓ１９０）とを含む。

これにより、２つの距離画像において距離分割区間の一部を異ならせることで、画像の分解能を低下させることなく、距離分割区間の一部が異なる２つの距離画像を取得することができる。例えば、２つの距離画像の一方が他方より近距離側を撮像した画像である場合、近距離から遠距離まで広い範囲にわたり撮像した距離画像を取得することができる。また、第１距離画像群撮像ステップにおいて、ステップＳ１０で設定した距離分割区間の一部において距離画像が取得されるので、距離分割区間の全てにおいて距離画像が取得される場合に比べて、短期間で距離画像を取得することができる。よって、本開示に係る距離画像の取得方法は、近距離から遠距離まで広い範囲にわたり、高精度な分解能で、対象物までの情報、つまり距離画像を早く取得することができる。

また、複数の距離分割区間は、奥行方向に連続性を有してもよい。

これにより、第１距離画像群撮像ステップ及び第２距離画像群撮像ステップで取得される距離画像群は、同じ距離に対する画像を含む。２つの画像を用いて当該距離における物体を検出することができるので、検出精度が向上する。

また、複数の距離分割区間は、奥行方向に連続性を有しなくてもよい。

これにより、第１距離画像群撮像ステップ及び第２距離画像群撮像ステップのそれぞれにおいて、測距範囲が離散的に設定されるので、第１距離画像群撮像ステップ及び第２距離画像群撮像ステップの処理を高速化することができる。よって、距離画像をより早く取得することができる。

また、第１距離画像群撮像ステップに含まれる２以上の距離分割区間と、前記第２距離画像群撮像ステップに含まれる２以上の距離分割区間とは、互いに半区間ずれていてもよい。半区間は、例えば、第１区間撮像画像に対応する第１測距区間の半分であってもよい。

これにより、互いに半区間ずらしてある２つの距離画像群を、対象物までの情報として取得することができる。当該２つの距離画像群を用いた対象物を検出することで、検出精度が向上する。

また、撮像ステップは、Ｎ（３以上の整数）回以上の距離画像群撮像ステップで構成され、それぞれの距離画像群撮像ステップに含まれる２以上の距離分割区間のそれぞれは、１／Ｎ区間ずれていてもよい。

これにより、互いに１／Ｎ区間ずらしてあるＮ個の距離画像群を対象物までの情報として取得することができる。当該Ｎつの距離画像群を用いた対象物を検出することで、検出精度が向上する。

また、設定ステップで設定される複数の距離分割区間は、奥行方向の手前側の区間が奥行方向の奥側の区間より狭い距離範囲に設定される。距離範囲が狭いとは、測距区間の幅が狭いことを意味する。

これにより、画像センサ１２２の近くにある対象物までの距離を細かく取得することができる。よって、より高精度な分解能で対象物までの情報を早く取得することができる。

また、以上のように、距離検出装置１００は、ＡＰＤ（Ａｖａｌａｎｃｈｅ Ｐｈｏｔｏ Ｄｉｏｄｅ）を有する画素が二次元状に配置された画像センサ１２２と、撮像する対象物に向けて照射光を発光する光源１１０と、画像センサ１２２で撮像した画像を処理する演算部１４０と、光源１１０、画像センサ１２２および演算部１４０を制御する制御部１３０と、演算部１４０で処理した画像を合成する合成部１６０と、合成された画像に所定の情報を付加して出力する出力部１７０とを備える。そして、制御部１３０は、奥行方向に複数の距離分割区間を設定し、光源１１０、画像センサ１２２および演算部１４０を制御することで、設定された複数の距離分割区間の一部を撮像した複数の距離画像である第１距離画像群を取得し、かつ、複数の距離分割区間の一部と位相の異なる距離分割区間を撮像した複数の距離画像である第２距離画像群を取得する。

これにより、上記の画像取得方法と同様の効果を奏する。つまり、距離検出装置１００は、近距離から遠距離まで広い範囲にわたり、高精度な分解能で、対象物までの情報、つまり距離画像を早く取得することができる。

また、画像センサ１２２は、画像センサ１２２は、第１距離画像群および第２距離画像群の取得のそれぞれにおいて、画素１２２ａが検出したフォトン数に対応する画素信号を画素１２２ａの回路内に設けた記憶素子に画素電圧として記憶し、記憶された画素電圧を演算部１４０に読み出す構成を有する。演算部１４０は、第１距離画像群および第２距離画像群の取得のそれぞれにおいて、画素電圧の大きさが閾値を超えると、当該距離画像に対象物が有ると判定する。合成部１６０は、第１距離画像群および第２距離画像群のそれぞれから、３次元化距離画像を生成する。そして、出力部１７０は、第１距離画像群および第２距離画像群のそれぞれに設定された互いに異なる色彩を３次元化距離画像に付加する。

これにより、上記の距離検出装置１００を実現するための画素１２２ａ（画素回路）を微細化することができる。また、対象物の検出結果を視認しやすい距離画像を出力することができる。

また、距離検出装置１００は、さらに、画素１２２ａから読み出した画素信号をノイズ除去後に画像センサ１２２から出力するＣＤＳ回路１２６（相関二重サンプリング回路）を有する。ＣＤＳ回路１２６は、二次元状に配置された画素１２２ａのうちｎ行目の画素１２２ａの画素信号をノイズ除去している期間に、ｎ−１行目の画素１２２ａの画素信号であって当該期間の前にノイズ除去が完了した画素信号を出力する。

これにより、画素信号のノイズ除去と、ノイズ除去された画素信号の出力とを、並行して行うことができるので、対象物までの情報、つまり距離画像をさらに早く取得することができる。

また、合成部１６０は、演算部１４０により第１距離画像群および第２距離画像群のそれぞれにおいて、同一画素１２２ａの複数の距離画像で対象物が有ると判定された場合、奥行方向の手前側の距離画像の判定結果を優先して選択する。そして、出力部１７０は、選択された当該距離画像に色彩を付加する。

これにより、複数の距離画像で対象物が有ると判定された場合、当該対象物を画像センサ１２２から最も近くにあるとして検出結果を出力することができる。例えば、距離検出装置１００が車両等に搭載される場合、当該車両の走行をより安全に行うことができる。

以上のように、距離検出方法は、ＡＰＤ（Ａｖａｌａｎｃｈｅ Ｐｈｏｔｏ Ｄｉｏｄｅ）を有する画素１２２ａを二次元状に配置した距離検出装置１００における距離検出方法である。当該距離検出方法は、第１フレームにおいて、対象物までの距離を検出する第１距離検出ステップ（例えば、ステップＳ１０〜Ｓ１００）と、第１フレームの後の第２フレームにおいて、対象物までの距離を検出する第２距離検出ステップ（例えば、ステップＳ１１０〜Ｓ２００）とを含む。第１距離検出ステップは、第１フレームを分割した複数のサブフレームであってＡグループに含まれる複数のサブフレームのそれぞれに、互いに異なる測距範囲であって、かつ互いに距離連続性を有しない測距範囲を設定する第１設定ステップ（Ｓ１０）と、Ａグループのサブフレーム群のそれぞれにおいて、第１設定ステップで設定された測距範囲における測距を行う第１測距ステップ（Ｓ２０）とを含む。第２距離検出ステップは、第２フレームを分割した複数のサブフレームであってＢグループに含まれる複数のサブフレームのそれぞれに、第１設定ステップで設定されていない測距範囲を設定する第２設定ステップ（Ｓ１１０）と、Ｂグループのサブフレーム群のそれぞれにおいて、第２設定ステップで設定された測距範囲における測距を行う第２測距ステップ（Ｓ１２０）とを含む。

これにより、第１距離画像及び第２距離画像はそれぞれ、測距範囲の連続性を有しない画像となる。そのため、第１距離画像及び第２距離画像のそれぞれが距離検出装置１００における測定範囲を測定する場合に比べ、短期間で第１距離画像及び第２距離画像を生成することができる。また、第２距離画像は、第１距離画像で欠落した測距範囲の画像となる。例えば、第１距離画像と第２距離画像とを交互に生成することで、測距範囲の連続性を確保することができる。よって、本実施の形態に係る距離検出方法によれば、測距範囲の連続性（距離連続性）を確保しつつ、近距離から遠距離まで広い範囲にわたり、高精度な分解能で、対象物までの情報をより早く取得することができる距離検出装置１００を提供することができる。

また、第２設定ステップでは、第１設定ステップで設定される測距範囲と一部が重複するように測距範囲が設定される。

これにより、第１距離画像と第２距離画像とにおいて、測距範囲が欠落してしまうことを抑制することができる。

また、第１測距ステップでは、Ａグループのサブフレーム群のそれぞれにおいて、ＡＰＤが検出したフォトンに対応する第１電圧信号を画素１２２ａの外部に出力する。第１距離検出ステップは、さらに、Ａグループのサブフレーム群のそれぞれにおいて、第１電圧信号に基づいて物体の有無を判定する第１判定ステップ（Ｓ６０）と、Ａグループのサブフレーム群のそれぞれの判定結果を合成することで、第１距離画像を生成する第１距離画像生成ステップ（Ｓ１００）とを含む。また、第２測距ステップでは、Ｂグループのサブフレーム群のそれぞれにおいて、ＡＰＤが検出したフォトンに対応する第２電圧信号を画素１２２ａの外部に出力する。第２距離検出ステップは、さらに、Ｂグループのサブフレーム群のそれぞれにおいて、第２電圧信号に基づいて物体の有無を判定する第２判定ステップ（Ｓ１６０）と、Ｂグループのサブフレーム群（例えば、第２距離画像群）のそれぞれの判定結果を合成することで、第２距離画像を生成する第２距離画像生成ステップ（Ｓ２００）とを含む。

これにより、当該処理を実行するための距離検出装置１００における画素１２２ａに追加する部品点数を削減することができるので、画素回路を微細化することができる。

また、第１距離画像生成ステップでは、第１判定ステップにおいて、１つの画素１２２ａに対して、Ａグループのサブフレーム群のうち２以上のＡグループのサブフレームで物体が有ると判定された場合、２以上のＡグループのサブフレームのうち、近距離側の測距範囲を測距したサブフレームの判定結果に基づいて、第１距離画像を生成する。また、第２距離画像生成ステップでは、第２判定ステップにおいて、１つの画素１２２ａに対して、Ｂグループのサブフレーム群のうち２以上のＢグループのサブフレームで物体が有ると判定された場合、２以上のＢグループのサブフレームのうち、近距離側の測距範囲を測距したサブフレームの判定結果に基づいて、第２距離画像を生成する。

これにより、距離検出方法が近距離の情報及び遠距離の情報のうち近距離の情報の方が重要である用途（例えば、自動車等）に用いられる場合に、当該用途に適した距離画像を生成することができる。

また、第１距離検出ステップ及び第２距離検出ステップは、さらに、画素１２２ａから出力された第１電圧信号に対して相関二重サンプリング処理を行い、保持するＣＤＳ処理ステップと、当該第１電圧信号の前に取得された第１電圧信号であって、相関二重サンプリング処理が行われ保持されている第１電圧信号を出力する出力ステップとを含む。そして、ＣＤＳ処理ステップと、出力ステップとは、並行して実行される。

これにより、１つのサブフレームにおける第１電圧信号のノイズ除去中に、１つの前に取得したサブフレームの第１電圧信号を読出すことができるので、さらにフレームレートを向上させることができる。

また、以上のように、距離検出装置１００は、ＡＰＤを有する画素１２２ａが二次元状に配置された画像センサ１２２（受光部の一例）と、画像センサ１２２を制御する制御部１３０とを備える。そして、制御部１３０は、第１フレームを分割した複数のサブフレームであってＡグループに含まれる複数のサブフレームのそれぞれに、互いに異なる測距範囲であって、かつ互いに距離連続性を有しない測距範囲を設定し、Ａグループのサブフレーム群のそれぞれにおいて、設定された測距範囲における測距を行うように画像センサ１２２（受光部の一例）を制御する。また、制御部１３０は、第１フレームの後の第２フレームを分割した複数のサブフレームであってＡグループとは異なるＢグループに含まれる複数のサブフレームのそれぞれに、第１フレームで設定されていない測距範囲を設定し、Ｂグループのサブフレーム群のそれぞれにおいて、設定された測距範囲における測距を行うように画像センサ１２２を制御する。

これにより、上記の距離検出方法と同様の効果を奏する。具体的には、距離検出装置１００によれば、距離画像を生成する見かけ上のフレームレートを向上させることができる。

また、例えば、画素１２２ａのそれぞれは、Ａグループのサブフレーム群のそれぞれ及びＢグループのサブフレーム群のそれぞれにおいて、ＡＰＤがフォトンを検出することで発生した電荷を積算する積算回路１２４と、Ａグループのサブフレーム群のそれぞれ及びＢグループのサブフレーム群のそれぞれにおいて、積算回路１２４が積算した電荷に基づく積算値に応じた検出積算値出力信号（電圧信号の一例）を出力する出力回路１２５とを有する。距離検出装置１００は、さらに、Ａグループのサブフレーム群のそれぞれ及びＢグループのサブフレーム群のそれぞれにおいて、出力回路１２５から出力された検出積算値出力信号に基づいて、当該サブフレームにおける物体の有無を判定する演算部１４０と、演算部１４０におけるＡグループのサブフレーム群のそれぞれにおける画素１２２ａごとの判定結果に基づいて第１フレームに対応する第１距離画像を生成し、演算部１４０におけるＢグループのサブフレーム群のそれぞれにおける画素１２２ａごとの判定結果に基づいて第２フレームに対応する第２距離画像を生成する合成部１６０とを有する。

これにより、上記の距離検出装置１００を実現するための画素１２２ａ（画素回路）を微細化することができる。

（実施の形態２）
［２−１．構成］
まず、本実施の形態に係る距離検出装置の構成について、図１１〜図１３を参照しながら説明する。図１１は、本実施の形態に係る距離検出装置２００の構成を示すブロック図である。図１２は、本実施の形態に係る画像センサ２２２の構成を示すブロック図である。図１３は、本実施の形態に係る画素２２２ａの構成を示す回路図である。なお、以下において、実施の形態１に係る距離検出装置１００との相違点を中心に説明し、同様の構成については同一の符号を付し、説明を省略又は簡略化する場合がある。

図１１に示すように、本実施の形態に係る距離検出装置２００は、実施の形態１に係る距離検出装置１００が備えるカメラ１２０に替えて、カメラ２２０を備える。また、本実施の形態に係る距離検出装置２００は、合成部１６０を備えていない。なお、図１２では、出力回路１２５は、図示を省略している。

図１２に示すように、画像センサ２２２は、実施の形態１に係る画像センサ１２２に加えて、比較回路２２５と、記憶回路２２６とを有する。以下、当該２つのブロックについて、図１３を参照しながら具体的な構成および機能を説明する。なお、ここで説明する具体的な構成は、一例を示したものであり、画素２２２ａの構成は、ここに記載したものに限定されない。例えば、同じような機能を有する他の構成であっても、本実施形態と同様の作用効果が得られる。

比較回路２２５は、積算回路１２４からの検出積算値と閾値とを比較し、検出積算値が閾値よりも大きい場合にＯＮとなる比較信号を記憶回路２２６のトランジスタＴＲ２２の制御端子（例えば、ゲート端子）に出力する。比較回路２２５は、コンデンサＣ２１、トランジスタＴ２１、及び、インバータＡＭＰ３を有する。

コンデンサＣ２１は、積算回路１２４から出力される信号（検出積算値）の直流成分を除去するための直流カットコンデンサである。コンデンサＣ２１は、積算回路１２４の出力端子とインバータＡＭＰ３の入力端子との間に接続されている。

トランジスタＴＲ２１は、インバータＡＭＰ３をイコライズするためのスイッチングトランジスタ（クランプトランジスタ）であり、インバータＡＭＰ３の入力端子と出力端子との間に接続されている。トランジスタＴＲ２１の制御端子（例えば、ゲート端子）に入力されるイコライズ信号ＥＱによって導通及び非導通が制御される。イコライズ信号ＥＱがＯＮすると、トランジスタＴＲ２１が導通し、インバータＡＭＰ３はイコライズされる。

インバータＡＭＰ３は、積算回路１２４によって生成された検出積算値に基づいて、比較信号を出力する。インバータＡＭＰ３の入力端子は、コンデンサＣ２１を介して積算回路１２４に接続され、インバータＡＭＰ３の出力端子は、トランジスタＴＲ２２の制御端子（例えば、ゲート端子）に接続されている。また、インバータＡＭＰ３は、電源（図示しない）に接続され、電源電圧として所定の電圧が供給されている。

例えば、インバータＡＭＰ３の入力電圧が上昇した場合に、インバータＡＭＰ３の出力電圧はローレベルになる。インバータＡＭＰ３の入力電圧は、積算回路１２４の電圧によって変化するので、ＡＰＤへのフォトンの入射の有無によって変化する。したがって、インバータＡＭＰ３は、フォトンの入射の有無によって信号レベルの異なる信号（比較信号）を出力する。例えば、電荷蓄積コンデンサＭＩＭ１の電圧が所定電圧以下に下がる（つまり、ＡＰＤへのフォトンの入射がある）と、比較信号がＯＮ状態になる。比較信号がＯＮするとは、ハイレベルの電圧値の信号が出力されることを意味する。

さらに、比較回路２２５は、制御部１３０からの制御により出力された検知基準信号（図１２参照）がＯＮのとき、積算回路１２４から入力された検出積算値に応じた閾値を設定することができるように構成されていてもよい。そして、比較回路２２５は、設定された閾値に対し、入力される検出積算値が大きい場合、出力信号である比較信号をＯＮ状態にする機能を有している。なお、比較回路２２５には、出力許可信号が入力されていてもよい。この場合、出力許可信号がＯＮの場合のみ、比較信号をＯＮ状態にするように構成される。

記憶回路２２６は、測距期間のそれぞれで出力値が変化する時間信号（例えば、比較回路２２５及び積算回路１２４による測距期間に対応する時間信号）を受けて、比較信号がＯＮ状態のときの当該時間信号を距離信号として記憶する。記憶回路２２６は、トランジスタＴＲ２２と、記憶コンデンサＭＩＭ２とを有する。具体的には、トランジスタＴＲ２２は、ドレインが、時間信号を印加するための端子に接続され、ソースが記憶コンデンサＭＩＭ２を介して負側電源ＶＳＳＡに接続されている。当該端子には、制御部１３０の制御により時間信号が印加される。時間信号は、距離信号に相当する信号（電圧）である。時間信号は、例えば、第ｋ測距期間（ｋは任意の自然数）に対して、ｋに１対１対応する電圧となるよう設定されている。つまり、時間信号は、測距期間のそれぞれに対して１対１対応する電圧となるよう設定されている。時間信号は、例えば、測距期間ごとに電圧がスイープするＲＡＭＰ波形の信号である。なお、トランジスタＴＲ２２は、例えば、Ｐ型のトランジスタである。また、記憶コンデンサＭＩＭ２は、画素２２２ａの回路に設けられ、時間信号電圧を記憶する記憶素子の一例である。

また、トランジスタＴＲ２２の制御端子（例えば、ゲート端子）には、比較回路２２５から出力された比較信号が入力される。これにより、比較信号がＯＮ状態となったとき、このタイミングにおける時間信号（つまり、電圧）が記憶コンデンサＭＩＭ２に記憶される。

出力回路１２５は、距離信号の電圧を増幅し、増幅された電圧信号を信号線ＳＬに出力する。出力回路１２５は、第１フレームの複数の測距期間における測距が終了した後、当該電圧信号を出力する。なお、第２フレームにおいても、同様である。

なお、合成部１６０は、演算部１４０により第１距離画像群および第２距離画像群のそれぞれにおいて、同一画素２２２ａの複数（２以上）の区間距離画像で対象物が有ると判定された場合、奥行方向の手前側の区間距離画像の判定結果を優先して選択してもよい。そして、出力部１７０は、複数の区間距離画像のうち選択された当該区間距離画像の画素２２２ａに色彩を付加してもよい。

［２−２．動作］
次に、上記のような距離検出装置２００における距離画像を生成する動作について説明する。まずは、距離検出装置２００における距離画像を生成する概略動作について、図１４及び１５を参照しながら説明する。図１４は、本実施の形態に係る距離検出装置２００の測定処理タイミングを示す図である。図１５は、本実施の形態に係る１フレームの距離画像を説明するための模式図である。

制御部１３０は、実施の形態１と同様、互いに異なる第１フレーム及び第２フレームにおいて、異なる測距範囲となるように第１フレーム及び第２フレームの測定範囲を決定する。そして、制御部１３０は、第１フレームを複数の測距期間に分割し、複数の測距期間のそれぞれに、互いに異なり、かつ互いに距離連続性を有しない測定範囲を設定する。図１４及び図１５では、第１フレームを５つの測距期間（第１測距期間、第３測距期間、第５測距期間、第７測距期間、及び、第９測距期間）に分割した場合について説明する。なお、図１４では、５つの測距期間うち、第１測距期間及び第３測距期間を図示している。

図１４に示すように、１フレームは、複数の測距期間と、１つの読出し期間とを有する。本実施の形態では、測距期間ごとに電圧信号の読出しが行われない。また、第１測距期間は、最も近距離の測距範囲を測距する測距期間である。

図１３及び図１５に示すように、第１測距期間では、信号レベル（電圧）がＺ１である時間信号がトランジスタＴＲ２２のドレインに入力されている。このとき、積算回路１２４からの検出積算値が閾値よりも大きい場合に、比較信号がＯＮ状態となる。比較信号がＯＮ状態となると、トランジスタＴＲ２２が非導通になるので、当該画素２２２ａが有する記憶回路２２６の記憶コンデンサＭＩＭ２にはそれまでトランジスタＴＲ２２のドレインに入力されていた信号レベルＺ１が記憶される。当該画素２２２ａにおける記憶コンデンサＭＩＭ２は、リセットされるまで当該信号レベルＺ１を保持する。なお、図１３では、記憶コンデンサＭＩＭ２をリセットするための回路構成は、図示を省略している。

図１５では、第１測距期間において、２つの画素２２２ａのトランジスタＴＲ２２が非導通となり、当該２つの画素２２２ａの記憶コンデンサＭＩＭ２に信号レベルＺ１が記憶されている例を示している。なお、信号レベルＺ１が記憶されているとは、当該測距期間に対応する測距範囲に物体が存在することを意味する。言い換えると、本実施の形態に係る画素２２２ａは、画素回路内において、物体があるか否かの判定を行うことができる。記憶コンデンサＭＩＭ２に記憶さている信号レベルＺ１は、物体までの距離を示す信号（距離信号）であるとも言える。また、図１５に示す「０」は、当該画素２２２ａにおいて、トランジスタＴＲ２２がＯＦＦになっていないことを意味する。

次に、第３測距期間の測距が行われる。第３測距期間は、第１フレームに含まれる複数の測距期間のうち、第１測距期間の測距範囲の次に測距範囲が近距離である測距期間である。制御部１３０は、例えば、複数の測距期間を、測距範囲が近距離である測距期間から順に測距するように、光源１１０及びカメラ１２０を制御する。

図１３及び図１５に示すように、第３測距期間は、信号レベル（電圧）がＺ３である時間信号がトランジスタＴＲ２２のドレインに入力されている。このとき、積算回路１２４からの検出積算値が閾値よりも大きい場合に、比較信号がＯＮ状態となる。比較信号がＯＮ状態となると、トランジスタＴＲ２２がＯＦＦとなるので、当該画素２２２ａが有する記憶回路２２６の記憶コンデンサＭＩＭ２にはそれまでトランジスタＴＲ２２のドレインに入力されていた信号レベルＺ３が記憶される。当該記憶コンデンサＭＩＭ２は、リセットされるまで当該信号レベルＺ３を保持する。

図１５では、第３測距期間において、２つの画素２２２ａのトランジスタＴＲ２２がＯＦＦされて、当該２つの画素２２２ａの記憶コンデンサＭＩＭ２に信号レベルＺ３が記憶されている例を示している。

なお、第１測距期間及び第３測距期間のそれぞれにおいて、同一の画素２２２ａのＡＰＤが、反射光を受光した場合について説明する。第１測距期間と第３測距期間との間では、電荷蓄積コンデンサＭＩＭ１のリセットは行われないものとする。第１測距期間において、ＡＰＤがフォトンに応じた電荷を生成し、当該電荷が電荷蓄積コンデンサＭＩＭ１に蓄積され、インバータＡＭＰ３からの比較信号がＯＮ状態となっているとする。そして、第３測距期間において、ＡＰＤがフォトンに応じた電荷を生成すると、当該電荷がさらに電荷蓄積コンデンサＭＩＭ１に蓄積されるが、当該電荷がさらに蓄積されてもインバータＡＭＰ３からの比較信号はＯＮ状態のままである。そのため、当該画素２２２ａにおけるトランジスタＴＲ２２は非導通のままであり、その結果、記憶コンデンサＭＩＭ２に記憶される信号レベルはＺ１のままである。このように、画素２２２ａは、測距範囲が近距離の信号レベル（判定結果の一例）を優先するように制御されてもよい。

具体的には、制御部１３０は、図８のステップＳ３０に対応する第１測距ステップでは、Ｃグループの複数の測距期間のうち、測距範囲が近距離である測距期間から順次測距を行うように、光源１１０及びカメラ２２０を制御する。また、制御部１３０は、図８のステップＳ１４０に対応する第２測距ステップでは、Ｄグループの複数の測距期間のうち、測距範囲が近距離である測距期間から順次測距を行うように、光源１１０及びカメラ２２０を制御する。

以降、同様に、第１フレームに含まれる第５測距期間、第７測距期間、及び、第９測距期間における測距が行われる。そして、第１フレームを構成する各測距期間の測距が終了すると、時間信号（距離信号）の読出しが行われる。つまり、複数の測距期間において取得した時間信号を、一回の読出し処理により読出す。例えば、測距期間ごとに読出し処理を行う場合に比べ、読出し期間に要する時間を短縮することができる。そして、演算部１４０は、時間信号の信号レベル（電圧）を距離に変換する。演算部１４０は、例えば、電圧と距離とが対応付けられたＬＵＴ（例えば、図１１の記憶部１５０が格納しているＬＵＴ）に基づいて、電圧を距離に変換することで、距離画像を生成する。

ここで、距離検出装置２００における距離画像を生成する動作について説明する。図１６は、本実施の形態に係る距離検出装置２００の距離画像生成処理の一例を示すフローチャートである。なお、以下に示すステップＳ５１０〜Ｓ５９０までの処理は、第１フレームにおいて、物体までの距離を検出する第１距離検出ステップの一例である。また、以下に示すステップＳ６００〜Ｓ６８０までの処理は、第２フレームにおいて、物体までの距離を検出する第２距離検出ステップの一例である。また、以下に示すステップＳ５１０は、設定ステップの一例であり、ステップＳ５２０〜Ｓ５８０は、第１距離画像群撮像ステップの一例であり、ステップＳ６００〜Ｓ６７０は、第２距離画像群撮像ステップの一例である。また、第１距離画像群撮像ステップ及び第２距離画像群撮像ステップは、撮像ステップに含まれる。なお、図１６に示すステップＳ５１０及びＳ６００はそれぞれ、図８に示すステップＳ１０及びＳ１００に対応しており、説明を簡略化する。

図１６に示すように、制御部１３０は、奥行方向に測距区間を分割する（Ｓ５１０）。分割数は、特に限定されない。ステップＳ５１０は、第１分割ステップの一例でもある。

そして、制御部１３０は、測距期間ごとに測距期間を割り当てる（Ｓ５２０）。測距期間は、測距区間の距離に応じて設定される。当該測距期間は、Ｃグループに含まれる。ステップＳ５２０は、第１設定ステップの一例である。なお、Ｃグループの測距期間は、ステップＳ５１０で設定された測距区間の一部の区間における期間である。

そして、制御部１３０は、Ｃグループの各測距期間ごとに距離画像の撮像を実行する。制御部１３０は、Ｃグループの複数の測距期間のそれぞれにおいて、設定された測距範囲における測距を行うように、光源１１０及びカメラ２２０を制御する。

そして、測距が実行されることで、各測距期間でフォトン入射による発生電荷を複数回積算する（Ｓ５３０）。積算された電荷を積算電荷Ｓ３とも記載する。ここでの距離画像を撮像することは、例えば、当該距離画像の積算電荷Ｓ３を取得することに相当する。なお、積算電荷Ｓ３は、図１２に示す検出積算値に対応する。また、積算電荷Ｓ３は、電荷蓄積コンデンサＭＩＭ１に蓄積される。このように、光源１１０が照射した照射光に基づく反射光がＡＤＰに入射すると、電荷蓄積コンデンサＭＩＭ１にＡＰＤがフォトンを検出することで発生した電荷（発生電荷）が蓄積される。ステップＳ５３０は、第１測距ステップの一例である。

そして、比較回路２２５は、Ｃグループの測距期間ごとに、蓄積された積算電荷Ｓ３と時間信号（例えば、ランプ電圧）とに基づいて、物体の有無を判定する（Ｓ５４０）。例えば、比較回路２２５は、積算電荷Ｓ３と時間信号とを比較する。そして、比較回路２２５は、積算電荷Ｓ３が時間信号より大きい場合（Ｓ５４０でＹｅｓ）、比較信号をＯＮする（Ｓ５５０）。比較信号がＯＮすることは、物体が有ることを示す。また、比較回路２２５は、積算電荷Ｓ３が時間信号以下である場合（Ｓ５４０でＮｏ）、ステップＳ５７０に進む。ステップＳ５４０は、第１判定ステップの一例である。

次に、記憶回路２２６は、Ｃグループの複数の測距期間のそれぞれで出力値が異なる時間信号における、比較信号がＯＮした時点の時間信号を第１距離信号として画素２２２ａ（具体的には、記憶コンデンサＭＩＭ２）に記憶する（Ｓ５６０）。具体的には、記憶コンデンサＭＩＭ２に当該第１距離信号が記憶される。当該第１距離信号は、当該画素２２２ａにおける距離の情報を含む。

そして、制御部１３０は、Ｃグループの全測距期間の時間信号を画素に記憶したか否かを判定する（Ｓ５７０）。合成部１６０は、制御部１３０がＣグループの全測距期間の時間信号を画素に記憶したと判定する（Ｓ５７０でＹｅｓ）と、画素２２２ａに記憶された時間信号（ランプ電圧）をリードする（Ｓ５８０）。これにより、演算部１４０は、第１フレームにおいて１回の読み出し動作で、各画素２２２ａの判定結果を取得することができる。

演算部１４０は、取得した時間信号（ランプ電圧）を距離情報に変換し、第１距離画像を生成する（Ｓ５９０）。ステップＳ５９０は、第１距離画像生成ステップの一例である。

なお、制御部１３０は、Ｃグループの全測距期間の判定が終了していないと判定する（Ｓ５７０でＮｏ）と、Ｓ５３０に戻りＣグループの全測距期間で判定が終了するまでステップＳ５３０〜Ｓ５６０の処理を継続する。

次に、第２フレームにおける第２距離画像を生成する処理が行われる。第２距離画像は、第１距離画像で測距されていなかった測距範囲を測距した結果に基づいて生成される画像である。

制御部１３０は、ステップＳ１０で設定した測距区間から、奥行方向に測距区間の分割位置（分割距離）をシフトさせる（Ｓ６００）。制御部１３０は、ステップＳ１０で設定した測距区間と位相の異なる測距区間を設定するとも言える。また、制御部１３０は、第２フレームを複数の測距区間に分割するとも言える。制御部１３０は、例えば、Ｃグループで設定していない非連続な測距範囲をＤグループの各測距区間として設定してもよい。ステップＳ６００は、第２分割ステップの一例でもある。なお、Ｄグループの測距期間は、ステップＳ６００でシフトされた測距区間における期間である。

そして、制御部１３０は、測距期間ごとに測距期間を割り当てる（Ｓ６１０）。当該測距期間は、Ｄグループに含まれる。ステップＳ６２０は、第２設定ステップの一例である。

そして、制御部１３０は、Ｄグループの各測距期間ごとに距離画像の撮像を実行する。制御部１３０は、Ｄグループの複数の測距期間のそれぞれにおいて、ステップＳ６１０で設定された測距範囲における測距を行うように、光源１１０及びカメラ２２０を制御する。

そして、カメラ２２０は、各測距期間でフォトン入射による発生電荷を複数回積算する（Ｓ６２０）。積算された電荷を積算電荷Ｓ４とも記載する。積算電荷Ｓ４は、図１２に示す検出積算値に対応する。また、積算電荷Ｓ４は、電荷蓄積コンデンサＭＩＭ１に蓄積される。ステップＳ６２０は、第２測距ステップの一例である。

そして、比較回路２２５は、Ｄグループの測距期間ごとに、蓄積された積算電荷Ｓ４と時間信号（例えば、ランプ電圧）とに基づいて、物体の有無を判定する（Ｓ６３０）。例えば、比較回路２２５は、積算電荷Ｓ４と時間信号とを比較する。そして、比較回路２２５は、積算電荷Ｓ４が時間信号より大きい場合（Ｓ６３０でＹｅｓ）、比較信号をＯＮする（Ｓ６４０）。また、比較回路２２５は、積算電荷Ｓ４が時間信号以下である場合（Ｓ６３０でＮｏ）、ステップＳ６６０に進む。ステップＳ６３０は、第２判定ステップの一例である。

次に、記憶回路２２６は、Ｄグループの複数の測距期間のそれぞれで出力値が異なる時間信号における、比較信号がＯＮした時点の時間信号を第１距離信号として画素２２２ａ（具体的には、記憶コンデンサＭＩＭ２）に記憶する（Ｓ６５０）。具体的には、記憶コンデンサＭＩＭ２に当該第１距離信号が記憶される。当該第１距離信号は、当該画素２２２ａにおける距離の情報を含む。

そして、制御部１３０は、Ｄグループの全測距期間の時間信号を画素に記憶したか否かを判定する（Ｓ６６０）。制御部１３０は、Ｄグループの全測距期間の時間信号を画素に記憶したと判定する（Ｓ６６０でＹｅｓ）と、画素２２２ａに記憶された時間信号（ランプ電圧）をリードする（Ｓ６７０）。これにより、演算部１４０は、第２フレームにおいて１回の読み出し動作で、各画素２２２ａの判定結果を取得することができる。

演算部１４０は、取得した時間信号（第１距離信号）を距離情報に変換し、第２距離画像を生成する（Ｓ６８０）。ステップＳ６８０は、第２距離画像生成ステップの一例である。

なお、制御部１３０は、Ｄグループの全測距期間の判定が終了していないと判定する（Ｓ６６０でＮｏ）と、Ｓ６２０に戻りＤグループの全測距期間で測距が終了するまでステップＳ６２０〜Ｓ６５０の処理を継続する。

なお、距離検出装置２００は、図１６に示すステップＳ５１０〜Ｓ６７０までの処理を繰り返し実行する。言い換えると、第１距離画像と第２距離画像とが交互に生成される。具体的には、制御部１３０は、第１距離画像と第２距離画像とを交互に生成するように、光源１１０及びカメラ２２０を制御する。そのため、出力部１７０は、第１距離画像と第２距離画像とを交互に出力することができる。

ここで、第１フレームで生成される第１距離画像、及び、第２フレームで生成される第２距離画像について、図１７Ａ〜図１７Ｃを参照しながら説明する。図１７Ａは、本実施の形態に係る第１距離画像の一例を説明するための模式図である。図１７Ｂは、本実施の形態に係る第１距離画像が生成される流れを模式的に示すフローチャートである。図１７Ｂは、図１６に示すステップＳ５３０〜Ｓ５８０の処理を示す。図１７Ｃは、本実施の形態に係る第２距離画像の一例を説明するための模式図である。図１７Ａ及び図１７Ｂでは、測距期間のそれぞれで検出された物体を図示している。

図１７Ａに示すように、第１距離画像群は、第１測距期間〜第１０測距期間それぞれの区間距離画像を含む。例えば、第１区間距離画像に対応する第１測距期間と第２区間距離画像に対応する第２測距期間とは、互いに連続する測距区間である。また、第１距離画像群における各測距期間は、互いに等しい測距期間（例えば、１ｍｓｅｃなど）であってもよい。なお、図１７Ａでは、ステップＳ５１０で設定された測距区間のうち、第１区間距離画像〜第１０区間距離画像に対応する測距区間までがＣフレームにおける測距区間として設定された例を示している。

図１７Ｂに示すように、画像センサ２２２は、まず第１測距期間〜第１０測距期間の撮像を行い（Ｓ７１０〜Ｓ７５０）、その後に読み出し期間となる（Ｓ７６０）。ステップＳ７１０は、第１測距期間におけるステップＳ５２０及びＳ５３０の処理に対応し、ステップＳ７２０は、第２測距期間におけるステップＳ５２０及びＳ５３０の処理に対応する。また、ステップＳ７１０は、第１区間距離画像撮像ステップの一例である。また、ステップＳ７１０は、第１測距期間における処理であり、ステップＳ７２０は、第２測距期間における処理である。また、ステップＳ７６０は、第１読み出し期間における処理である。

図１７Ｃに示すように、第２距離画像群は、第１測距期間〜第１０測距期間それぞれの区間距離画像を含む。例えば、第１区間距離画像に対応する第１測距区間と第２区間距離画像に対応する第２測距区間とは、互いに連続する測距区間である。また、第２距離画像群における各測距区間は、互いに等しい測距期間（例えば、１ｍｓｅｃなど）であってもよい。また、第２距離画像群における第１測距区間と第１距離画像群における第１測距区間とは、少なくとも一部が異なる期間である。言い換えると、第２距離画像群における第１測距期間と第１距離画像群における第１測距期間とは、少なくとも一部が重なる期間である。

このように、互いの測距期間の少なくとも一部もが重なるように第１距離画像群及び第２距離画像群の測距期間が設定されることで、例えば、第１距離画像群及び第２距離画像群の一方で測距が正確に行えていなくても、他方の測距で補えることができる。つまり、測定精度が向上する。また、測距期間を距離画像群ごとに変更することで、分解能を低下させることなく、近距離から遠距離までの広い範囲を測定することが可能である。

なお、第２距離画像群の第１測距期間は、第１距離画像群の各測距期間のいずれか１つと少なくとも一部が重なっていてもよい。

ここで、各距離画像群のそれぞれにおける測距区間の設定について、図１８Ａ及び図１８Ｂを参照しながら説明する。図１８Ａは、本実施の形態に係る第１距離画像の他の一例を説明するための模式図である。図１８Ｂは、本実施の形態に係る第２距離画像の他の一例を説明するための模式図である。なお、図１８Ａ及び図１８Ｂでは、Ｃグループ及びＤグループの各測距期間を互いに非連続な測距期間に設定している場合を示している。

図１８Ａに示すように、第１距離画像群は、第１測距期間〜第１０測距期間のそれぞれにおける区間距離画像を含む。例えば、第１区間距離画像に対応する第１測距期間と第２区間距離画像に対応する第２測距期間とは、互いに連続しない測距期間である。

図１８Ｂに示すように、第２距離画像群は、第１測距期間〜第１０測距期間のそれぞれにおける区間距離画像を含む。例えば、第１区間距離画像に対応する第１測距期間と第２区間距離画像に対応する第２測距期間とは、互いに連続しない測距期間である。

このように、距離連続性を有しない測距範囲に対応した測距期間が設定されてもよい。つまり、時間連続性を有しない測距期間が設定されてもよい。

図１８Ａ及び図１８Ｂに示すように、実施の形態１と同様に、第１距離画像及び第２距離画像は、互いに欠落した測距範囲を補うような画像であってもよい。このような第１距離画像は、距離検出装置２００が測定可能な測距期間の範囲のうち、所定の測距期間（例えば、１ｍｓｅｃ）で、かつ当該所定の測距期間（例えば、１ｍｓｅｃ）ごとに測距された結果に基づいて生成される。

ここで、各測距期間を１ｍｓｅｃ、読出し期間が３．３ｍｓｅｃとする。本実施の形態では、第１フレーム及び第２フレームはそれぞれ１０個の測距期間で構成されるので、１フレームのフレーム速度は１３．３ｍｓｅｃ（フレームレートは７５ｆｐｓ）である。一方、比較例として、１フレームで２０個の測距期間の全てを測距すると、１フレームのフレーム速度は２３．３ｍｓｅｃ（フレームレート４３ｆｐｓ）となる。よって、本実施の形態によれば、見かけ上のフレームレートを向上させることができる。

［２−３．効果など］
以上のように、距離検出装置２００が備える画像センサ２２２は、第１距離画像群および第２距離画像群のそれぞれにおいて、ＡＰＤを有する画素２２２ａが検出したフォトン数に対応する画素信号の電圧が閾値を超えると、距離画像に対応した時間信号電圧を画素２２２ａの回路内の記憶素子（例えば、記憶コンデンサＭＩＭ２）に記憶する構成を有する。出力部１７０は、記憶素子に記憶した時間信号電圧が置き換えられた距離画像を含む、第１距離画像群および第２距離画像群のそれぞれに設定された互いに異なる色彩を付加する。

これにより、画素２２２ａの外部（例えば、演算部１４０等の処理部）における信号処理量を軽減することができるので、距離画像を生成するフレームレートを向上させることができる。つまり、対象物までの情報をさらに早く取得することができる。

以上のように、距離検出方法は、ＡＰＤ（Ａｖａｌａｎｃｈｅ Ｐｈｏｔｏ Ｄｉｏｄｅ）を有する画素２２２ａを二次元状に配置した距離検出装置２００における距離検出方法である。記距離検出方法は、第１フレームにおいて、対象物までの距離を検出する第１距離検出ステップ（Ｓ５１０〜Ｓ５９０）と、第１フレームの後の第２フレームにおいて、対象物までの距離を検出する第２距離検出ステップ（Ｓ６００〜Ｓ６８０）とを含む。第１距離検出ステップは、第１フレームを分割した複数の測距区間であってＣグループに含まれる複数の測距区間のそれぞれに、互いに異なる測距期間であって、かつ互いに距離連続性を有しない測距範囲に対応した測距期間を設定する第１設定ステップ（Ｓ５２０）と、Ｃグループの複数の測距期間のそれぞれにおいて、第１設定ステップで設定された測距期間における測距を行う第１測距ステップ（Ｓ５３０）とを含む。第２距離検出ステップは、第２フレームを分割した複数の測距区間であってＣグループとは異なるＤグループに含まれる複数の測距区間のそれぞれに、第１設定ステップで設定されていない測距期間を設定する第２設定ステップ（Ｓ６１０）と、Ｄグループの複数の測距期間のそれぞれにおいて、第２設定ステップで設定された測距期間における測距を行う第２測距ステップ（Ｓ６２０）とを含む。

第１測距ステップは、Ｃグループの複数の測距期間のそれぞれにおいて、ＡＰＤがフォトンを検出することで発生した電荷を積算電荷Ｓ３（第１積算電荷の一例）として蓄積し（Ｓ５３０）、積算電荷Ｓ３とＣグループの複数の測距期間のそれぞれで出力値が異なる時間信号とを比較し（Ｓ５４０）、積算電荷Ｓ３が時間信号よりも大きい場合にＯＮとなる比較信号を出力し（Ｓ５５０）、画素２２２ａのそれぞれが、比較信号がＯＮした時点の時間信号を記憶し（Ｓ５６０）、Ｃグループの複数の測距期間のそれぞれの測距の後に、記憶された時間信号を画素２２２ａの外部に出力する（Ｓ５８０）。そして、第１距離検出ステップは、さらに、複数の画素２２２ａのそれぞれにおける時間信号に基づいて、第１距離画像を生成する第１距離画像生成ステップ（Ｓ５９０）を含む。

また、第２測距ステップは、Ｄグループの複数の測距期間のそれぞれにおいて、ＡＰＤがフォトンを検出することで発生した電荷を積算電荷Ｓ４（第２積算電荷の一例）として蓄積し（Ｓ６２０）、積算電荷Ｓ４とＤグループの複数の測距期間のそれぞれで出力値が異なる時間信号とを比較し（Ｓ６３０）、積算電荷Ｓ４が時間信号よりも大きい場合にＯＮとなる比較信号を出力し（Ｓ６４０）、画素２２２ａのそれぞれが、比較信号がＯＮした時点の時間信号を記憶し（Ｓ６５０）、Ｄグループの複数の測距期間のそれぞれの測距の後に、記憶された時間信号を画素２２２ａの外部に出力する（Ｓ６７０）。そして、第２距離検出ステップは、さらに、複数の画素２２２ａのそれぞれにおける時間信号に基づいて、第２距離画像を生成する第２距離画像生成ステップ（Ｓ６８０）を含む。

これにより、画素２２２ａの外部（例えば、演算部１４０等の処理部）における信号処理量を軽減することができるので、距離検出装置２００のシステムを簡単化できる。

また、第１測距ステップでは、Ｃグループの複数の測距期間のうち、測距範囲が近距離である測距期間から順次測距を行い、第２測距ステップでは、Ｄグループの複数の測距期間のうち、測距範囲が近距離である測距期間から順次測距を行う。

これにより、近距離の情報及び遠距離の情報のうち近距離の情報を優先して、距離画像を生成することができる。よって、上記の距離検出方法が近距離の情報の方が重要である用途（例えば、自動車等）に用いられる場合に、当該用途に適した距離画像を生成することができる。

また、以上のように、距離検出装置２００の画素２２２ａのそれぞれは、画素２２２ａのそれぞれは、ＡＰＤがフォトンを検出することで発生した電荷を積算する積算回路１２４と、積算回路１２４に積算された積算電荷とＣグループ及びＤグループの複数の測距期間のそれぞれで出力値が異なる時間信号とを比較し、積算電荷が時間信号よりも大きい場合にＯＮとなる比較信号を出力する比較回路２２５と、比較信号がＯＮした時点の時間信号を記憶する記憶回路２２６と、Ｃグループの複数の測距期間のそれぞれにおける測距が終了した後、及び、Ｄグループの複数の測距期間のそれぞれにおける測距が終了した後のそれぞれで、記憶回路２２６に記憶された時間信号を出力する出力回路１２５とを有する。そして、距離検出装置２００は、さらに、第１フレームにおいて出力された時間信号に基づいて第１距離画像を生成し、第２フレームにおいて出力された時間信号に基づいて第２距離画像を生成する演算部１４０を備える。

これにより、演算部１４０における信号処理量を軽減することができるので、距離検出装置２００のシステムを簡単化できる。

（その他の実施の形態）
以上、本開示の実施の形態に係る距離検出方法及び距離検出装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、又は異なる実施の形態における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。

例えば、上記実施の形態等では、第１フレーム及び第２フレームを構成する複数のサブフレーム及び測距期間のそれぞれの測距範囲のピッチ（間隔）が等しい（すなわち、露光期間が等しい）例について説明したが、測距離範囲のピッチは異なっていてもよい。

また、上記実施の形態等では、制御部は、１フレームを構成する複数のサブフレーム及び測距期間のそれぞれに、互いに非連続な測距範囲を設定する例について説明したが、これに限定されない。制御部は、例えば、複数のサブフレーム及び測距期間のうち少なくとも２つのサブフレーム及び測距期間において、互いに非連続な測距範囲を設定すればよい。

また、上記実施の形態等では、制御部は、近距離から遠距離に向けて順次測距するように光源及びカメラを制御する例について説明したが、これに限定されない。制御部は、例えば、遠距離から近距離に向けて順次測距するように光源及びカメラを制御してもよい。

また、上記実施の形態等では、出力部は、距離検出装置の外部の装置に距離画像を出力する例について説明したが、これに限定されない。距離検出装置が表示部を備えている場合、出力部は距離画像を当該表示部に出力してもよい。

また、上記実施の形態等に記載した距離検出装置が用いられる用途は、特に限定されない。距離検出装置は、自動車、船舶などの移動体、監視カメラ、自身の位置を確認しながら自律的に移動するロボット、物体の３次元形状を計測する３次元計測装置などに用いられてもよい。

上記のような制御部、演算部、合成部等の処理部を構成する各構成要素は、専用のハードウェアで構成されてもよく、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。この場合、各構成要素は、例えば、演算処理部（図示せず）と、制御プログラムを記憶する記憶部（図示せず）とを備えてもよい。演算処理部としては、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等が例示される。記憶部としては、半導体メモリなどのメモリ等が例示される。なお、各構成要素は、集中制御を行う単独の要素で構成されてもよく、互いに協働して分散制御を行う複数の要素で構成されてもよい。ソフトウェアプログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信等で提供されるものであってもよい。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

本開示の固体撮像素子は、車載カメラ等、被写体が動く（例えば、高速で動く）ような環境下で有効なＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）画像センサ等に利用できる。

１００、２００ 距離検出装置
１１０ 光源
１１１ 発光部
１１２ 駆動部
１２０、２２０ カメラ
１２１ レンズ
１２２、２２２ 画像センサ（受光部）
１２２ａ、２２２ａ 画素
１２３ 受光回路
１２４ 積算回路
１２５ 出力回路
１２６ ＣＤＳ回路
１２７ ＡＤＣ回路
１３０ 制御部
１４０ 演算部
１５０ 記憶部
１６０ 合成部
１７０ 出力部
２２５ 比較回路
２２６ 記憶回路
ＡＭＰ１、ＡＭＰ３ インバータ
ＡＭＰ２ 出力部
Ｃ１、Ｃ２、Ｃ２１ コンデンサ
ＣＤＳ１ 第１のＣＤＳ回路
ＣＤＳ２ 第２のＣＤＳ回路
ＣＤＳＯＵＴ アナログ信号、出力信号
ＣＮＴ 積算信号
ＦＤ フローティングディフュージョン
ＭＩＭ１ 電荷蓄積コンデンサ
ＭＩＭ２ 記憶コンデンサ
ＯＶＦ、ＲＳＴ リセット信号
ＳＥＬ 行選択信号
ＳＬ 信号線
ＴＲ１〜ＴＲ１０、ＴＲ２１、ＴＲ２２ トランジスタ
ＴＲＮ 読出信号
ＶＳＳＡ 負側電源
ＶＳＵＢ、ＲＳＤ、ＶＤＤ 電源

Claims (11)

1. 奥行方向に複数の距離分割区間を設定する設定ステップと、
   設定された前記複数の距離分割区間に基づいて距離画像を取得する撮像ステップとを含み、
   前記撮像ステップは、
   前記複数の距離分割区間の一部を撮像した複数の距離画像を取得する第１距離画像群撮像ステップと、
   前記複数の距離分割区間の前記一部と位相の異なる距離分割区間を撮像した複数の距離画像を取得する第２距離画像群撮像ステップと、を含む
   距離画像の取得方法。
2. 前記複数の距離分割区間は、前記奥行方向に連続性を有する
   請求項１に記載の距離画像の取得方法。
3. 前記複数の距離分割区間は、前記奥行方向に連続性を有しない
   請求項１に記載の距離画像の取得方法。
4. 前記第１距離画像群撮像ステップに含まれる２以上の距離分割区間と、前記第２距離画像群撮像ステップに含まれる２以上の距離分割区間とは、互いに半区間ずれている
   請求項１〜３のいずれか１項に記載の距離画像の取得方法。
5. 前記撮像ステップは、Ｎ（３以上の整数）回以上の距離画像群撮像ステップで構成され、それぞれの距離画像群撮像ステップに含まれる２以上の距離分割区間は、１／Ｎ区間ずれている
   請求項１〜３のいずれか１項に記載の距離画像の取得方法。
6. 前記設定ステップで設定される前記複数の距離分割区間は、前記奥行方向の手前側の区間が前記奥行方向の奥側の区間より狭い距離範囲に設定される
   請求項１〜５のいずれか１項に記載の距離画像の取得方法。
7. ＡＰＤ（Ａｖａｌａｎｃｈｅ Ｐｈｏｔｏ Ｄｉｏｄｅ）を有する画素が二次元状に配置された画像センサと、
   撮像する対象物に向けて照射光を発光する光源と、
   前記画像センサで撮像した画像を処理する演算部と、
   前記光源、前記画像センサおよび前記演算部を制御する制御部と、
   前記演算部で処理した画像を合成する合成部と、
   合成された画像に所定の情報を付加して出力する出力部とを備え、
   前記制御部は、
   奥行方向に複数の距離分割区間を設定し、
   前記光源、前記画像センサおよび前記演算部を制御することで、設定された前記複数の距離分割区間の一部を撮像した複数の距離画像である第１距離画像群を取得し、かつ、前記複数の距離分割区間の前記一部と位相の異なる距離分割区間を撮像した複数の距離画像である第２距離画像群を取得する
   距離検出装置。
8. 前記画像センサは、前記第１距離画像群および前記第２距離画像群の取得のそれぞれにおいて、前記画素が検出したフォトン数に対応する画素信号を前記画素の回路内に設けた記憶素子に画素電圧として記憶し、記憶された前記画素電圧を前記演算部に読み出す構成を有し、
   前記演算部は、前記第１距離画像群および前記第２距離画像群の取得のそれぞれにおいて、前記画素電圧の大きさが閾値を超えると、当該距離画像に対象物が有ると判定し、
   前記合成部は、前記第１距離画像群および前記第２距離画像群のそれぞれから、３次元化距離画像を生成し、
   前記出力部は、前記第１距離画像群および前記第２距離画像群のそれぞれに設定された互いに異なる色彩を前記３次元化距離画像に付加する
   請求項７に記載の距離検出装置。
9. さらに、前記画素から読み出した画素信号をノイズ除去後に前記画像センサから出力する相関二重サンプリング回路を有し、
   前記相関二重サンプリング回路は、前記二次元状に配置された画素のうちｎ行目の前記画素の画素信号をノイズ除去している期間に、ｎ−１行目の前記画素の画素信号であって当該期間の前にノイズ除去が完了した画素信号を出力する
   請求項７に記載の距離検出装置。
10. 前記画像センサは、前記第１距離画像群および前記第２距離画像群のそれぞれにおいて、前記ＡＰＤを有する画素が検出したフォトン数に対応する画素信号の電圧が閾値を超えると、距離画像に対応した時間信号電圧を前記画素の回路内の記憶素子に記憶する構成を有し、
    前記出力部は、前記記憶素子に記憶された時間信号電圧が置き換えられた距離画像を含む、前記第１距離画像群および前記第２距離画像群のそれぞれに設定された互いに異なる色彩を付加する
    請求項７に記載の距離検出装置。
11. 前記合成部は、前記演算部により前記第１距離画像群および前記第２距離画像群のそれぞれにおいて、同一画素において複数の距離画像で対象物が有ると判定された場合、前記奥行方向の手前側の距離画像の判定結果を優先して選択し、
    前記出力部は、選択された当該距離画像に前記色彩を付加する
    請求項８又は１０に記載の距離検出装置。

Images