WO2022163768A1

WO2022163768A1 - 距離画像撮像装置及び距離画像を撮像する方法

Info

Publication number: WO2022163768A1
Application number: PCT/JP2022/003139
Authority: WO
Inventors: 祥二川人; ジュヨンキム
Original assignee: 国立大学法人静岡大学; 株式会社ブルックマンテクノロジ
Priority date: 2021-01-28
Filing date: 2022-01-27
Publication date: 2022-08-04
Also published as: US20230367019A1; JP2022115580A

Abstract

距離画像撮像装置は、光源と、受けた光に対応する電荷を生成するフォトダイオードと、画素回路部の動作を制御する周辺回路４、を備える。周辺回路は、第１浮遊拡散部に蓄積される第１電荷量と第２浮遊拡散部に蓄積される第２電荷量との大小関係に基づいて、第１転送制御パルス及び第２転送制御パルスを生成する。

Description

距離画像撮像装置及び距離画像を撮像する方法

　本発明は、距離画像撮像装置及び距離画像を撮像する方法に関する。

　距離画像撮像装置は、距離画像を出力する。距離画像は、撮像対象物までの距離情報を有する。距離画像撮像装置は、測定光を撮像対象物に出射する。測定光は、撮像対象物において反射された後に、再び距離画像撮像装置に入射する。測定光を出射したタイミングと撮像対象物からの反射光が入射したタイミングとを利用すると、距離画像撮像装置から撮像対象物へ測定光が到達するために要した時間がわかる。この時間は、光飛行時間とも称する。光飛行時間と光の速度とを利用すると、距離画像撮像装置から撮像対象物までの距離がわかる。このような距離測定の手法は、タイムオブフライト測定法（ＴＩＭＥ　ＯＦ　ＦＬＩＧＨＴ）と呼ばれている。タイムオブフライト測定法に基づく距離画像測定装置は、ＴＯＦセンサとも称される。特許文献１～５は、ＴＯＦセンサに関する技術を開示する。

　ＴＯＦセンサには、いわゆる直接型ＴＯＦセンサと間接型ＴＯＦセンサがある。直接型ＴＯＦセンサは、光飛行時間を直接に測定する。例えば、特許文献６、７は、直接型ＴＯＦセンサに関する技術を開示する。間接型ＴＯＦセンサは、反射光により生成される電荷を複数の領域に時間ごとに振り分ける。そして、間接型ＴＯＦセンサは、領域ごとに蓄積された電荷の比率を利用して、光飛行時間を得る。例えば、特許文献８～１０は、間接型ＴＯＦセンサに関する技術を開示する。間接型ＴＯＦセンサは、直接型ＴＯＦセンサと比べると、画素サイズが小さくできること、回路を単純にできること、距離の分解能が高いといったいくつかの有利な点を有する。

特開２０１９－０８２３３１号公報特開２０１６－０９０４３６号公報再表２０１６／０７５８８５号公報特開２００８－０７６３９０号公報特開平０６－０６６９４０号公報特開平０７－１９１１４４号公報特開平０８－３１３６３１号公報国際公開第２０１９／０７８３６６号国際公開第２０１９／０３１５１０号国際公開第２０１６／１３３０５３号

　間接型ＴＯＦセンサの性能を示す指標には、距離の分解能、及び距離と出力信号との線形性などが挙げられる。間接型ＴＯＦセンサの技術分野では、分解能及び線形性といった指標を含む総合的な性能の向上が望まれている。例えば、距離の分解能を高めるためには、測定光の照射時間を短くすればよい。つまり、短いパルス状の測定光を測定対象物に照射すればよい。より短いパルスを用いることは、距離分解能を改善するために有効である。しかし、画素のソースフォロワ増幅器の非線形性、光パルスの波形の歪、フォトダイオード内の有限な光キャリア応答時間、復調のための転送制御パルスの歪、及び、転送制御パルスのスキューなどが、解決すべき課題となってくる。その結果、線形性が損なわれる可能性がある。つまり、ある特性を向上させようとすると、別の特性を低下させてしまうことがある。そこで、発明者らは、間接型ＴＯＦセンサについて総合的に性能を向上することが可能な技術の検討を行った。

　本発明は、総合的な性能の向上が可能な距離画像撮像装置及び距離画像を撮像する方法を提供する。

　本発明の一形態である距離画像撮像装置は、パルス光を発生させる光源と、受けた光に対応する電荷を生成する複数の画素回路部を含む画素回路部アレイと、画素回路部アレイの動作を制御する転送制御パルスを画素回路部アレイに提供する周辺回路と、を備える。画素回路部は、光を電荷に変換する光電変換領域と、光電変換領域から転送された電荷を第１電荷として蓄積する第１電荷読出領域と、光電変換領域から第１電荷読出領域への電荷の転送を制御する第１転送制御パルスを受ける第１制御電極と、光電変換領域から転送された電荷を第２電荷として蓄積する第２電荷読出領域と、光電変換領域から第２電荷読出領域への電荷の転送を制御する第２転送制御パルスを受ける第２制御電極と、を有する。周辺回路は、第１電荷読出領域に蓄積される第１電荷の量と第２電荷読出領域に蓄積される第２電荷の量との大小関係に基づいて、第１転送制御パルス及び第２転送制御パルスを生成する。

　距離画像撮像装置は、光飛行時間に関する電荷量の差分から得た演算値に基づいて、転送制御パルスのタイミングを制御する。その結果、電荷読出領域ごとの電荷量の偏りを小さくすることが可能になる。従って、距離画像撮像装置は、総合的な性能が向上する。

　周辺回路は、第１電荷に基づく第１電圧と第２電荷に基づく第２電圧との差分に関する演算値を出力する第１演算部と、第１転送制御パルスおよび第２転送制御パルスを出力するタイミングを決定するための遅延時間を、演算値を用いて決定する第２演算部と、を有してもよい。周辺回路は、第１電荷及び第２電荷を蓄積する蓄積動作と、第１演算部の動作と、第２演算部の動作と、を繰り返してもよい。この構成によっても、電荷読出領域ごとの電荷量の偏りを小さくすることが可能になる。その結果、距離画像撮像装置は、総合的な性能が向上する。

　第２演算部は、第ｎ回目の第２演算部の動作において、演算値が第１情報であるときに、第ｎ回目の蓄積動作のために用いた第ｎ回目の遅延時間を、さらに単位遅延時間だけ遅らせたものを、第ｎ＋１回目の蓄積動作のために用いる第ｎ＋１回目の遅延時間として決定してもよい。この動作によれば、電荷量の偏りを抑制できる。

　第２演算部は、第ｎ回目の第２演算部の動作において、演算値が第１情報であるときに制御変数に１を加える動作を行うカウンタと、制御変数と単位遅延時間とを乗算して得た値を、第ｎ＋１回目の蓄積動作のために用いる第ｎ＋１回目の遅延時間として決定する遅延時間決定部と、を有してもよい。この構成によれば、電荷量の偏りを抑制できる。

　第１演算部は、第１電圧と第２電圧との差分を差分電圧として出力した後に、第１回目から第ｍ－１回目までの差分電圧の積分値に第ｍ回目の差分電圧を加算した結果を、第ｍ回目の差分電圧の積分値として求めてもよい。第２演算部は、第ｍ回目の積分値が第２情報であるときに、第ｎ＋１回目の蓄積動作のために用いる第ｎ＋１回目の遅延時間を第１遅延時間として決定し、第ｍ回目の積分値が第１情報であるときに、第ｍ＋１回目の遅延時間を第２遅延時間として決定してもよい。この動作によれば、単位遅延時間に起因する誤差が抑制された光飛行時間を得ることができる。

　第１演算部は、第１回目から第ｍ－１回目までの差分電圧の積分値に第ｍ回目の差分電圧を加算した結果を、第ｍ回目の積分値として求める積分器を有してもよい。第２演算部は、第ｍ回目の積分値が第２情報であるときに第ｍ＋１回目の遅延時間として第１遅延時間を決定し、第ｍ回目の積分値が第１情報であるときに第ｍ＋１回目の遅延時間として第２遅延時間を決定する遅延時間決定部を有してもよい。この構成によれば、単位遅延時間に起因する誤差が抑制された光飛行時間を得ることができる。

　距離画像撮像装置は、第１演算部が出力する演算値をデジタル信号に変換し、デジタル信号を第２演算部に出力すると共に、第１演算部及び第２演算部と協働してデルタシグマ変調器を構成するＡ／Ｄ変換器と、蓄積動作、第１演算部の動作、Ａ／Ｄ変換器の動作及び第２演算部の動作が繰り返されるごとに、Ａ／Ｄ変換器が出力するデジタル信号を受け、デジタル信号に対してローパスフィルタ処理とダウンサンプリングとを行うデシメーションフィルタをさらに備えてもよい。

　デシメーションフィルタのローパスフィルタ処理のオーバーサンプリング比は、２^Ｂ―１より大きく２^Ｂより小さい整数であってもよい。Ｂはオーバーサンプリング比を表現可能な最小ビット数であってもよい。

　周辺回路は、第１電荷及び第２電荷を蓄積する蓄積動作と、第２演算部が、第ｎ回目の第２演算部の動作において、演算値が第１情報であるときに、第ｎ回目の蓄積動作のために用いた第ｎ回目の遅延時間を、さらに単位遅延時間だけ遅らせたものを、第ｎ＋１回目の蓄積動作のために用いる第ｎ＋１回目の遅延時間として決定する動作と、を含む処理を繰り返す第１測定と、蓄積動作と、第１演算部が、第１電圧と第２電圧との差分を差分電圧として出力した後に、第１回目から第ｍ－１回目までの差分電圧の積分値に第ｍ回目の差分電圧を加算した結果を、第ｍ回目の差分電圧の積分値として求める動作と、第２演算部が、第ｍ回目の積分値が第２情報であるときに第ｍ＋１回目の遅延時間として第１遅延時間を決定し、第ｍ回目の積分値が第１情報であるときに第ｍ＋１回目の遅延時間として第２遅延時間を決定する動作と、を含む処理を繰り返す第２測定と、を行ってもよい。この動作によるループによれば、第１測定でおおよその光飛行時間を測定できる。第１測定の結果を利用して、第２測定で精密な光飛行時間を測定することができる。

　第１演算部は、第１回目から第ｍ－１回目までの差分電圧の積分値に第ｍ回目の差分電圧を加算した結果を求める積分器を含んでもよい。第２演算部は、第ｎ回目の第２演算部の動作において、演算値が第１情報であるときに制御変数に１を加える動作を行うカウンタと、制御変数と単位遅延時間とを乗算して得た値を、第ｎ＋１回目の蓄積動作のために用いる第ｎ＋１回目の遅延時間として決定する動作、又は、第ｍ回目の積分値が第２情報であるときに第ｍ＋１回目の遅延時間として第１遅延時間を決定し、第ｍ回目の積分値が第１情報であるときに第ｍ＋１回目の遅延時間として第２遅延時間を決定する動作を選択的に実行する遅延時間決定部と、を有してもよい。この構成によるループによれば、第１測定でおおよその光飛行時間を測定できる。第１測定の結果を利用して、第２測定で精密な光飛行時間を測定することができる。

　第１演算部は、第１電圧と第２電圧との差分を差分電圧として出力する差動増幅器を含んでもよい。差動増幅器は、第１入力端、第２入力端、第３入力端、第１出力端及び第２出力端を有する演算増幅器と、第１電荷読出領域から第１電荷を受けると共に、第１入力端及び第１出力端に接続された帰還キャパシタと、第２電荷読出領域から第２電荷を受けると共に、第２入力端及び第２出力端に接続された帰還キャパシタと、第３入力端、第１出力端及び第２出力端に接続され、第１出力端からの出力値と、第２出力端からの出力値と、の差分がコモン電圧と等しくなるように、第３入力端に信号を提供するコモンモード帰還制御部と、を含んでもよい。

　本発明の別の形態である距離画像撮像装置を用いて距離画像を撮像する方法は、第１制御電極に与えられる第１転送制御パルスに基づいて第１電荷読出領域に第１電荷を蓄積すると共に、第２制御電極に与えられる第２転送制御パルスに基づいて第２電荷読出領域に第２電荷を蓄積する電荷蓄積工程と、第１電荷の量と第２電荷の量との大小関係に基づいて、第１転送制御パルス及び第２転送制御パルスを生成するパルス生成工程と、を有する。

　距離画像を撮像する方法によれば光飛行時間に関する電荷量の差分から得た演算値に基づいて、転送制御パルスのタイミングを制御する。その結果、電荷読出領域ごとの電荷量の偏りを小さくすることが可能になる。従って、距離画像撮像装置を用いて距離画像を撮像する方法は、総合的な性能が向上する。

　パルス生成工程は、第１電荷に基づく第１電圧と第２電荷に基づく第２電圧との差分に関する演算値を出力する演算工程と、第１転送制御パルスおよび第２転送制御パルスを出力するタイミングを決定するための遅延時間を、演算値を用いて決定する遅延時間決定工程と、を含んでもよい。電荷蓄積工程及びパルス生成工程を繰り返してもよい。この方法によれば、電荷量の偏りを抑制できる。

　遅延時間決定工程は、第ｎ回目の演算工程において、演算値が第１情報であるときに、第ｎ回目の電荷蓄積工程のために用いた第ｎ回目の遅延時間を、さらに単位遅延時間だけ遅らせたものを、第ｎ＋１回目の電荷蓄積工程のために用いる第ｎ＋１回目の遅延時間として決定する工程を含んでもよい。この方法によれば、電荷量の偏りを抑制できる。

　遅延時間決定工程は、第１電圧と第２電圧との差分を差分電圧として出力した後に、第１回目から第ｍ－１回目までの差分電圧の積分値に第ｍ回目の差分電圧を加算した結果を、第ｍ回目の差分電圧の積分値として求める工程と、第ｍ回目の積分値が第２情報であるときに、第ｍ＋１回目の電荷蓄積工程のために用いる第ｍ＋１回目の遅延時間を第１遅延時間として決定し、第ｍ回目の積分値が第１情報であるときに、第ｍ＋１回目の遅延時間を第２遅延時間として決定する工程と、を含んでもよい。この方法によれば、単位遅延時間に起因する誤差が抑制された光飛行時間を得ることができる。

　遅延時間決定工程は第ｎ回目の演算工程において、演算値が第１情報であるときに、第ｎ回目の電荷蓄積工程のために用いた第ｎ回目の遅延時間を、さらに単位遅延時間だけ遅らせたものを、第ｎ＋１回目の電荷蓄積工程のために用いる第ｎ＋１回目の遅延時間として決定する工程と、第１電圧と第２電圧との差分を差分電圧として出力した後に、第１回目から第ｍ－１回目までの差分電圧の積分値に第ｍ回目の差分電圧を加算した結果を、第ｍ回目の差分電圧の積分値として求める工程と、第ｍ回目の積分値が第２情報であるときに、第ｍ＋１回目の電荷蓄積工程のために用いる第ｍ＋１回目の遅延時間を第１遅延時間とし、第ｍ回目の積分値が第１情報であるときに、第ｍ＋１回目の遅延時間を第２遅延時間として決定する工程と、を含んでもよい。この方法によるループによれば、おおよその光飛行時間を測定でき、その結果をもって精密な光飛行時間を測定することができる。

　本発明の距離画像撮像装置及び距離画像を撮像する方法は、総合的な性能の向上を図ることができる。

図１は、距離画像撮像装置の構成を示す図である。図２は、距離画像を撮像する方法の主要な工程を示すフロー図である。図３は、距離画像撮像装置の原理を示す図である。図４（ａ）及び図４（ｂ）は、光飛行時間の測定が有する問題点を説明する図である。図５は、Ｃ測定を説明するための図である。図６（ａ）及び図６（ｂ）は、単位遅延時間の変更を概念的に示す図である。図７は、露光動作の回数と電荷の差分の積分値との推移を示す図である。図８は、Ｃ測定を行う構成の等価ブロック線図である。図９（ａ）は、Ｃ測定の動作を概念的に説明する図である。図９（ｂ）は量子化誤差を概念的に示す図である。図１０は、Ｆ測定を行う構成の等価ブロック線図である。図１１は、ノイズ伝達関数による量子化誤差の形を示す図である。図１２は、Ｃ測定とＦ測定とをまとめて示すタイミングチャートである。図１３は、画素回路部の構成を示す図である。図１４は、前段増幅器の回路構成を示す図である。図１５は、画素回路部及び復調器の動作を示すタイミングチャートである。図１６は、アナログ処理ユニットの回路構成を示す図である。図１７は、ＤＴ変換器と転送制御パルス発生器の回路構成を示す図である。図１８は、距離画像撮像装置の具体例を示す図である。

　以下、添付図面を参照しながら本発明を実施するための形態を詳細に説明する。図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

　図１に示す距離画像撮像装置１は、距離画像を得る。距離画像とは、距離画像撮像装置１から対象物１００までの距離情報を含む画像である。距離画像撮像装置１は、対象物１００に向けて照射光Ｌ１（測定光）を出射する。照射光Ｌ１は、対象物１００の表面において反射する。反射した反射光Ｌ２は、距離画像撮像装置１に入射する。距離画像撮像装置１は、照射光Ｌ１を出射したタイミングと反射光Ｌ２を受けたタイミングとの時間差を得る。この時間差は、光飛行時間とも称される。光飛行時間は、照射光Ｌ１が対象物１００に到達した後に、さらに対象物１００から距離画像撮像装置１に到達するまでに要した時間である。つまり、光飛行時間は、距離画像撮像装置１から対象物１００までの距離に応じて決まる。従って、光飛行時間を得ることにより、距離画像撮像装置１から対象物１００までの距離を得ることができる。

　距離を測定する原理を説明する。図３は、距離画像撮像装置１の原理を示す図である。距離画像撮像装置１は、光飛行時間を間接的に測定する。距離画像撮像装置１は、電荷を蓄積する複数個の領域を有する。距離画像撮像装置１は、光の入射によって光電変換領域に生じた電荷を、それぞれの蓄積領域に振り分ける。この振り分けは、光電変換領域から蓄積領域への電荷の転送を制御するゲートによって行われる。第１期間において第１蓄積領域に電荷を転送する。第１期間において、第２蓄積領域には電荷を転送しない。そして、第１期間に続く第２期間において第１蓄積領域への電荷の転送を停止すると共に、第２蓄積領域へ電荷を転送する。第１期間及び第２期間の時間Ｔ_Ｗと、第１蓄積領域の第１電荷量Ｑ_１と第２蓄積領域の第２電荷量Ｑ_２の比率と、を利用すると、光飛行時間を得ることができる。

　照射光Ｌ１を出射するタイミングと、第１蓄積領域への電荷転送期間との時間的な関係は、変化しないと仮定する。第２蓄積領域への電荷転送期間についても同様に、時間的な関係は変化しないと仮定する。この仮定のもとに、距離画像撮像装置１を動作させる。図４（ａ）に示すように、対象物１００までの距離が近い場合には、照射光Ｌ１を出射してから反射光Ｌ２が入射するまでの時間が短い。従って、第１転送制御パルスＳＧ_１によって動作する第１蓄積領域に蓄積される第１電荷量Ｑ_１は多くなる。一方、第２転送制御パルスＳＧ_２によって動作する第２蓄積領域に蓄積される第２電荷量Ｑ_２は少なくなる。図４（ｂ）に示すように、対象物１００までの距離が遠い場合には、照射光Ｌ１を出射してから反射光Ｌ２が入射するまでの時間が長い。従って、第１蓄積領域に蓄積される第１電荷量Ｑ_１は少なくなる。一方、第２蓄積領域に蓄積される第２電荷量Ｑ_２は多くなる。つまり、対象物１００までの距離が長くなるほど、第１電荷量Ｑ_１が減少すると共に第２電荷量Ｑ_２が増加する。

　第１蓄積領域及び第２蓄積領域へ電荷を蓄積する蓄積動作を実施するときには、反射光Ｌ２に起因しない電荷も蓄積されてしまう。つまり、蓄積領域には、反射光Ｌ２に起因する電荷と反射光Ｌ２に起因しない電荷とが蓄積される。反射光Ｌ２に起因しない電荷は、ノイズ成分となる。ノイズ成分は、電荷を蓄積するときだけでなく、電荷を読み出すときにも発生することがある。

　反射光Ｌ２に起因する電荷量が少ない場合には、反射光Ｌ２に起因しない電荷量の割合が相対的に大きくなる。その結果、距離の分解能の低下といった距離画像撮像装置１の性能に影響を及ぼす。この問題は、距離画像撮像装置１の測定範囲の上限又は下限に近付くに従って大きくなる。つまり、従来の距離画像撮像装置で採用されていたように、第１蓄積領域及び第２蓄積領域への転送のタイミングが常に一定であると、対象物１００までの距離によっては、一方の蓄積領域に蓄積される電荷量が非常に少なくなる。その結果、距離分解能の低下を招いていた。

　発明者らが鋭意検討した結果、照射光Ｌ１を出射するタイミングと第１蓄積領域への電荷の転送期間との時間的な関係を変化させることによって上記の問題を解決できることに想到した。第１転送制御ゲートＧ_１及び第２転送制御ゲートＧ_２を開くタイミングは、照射光Ｌ１の出射のタイミングに対して固定することなく、可変とする。発明者らは、第１転送制御ゲートＧ_１及び第２転送制御ゲートＧ_２を開くタイミングを第１転送制御ゲートＧ_１によって転送される第１電荷量Ｑ_１と第２転送制御ゲートＧ_２によって転送される第２電荷量Ｑ_２の大小関係に応じて制御することに想到した。

　電荷量の大小関係に応じた制御によれば、第１電荷量Ｑ_１と第２電荷量Ｑ_２との偏りを小さくするような動作が可能になる。つまり、電荷量の差分を小さくするような動作が可能になる。その結果、ノイズの影響を抑制することができる。さらに、電荷量の大小関係に応じた制御によれば、いわゆるデルタシグマ変調技術を適用することも可能である。デルタシグマ変調技術によれば、量子化誤差を低減することができる。つまり、蓄積される電荷の偏りの解消と、デルタシグマ変調技術の導入による量子化誤差の低減と、により、測定範囲の全域にわたって距離分解能を向上させることが可能となる。

　電荷量の大小関係を用いた制御では、電荷量の大小関係に応じて電荷を転送するタイミングを制御するというフィードバックループを構成する。蓄積領域に蓄積された電荷量の差分をアナログ電圧の差分に変換する。次に、アナログ電圧の差分を二値のデジタル値に変換する。次に、デジタル値を用いて電荷を転送するタイミングを決める。決定されたタイミングに基づき画素を動作させると、再び蓄積領域に電荷が蓄積される。このフィードバックループでは、デジタル値を用いて電荷を転送するタイミングを決める点に技術的な特徴がある。つまり、デジタル値を時間に変換している。発明者らは、この技術を「時間領域フィードバック制御」と名付けた。

　電荷量の大小関係に応じて電荷を転送する制御は、２つの態様を含む。

　第１の態様では、電荷量の差分を減少させることを制御の目標とする。第１の態様によれば、既知のずれを含むおおよその光飛行時間を得ることができる。第１の態様によりおおよその光飛行時間を得る測定を、発明者らは、「Ｃｏａｒｓｅ測定」と名付けた。以下の説明では、単に「Ｃ測定」（第１測定）とも称する。

　図５は、Ｃ測定を説明するための図である。図５は、４回のフィードバック動作が行われる例を示している。照射光Ｌ１の出射期間と反射光Ｌ２の入射期間との時間的なずれは、反射光Ｌ２を生じた対象物１００までの距離に対応する。

　１回目の動作（ｎ＝１）では、第１転送期間の終了を照射光Ｌ１の出射期間の中点に一致させる。第１転送期間の終了は、第２転送期間の開始と一致する。従って、第２転送期間の開始も出射期間の中点に一致する。このような第１転送期間及び第２転送期間の間に、反射光Ｌ２を受け入れる。なお、以下の説明において、反射光Ｌ２を受け入れて電荷を発生させる動作を、「露光動作」とも称する。１回目の露光動作では、反射光Ｌ２の入射期間は、第１転送期間には重複しない。反射光Ｌ２の入射期間は、第２転送期間の一部に重複する。１回目の露光動作の結果、第１蓄積領域の第１電荷量Ｑ_１は、第２蓄積領域の第２電荷量Ｑ_２より少ないという結果が得られる。電荷量の差分（＝第２電荷量Ｑ_２－第１電荷量Ｑ_１）で評価した場合には、符号がプラス（正）であるといえる。

　この結果に基づき、２回目（ｎ＝２）の露光動作における第１転送期間及び第２転送期間を設定する。電荷量の差分がプラスであるとき、第１転送期間及び第２転送期間を当初のタイミングから、単位遅延時間Δｔ_Ｄだけ遅らせる。２回目の露光動作では、１回目の露光動作から単位遅延時間Δｔ_Ｄだけ遅れたタイミングで第１転送期間及び第２転送期間が設定される。２回目の露光動作では、反射光Ｌ２の入射期間は、第１転送期間には重複しない。反射光Ｌ２の入射期間は、第２転送期間の全期間に重複する。その結果、電荷量の差分の符号は、未だプラスである。

　３回目（ｎ＝３）の露光動作では、２回目の露光動作のタイミングからさらに単位遅延時間Δｔ_Ｄだけ第１転送期間及び第２転送期間を遅らせる。つまり、３回目の露光動作の第１転送期間及び第２転送期間は、１回目の露光動作の第１転送期間及び第２転送期間から２Δｔ_Ｄだけ遅れている。３回目の露光動作では、反射光Ｌ２の入射期間は、第１転送期間の一部に重複する。さらに、反射光Ｌ２の入射期間は、第２転送期間の一部にも重複する。第２転送期間の重複期間は、第１転送期間の重複期間より長い。従って、電荷量の差分の符号は、未だプラスである。

　４回目（ｎ＝４）の露光動作では、３回目の露光動作のタイミングからさらに単位遅延時間Δｔ_Ｄだけ第１転送期間及び第２転送期間を遅らせる。つまり、３回目の露光動作の第１転送期間及び第２転送期間は、１回目の露光動作の第１転送期間及び第２転送期間から３Δｔ_Ｄだけ遅れている。４回目の露光動作では、反射光Ｌ２の入射期間は、第１転送期間の一部に重複する。さらに、反射光Ｌ２の入射期間は、第２転送期間の一部にも重複する。第１転送期間の重複期間は、第２転送期間の重複期間より長い。従って、電荷量の差分の符号は、マイナスである。

　ここで、第１転送期間に蓄積される第１電荷量Ｑ_１と第２転送期間に蓄積される第２電荷量Ｑ_２とが等しいとき、第１転送期間の終了は反射光Ｌ２の入射期間の中央に一致する。照射光Ｌ１の照射タイミング（開始、中央又は終了）が既知であり、電荷量の差分がゼロとなる第１転送期間及び第２転送期間のタイミングがわかると、照射光Ｌ１に対する反射光Ｌ２の入射タイミングがわかる。つまり、光飛行時間がわかる。

　上述の１回目から４回目までの動作では、単位遅延時間Δｔ_Ｄ毎に第１転送期間及び第２転送期間をずらした。そうすると、電荷量の差分がゼロとなる場合も生じる。電荷量の差分がゼロとならないことも生じる。しかし、電荷量の差分の符号がプラスであったタイミングと、電荷量の差分の符号がマイナスであったタイミングと、の間に差分がゼロになるタイミングが存在することはわかる。

　差分の符号が切り替わる遅延時間を探索することにより、おおよその光飛行時間を得ることができる。この「おおよそ」とは、最大値として単位遅延時間Δｔ_Ｄに相当する誤差を含むことを意味する。Ｃ測定に用いられる負帰還は、電荷量の差分に基づくデジタル値を時間へ変換する。変換された時間は、第１転送期間及び第２転送期間のための転送制御パルスの遅延時間に対応する。電荷量の差分を減少させる制御は、換言すると、転送制御パルスの遅延時間と光飛行時間との差分を減少させる負帰還制御ということもできる。このような制御によれば、アナログ読出回路の動作点を一定に維持することが可能になる。その結果、直線性を効果的に改善できる。

　Ｃ測定の結果は、遅延時間と、遅延時間の動作によって得た電荷量の差分と、を含む。Ｃ測定の結果は、次に説明するＦ測定の処理に用いる。

　電荷量の大小関係に応じて電荷を転送する制御における第２の態様について説明する。第２の態様では、露光動作を繰り返すごとに電荷量の差分を積分する。第２の態様では、各回の露光動作ごとに第１転送期間及び第２転送期間に対して付与する遅延時間を変更する。付与する遅延時間の変更は、電荷量の差分を積分した結果によって決める。積分の結果は、０又は１の二値のデジタル値に変換される。複数回の露光動作を繰り返すと、０又は１によって表現された情報が得られる。０が現れる回数及び１が現れる回数は、真の光飛行時間に関係する。従って、０が現れる回数及び１が現れる回数を利用することにより、Ｃ測定により得られるおおよその光飛行時間からさらに精密な光飛行時間を得ることができる。第２の態様により精密な光飛行時間を得る測定を、発明者らは、「Ｆｉｎｅ測定」と名付けた。以下の説明では、単に「Ｆ測定」（第２測定）とも称する。

　Ｆ測定の基本的な動作について説明する。Ｆ測定では、各回の露光動作ごとに第１転送期間及び第２転送期間に対して付与する遅延時間を変更する。図６は、遅延時間の変更を概念的に示す。Ｆ測定では、第１遅延時間（２Δｔ_Ｄ）と第２遅延時間（３Δｔ_Ｄ）とを用いる。第１遅延時間（２Δｔ_Ｄ）は、露光動作の結果として電荷量の差分がプラスとなるものである（図６（ａ）参照）。第２遅延時間（３Δｔ_Ｄ）は、露光動作の結果として電荷量の差分がマイナスとなるものである（図６（ｂ）参照）。いずれの遅延時間を採用するかは、Ｃ測定の電荷量の差分の符号がプラスからマイナスに変わる前後に与えた単位遅延時間Δｔ_Ｄの倍数と、電荷量の積分値と、に基づいて決める。例えば、図５に示すように、２Δｔ_Ｄから３Δｔ_Ｄとしたときに電荷量の差分の符号がプラスからマイナスに変わったため、第１遅延時間を２Δｔ_Ｄ、第２遅延時間を３Δｔ_Ｄとした。しかし、これは例示である。第１遅延時間及び第２遅延時間は、電荷量の差分がプラスとマイナスになる組み合わせであれば良い。

　図７は、露光動作の回数の推移と電荷の差分の積分値の推移とを示す。図７には、積分値の符号と積分値の符号に対応する遅延時間との関係も併せて示す。Ｆ測定における０回目とは、Ｃ測定における最終回の１回前の動作に対応する。上述したＣ測定において、最終回の１回前（３回目）の露光動作の結果は、電荷量の差分を示す差分電荷量ΔＱであった。差分電荷量ΔＱの符号はプラスであった。差分電荷量ΔＱの符号がプラスであるとき、次の露光動作では、第２遅延時間（３Δｔ_Ｄ）を採用する。Ｆ測定における１回目の露光動作の結果、差分電荷量ΔＱ（符号はマイナス）が得られる。この差分電荷量ΔＱを、０回目の積分値に加算する。その結果、あらたな積分値が得られる。あらたな積分値の符号は、未だプラスである。従って、次の２回目の露光動作でも、第２遅延時間（３Δｔ_Ｄ）を採用する。このように、露光動作による電荷の蓄積と、電荷量の差分の取得と、取得した差分の足し合わせと、足し合わせた結果の符号に応じた遅延時間の選択と、を順次繰り返す。図７の例では、３回目の露光動作の結果も、積分値の符号はプラスである。その一方、積分値の絶対値は次第に小さくなっていく。

　４回目の露光動作の結果、積分値の符号がプラスからマイナスに切り替わる。積分値の符号がマイナスであるとき、次の６回目の露光動作では、第１遅延時間（２Δｔ_Ｄ）を採用する。６回目の露光動作の結果、電荷量の差分は符号がプラスである（図６（ａ）参照）。６回目の電荷量の差分を、５回目の積分値に加算すると、積分値の符号は再びプラスに転じる。図７には、１０回目までの露光動作の様子を示した。

　Ｆ測定の積分動作では、第１転送期間及び第２転送期間に付与される遅延時間と、求めたい光飛行時間との誤差の大きさと、に比例して、積分値への加算値が大きくなる。従って、誤差の小さな遅延時間の出現頻度は大きくなる。一方、誤差の大きな遅延時間の出現頻度は小さくなる。つまり、第１遅延時間及び第２遅延時間をその出現頻度で重み付け平均することで、光飛行時間を得ることができる。

　次に、Ｆ測定では、精密な光飛行時間を算出する。例えば、図７には、１回目から１０回目の露光動作の結果として、第１遅延時間（２Δｔ_Ｄ）が２回現れている。第２遅延時間（３Δｔ_Ｄ）は８回現れている。その結果、光飛行時間は、式（１）によって得られる。

　上述した、時間領域での負帰還技術である時間領域フィードバック制御を適用するＦ測定の動作は、いわゆる１次のデルタシグマ変調（ＤＳＭ）動作であるともいえる。デルタシグマ変調によれば、オーバーサンプリング信号処理を用いた自己充足的な低歪と低ノイズ性を持つ。その結果、距離画像撮像装置１は、高い直線性と高い距離分解能とを達成することができる。

　ここまでの議論をまとめると、距離画像撮像装置１は、時間領域フィードバック制御という技術思想を採用する。そして、時間領域フィードバック制御の第１の態様としておおよその光飛行時間を得るＣ測定を行う。その後、時間領域フィードバック制御の第２の態様として、精密な光飛行時間を得るＦ測定を行う。このような動作によれば、距離画像撮像装置１は、高い直線性と高い距離分解などを達成可能であり総合的な性能が向上する。

　次に、時間領域フィードバック制御を用いた短パルスベース間接型ＴＯＦイメージセンサについて詳細に説明する。

　図１は、距離画像撮像装置１の機能ブロック図である。距離画像撮像装置１は、光源２と、距離画像センサ３と、を有する。光源２は、照射光Ｌ１を出射する。照射光Ｌ１は、対象物１００で反射する。反射した照射光Ｌ１は、フォトダイオード１１と復調器１２とによって電圧信号に変換される。距離画像センサ３は、フォトダイオード１１と、復調器１２と、アナログ処理ユニット２０（第１演算部）と、Ａ／Ｄ変換器３０と、デジタル処理ユニット４０（第２演算部）と、ＤＴ変換器５０（第２演算部、遅延時間決定部）と、を有する。これらの要素は、時間領域負帰還ループを構成する。距離画像センサ３は、光飛行時間を得る。光飛行時間を得ることにより、対象物１００までの距離を得ることができる。

　距離画像センサ３は、上述したＣ測定とＦ測定とを行う。これらの動作によれば、距離画像センサ３の性能を高めることができる。より詳細には、距離画像センサ３は、光飛行時間と距離との関係を示す直線性が高い。距離画像センサ３は、光飛行時間の分解能が高い。つまり、距離画像センサ３は、距離の分解能が高い。さらに、距離画像センサ３は、高い直線性と高い分解能とを、広い測定範囲にわたって維持することができる。

　距離画像センサ３は、Ｃ測定のための時間領域負帰還ループと、Ｆ測定のための時間領域負帰還ループと、を相互に切り替える。この動作の切り替えは、アナログ処理ユニット２０が実現する２種類の動作（バッファ動作、積分動作）の選択と、デジタル処理ユニット４０が実現する２種類の動作（計数動作、加算動作）の選択と、による。Ｃ測定では、アナログ処理ユニット２０が実現するバッファ２１としての動作が選択されると共に、デジタル処理ユニット４０が実現するカウンタ４１としての動作が選択される。Ｆ測定では、アナログ処理ユニット２０が実現する積分器２２としての動作が選択されると共に、デジタル処理ユニット４０が実現する加算器４２としての動作が選択される。Ｆ測定が行われるとき、距離画像センサ３は、１次のデルタシグマ変調器であるとみなせる。

　光源２は、光飛行時間（ＴＯＦ：ＴＩＭＥ　ＯＦ　ＦＬＩＧＨＴ）方式による距離計測を行うために、対象物１００に出射する照射光Ｌ１を発生させる。光源２は、半導体発光素子と駆動回路とを有する。半導体発光素子は、近赤外領域又は可視光領域等の波長領域の光を発生させる。半導体発光素子として、発光ダイオード又はレーザダイオードを採用できる。

　距離画像センサ３は、対象物１００からの反射光Ｌ２を受ける。距離画像センサ３は、受けた反射光Ｌ２を利用して距離画像を出力する。距離画像センサ３は、フォトダイオード１１と、復調器１２と、アナログ処理ユニット２０と、Ａ／Ｄ変換器３０と、デジタル処理ユニット４０と、ＤＴ変換器５０と、を有する。距離画像センサ３は、デシメーションフィルタ６０を有する。

　画素回路部１０のフォトダイオード１１は、反射光Ｌ２を受ける。距離画像撮像装置１は、二次元状に配置された複数の画素回路部１０を有する。二次元状に配置された複数の画素回路部１０は、画素回路部アレイ１０Ｓを構成する。フォトダイオード１１は、反射光Ｌ２に応じた電荷を発生する。画素回路部１０は、フォトダイオード１１で発生した電荷を復調器１２に転送する。画素回路部１０の出力値は、第１電荷量Ｑ_１、第２電荷量Ｑ_２及び差分電荷量ΔＱに基づく。画素回路部１０の物理的な構成は、後述する。

　復調器１２は、フォトダイオード１１からの電荷の転送を制御する。復調器１２は、フォトダイオード１１から受けた電荷量の差分を電圧の差分として出力する。復調器１２の出力値は、第１前段電圧信号Ｖ_Ｐ１、第２前段電圧信号Ｖ_Ｐ２及び差分前段電圧信号ΔＶ_Ｐを含む。復調器１２の物理的な構成は、後述する。

　アナログ処理ユニット２０、Ａ／Ｄ変換器３０、デジタル処理ユニット４０及びＤＴ変換器５０は、周辺回路４を構成する。周辺回路４は、デシメーションフィルタ６０を含んでもよい。

　アナログ処理ユニット２０は、電圧の差分を処理する。アナログ処理ユニット２０が行う処理は、電圧の差分を整数倍する処理と、電圧の差分を積分する処理と、を含む。アナログ処理ユニット２０は、電圧の差分を整数倍する処理を行うバッファ２１を含む。アナログ処理ユニット２０は、電圧の差分を積分する処理を行う積分器２２を含む。アナログ処理ユニット２０の出力値は、第１後段電圧信号Ｖ_Ｏ１（第１電圧）、第２後段電圧信号Ｖ_Ｏ２（第２電圧）及び差分後段電圧信号ΔＶ_Ｏ（差分電圧）を含む。アナログ処理ユニット２０の具体的な回路構成は、後述する。

　Ａ／Ｄ変換器３０は、アナログ処理ユニット２０が出力する電圧を量子化する。具体的には、Ａ／Ｄ変換器３０は、アナログ処理ユニット２０が出力する電圧を、０又は１の二値のデジタル値に変換する。Ａ／Ｄ変換器３０の出力値は、デジタル信号Ｄ_ＦＢを含む。

　デジタル処理ユニット４０は、Ａ／Ｄ変換器３０が出力するデジタル信号Ｄ_ＦＢを処理する。デジタル処理ユニット４０が行う処理には、入力されたデジタル信号Ｄ_ＦＢが示す０又は１を数える処理と、入力されたデジタル信号Ｄ_ＦＢを予め記憶された別のデジタル信号に加算する処理と、を含む。デジタル処理ユニット４０は、０又は１を数える処理を行うカウンタ４１を含む。カウンタ４１の出力端は、ＤＴ変換器５０及び加算器４２に接続されている。デジタル処理ユニット４０は、加算する処理を行う加算器４２を含む。加算器４２の入力端には、Ａ／Ｄ変換器３０及びカウンタ４１が接続されている。つまり、加算器４２は、Ａ／Ｄ変換器３０の出力値とカウンタ４１の出力値とを受けることができる。加算器４２の出力端はＤＴ変換器５０に接続されている。デジタル処理ユニット４０の出力値は、デジタル信号Ｄ_Ｍを含む。

　Ｆ測定であるとき加算器４２及びＤＴ変換器５０は、積分結果の符号に応じて次の蓄積動作のための遅延時間を決定する。積分結果の符号は、デジタル処理ユニット４０の出力値であるデジタル信号Ｄ_Ｍの値に応じる。加算器４２及びＤＴ変換器５０は、積分結果の符号がゼロ又はプラス（第１情報）であるとき遅延時間として３Δｔ_Ｄを決定する。３Δｔ_Ｄは、電荷の差分がマイナスとなる遅延時間である。加算器４２及びＤＴ変換器５０は、積分結果の符号がマイナス（第２情報）であるとき遅延時間として２Δｔ_Ｄを決定する。２Δｔ_Ｄは、電荷の差分がプラスとなる遅延時間である。

　デシメーションフィルタ６０は、デジタル処理ユニット４０の加算器４２の入力端に接続される。デシメーションフィルタ６０は、加算器４２と共にデジタル信号Ｄ_ＦＢを受ける。デシメーションフィルタ６０は、デジタル信号Ｄ_ＦＢに対してデジタルフィルタ処理を行う。デジタルフィルタ処理は、ローパスフィルタ処理とダウンサンプリング処理とを含む。例えば、デシメーションフィルタ６０は、ローパスフィルタ処理のオーバーサンプリング比が、２^Ｂ―１より大きく２^Ｂより小さい整数であってもよい。Ｂはオーバーサンプリング比を表現可能な最小ビット数であってもよい。

　図１の機能ブロック図及び図２のフロー図によれば、距離画像撮像装置１を用いた距離画像を撮像する方法は、電荷蓄積工程Ｓ１０Ｃ、Ｓ１０Ｆと、パルス生成工程Ｓ２０Ｃ、Ｓ２０Ｆと、を含む。距離画像を撮像する方法では、電荷蓄積工程Ｓ１０Ｃと、パルス生成工程Ｓ２０Ｃと、を繰り返し実行する。電荷蓄積工程Ｓ１０Ｃ及びパルス生成工程Ｓ２０Ｃは、Ｃ測定を構成する。その後、距離画像を撮像する方法では、電荷蓄積工程Ｓ１０Ｆと、パルス生成工程Ｓ２０Ｆと、を繰り返し実行する。電荷蓄積工程Ｓ１０Ｆ及びパルス生成工程Ｓ２０Ｆは、Ｆ測定を構成する。

　電荷蓄積工程Ｓ１０Ｃは、画素回路部１０によって実行される。画素回路部１０は、電荷蓄積工程Ｓ１０Ｃとして、第１転送制御ゲートＧ_１に与えられる第１転送制御パルスＳＧ_１に基づいて第１浮遊拡散部ＦＤ_１に第１電荷を蓄積する。さらに、画素回路部１０は、電荷蓄積工程Ｓ１０Ｃとして、第２転送制御ゲートＧ_２に与えられる第２転送制御パルスＳＧ_２に基づいて第２浮遊拡散部ＦＤ_２に第２電荷を蓄積する。パルス生成工程Ｓ２０Ｃは、周辺回路４によって実行される。周辺回路４は、パルス生成工程Ｓ２０Ｃとして、第１電荷量Ｑ_１と第２電荷量Ｑ_２との大小関係に基づいて、第１転送制御パルスＳＧ_１及び第２転送制御パルスＳＧ_２を生成する。

　パルス生成工程Ｓ２０Ｃは、演算工程Ｓ２１Ｃと、判定工程Ｓ３０と、遅延時間決定工程Ｓ２２Ｃと、パルス出力工程Ｓ２３Ｃと、を含む。演算工程Ｓ２１Ｃは、復調器１２及びアナログ処理ユニット２０により実行される。演算工程Ｓ２１Ｃを行う要素として、Ａ／Ｄ変換器３０を含めてもよい。演算工程Ｓ２１Ｃは、第１電荷に基づく第１電圧と第２電荷に基づく第２電圧との差分に関する演算値を出力する。演算値は、差分電圧そのものであってもよい。演算値は、差分電圧を二値化したデジタル値であってもよい。

　演算工程Ｓ２１Ｃの後に、光飛行時間（ＴＯＦ）が得られたか否かの判定を行う（工程Ｓ３０）。光飛行時間（ＴＯＦ）が得られたと判定された場合には、Ｆ測定のループに移行する。光飛行時間（ＴＯＦ）が得られたと判定されない場合には、遅延時間決定工程Ｓ２２Ｃに移行する。

　遅延時間決定工程Ｓ２２Ｃは、デジタル処理ユニット４０により実行される。遅延時間決定工程Ｓ２２Ｃは、第１転送制御パルスＳＧ_１および第２転送制御パルスＳＧ_２を出力するタイミングを決定するための遅延時間を、演算値を用いて決定する。Ｃ測定のための遅延時間決定工程Ｓ２２Ｃは、デジタル処理ユニット４０のカウンタ４１によって実行される。カウンタ４１によれば、第ｎ回目の演算工程Ｓ２１Ｃにおいて、演算値が第１情報であるとき（判定工程Ｓ３０）に、第ｎ回目の電荷蓄積工程Ｓ１０Ｃのために用いた第ｎ回目の遅延時間を、さらに単位遅延時間だけ遅らせたものを、第ｎ＋１回目の電荷蓄積工程のために用いる第ｎ＋１回目の遅延時間として決定するという動作が実現できる。

　パルス出力工程Ｓ２３Ｃは、ＤＴ変換器５０によって実行される。パルス出力工程Ｓ２３Ｃは、決定された遅延時間に基づいて第１転送制御パルスＳＧ_１および第２転送制御パルスＳＧ_２を出力する。

　Ｆ測定のための工程は、電荷蓄積工程Ｓ１０Ｆと、パルス生成工程Ｓ２０Ｆと、を有する。パルス生成工程Ｓ２０Ｆは、演算工程Ｓ２１Ｆと、遅延時間決定工程Ｓ２２Ｆと、パルス出力工程Ｓ２３Ｆと、を有する。演算工程Ｓ２１Ｆは、アナログ処理ユニット２０の積分器２２によって実行される。積分器２２によれば、第１電圧と第２電圧との差分を差分電圧として出力した後に、第１回目から第ｍ－１回目までの差分電圧の積分値に第ｍ回目の差分電圧を加算した結果を、第ｍ回目の差分電圧の積分値として求めるという動作が実現できる。遅延時間決定工程Ｓ２２Ｆは、デジタル処理ユニット４０の加算器４２によって実行される。加算器４２によれば、第ｍ回目の積分値が第２情報であるときに、第ｍ＋１回目の電荷蓄積工程のために用いる第ｍ＋１回目の遅延時間を第１遅延時間として決定するという動作が実現できる。さらに、加算器４２によれば、第ｍ回目の積分値が第１情報であるときに、第ｍ＋１回目の遅延時間を第２遅延時間として決定するという動作が実現できる。

　上述したように、時間領域フィードバック制御では、Ｃ測定と、Ｆ測定とを、行うことができる。図１に示す距離画像撮像装置１は、Ｃ測定を行う構成と、Ｆ測定を行う構成と、を実現できる。Ｃ測定を行う構成とＦ測定を行う構成は、相互に切り替え可能である。Ｃ測定を行う構成により、おおよその光飛行時間を得る。おおよその光飛行時間が求まったのちに、Ｃ測定を行う構成からＦ測定を行う構成に切り替える。Ｆ測定により、さらに精密な光飛行時間を得る。Ｃ測定を行う構成とＦ測定を行う構成との切り替えは、アナログ処理ユニット２０を構成するバッファ２１又は積分器２２の選択と、デジタル処理ユニット４０を構成するカウンタ４１又は加算器４２の選択と、により実現できる。

　Ｃ測定を行うとき、アナログ処理ユニット２０は、バッファ２１として機能する。デジタル処理ユニット４０は、カウンタ４１として機能する。図８は、Ｃ測定を行う構成の等価ブロック線図である。

　Ｃ測定を行う構成において、距離画像センサ３は、加え合わせ点Ｆ８ａと、第１伝達要素Ｆ８ｂと、第２伝達要素Ｆ８ｃと、第３伝達要素Ｆ８ｄと、第４伝達要素Ｆ８ｅと、第５伝達要素Ｆ８ｆと、を有する。加え合わせ点Ｆ８ａ及び第１伝達要素Ｆ８ｂは、復調器１２に対応する。第２伝達要素Ｆ８ｃは、バッファ２１に対応する。第３伝達要素Ｆ８ｄは、Ａ／Ｄ変換器３０に対応する。第４伝達要素Ｆ８ｅは、カウンタ４１に対応する。第５伝達要素Ｆ８ｆは、ＤＴ変換器５０に対応する。

　図８の等価ブロック線図を参照しながら、Ｃ測定について説明する。等価ブロック線図において、第２伝達要素Ｆ８ｃ（バッファ２１）の出力値である後段電圧信号Ｖ_Ｏ（演算値）は、式（２）により示される。

　Ｖ_Ｏ：第２伝達要素Ｆ８ｃ（バッファ２１）が出力する後段電圧信号の大きさ。
　Ｋ_ＢＵＦ：第２伝達要素Ｆ８ｃ（バッファ２１）のゲイン。
　Ｋ_Ｍ：復調器１２の時間－電圧変換ゲイン。
　ＴＯＦ：光飛行時間。
　Ｔ_Ｍ：第５伝達要素Ｆ８ｆ（ＤＴ変換器５０）が出力する遅延時間信号。

　第３伝達要素Ｆ８ｄ（Ａ／Ｄ変換器３０）は、第２伝達要素Ｆ８ｃ（バッファ２１）が出力する後段電圧信号Ｖ_Ｏを量子化する。量子化の処理は、式（３）に従う。第３伝達要素Ｆ８ｄ（Ａ／Ｄ変換器３０）は、量子化処理の結果、デジタル領域帰還のためのインクリメントコードとしてデジタル信号Ｄ_ＦＢを生成する。

　第４伝達要素Ｆ８ｅ（カウンタ４１）は、デジタル信号Ｄ_ＦＢを受ける。第４伝達要素Ｆ８ｅは、第ｎ回目の動作であるときのデジタル信号Ｄ_ＦＢが１である場合、第ｎ－１回目の内部変数（制御変数）に１を加えるカウントアップ動作を行う。カウンタ４１は、成分が１であるデジタル信号Ｄ_ＦＢを数える。例えば、Ｃ測定であるときに電荷の差分値が第１情報（０又はプラス）である場合には、Ａ／Ｄ変換器３０はデジタル値として「１」を出力する。一方、Ｃ測定であるときに電荷の差分値が第２情報（マイナス）である場合には、Ａ／Ｄ変換器３０は、デジタル値として「０」を出力する。カウンタ４１は、デジタル値に基づいて計数動作を行ってもよい。ｎ回の動作を行った結果、カウンタ４１が出力するデジタル信号Ｄ_Ｍ（ｎ）は式（４）に示される。

　第５伝達要素Ｆ８ｆ（ＤＴ変換器５０）は、デジタル信号Ｄ_Ｍを受ける。第５伝達要素Ｆ８ｆ（ＤＴ変換器５０）は、式（５）に従い、遅延時間信号Ｔ_Ｍを得る。遅延時間信号Ｔ_Ｍは、単位遅延時間Δｔ_Ｄとデジタル信号Ｄ_Ｍとの乗算によって得られる。

　Ｔ_Ｍ（ｎ）：ｎ回目の動作における遅延時間信号。
　Δｔ_Ｄ：単位遅延時間。ＤＴ変換器５０の変換ファクタ。

　図９（ａ）は、Ｃ測定の動作を概念的に説明する。図９（ａ）は、デジタル信号Ｄ_ＦＢと遅延時間信号Ｔ_Ｍとを示す。第１回目のフィードバック動作では、遅延時間信号Ｔ_Ｍは、ゼロに設定される。第ｎ回目のフィードバック動作の結果、Ａ／Ｄ変換器３０の出力値であるデジタル信号Ｄ_ＦＢが１であるとき、第ｎ＋１回目のフィードバック動作では、遅延時間信号Ｔ_Ｍには、単位遅延時間Δｔ_Ｄが加算される。従って、繰り返されるフィードバック動作において、デジタル信号Ｄ_ＦＢが１である限り、遅延時間信号Ｔ_Ｍは単位遅延時間Δｔ_Ｄを一つのステップとして階段状に増加する。遅延時間は、光飛行時間（ＴＯＦ）に近づく。

　複数回のフィードバック動作の結果、遅延時間信号Ｔ_Ｍが光飛行時間（ＴＯＦ）よりも大きくなる。遅延時間信号Ｔ_Ｍが光飛行時間（ＴＯＦ）よりも大きくなったとき、Ａ／Ｄ変換器３０は、出力値としてデジタル信号Ｄ_ＦＢ＝０を出力する。デジタル信号Ｄ_ＦＢがゼロであるとき、遅延時間信号Ｔ_Ｍに対する単位遅延時間Δｔ_Ｄの加算は停止する。換言すると、ＤＴ変換器５０の出力値である遅延時間信号Ｔ_Ｍのインクリメントは止まる。遅延時間信号Ｔ_Ｍの増加の停止が、ｎ_Ｃ回目のフィードバック動作で発生したと仮定すれば、カウンタ４１の出力値であるデジタル信号Ｄ_Ｍは、式（６）によって示される。

　Ｄ_Ｍ（ｎ_Ｃ）：ｎ_Ｃ回目のフィードバック動作におけるカウンタ４１の出力値。
　ｎ_Ｃ：遅延時間信号Ｔ_Ｍの増加の停止が発生した回数。

　ｎ_Ｃは、ＤＴ変換器５０における遅延時間信号Ｔ_Ｍの最大値を規定する。最終ステップ（ｎ_Ｃ）のＤＴ変換器５０の出力値である遅延時間信号Ｔ_Ｍ（ｎ_Ｃ）は、式（７）によって示される。

　ところで、Ｃ測定において、ＤＴ変換器５０は、インクリメンタルな動作を行う。従って、光飛行時間（ＴＯＦ）と遅延時間信号Ｔ_Ｍ（ｎ_Ｃ）の差分は、誤差である。図９（ｂ）に示すように、誤差は、－Δｔ_Ｄ／２と＋Δｔ_Ｄ／２の間の値である。光飛行時間（ＴＯＦ）の測定範囲（Ｔ_{Ｍ，Ｍａｘ}）は、式（８）によって示される。

　Ｔ_{Ｍ，Ｍａｘ}：光飛行時間（ＴＯＦ）の測定範囲。
　Ｎ_Ｃ：Ｃ測定におけるフィードバック動作の最大回数。
　Δｔ_Ｄ：単位遅延時間。

　Ｃ測定の最終出力結果は、出力Ｙ_{ｃｏａｒｓｅ}である。出力Ｙ_{ｃｏａｒｓｅ}は、カウンタ４１に保存された最終コードである。最終コードは、式（９）によって示される。

　Ｙ_{ｃｏａｒｓｅ}：Ｃ測定の最終出力結果。
　ｎ_Ｃ：単位遅延時間Δｔ_Ｄの増加の停止が発生した時のカウンタ値。

　１回のフィードバック動作に要する時間を時間（Ｔ_ＣＭ０）とする。Ｃ測定の実行に必要な時間Ｔ_ＣＭは、式（１０）によって示される。

　Ｆ測定を行うとき、アナログ処理ユニット２０は、積分器２２として機能する。デジタル処理ユニット４０は、加算器４２として機能する。図１０は、Ｆ測定を行う構成の等価ブロック線図である。図１０は、時間領域負帰還を備えた１次のデルタシグマ変調（ＤＳＭ）を採用したＦ測定の等価的ブロック図である。

　距離画像センサ３は、第１加え合わせ点Ｆ１０ａと、第２加え合わせ点Ｆ１０ｂと、第６伝達要素Ｆ１０ｃと、第７伝達要素Ｆ１０ｄと、第３加え合わせ点Ｆ１０ｅと、第８伝達要素Ｆ１０ｆと、第９伝達要素Ｆ１０ｇと、第１０伝達要素Ｆ１０ｈと、を有する。第６伝達要素Ｆ１０ｃ及び第２加え合わせ点Ｆ１０ｂは、復調器１２に対応する。第７伝達要素Ｆ１０ｄは、積分器２２に対応する。加え合わせ点Ｆ１０ｅは、Ａ／Ｄ変換器３０に対応する。第８伝達要素Ｆ１０ｆは、デルタシグマ変調器Ｆ１０の帰還系に配置される微分回路に対応する。第９伝達要素Ｆ１０ｇ及び第１０伝達要素Ｆ１０ｈは、ＤＴ変換器５０に対応する。

　図１０の等価ブロック線図を参照しながら、Ｆ測定について説明する。図１０に示される等価ブロック線図によれば、デルタシグマ変調器Ｆ１０の出力値Ｄ_ＦＢは、式（１１）により示される。

　Ｋ_ＩＮＴ：積分器２２のゲイン。
　Ｋ_Ｍ：復調器１２の時間－電圧変換ゲイン。
Ｅ_ｑ（ｚ）は、Ａ／Ｄ変換器３０の量子化ノイズである。Ｄ（ｚ）は、時間領域帰還に対するΔＴＯＦとの差である。Ｄ（ｚ）は、式（１２）により示される。

　ΔＴＯＦ（ｚ）：光飛行時間の差分。
　Δｔ_Ｄ：単位遅延時間。

　式（１２）を式（１１）に代入することにより、図１０のデルタシグマ変調部分に対するｚ領域での全体のシステム応答は、式（１３）により示される。

　Ｋ_ＩＮＴ：積分器２２のゲイン。
　Ｋ_Ｍ：復調器１２の時間－電圧変換ゲイン。
　ΔＴＯＦ（ｚ）：光飛行時間の差分。
　Δｔ_Ｄ：単位遅延時間。
　Ｅ_ｑ（ｚ）：Ａ／Ｄ変換器３０の量子化ノイズ。
　Ａ／Ｄ変換器３０を含む１次のデルタシグマ変調器Ｆ１０が安定に動作するとき、ループゲインは、１である。その結果、「Ｋ_ＩＮＴ×Ｋ_Ｍ×Δｔ_Ｄ＝１」という条件が成立する。この条件によれば、式（１３）から式（１４）が得られる。

　式（１４）より、信号と量子化ノイズの伝達関数が得られる。信号の伝達関数、即ち、デジタル信号Ｄ_ＦＢと差分光飛行時間ΔＴＯＦとの関係は、ＤＴ変換器５０の単位遅延時間Δｔ_Ｄの逆数と同じである。ノイズ伝達関数（ＮＴＦ）、即ち、デジタル信号Ｄ_ＦＢと量子化ノイズＥ_ｑとの関係は、１－ｚ^－１である。

　デルタシグマ変換の量子化ノイズを見積もるため、式（１５）を用いて、周波数領域でノイズ伝達関数の自乗を計算する。その結果、式（１６）が得られる。

　ｆ：周波数。
　Ｔ_ＳＯ：オーバーサンプリング周期。
　ｆ_ＳＯ：オーバーサンプリング周波数。

　図１１は、式（１６）によって与えられるノイズ伝達関数による量子化誤差のパワースペクトル密度の形を示している。図１１に示す形の量子化誤差は、カットオフ周波数ｆ_ＬＰＦのデジタルローパスフィルタ（ＬＰＦ）を用いることにより、効果的に減らすことができる。これにより、全体のノイズパワーに対する残留ノイズパワー（ハッチングの領域）の平方根の比の分だけ、Ｆ測定における有効ビット数（ＥＮＯＢ）が増加する。ｆ_ＳＯ／２ｆ_ＬＰＦで与えられるオーバーサンプリング比Ｎ_Ｆを用いると、全体のノイズパワーに対する残留ノイズパワーの面積比は、おおよそ１／Ｎ_Ｆ ^３である。このとき、理想的ローパスフィルタを用いると有効ビット数の増加分ΔＥＮＯＢ_ｉは、式（１７）によって与えられる。

　１次のデルタシグマ変換を用いた技術では、Ｎ_Ｆ＝４に対してΔＥＮＯＢ＝３が得られる。しかしながら、これは、非常に急峻なカットオフを持つ理想的ローパスフィルタの場合である。現実的な回路では、ビットストリーム中の１の数をカウントする非常に単純なカウンタがローパスフィルタとして用いられる。カウンタはそれほど急峻なカットオフを持たない。カウンタの周波数応答は、移動平均フィルタに似ている。ローパスフィルタの後の残留量子化ノイズパワーは、全体の量子化ノイズパワーの１／Ｎ_Ｆ ^２である。

　この場合の有効ビット数の増加分ΔＥＮＯＢ_１は、式（１８）で与えられる。

　実際の回路では、Ｎ_Ｆ＝６４（或いはエラー削減のため６６）及び、カウンタベースのローパスフィルタが使われる。Ｆ測定の回路におけるＥＮＯＢの増加分は６ビットである。式（１８）から、オーバーサンプリング比Ｎ_Ｆを２倍にすると、Ｃ測定の処理時間は２倍になる。その一方、ＥＮＯＢを１ビット増やすことが出来る。

　Ｎ_Ｆ＝６４は、６ビットのＦ測定におけるＴＤ変換に厳密に相当する。これは、Ｃ測定、及び、Ｆ測定の変換コードの接続境界で深度分解能を悪化させることがある。なぜならば、直線性の特性において、最大ΔＴＯＦの境界で不連続のステップが現れるためである。不連続点で、時間変数のエラーが発生する。特異点では、距離分解能（深度ノイズ）が悪化する。特異点における距離分解能の悪化は、Ｎ_Ｆを２の階乗の６４を超えた値に設定すれば回避できる。特異点における距離分解能の悪化は、例えばＮ_Ｆ＝６６にすることによって回避可能である。

　図１２は、Ｃ測定とＦ測定とをまとめて示すタイミングチャートである。つまり、図１２は、Ｃ測定とＦ測定とにより光飛行時間（ＴＯＦ）を測定する技術の概念的な駆動波形を示している。距離画像撮像装置１は、まず、Ｃ測定を行う。Ｃ測定において、距離画像撮像装置１のＤＴ変換器５０は、光飛行時間の推定値としてΔｔ_Ｄ・ｎ_Ｃを生成する。距離画像撮像装置１は、次に、Ｆ測定を行う。Ｆ測定において、距離画像撮像装置１は、デルタシグマ変調器として動作する。その結果、距離画像撮像装置１のＤＴ変換器５０は、ビットストリーム波形である信号を出力する。ビットストリーム波形は、Δｔ_Ｄ・ｎ_Ｃと、Δｔ_Ｄ・（ｎ_Ｃ－１）との２つの状態を含む。デルタシグマ変調器Ｆ１０の出力値は、ローパスフィルタに出力される。データのダウンサンプリングがなされた結果、Ｆ測定の出力値として、Ｙ_ｆｉｎｅが得られる。図１２では、デジタルカウンタ（１次積分器）がデシメーションフィルタに用いられているときのフィルタ出力の様子を示している。

　Ｆ測定の出力値であるＹ_ｆｉｎｅは、式（１９）によって示される。Ｙ_ｆｉｎｅは、０から１の間の値を取る。

　Ｙ_ｆｉｎｅ：Ｆ測定の出力値。
　ｎ_Ｆ：デルタシグマ変調器Ｆ１０から出力される数。
　Ｎ_Ｆ：Ｆ測定におけるトータルサンプリング数。

　Ｃ測定とＦ測定とを含む光飛行時間測定の技術によれば、光飛行時間を示す出力値Ｙ_ＴＯＦは、式（２０）又は式（２１）により示される。

　Ｎ_ＣとＮ_Ｆを、２Ｍ_Ｃと２Ｍ_Ｆとすれば、Ｃ測定とＦ測定とを含む光飛行時間測定の技術は、光飛行時間（ＴＯＦ）を（ｍ_Ｃ＋ｍ_Ｆ）ビットのデジタルコードに変換する。

　以下、距離画像撮像装置１の具体的な回路構成を説明する。図１３、図１４は、画素回路部１０、画素１２１及び前段増幅器１２２の回路構成を示す。画素回路部１０は、フォトダイオード１１（光電変換部）と、復調器１２と、を有する。フォトダイオード１１は、対象物１００からの反射光Ｌ２を受ける。画素１２１は、前段増幅器１２２に第１電荷量Ｑ_１及び第２電荷量Ｑ_２を出力する。

　フォトダイオード１１は、発生した電荷を復調器１２に出力する。フォトダイオード１１は、基準電位Ｖｒｅｆに接続されている。

　復調器１２は、第１浮遊拡散部ＦＤ_１（第１電荷読出領域）と、第１転送制御ゲートＧ_１（第１制御電極）と、第２浮遊拡散部ＦＤ_２（第２電荷読出領域）と、第２転送制御ゲートＧ_２（第２制御電極）と、電圧源Ｖ_Ｄと、第３転送制御ゲートＧ_Ｄと、を有する。復調器１２は、フォトダイオード１１から電荷を受ける。復調器１２は、アナログ処理ユニット２０に第１前段電圧信号Ｖ_Ｐ１と第２前段電圧信号Ｖ_Ｐ２とを出力する。

　フォトダイオード１１の出力は、第１転送制御ゲートＧ_１と、第２転送制御ゲートＧ_２と、第３転送制御ゲートＧ_Ｄと、に接続されている。第１転送制御ゲートＧ_１及び第２転送制御ゲートＧ_２は、横方向電界制御電荷変調（LEFM:Lateral Electric Field controlled charge Modulator）の原理に基づくゲートである。横方向電界制御電荷変調器ゲートを採用することにより、フォトダイオード１１から第１浮遊拡散部ＦＤ_１への第１電荷量Ｑ_１の転送の許可と禁止とを極めて高速に切り替えることができる。例えば、切り替え時間は、サブナノ秒程度である。その結果、距離測定の分解能を高めることができる。

　第１転送制御ゲートＧ_１は、第１浮遊拡散部ＦＤ_１に接続されている。従って、第１転送制御ゲートＧ_１は、フォトダイオード１１と第１浮遊拡散部ＦＤ_１との間に配置されている。第１転送制御ゲートＧ_１は、フォトダイオード１１から第１浮遊拡散部ＦＤ_１への電荷の転送を許可する。第１転送制御ゲートＧ_１は、フォトダイオード１１から第１浮遊拡散部ＦＤ_１への電荷の転送を禁止する。転送の許可と禁止とは、第１転送制御ゲートＧ_１に与えられる制御信号の電圧に応じて切り替わる。第１転送制御ゲートＧ_１に与えられた制御信号の電圧が、いわゆる「ＨＩＧＨ」であるとき、第１転送制御ゲートＧ_１は、フォトダイオード１１から第１浮遊拡散部ＦＤ_１への電荷の転送を許可する。第１転送制御ゲートＧ_１に与えられた制御信号の電圧が、いわゆる「ＬＯＷ」であるとき、第１転送制御ゲートＧ_１は、フォトダイオード１１から第１浮遊拡散部ＦＤ_１への電荷の転送を禁止する。第１浮遊拡散部ＦＤ_１は、前段増幅器１２２の第１入力端に接続されている。第１浮遊拡散部ＦＤ_１は、フォトダイオード１１から転送された電荷を第１電荷として蓄積する。

　第２転送制御ゲートＧ_２及び第２浮遊拡散部ＦＤ_２の接続構成は、第１転送制御ゲートＧ_１及び第１浮遊拡散部ＦＤ_１と同様である。従って、詳細な説明は省略する。

　第３転送制御ゲートＧ_Ｄは、ＭＯＳトランジスタゲートである。ＭＯＳトランジスタのドレインは、電圧源Ｖ_Ｄに接続されている。従って、第３転送制御ゲートＧ_Ｄは、フォトダイオード１１と電圧源Ｖ_Ｄとの間に配置されている。第３転送制御ゲートＧ_Ｄは、ＨＩＧＨに対応する制御信号が与えられたとき、フォトダイオード１１からドレインへの電荷の転送を許可する。電荷は、ドレインに排出される。第３転送制御ゲートＧ_Ｄは、ＬＯＷに対応する制御信号が与えられたとき、フォトダイオード１１からドレインへの電荷の転送を禁止する。

　前段増幅器１２２は、完全差動電荷感応型の増幅器（ＣＳＡ）である。前段増幅器１２２は、画素１２１から第１電荷量Ｑ_１及び第２電荷量Ｑ_２を受ける。前段増幅器１２２は、アナログ処理ユニット２０に第１前段電圧信号Ｖ_Ｐ１及び第２前段電圧信号Ｖ_Ｐ２を出力する。前段増幅器１２２は、演算増幅器１２２Ｓと、帰還キャパシタＣ_Ｓ１、Ｃ_Ｓ２と、リセットスイッチＰ_Ｒ１１、Ｐ_Ｒ１２と、を有する。前段増幅器１２２は、第１コモンモード帰還制御器１２２Ａを有する。

　演算増幅器１２２Ｓは、第１入力端と、第２入力端と、第３入力端と、を有する。演算増幅器１２２Ｓは、第１出力端と、第２出力端と、を有する。

　第１入力端は、第１浮遊拡散部ＦＤ_１に接続されている。第１入力端は、第１浮遊拡散部ＦＤ_１に蓄積された第１電荷量Ｑ_１を受ける。第１出力端は、アナログ処理ユニット２０の入力端に接続されている。第１出力端は、アナログ処理ユニット２０の入力端に第１前段電圧信号Ｖ_Ｐ１を出力する。第１出力端は、第１コモンモード帰還制御器１２２Ａに接続されている。第１出力端は、第１コモンモード帰還制御器１２２Ａに第１前段電圧信号Ｖ_Ｐ１を出力する。

　第２入力端及び第２出力端の接続構成は、第１入力端及び第１出力端の接続構成と同様である。従って、詳細な説明は省略する。

　第３入力端は、第１コモンモード帰還制御器１２２Ａに接続されている。第３入力端は、第１コモンモード帰還制御器１２２Ａから制御信号を受ける。第１コモンモード帰還制御器１２２Ａは、完全差動出力の平均レベルがコモン電圧Ｖ_ＣＯＭと等しくなるように演算増幅器１２２Ｓを制御する。

　帰還キャパシタＣ_Ｓ１は、第１入力端と第１出力端との間に接続されている。リセットスイッチＰ_Ｒ１１は、第１入力端と第１出力端との間に接続されている。リセットスイッチＰ_Ｒ１１は、帰還キャパシタＣ_Ｓ１に対して電気的に並列に接続されている。

　前段増幅器１２２の第１前段電圧信号Ｖ_Ｐ１は式（２２）により示される。前段増幅器１２２の第２前段電圧信号Ｖ_Ｐ２は式（２３）により示される。

　Ｖ_Ｐ１：第１前段電圧信号。
　Ｖ_Ｐ２：第２前段電圧信号。
　Ｑ_１：第１浮遊拡散部Ｆ_Ｄ１に蓄積された第１電荷量。
　Ｑ_２：第２浮遊拡散部Ｆ_Ｄ２に蓄積された第２電荷量。
　Ｃ_Ｓ：帰還キャパシタＣ_Ｓ１及び帰還キャパシタＣ_Ｓ２の容量値。
　Ｖ_ＣＯＭ：基準電圧。

　第１電荷量Ｑ_１は式（２４）により示される。第２電荷量Ｑ_２は式（２５）により示される。

　　Ｑ_Ｓ１：第１電荷量Ｑ_１において反射光に起因する信号電荷量。
　　Ｑ_Ｓ２：第２電荷量Ｑ_２において反射光に起因する信号電荷量。
　　Ｑ_Ｂ：第１電荷量Ｑ_１及び第２電荷量Ｑ_２において背景光に起因するノイズ電荷量。

　コモンモード帰還を伴う完全差動増幅器を用いることによって、差分前段電圧信号ΔＶ_Ｐは、式（２６）により示される。式（２６）によれば、前段増幅器１２２の出力値である差分前段電圧信号ΔＶ_Ｐは、背景光成分（Ｑ_Ｂ）をキャンセルしている。差分前段電圧信号ΔＶ_Ｐは、信号電荷量Ｑ_Ｓ１と信号電荷量Ｑ_Ｓ２の差分に比例する。

　ΔＶ_Ｐ：差分前段電圧信号。
　Ｖ_Ｐ１：第１前段電圧信号。
　Ｖ_Ｐ２：第２前段電圧信号。
　Ｑ_Ｓ１：第１電荷量Ｑ_１において反射光に起因する信号電荷量。
　Ｑ_Ｓ２：第２電荷量Ｑ_２において反射光に起因する信号電荷量。
　Ｃ_Ｓ：帰還キャパシタＣ_Ｓ１及び帰還キャパシタＣ_Ｓ２の容量値。

　電荷－電圧変換ゲインＧ_Ｃは、式（２７）により示される。

　Ｇ_Ｃ：電荷－電圧変換ゲイン。
　ΔＶ_Ｐ：差分前段電圧信号。
　Ｑ_Ｓ１：第１電荷量Ｑ_１において反射光に起因する信号電荷量。
　Ｑ_Ｓ２：第２電荷量Ｑ_２において反射光に起因する信号電荷量。
　Ｃ_Ｓ：帰還キャパシタＣ_Ｓ１及び帰還キャパシタＣ_Ｓ２の容量値。

　１つの短パルス光に含まれる光子の数は少ない。従って、信号は、反射光を周期的に多くのサイクルで受光することによって増強される。

　図１５は、画素１０回路部及び復調器１２の動作を示すタイミングチャートである。図１５では、差分前段電圧信号ΔＶ_Ｐの動きを、３つの種類の相対的遅延時間信号ｔ_Ｄに対して示している。相対的遅延時間信号Ｔ_Ｄが０であり、且つ、信号電荷量Ｑ_Ｓ１と信号電荷量Ｑ_Ｓ２が等しい場合には、差分前段電圧信号ΔＶ_Ｐは０である。相対的遅延時間信号ｔ_Ｄが０より大きければ（ｔ_Ｄ＞０）、差分前段電圧信号ΔＶ_Ｐの絶対値は次第に増加する。この場合の符号は、正である。相対的遅延時間信号Ｔ_Ｄより小さければ（ｔ_Ｄ＜０）、差分前段電圧信号ΔＶ_Ｐの絶対値は次第に増加する。この場合の符号は、負である。従って、光飛行時間によって相対的な光パルス遅延を測定することが可能である。つまり、電荷感受性型の前段増幅器１２２を含む復調器１２は、光パルス遅延の測定に採用できる。

　図１６は、アナログ処理ユニット２０の回路構成を示す。アナログ処理ユニット２０は、前段増幅器１２２から第１前段電圧信号Ｖ_Ｐ１及び第２前段電圧信号Ｖ_Ｐ２を受ける。アナログ処理ユニット２０は、Ａ／Ｄ変換器３０に第１後段電圧信号Ｖ_Ｏ１と第２後段電圧信号Ｖ_Ｏ２とを出力する。アナログ処理ユニット２０は、前処理部２３と、後段増幅部２４と、を有する。

　前処理部２３は、入力キャパシタＣ_Ｉ１、Ｃ_Ｉ２と、入力スイッチＰ_Ｓ１、Ｐ_Ｓ２と、ドレインスイッチＰ_Ｒ１Ｄ１、Ｐ_Ｒ１Ｄ２と、を有する。入力キャパシタＣ_Ｉ１、Ｃ_Ｉ２は、前段増幅器１２２の出力端に接続されている。入力キャパシタＣ_Ｉ１、Ｃ_Ｉ２は、入力スイッチＰ_Ｓ１、Ｐ_Ｓ２及びドレインスイッチＰ_Ｒ１Ｄ１、Ｐ_Ｒ１Ｄ２に接続されている。入力スイッチＰ_Ｓ１、Ｐ_Ｓ２は、入力キャパシタＣ_Ｉ１、Ｃ_Ｉ２と後段増幅部２４の演算増幅器２０Ｓの入力端とに接続されている。ドレインスイッチＰ_Ｒ１Ｄ１、Ｐ_Ｒ１Ｄ２は、入力キャパシタＣ_Ｉ１、Ｃ_Ｉ２と基準電位Ｖ_ｒｅｆとに接続されている。

　後段増幅部２４は、演算増幅器２０Ｓと、帰還キャパシタＣ_Ｆ１と、帰還キャパシタＣ_Ｆ２と、リセットスイッチＰ_Ｒ２１、Ｐ_Ｒ２２と、第２コモンモード帰還制御器２０Ａ（コモンモード帰還制御部）と、を有する。後段増幅部２４の回路構成は、前段増幅器１２２の回路構成と同じである。従って、後段増幅部２４を構成する要素の接続については、詳細な説明を省略する。

　前述したように、アナログ処理ユニット２０は、Ｃ測定であるときにはバッファ２１として機能する。アナログ処理ユニット２０は、Ｆ測定であるときには積分器２２として機能する。アナログ処理ユニット２０は、入力スイッチＰ_Ｓ１、Ｐ_Ｓ２、ドレインスイッチＰ_Ｒ１Ｄ１、Ｐ_Ｒ１Ｄ２及びリセットスイッチＰ_Ｒ２１、Ｐ_Ｒ２２の制御によってそれぞれの動作を実現する。

　バッファ２１として機能させるための、アナログ処理ユニット２０の動作を説明する。この動作によれば、アナログ処理ユニット２０は、固定ゲイン増幅器であるとみなせる。バッファ２１として機能させるとき、アナログ処理ユニット２０は、２つの動作態様を取る。

　第１の動作態様では、ドレインスイッチＰ_Ｒ１Ｄ１、Ｐ_Ｒ１Ｄ２をＯＮする。その結果、入力キャパシタＣ_Ｉ１、Ｃ_Ｉ２に差分前段電圧信号ΔＶ_Ｐがサンプルされる。この時間中、リセットスイッチＰ_Ｒ２１、Ｐ_Ｒ２２をＯＮする。その結果、帰還キャパシタＣ_Ｆ１及び帰還キャパシタＣ_Ｆ２がリセットされる。

　第２の動作態様では、ドレインスイッチＰ_Ｒ１Ｄ１、Ｐ_Ｒ１Ｄ２をＯＦＦする。さらに、入力スイッチＰ_Ｓ１、Ｐ_Ｓ２をＯＮする。その結果、入力キャパシタＣ_Ｉ１、Ｃ_Ｉ２にサンプルされた電荷は、容量比（Ｃ_Ｉ／Ｃ_Ｆ）で入力信号が増幅されるように帰還キャパシタＣ_Ｆ１、Ｃ_Ｆ２に転送される。リセットスイッチＰ_Ｒ２１、Ｐ_Ｒ２２をＯＦＦする。入力スイッチＰ_Ｓ１、Ｐ_Ｓ２をＯＮする。その結果、入力キャパシタＣ_Ｉ１、Ｃ_Ｉ２にサンプルされた電荷は、容量比（Ｃ_Ｉ／Ｃ_Ｆ）で入力信号が増幅されるように帰還キャパシタＣ_Ｆ１、Ｃ_Ｆ２に転送される。

　バッファ２１のゲインＡ_Ｉは、式（２８）により示される。バッファ２１のゲインとは、差動入力に対する差動出力のゲインである。

　Ａ_Ｉ：バッファ２１のゲイン。
　ΔＶ_Ｏ：差分前段電圧信号。
　ΔＶ_Ｐ：差分後段電圧信号。
　Ｃ_Ｉ：入力キャパシタＣ_Ｉ１及び入力キャパシタＣ_Ｉ２の容量値。
　Ｃ_Ｆ：帰還キャパシタＣ_Ｆ１及び帰還キャパシタＣ_Ｆ２の容量値。

　積分器２２として機能させるための、アナログ処理ユニット２０の動作を説明する。この動作によれば、アナログ処理ユニット２０は、完全差動スイッチトキャパシタ積分器であるとみなせる。この動作モードでは、リセットスイッチＰ_Ｒ２１、Ｐ_Ｒ２２は、帰還キャパシタＣ_Ｆ１及び帰還キャパシタＣ_Ｆ２の電荷をリセットするためにＯＮされる。

　入力キャパシタＣ_Ｉ１、Ｃ_Ｉ２とドレインスイッチＰ_Ｒ１Ｄ１、Ｐ_Ｒ１Ｄ２による入力信号のサンプリングと、入力スイッチＰ_Ｓ１、Ｐ_Ｓ２による帰還キャパシタＣ_Ｆ１及び帰還キャパシタＣ_Ｆ２への電荷の転送とが、スイッチトキャパシタ積分を行うように繰り返される。積分器２２は、ループを繰り返すごとに、第ｍ－１回目の積分結果に第ｍ回目の差分前段電圧信号ΔＶ_Ｐを加算する。Ｎ_Ｆ回のスイッチトキャパシタ積分の繰り返し後の最後の出力は、式（２９）により示される。即ち、差分後段電圧信号ΔＶ_Ｏ（Ｎ_Ｆ）（演算値）は、式（２９）により示される。

　ΔＶ_Ｏ（Ｎ_Ｆ）：Ｎ_Ｆ回目の差分後段電圧信号。
　Ａ_Ｉ：バッファ２１のゲイン。
　ΔＶ_Ｐ（ｉ）：ｉ番目の差動入力。

　図１７は、ＤＴ変換器５０及び転送制御パルス発生器７０の回路構成を示す。ＤＴ変換器５０は、デジタル処理ユニット４０からデジタル信号Ｄ_Ｍを受ける。ＤＴ変換器５０は、光トリガ制御器８４ａから信号Ｔ_Ｓを受ける。ＤＴ変換器５０は、信号Ｔ_Ｓをトリガとして動作を開始する。

　ＤＴ変換器５０は、第１ディレイライン５１ａと、第２ディレイライン５１ｂと、第３ディレイライン５１ｃと、第１デジタルコンパレータ５２ａと、第２デジタルコンパレータ５２ｂと、第３デジタルコンパレータ５２ｃと、を有する。第１ディレイライン５１ａ、第２ディレイライン５１ｂ及び第３ディレイライン５１ｃは、デジタル制御が可能な遅延回路である。

　第１ディレイライン５１ａは、光トリガ制御器８４ａ（図１８参照）に接続されている。第１ディレイライン５１ａは、光トリガ制御器８４ａから信号Ｔ_Ｓを受ける。第１ディレイライン５１ａは、第２ディレイライン５１ｂの入力端に接続されている。第２ディレイライン５１ｂは、第３ディレイライン５１ｃの入力端に接続されている。第１ディレイライン５１ａ、第２ディレイライン５１ｂ及び第３ディレイライン５１ｃは、電気的に直列に接続されている。第１ディレイライン５１ａ、第２ディレイライン５１ｂ及び第３ディレイライン５１ｃのそれぞれは、５ビットのカウンタを有する。

　第１ディレイライン５１ａは、第１デジタルコンパレータ５２ａに第１バイナリカウンティングコードを出力する。第１デジタルコンパレータ５２ａは、第１バイナリカウンティングコードとデジタル処理ユニット４０のデジタル信号Ｄ_Ｍとを比較する。第１デジタルコンパレータ５２ａは、比較の結果を、信号ＤＣＯ０として転送制御パルス発生器７０に出力する。信号ＤＣＯ０は、第１転送制御ゲートＧ_１に与えられる第１転送制御パルスＳＧ_１のためのものである。

　第２ディレイライン５１ｂ及び第２デジタルコンパレータ５２ｂの接続構成及び動作は、第１ディレイライン５１ａ及び第１デジタルコンパレータ５２ａの接続構成及び動作と同様である。従って、詳細な説明は省略する。

　第３ディレイライン５１ｃ及び第３デジタルコンパレータ５２ｃの接続構成及び動作も、第１ディレイライン５１ａ及び第１デジタルコンパレータ５２ａの接続構成及び動作と同様である。従って、詳細な説明は省略する。

　転送制御パルス発生器７０は、ＤＴ変換器５０から信号ＤＣＯ０、ＤＣＯ１、ＤＣＯ２を受ける。転送制御パルス発生器７０は、復調器１２に第１転送制御パルスＳＧ_１、第２転送制御パルスＳＧ_２及び第３転送制御パルスＳＧ_Ｄを出力する。転送制御パルス発生器７０は、第１論理素子７１ａと、第２論理素子７１ｂと、第３論理素子７１ｃと、第１素子７２ａと、第２素子７２ｂと、第３素子７２ｃと、を有する。

　第１論理素子７１ａは、ＡＮＤ回路である。第１論理素子７１ａの非反転入力端には、第１デジタルコンパレータ５２ａが接続される。第１論理素子７１ａの反転入力端には、第２デジタルコンパレータ５２ｂが接続される。第１論理素子７１ａの出力端は、第１素子７２ａが接続される。第１素子７２ａは、復調器１２に第１転送制御パルスＳＧ_１を出力する。

　第２論理素子７１ｂも、ＡＮＤ回路である。第２論理素子７１ｂの非反転入力端には、第２デジタルコンパレータ５２ｂが接続される。第２論理素子７１ｂの反転入力端には、第３デジタルコンパレータ５２ｃが接続される。第２論理素子７１ｂの出力端は、第２素子７２ｂが接続される。第２素子７２ｂは、復調器１２に第２転送制御パルスＳＧ_２を出力する。

　第３論理素子７１ｃは、ＯＲ回路である。第３論理素子７１ｃの非反転入力端には、第３デジタルコンパレータ５２ｃが接続される。第３論理素子７１ｃの反転入力端には、第１デジタルコンパレータ５２ａが接続される。第３論理素子７１ｃの出力端は、第３素子７２ｃが接続される。第３素子７２ｃは、復調器１２に第３転送制御パルスＳＧ_Ｄを出力する。

　図１８に示すように、距離画像撮像装置１は、光源２と、チップ部品８３と、ＦＰＧＡ８４と、を有する。チップ部品８３及びＦＰＧＡ８４は、プリント基板８１に配置されている。プリント基板８１には、コンパレータ８５も配置されている。プリント基板８１は、チップ部品８３が出力する信号を外部に出力するＪＴＡＧインターフェースを有する。プリント基板８１は、ＪＴＡＧインターフェースを介してコンピュータ２００にチップ部品８３が出力する信号を出力する。

　チップ部品８３は、デジタルディレイライン５１と、デジタルコンパレータ５２と、転送制御パルス発生器７０と、フォトダイオード１１と、復調器１２と、前段増幅器１２２と、アナログ処理ユニット２０と、マルチプレクサ８３ａと、を含む。

　チップ部品８３は、ＦＰＧＡ８４から各種の制御信号を受ける。チップ部品８３は、対象物１００からの反射光Ｌ２を受ける。チップ部品８３のアナログ処理ユニット２０は、多重化されたチャンネルを介してコンパレータ８５に接続されている。チップ部品８３は、コンパレータ８５に第１後段電圧信号Ｖ_Ｏ１及び第２後段電圧信号Ｖ_Ｏ２を出力する。

　コンパレータ８５は、第１後段電圧信号Ｖ_Ｏ１及び第２後段電圧信号Ｖ_Ｏ２に基づいて、ビットストリーム信号を発生する。コンパレータ８５は、ビットストリーム信号をＦＰＧＡ８４に出力する。

　ＦＰＧＡ８４は、光トリガ制御器８４ａと、デジタル処理ユニット４０と、リードアウト制御器８４ｂと、を有する。ＦＰＧＡ８４は、コンパレータ８５からビットストリーム信号であるデジタル信号Ｄ_ＦＢを受ける。ＦＰＧＡ８４は、チップ部品８３に信号を出力する。具体的には、光トリガ制御器８４ａは、信号ＴＬをデジタル遅延制御器８２に出力する。光トリガ制御器８４ａは、信号ＴＳをチップ部品８３のデジタルディレイライン５１に出力する。デジタル処理ユニット４０は、カウンタ４１と、加算器４２と、デシメーションフィルタ６０と、を有する。デジタル処理ユニット４０は、デジタルディレイライン５１にデジタル信号Ｄ_Ｍを出力する。リードアウト制御器８４ｂは、前段増幅器１２２、アナログ処理ユニット２０及びマルチプレクサ８３ａにクロック信号ＰＣ［ｎ］を出力する。

　以下、従来の距離画像測定装置が有する課題を詳細に説明する。そのあとに、実施形態の距離画像撮像装置１の作用効果について説明する。

　距離画像測定装置には、直接型と称される装置と、間接型と称される装置と、がある。直接型の装置は、照射光を出射してから反射光を受けるまでの時間を直接的に測定する。一方、間接型の装置は、反射光に起因して発生した電荷を２個以上の領域（タップ）に時間毎に振り分ける。電荷の振り分けは、復調ともいう。間接型の装置は、それぞれの領域に振り分けられた電荷の量の比率に基づいて、光飛行時間を得る。

　距離画像撮像装置１には、高い精度、確度、直線性、及び、環境光への耐性が要求される。通常、直接型の装置は、光信号を計測するための素子として、ＳＰＡＤ（ＳＩＮＧＬＥ　ＰＨＯＴＯＮ　ＡＶＡＬＡＮＣＨＥ　ＤＩＯＤＥ）を採用する。ＳＰＡＤと全デジタル領域の処理を用いた直接型の装置は、高確度の光飛行時間測定には適している。直接型の装置において、光飛行時間は、ＴＩＭＥ－ＴＯ－ＤＩＧＩＴＡＬ（ＴＤ）変換器によってデジタル化される。ＴＤ変換器を備えた直接型の装置は、高い分解能と良好な直線性とを有する。しかし、直接型の装置は、回路規模が大きくなる。さらに、直接型の装置は、ＴＤ変換器の分解能が距離分解能を制限する。従って、直接型の装置は、短距離の測定が困難である。直接型の装置に、極めて高い分解能と環境光への耐性とが要求された場合には、直接型の装置は、ハードウェア構成が複雑化する。

　一方、間接型の装置は、２個以上の電荷蓄積領域を備えた画素を採用する。２個以上の電荷蓄積領域を備えた画素は、ロックイン画素とも称される。間接型の装置は、光電荷信号を発光トリガパルス信号に同期（ロックイン）させることによって、復調する。次に、間接型の装置は、復調された光電荷信号をＡ／Ｄ変換器によってデジタル信号に変換する。次に、間接型の装置は、第１電荷蓄積領域における電荷量と、第２電荷蓄積領域における電荷量と、の比率を得る。そして、間接型の装置は、電荷量の比率に基づいて、距離を計算する。

　間接型の装置における分解能と直線性は、光電荷復調器とＡ／Ｄ変換器のシステム応答とに依存する。間接型の装置の分解能と直線性は、直接型の装置の分解能と直線性よりも低い。しかし、間接型の装置は、画素サイズが小さい、回路が複雑でないという点において直接型の装置よりも有利である。特に、間接型の装置は、数メートルの距離測定に対する比較的信頼できる距離分解能が得られるという点において、直接型の装置よりも有利である。

　間接型の装置は、変調された光の波形に応じてさらに２つの種類に分類される。光の波形とは、第１に連続波（ＣＷ）である。第２に、短パルス波である。短パルス波を利用する間接型の装置は、照射光のパワーが短いパルス波に集中する。その結果、画素の電荷排出機能が環境光の影響を低減する。従って、短パルス波を利用する間接型の装置は、環境光に対する耐性が高い。

　しかし、短パルス波を利用する間接型の装置は、光飛行時間を測定するときに行うアナログ領域の処理に起因する、画素のソースフォロワ増幅器の非線形性の問題及び光パルスの波形の歪の問題を有する。短パルス波を利用する間接型の装置は、フォトダイオードの内部において光キャリア応答時間が有限である問題、及び、復調のための転送制御パルスの歪の問題も有する。短パルス波を利用する間接型の装置は、アナログ的な不完全性の問題を有する。

　例えば、フォトンショットノイズが距離分解能を制限する問題を考える場合には、画素のフルウェルキャパシティが、間接型の装置における距離分解能を制限する。また、画素のフルウェルキャパシティが、間接型の装置における深度ノイズを制限する。

　短パルス波を利用する間接型の装置において、極めて短いパルス光を用いることは、距離分解能を改善するために有効である。例えば、１００ピコ秒以下の光パルスを用いたセンサが報告されている。報告書には、１００ピコ秒以下の光パルスを用いたセンサは、サブ１００μｍの距離分解能を持つことが記されている。しかし、短パルス光に起因する非線形性の問題及び転送制御パルスのスキューの問題などが依然として課題となっている。短パルス波を利用する間接型の装置には、非線形性を補正するための複雑なオフライン処理が必要である。短パルス波を利用する間接型の装置には、オンチップスキュー補正回路も必要である。

　間接型の装置のシステム応答は、復調器の伝達関数とＡ／Ｄ変換器の伝達関数が分解能と直線性を制限する。実際には、間接型の装置のシステム応答は、オフセットと非線形な係数とを有する。オフセットは容易に補正することができる。しかし、非線形な係数をシステム応答から除去することは容易ではない。非線形な係数を補正するためには、大規模な処理回路が必要である。非線形な係数を補正するためには、複雑な信号処理が必要である。

　実施形態の距離画像測定装置１は、光飛行時間に関する電荷量の差分から得た演算値を所定条件の基にデジタル信号に変換する。そして、デジタル信号を用いて、転送制御パルスのタイミングを制御する。その結果、電荷読出領域ごとの電荷量の偏りを小さくすることが可能になるので、総合的な性能が向上する。

　本実施形態の距離画像撮像装置１は、２つの電荷蓄積部の電荷量が共に大きな状態で測定を行うため、電荷の蓄積や電荷の読出しに伴うノイズの影響を最小限にできる。さらには、Ｆｉｎｅ測定においては、デルタシグマ変調技術を適用することで、低周波領域での量子化誤差が小さくなる。一方、高周波領域での量子化誤差は大きくなる。そこで、後段にローパスフィルタを設ける。その結果、量子化誤差の低減を効果的に行うことができる。

　以上、距離画像撮像装置をその実施形態に基づいて詳細に説明した。しかし、距離画像撮像装置は上記実施形態に限定されない。距離画像撮像装置は、その要旨を逸脱しない範囲で様々な変形が可能である。

　上述の距離画像撮像装置は、Ｃ測定とＦ測定とを相互に切り替えながら動作した。例えば、距離画像撮像装置は、Ｃ測定又はＦ測定の何れか一方を行ってもよい。つまり、距離画像撮像装置は、おおよその距離情報を得るＣ測定のみを行ってもよい。この場合には、距離画像撮像装置は、Ｆ測定のための回路構成を省略してよい。さらに、Ｃ測定のみを行う距離画像撮像装置は、互いに異なる２つの単位遅延時間を用いた動作を行ってもよい。つまり、距離画像撮像装置は、第１の単位遅延時間に基づく動作と、第１の遅延時間よりも短い第２の単位遅延時間に基づく動作と、を行う。このような動作によれば、第２の単位遅延時間に基づく動作は、疑似的なＦ測定としてみなすことも可能である。

　距離画像撮像装置は、Ｆ測定のみを行ってもよい。この場合には、距離画像撮像装置は、Ｃ測定のための回路構成を省略してよい。

１…距離画像撮像装置、２…光源、４…周辺回路、１０…画素回路部、１０Ｓ…画素回路部アレイ、２１…バッファ、２２…積分器、３０…Ａ／Ｄ変換器、４１…カウンタ、４２…加算器、６０…デシメーションフィルタ、Ｆ１０…デルタシグマ変調器、ＦＤ_１…第１浮遊拡散部（第１電荷読出領域）、ＦＤ_２…第２浮遊拡散部（第２電荷読出領域）、Ｇ_１…第１転送制御ゲート（第１制御電極）、Ｇ_２…第２転送制御ゲート（第２制御電極）、ＳＧ_１…第１転送制御パルス、ＳＧ_２…第２転送制御パルス。

Claims

　パルス光を発生させる光源と、
　受けた光に対応する電荷を生成する複数の画素回路部を含む画素回路部アレイと、
　前記画素回路部アレイの動作を制御する転送制御パルスを前記画素回路部アレイに提供する周辺回路と、を備え、
　前記画素回路部は、
　　光を前記電荷に変換する光電変換領域と、
　　前記光電変換領域から転送された前記電荷を第１電荷として蓄積する第１電荷読出領域と、
　　前記光電変換領域から前記第１電荷読出領域への前記電荷の転送を制御する第１転送制御パルスを受ける第１制御電極と、
　　前記光電変換領域から転送された前記電荷を第２電荷として蓄積する第２電荷読出領域と、
　　前記光電変換領域から前記第２電荷読出領域への前記電荷の転送を制御する第２転送制御パルスを受ける第２制御電極と、を有し、
　前記周辺回路は、前記第１電荷読出領域に蓄積される前記第１電荷の量と前記第２電荷読出領域に蓄積される前記第２電荷の量との大小関係に基づいて、前記第１転送制御パルス及び前記第２転送制御パルスを生成する、距離画像撮像装置。
　前記周辺回路は、
　　前記第１電荷に基づく第１電圧と前記第２電荷に基づく第２電圧との差分に関する演算値を出力する第１演算部と、
　　前記第１転送制御パルスおよび前記第２転送制御パルスを出力するタイミングを決定するための遅延時間を、前記演算値を用いて決定する第２演算部と、を有し、
　前記周辺回路は、前記第１電荷及び前記第２電荷を蓄積する蓄積動作と、前記第１演算部の動作と、前記第２演算部の動作と、を繰り返す、請求項１に記載の距離画像撮像装置。
　前記第２演算部は、第ｎ回目（ｎは１以上の整数）の前記第２演算部の動作において、前記演算値が第１情報であるときに、第ｎ回目の前記蓄積動作のために用いた第ｎ回目の前記遅延時間を、さらに単位遅延時間だけ遅らせたものを、第ｎ＋１回目の前記蓄積動作のために用いる第ｎ＋１回目の前記遅延時間として決定する、請求項２に記載の距離画像撮像装置。
　前記第２演算部は、
　　第ｎ回目の前記第２演算部の動作において、前記演算値が第１情報であるときに制御変数に１を加える動作を行うカウンタと、
　　前記制御変数と単位遅延時間とを乗算して得た値を、第ｎ＋１回目の前記蓄積動作のために用いる第ｎ＋１回目の前記遅延時間として決定する遅延時間決定部と、を有する、請求項２又は３に記載の距離画像撮像装置。
　前記第１演算部は、前記第１電圧と前記第２電圧との差分を差分電圧として出力した後に、第１回目から第ｍ－１回目（ｍは２以上の整数）までの前記差分電圧の積分値に第ｍ回目の前記差分電圧を加算した結果を、第ｍ回目の前記差分電圧の積分値として求め、
　前記第２演算部は、第ｍ回目の積分値が第２情報であるときに、第ｍ＋１回目の前記蓄積動作のために用いる第ｍ＋１回目の前記遅延時間を第１遅延時間とし、第ｍ回目の積分値が第１情報であるときに、第ｍ＋１回目の前記遅延時間を第２遅延時間として決定する、請求項２に記載の距離画像撮像装置。
　前記第１演算部は、第１回目から第ｍ－１回目までの差分電圧の積分値に第ｍ回目の前記差分電圧を加算した結果を、第ｍ回目の積分値として求める積分器を有し、
　前記第２演算部は、第ｍ回目の積分値が第２情報であるときに第ｍ＋１回目の前記遅延時間として第１遅延時間を決定し、第ｍ回目の積分値が第１情報であるときに第ｍ＋１回目の前記遅延時間として第２遅延時間を決定する遅延時間決定部を有する、請求項２又は５に記載の距離画像撮像装置。
　前記第１演算部が出力する前記演算値をデジタル信号に変換し、前記デジタル信号を前記第２演算部に出力すると共に、前記第１演算部及び前記第２演算部と協働してデルタシグマ変調器を構成するＡ／Ｄ変換器と、
　前記蓄積動作、前記第１演算部の動作、前記Ａ／Ｄ変換器の動作及び前記第２演算部の動作が繰り返されるごとに、前記Ａ／Ｄ変換器が出力する前記デジタル信号を受け、前記デジタル信号に対してローパスフィルタ処理とダウンサンプリングを行うデシメーションフィルタをさらに備える、請求項５または６に記載の距離画像撮像装置。
　前記デシメーションフィルタは、前記ローパスフィルタ処理のオーバーサンプリング比が、２^Ｂ―１より大きく２^Ｂより小さい整数であり、
　Ｂはオーバーサンプリング比を表現可能な最小ビット数である、請求項７に記載の距離画像撮像装置。
　前記周辺回路は、
　前記第１電荷及び前記第２電荷を蓄積する蓄積動作と、前記第２演算部が、第ｎ回目の前記第２演算部の動作において、前記演算値が第１情報であるときに、第ｎ回目の前記蓄積動作のために用いた第ｎ回目の前記遅延時間を、さらに単位遅延時間だけ遅らせたものを、第ｎ＋１回目の前記蓄積動作のために用いる第ｎ＋１回目の前記遅延時間として決定する動作と、を含む処理を繰り返す第１測定と、
　前記蓄積動作と、前記第１演算部が、前記第１電圧と前記第２電圧との差分を差分電圧として出力した後に、第１回目から第ｍ－１回目までの前記差分電圧の積分値に第ｍ回目の前記差分電圧を加算した結果を、第ｍ回目の前記差分電圧の積分値として求める動作と、前記第２演算部が、第ｍ回目の積分値が第２情報であるときに第ｍ＋１回目の前記遅延時間として第１遅延時間を決定し、第ｍ回目の積分値が第１情報であるときに第ｍ＋１回目の前記遅延時間として第２遅延時間を決定する動作と、を含む処理を繰り返す第２測定と、を行う、請求項２に記載の距離画像撮像装置。
　前記第１演算部は、第１回目から第ｍ－１回目までの差分電圧の積分値に第ｍ回目の前記差分電圧を加算した結果を求める積分器を含み、
　前記第２演算部は、
　　第ｎ回目の前記第２演算部の動作において、前記演算値が第１情報であるときに制御変数に１を加える動作を行うカウンタと、
　　前記制御変数と単位遅延時間とを乗算して得た値を、第ｎ＋１回目の前記蓄積動作のために用いる第ｎ＋１回目の前記遅延時間として決定する動作、又は、第ｍ回目の積分値が第２情報であるときに第ｍ＋１回目の前記遅延時間として第１遅延時間を決定し、第ｍ回目の積分値が第１情報であるときに第ｍ＋１回目の前記遅延時間として第２遅延時間を決定する動作を選択的に実行する遅延時間決定部と、を有する、請求項２又は９に記載の距離画像撮像装置。
　前記第１演算部は、前記第１電圧と前記第２電圧との差分を差分電圧として出力する差動増幅器を含み、
　前記差動増幅器は、
　第１入力端、第２入力端、第３入力端、第１出力端及び第２出力端を有する演算増幅器と、
　前記第１電荷読出領域から第１電荷を受けると共に、前記第１入力端及び前記第１出力端に接続された帰還キャパシタと、
　前記第２電荷読出領域から第２電荷を受けると共に、前記第２入力端及び前記第２出力端に接続された帰還キャパシタと、
　前記第３入力端、前記第１出力端及び前記第２出力端に接続され、前記第１出力端からの出力値と、前記第２出力端からの出力値と、の差分がコモン電圧と等しくなるように、前記第３入力端に信号を提供するコモンモード帰還制御部と、を含む、請求項４、６及び１０の何れか一項に記載の距離画像撮像装置。
　距離画像撮像装置を用いて距離画像を撮像する方法であって、
　前記距離画像撮像装置は、
　　光を電荷に変換する光電変換領域と、
　　前記光電変換領域から転送された前記電荷を第１電荷として蓄積する第１電荷読出領域と、
　　前記光電変換領域から前記第１電荷読出領域への前記電荷の転送を制御する第１転送制御パルスを受ける第１制御電極と、
　　前記光電変換領域から転送された前記電荷を第２電荷として蓄積する第２電荷読出領域と、
　　前記光電変換領域から前記第２電荷読出領域への前記電荷の転送を制御する第２転送制御パルスを受ける第２制御電極と、を有し、
　前記距離画像を撮像する方法は、
　前記第１制御電極に与えられる第１転送制御パルスに基づいて前記第１電荷読出領域に前記第１電荷を蓄積すると共に、前記第２制御電極に与えられる第２転送制御パルスに基づいて前記第２電荷読出領域に前記第２電荷を蓄積する電荷蓄積工程と、
　前記第１電荷の量と前記第２電荷の量との大小関係に基づいて、前記第１転送制御パルス及び前記第２転送制御パルスを生成するパルス生成工程と、
を有する、距離画像を撮像する方法。
　前記パルス生成工程は、
　前記第１電荷に基づく第１電圧と前記第２電荷に基づく第２電圧との差分に関する演算値を出力する演算工程と、
　前記第１転送制御パルスおよび前記第２転送制御パルスを出力するタイミングを決定するための遅延時間を、前記演算値を用いて決定する遅延時間決定工程と、を含み、
　前記電荷蓄積工程及び前記パルス生成工程を繰り返す、請求項１２に記載の距離画像を撮像する方法。
　前記遅延時間決定工程は、第ｎ回目の前記演算工程において、前記演算値が第１情報であるときに、第ｎ回目の前記電荷蓄積工程のために用いた第ｎ回目の前記遅延時間を、さらに単位遅延時間だけ遅らせたものを、第ｎ＋１回目の前記電荷蓄積工程のために用いる第ｎ＋１回目の前記遅延時間として決定する工程を含む、請求項１３に記載の距離画像を撮像する方法。
　前記遅延時間決定工程は、
　前記第１電圧と前記第２電圧との差分を差分電圧として出力した後に、第１回目から第ｍ－１回目までの前記差分電圧の積分値に第ｍ回目の前記差分電圧を加算した結果を、第ｍ回目の前記差分電圧の積分値として求める工程と、
　第ｍ回目の積分値が第２情報であるときに、第ｍ＋１回目の前記電荷蓄積工程のために用いる第ｍ＋１回目の前記遅延時間を第１遅延時間とし、第ｍ回目の積分値が第１情報であるときに、第ｍ＋１回目の前記遅延時間を第２遅延時間として決定する工程と、を含む、請求項１３に記載の距離画像を撮像する方法。
　前記遅延時間決定工程は、
　第ｎ回目の前記演算工程において、前記演算値が第１情報であるときに、第ｎ回目の前記電荷蓄積工程のために用いた第ｎ回目の前記遅延時間を、さらに単位遅延時間だけ遅らせたものを、第ｎ＋１回目の前記電荷蓄積工程のために用いる第ｎ＋１回目の前記遅延時間として決定する工程と、
　前記第１電圧と前記第２電圧との差分を差分電圧として出力した後に、第１回目から第ｍ－１回目までの前記差分電圧の積分値に第ｍ回目の前記差分電圧を加算した結果を、第ｍ回目の前記差分電圧の積分値として求める工程と、
　第ｍ回目の積分値が第２情報であるときに、第ｍ＋１回目の前記電荷蓄積工程のために用いる第ｍ＋１回目の前記遅延時間を第１遅延時間とし、第ｍ回目の積分値が第１情報であるときに、第ｍ＋１回目の前記遅延時間を第２遅延時間として決定する工程と、を含む、請求項１３に記載の距離画像を撮像する方法。