JP7016183B2 - 距離画像撮像装置、および距離画像撮像方法 - Google Patents

Description

本発明は、距離画像撮像装置、および距離画像撮像方法に関する。

従来から、光の速度が既知であることを利用し、光の飛行時間に基づいて被写体との距離を測定する、タイム・オブ・フライト（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ、以下「ＴＯＦ」という）方式の距離センサが実現されている。ＴＯＦ方式の距離センサでは、撮影対象の空間に近赤外光を照射し、近赤外光を照射した時間と、近赤外光が被写体によって反射して戻ってくる時間との差、つまり、近赤外光の飛行時間に基づいて、被写体との距離を測定している。

また、近年のＴＯＦ方式の距離センサの中には、撮像装置に搭載される固体撮像装置と同様に、距離を測定するための光を検出する画素を二次元の行列状に複数配置し、被写体との間の２次元の距離の情報のみではなく、被写体の画像も取得（撮像）することができる、いわゆる、距離画像撮像装置も実現されている。

そして、距離画像撮像装置には、被写体との距離を測定する複数の方式のうち、パルス状の近赤外光（以下、「光パルス」という）を照射し、光パルスを照射した時間と、所定時間後に被写体によって反射してきた光パルスを検出した時間との差に基づいて、光パルスの飛行時間を計測する方式が採用されたものがある。このような方式の距離画像撮像装置において、被写体との距離の情報や被写体の画像を取得するためのセンサとして用いられる撮像素子には、それぞれの画素の中に、複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とを設けた構成のものがある。振り分け構成の撮像素子では、画素を構成する光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分け、それぞれの電荷蓄積部に振り分けられた電荷の比に基づいて、被写体によって反射してきた光パルスの遅れ時間を算出することによって、被写体との距離を測定することができる。

距離画像撮像装置では、様々な被写体の状況や環境において距離を測定する必要がある。例えば、複数の距離画像撮像装置が近接して存在する状況であったり、距離を測定する対象の被写体を複数の距離画像撮像装置で囲んで測定する環境であったりする。このような状況や環境では、距離画像撮像装置が照射した光パルスの反射光に、他の距離画像撮像装置が照射した光パルスの直接光又は反射光が混在してしまうことがあり得る。このような場合、他の距離画像撮像装置が照射した光パルスを、被写体によって反射してきた光パルスと誤認識してしまい被写体との距離の測定精度が低下したり、被写体との距離を測定することができなくなってしまったりするということが考えられる。このため、他の距離画像撮像装置から照射される光パルスが入射され得る環境において、距離画像撮像装置が被写体との距離を測定する際には、他の距離画像撮像装置から照射される光パルスの影響を低減させることが望まれている。

これに関して、例えば、特許文献１に開示されたような、距離センサ（距離画像撮像装置）に関する技術が提案されている。特許文献１に開示された距離センサは、蓄積周期の所定回数分の合計期間が、蓄積周期の長さの変更前後において蓄積周期の１周期分以上ずれるように、蓄積周期の長さを変更する周期設定部を備えている。ここで蓄積周期は光源部による光の出射に応じて受光部が受光量を蓄積する周期である。つまり、特許文献１に開示された距離センサの技術では、蓄積周期の長さを変更する。これにより、特許文献１に開示された距離センサでは、蓄積周期の期間に、干渉光（他の距離センサから照射された光パルス）が入射されること自体は許容しながら、それぞれの電荷蓄積部に振り分けられた電荷に含まれる干渉光の影響を統計的に均等にして、干渉光の入射による距離の誤測定を抑制することができる。

特開２０１７－１９０９７８号公報

しかしながら、特許文献１に開示された距離センサの技術は、使い勝手がよいものであるとは言い難かった。例えば、特許文献１のセンサは、蓄積周期の所定回数分の合計期間が、蓄積周期の長さの変更前後において蓄積周期の１周期分以上ずれるようにする。つまり、蓄積周期の長さの変更前後で距離の測定に要する時間が異なる。この場合、センサが測定する度に測定に要する時間が異なってしまい、それぞれの測定結果を統合させようとした場合に使い勝手が悪くなる。また、特許文献１のセンサでは、測定した距離の変化率の大きさに基づいて干渉が生じたか否かを判定する。このため、距離を測定する前に干渉の有無を判定することができない。すなわち、特許文献１のセンサでは、特に、被写体までの距離を複数のセンサを用いて測定する場合などにおいて利用し難くなる恐れがあった。

本発明は、上記の課題に基づいてなされたものであり、利便性を損ねることなく、干渉光の入射による距離の誤測定を抑制することができる距離画像撮像装置、および距離画像撮像方法を提供することを目的としている。

本発明の第１の態様によれば、距離画像撮像装置は、撮影対象の空間に対して所定の周期で断続的な光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子と、前記電荷を蓄積する複数の電荷蓄積部とを具備し、所定の蓄積タイミングで前記電荷を前記電荷蓄積部それぞれに振り分けて蓄積する画素が二次元の行列状に複数配置された距離画像センサを備えた受光部と、前記蓄積タイミングに同期させて前記光パルスを照射させる測定期間において前記電荷蓄積部のそれぞれに蓄積された前記電荷の量である電荷量に基づいて、前記撮影対象の空間に存在する被写体との間の距離を求める距離画像処理部と、前記蓄積タイミングに前記光パルスを照射させない調査期間において、前記電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量に基づいて、前記測定期間における前記蓄積タイミングを決定するタイミング決定部と、を備える。

本発明の第２の態様によれば、前記タイミング決定部は、前記調査期間において前記電荷蓄積部それぞれに蓄積された前記電荷量と、前記調査期間における前記蓄積タイミングとに応じて、前記測定期間における前記蓄積タイミングを決定する。

本発明の第３の態様によれば、前記タイミング決定部は、前記調査期間において蓄積された前記電荷量が最大である前記電荷蓄積部に前記電荷が蓄積される蓄積期間と、前記測定期間における前記蓄積タイミングの前記電荷蓄積部のそれぞれの前記蓄積期間とが、前記蓄積期間が繰り返される周期である蓄積周期において重ならないように、前記測定期間における前記蓄積タイミングを決定する。

本発明の第４の態様によれば、前記タイミング決定部は、前記調査期間において蓄積された電荷量が最大である前記電荷蓄積部の識別情報と、前記測定期間における前記蓄積タイミングに関する情報とを対応付けたタイミング情報テーブルに基づいて、前記測定期間における前記蓄積タイミングを決定する。

本発明の第５の態様によれば、前記調査期間の長さは、前記測定期間の長さよりも小さい。

本発明の第６の態様によれば、距離画像撮像装置は、撮影対象の空間に対して所定の周期で光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子と、前記電荷を蓄積する複数の電荷蓄積部とを具備し、前記光パルスの照射に同期して前記電荷をそれぞれの前記電荷蓄積部に振り分けて蓄積する画素が二次元の行列状に複数配置された距離画像センサを備えた受光部と、所定の電荷振り分け回数で前記電荷の蓄積が実行される測定期間に前記電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量に基づいて、前記撮影対象の空間に存在する被写体との間の距離を求める距離画像処理部と、前記電荷蓄積部のそれぞれに前記電荷を蓄積させる周期である蓄積周期の長さを変更する前後において、前記測定期間の長さに変化がないように前記蓄積周期の長さを変更する蓄積周期変更部と、を備える。

本発明の第７の態様によれば、距離画像撮像システムは、複数の距離画像撮像装置と、前記複数の距離画像装置と通信可能に接続する外部制御装置と、を備える距離画像撮像システムである。前記複数の距離画像撮像装置のそれぞれは、撮影対象の空間に対して所定の周期で光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子と、前記電荷を蓄積する複数の電荷蓄積部とを具備し、前記光パルスの照射に同期して前記電荷をそれぞれの前記電荷蓄積部に振り分けて蓄積する画素が二次元の行列状に複数配置された距離画像センサを備えた受光部と、所定の電荷振り分け回数で前記電荷の蓄積が実行される測定期間において前記電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量に基づいて、前記撮影対象の空間に存在する被写体との間の距離を求める距離画像処理部と、前記外部制御装置からの情報を取得する情報取得部と、を有する。前記外部制御装置は、前記複数の距離画像撮像装置のうち第１距離画像撮像装置における前記電荷蓄積部が前記電荷を蓄積する蓄積タイミングと、前記第１距離画像撮像装置と異なる第２距離画像撮像装置における前記蓄積タイミングとが時間的に重ならないように制御するタイミング制御部、を有する。

本発明の第８の態様によれば、上記第７の態様の距離画像撮像システムにおいて、前記タイミング制御部は、前記第１距離画像撮像装置における前記蓄積タイミングとは異なる期間に、前記第２距離画像撮像装置における前記蓄積タイミングがくるように、前記蓄積タイミングを制御する。

本発明の第９の態様によれば、上記第７の態様の距離画像撮像システムにおいて、前記タイミング制御部は、前記第１距離画像撮像装置の前記測定期間が終了した後に、前記第２距離画像撮像装置の前記測定期間が開始されるように、前記蓄積タイミングを制御する。

本発明の第１０の態様によれば、距離画像撮像方法は、光源部が、撮影対象の空間に対して所定の周期で断続的な光パルスを照射する光源工程と、受光部が、入射した光に応じた電荷を発生する光電変換素子と、前記電荷を蓄積する複数の電荷蓄積部とを具備し、所定の蓄積タイミングで前記電荷を前記電荷蓄積部それぞれに振り分けて蓄積する画素が二次元の行列状に複数配置された距離画像センサを備えた受光工程と、距離画像処理部が、前記蓄積タイミングに同期させて前記光パルスを照射させる測定期間において前記電荷蓄積部のそれぞれに蓄積された前記電荷の量である電荷量に基づいて、前記撮影対象の空間に存在する被写体との間の距離を求める距離画像処理工程と、タイミング決定部が、前記蓄積タイミングに前記光パルスを照射させない調査期間において、前記電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量に基づいて、前記測定期間における前記蓄積タイミングを決定するタイミング決定工程と、を有する。

本発明の第１１の態様によれば、距離画像撮像方法は、光源部が、撮影対象の空間に対して所定の周期で光パルスを照射する光源工程と、受光部が、入射した光に応じた電荷を発生する光電変換素子と、前記電荷を蓄積する複数の電荷蓄積部とを具備し、前記光パルスの照射に同期して前記電荷をそれぞれの前記電荷蓄積部に振り分けて蓄積する画素が二次元の行列状に複数配置された距離画像センサを備えた受光工程と、距離画像処理部が、所定の電荷振り分け回数で前記電荷の蓄積が実行される測定期間に前記電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量に基づいて、前記撮影対象の空間に存在する被写体との間の距離を求める距離画像処理工程と、蓄積周期変更部が、前記電荷蓄積部のそれぞれに前記電荷を蓄積させる周期である蓄積周期の長さを変更する前後において、前記測定期間の長さに変化がないように前記蓄積周期の長さを変更する蓄積周期変更工程と、を有する。

本発明の第１２の態様によれば、距離画像撮像方法は、複数の距離画像撮像装置と、前記複数の距離画像装置と通信可能に接続する外部制御装置と、を備える距離画像撮像システムにおける距離画像撮像方法であって、前記複数の距離画像撮像装置のそれぞれは、光源部が、撮影対象の空間に対して所定の周期で光パルスを照射する光源工程と、受光部が、入射した光に応じた電荷を発生する光電変換素子と、前記電荷を蓄積する複数の電荷蓄積部とを具備し、前記光パルスの照射に同期して前記電荷をそれぞれの前記電荷蓄積部に振り分けて蓄積する画素が二次元の行列状に複数配置された距離画像センサを備えた受光工程と、距離画像処理部が、所定の電荷振り分け回数で前記電荷の蓄積が実行される測定期間において前記電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量に基づいて、前記撮影対象の空間に存在する被写体との間の距離を求める距離画像処理工程と、情報取得部が、前記外部制御装置からの情報を取得する情報取得工程と、を有し、前記外部制御装置は、タイミング制御部が、前記複数の距離画像撮像装置のうち第１距離画像撮像装置における前記電荷蓄積部が前記電荷を蓄積する蓄積タイミングと、前記第１距離画像撮像装置と異なる第２距離画像撮像装置における前記蓄積タイミングとが時間的に重ならないように制御するタイミング制御工程、を有する。

上記各態様によれば、利便性を損ねることなく、干渉光の入射による距離の誤測定を抑制することができる。

本発明の第１の実施形態の距離画像撮像装置１の概略構成を示したブロック図である。 本発明の第１の実施形態の距離画像撮像装置1に用いられる撮像素子の概略構成を示したブロック図である。 本発明の第１の実施形態の距離画像撮像装置１に用いられる撮像素子の受光領域に配置された画素３２１の構成の一例を示した回路図である。 従来の距離画像撮像装置における画素を駆動するタイミングを示したタイミングチャートである。 本発明の第１の実施形態の距離画像撮像装置１における画素３２１を駆動するタイミングを示したタイミングチャートである。 本発明の第１の実施形態の距離画像撮像装置１における受光タイミングを変更する前のタイミングを示す図である。 本発明の第１の実施形態の距離画像撮像装置１における受光タイミングを変更した後のタイミングを示す図である。 本発明の第１の実施形態のタイミング情報テーブル４４に記憶される情報の構成例を示す図である。 本発明の第１の実施形態の距離画像撮像装置１が行う処理の流れを示したフローチャートである。 本発明の第２実施形態の距離画像撮像装置１Ａの構成の例を示したブロック図である。 本発明の第２実施形態の距離画像撮像装置１Ａにおける画素３２１を駆動するタイミングを示したタイミングチャートである。 本発明の第２実施形態の距離画像撮像装置１Ａにおける画素３２１を駆動するタイミングを示したタイミングチャートである。 本発明の第２実施形態の距離画像撮像装置１Ａにおける画素３２１を駆動するタイミングを示したタイミングチャートである。 本発明の第２実施形態の距離画像撮像装置１Ａにおける画素３２１を駆動するタイミングを示したタイミングチャートである。 本発明の第３実施形態の距離画像撮像装置１Ｂが適用される距離画像撮像システムＭの構成の例を示したブロック図である。 本発明の第３実施形態の距離画像撮像装置１Ｂにおける画素３２１を駆動するタイミングを示したタイミングチャートである。 本発明の第３実施形態の距離画像撮像装置１Ｂにおける画素３２１を駆動するタイミングを示したタイミングチャートである。

以下、本発明の実施形態について、図面を参照して説明する。

（第１の実施形態）
まず、第１の実施形態について説明する。
図１は、本発明の第１の実施形態の距離画像撮像装置の概略構成を示したブロック図である。図１に示した構成の距離画像撮像装置１は、光源部２と、受光部３と、距離画像処理部４とを備えている。なお、図１には、距離画像撮像装置１において距離を測定する対象物である被写体Ｓも併せて示している。

光源部２は、距離画像処理部４からの制御に従って、距離画像撮像装置１において距離を測定する対象の被写体Ｓが存在する撮影対象の空間に光パルスＰＯを照射する。光源部２は、例えば、垂直共振器面発光レーザー（ＶＣＳＥＬ：Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ）などの面発光型の半導体レーザーモジュールである。光源部２は、光源装置２１と、拡散板２２とを備えている。

光源装置２１は、被写体Ｓに照射する光パルスＰＯとなる近赤外の波長帯域（例えば、波長が８５０ｎｍ～９４０ｎｍの波長帯域）のレーザー光を発光する光源である。光源装置２１は、例えば、半導体レーザー発光素子である。光源装置２１は、タイミング制御部４１からの制御に応じて、パルス状のレーザー光を発光する。

拡散板２２は、光源装置２１が発光した近赤外の波長帯域のレーザー光を、被写体Ｓに照射する面の広さに拡散する光学部品である。拡散板２２が拡散したパルス状のレーザー光が、光パルスＰＯとして光源部２から出射されて、被写体Ｓに照射される。

受光部３は、距離画像撮像装置１において距離を測定する対象の被写体Ｓによって反射された光パルスＰＯの反射光ＲＬを受光し、受光した反射光ＲＬに応じた画素信号を出力する。受光部３は、レンズ３１と、距離画像センサ３２とを備えている。

レンズ３１は、入射した反射光ＲＬを距離画像センサ３２に導く光学レンズである。レンズ３１は、入射した反射光ＲＬを距離画像センサ３２側に出射して、距離画像センサ３２の受光領域に備えた画素に受光（入射）させる。

距離画像センサ３２は、距離画像撮像装置１に用いられる撮像素子である。距離画像センサ３２は、二次元の受光領域に複数の画素を備え、それぞれの画素の中に、１つの光電変換素子と、この１つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられた振り分け構成の撮像素子である。距離画像センサ３２は、タイミング制御部４１からの制御に応じて、画素を構成する光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分け、それぞれの電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。

なお、距離画像センサ３２では、複数の画素が二次元の行列状に配置されており、それぞれの画素の対応する１フレーム分の画素信号を出力する。

距離画像処理部４は、距離画像撮像装置１の全体を制御する制御部である。また、距離画像処理部４は、被写体Ｓとの間の距離を演算する演算部でもある。距離画像処理部４は、タイミング制御部４１と、距離演算部４２と、タイミング決定部４３と、タイミング情報テーブル４４とを備えている。

タイミング制御部４１は、光源部２が被写体Ｓに光パルスＰＯを照射するタイミングや、受光部３に備えた距離画像センサ３２が反射光ＲＬを受光するタイミングなどを制御する。

距離演算部４２は、距離画像センサ３２から出力された画素信号に基づいて、被写体Ｓとの間の距離を演算した距離情報を出力する。

タイミング決定部４３は、干渉光の入射による影響が低減されるように、反射光ＲＬを受光するタイミングを決定する。タイミング決定部４３は、決定したタイミングをタイミング制御部４１に通知する。タイミング制御部４１は、タイミング決定部４３から通知されたタイミングに応じて、反射光ＲＬを受光するタイミングを制御する。

ここで、本実施形態における干渉光とは、反射光ＲＬとは異なる経路で距離画像撮像装置１へ断続的に入射される光を意味する。例えば、干渉光は、複数の距離画像撮像装置が近接して存在する状況において、他の距離画像撮像装置から距離画像撮像装置１に照射される光パルスである。

タイミング決定部４３は、所定のタイミングで受光した光に干渉光が含まれているか否かを、測定を行う前に判定する。タイミング決定部４３は、所定のタイミングで受光した光に干渉光が含まれていると判定した場合、受光する光に当該干渉光が含まれなくなるように、受光のタイミングをずらす決定をする。一方、タイミング決定部４３は、干渉光が含まれていないと判定した場合、受光のタイミングをずらさないと決定する。これにより、タイミング決定部４３が決定した受光のタイミングで受光した光に干渉光が含まれにくくすることができる。

例えば、タイミング決定部４３は、所定のタイミングで受光した光に干渉光が含まれていると判定した場合、タイミング情報テーブル４４に記憶されるタイミング情報を用いて、受光のタイミングをずらす量を決定する。タイミング情報は、干渉光が含まれていると判定された場合における、変更前のタイミングと変更後のタイミングとの関係を対応づけた情報である。
タイミング情報テーブル４４は、タイミング情報を記憶する。

このような構成によって、距離画像撮像装置１では、光源部２が被写体Ｓに照射した近赤外の波長帯域の光パルスＰＯが被写体Ｓによって反射された反射光ＲＬを受光部３が受光し、距離画像処理部４が、被写体Ｓとの距離を測定した距離情報を出力する。

なお、図１においては、距離画像処理部４を内部に備えた構成の距離画像撮像装置１を示しているが、距離画像処理部４は、距離画像撮像装置１の外部に備える構成要素であってもよい。

次に、距離画像撮像装置１において撮像素子として用いられる距離画像センサ３２の構成について説明する。図２は、本発明の第１の実施形態の距離画像撮像装置１に用いられる撮像素子（距離画像センサ３２）の概略構成を示したブロック図である。図２において、距離画像センサ３２は、複数の画素３２１が配置された受光領域３２０と、制御回路３２２と、振り分け動作を有した垂直走査回路３２３と、水平走査回路３２４と、画素信号処理回路３２５とを備えている。なお、図２に示した距離画像センサ３２では、複数の画素３２１が、８行８列に二次元の行列状に配置された受光領域３２０の一例を示している。

以下の説明においては、距離画像センサ３２に備えた画素信号処理回路３２５が、画素３２１から出力された電圧信号に対してノイズ抑圧処理を行い、その後、Ａ／Ｄ変換処理をして出力する、つまり、デジタル値に変換した電圧信号を出力するものとして説明する。

次に、距離画像センサ３２に備える受光領域３２０内に配置された画素３２１の構成について説明する。図３は、本発明の第１の実施形態の距離画像撮像装置１に用いられる撮像素子（距離画像センサ３２）の受光領域３２０内に配置された画素３２１の構成の一例を示した回路図である。図３には、受光領域３２０内に配置された複数の画素３２１のうち、１つの画素３２１の構成の一例を示している。画素３２１は、３つの画素信号読み出し部を備えた構成の一例である。

画素３２１は、１つの光電変換素子ＰＤと、ドレインゲートトランジスタＧＤと、対応する出力端子Ｏから電圧信号を出力する３つの画素信号読み出し部ＲＵとを備えている。画素信号読み出し部ＲＵのそれぞれは、読み出しゲートトランジスタＧと、フローティングディフュージョンＦＤと、電荷蓄積容量Ｃと、リセットゲートトランジスタＲＴと、ソースフォロアゲートトランジスタＳＦと、選択ゲートトランジスタＳＬとを備えている。それぞれの画素信号読み出し部ＲＵでは、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって電荷蓄積部ＣＳが構成されている。

なお、図３においては、３つの画素信号読み出し部ＲＵの符号「ＲＵ」の後に、「１」、「２」または「３」の数字を付与することによって、それぞれの画素信号読み出し部ＲＵを区別する。また、同様に、３つの画素信号読み出し部ＲＵに備えたそれぞれの構成要素も、それぞれの画素信号読み出し部ＲＵを表す数字を符号の後に示すことによって、それぞれの構成要素が対応する画素信号読み出し部ＲＵを区別して表す。図３に示した画素３２１において、出力端子Ｏ１から電圧信号を出力する画素信号読み出し部ＲＵ１は、読み出しゲートトランジスタＧ１と、フローティングディフュージョンＦＤ１と、電荷蓄積容量Ｃ１と、リセットゲートトランジスタＲＴ１と、ソースフォロアゲートトランジスタＳＦ１と、選択ゲートトランジスタＳＬ１とを備えている。画素信号読み出し部ＲＵ１では、フローティングディフュージョンＦＤ１と電荷蓄積容量Ｃ１とによって電荷蓄積部ＣＳ１が構成されている。画素信号読み出し部ＲＵ２および画素信号読み出し部ＲＵ３も同様の構成である。

光電変換素子ＰＤは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。なお、本発明においては、画素３２１に備える光電変換素子ＰＤの構造に関して特に規定しない。このため、光電変換素子ＰＤは、例えば、Ｐ型半導体とＮ型半導体とを接合した構造のＰＮフォトダイオードであってもよいし、Ｐ型半導体とＮ型半導体との間にＩ型半導体を挟んだ構造のＰＩＮフォトダイオードであってもよい。また、画素３２１に備える光電変換素子としては、フォトダイオードに限定されるものではなく、例えば、フォトゲート方式の光電変換素子であってもよい。画素３２１では、光電変換素子ＰＤが入射した光を光電変換して発生させた電荷を３つの電荷蓄積部ＣＳのそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路３２５に出力する。

距離画像センサ３２に配置される画素の構成は、図３に示したような、３つの画素信号読み出し部ＲＵを備えた構成に限定されるものではなく、１つの光電変換素子ＰＤと、光電変換素子ＰＤが発生して蓄積した電荷を振り分ける複数の画素信号読み出し部ＲＵを備えた構成の画素であれば、いかなる構成の画素であってもよい。つまり、距離画像センサ３２に配置される画素に備える画素信号読み出し部ＲＵ（電荷蓄積部ＣＳ）の数は、２つであってもよいし、４つ以上であってもよい。

また、図３に示した構成の画素３２１では、電荷蓄積部ＣＳを、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって構成する一例を示した。しかし、電荷蓄積部ＣＳは、少なくともフローティングディフュージョンＦＤによって構成されればよい。つまり、画素３２１は、それぞれの電荷蓄積容量Ｃを備えていない構成であってもよい。

また、図３に示した構成の画素３２１では、ドレインゲートトランジスタＧＤを備える構成の一例を示したが、光電変換素子ＰＤに蓄積されている（残っている）電荷を破棄する必要がない場合には、距離画像センサ３２に配置される画素に、ドレインゲートトランジスタＧＤを備えない構成であってもよい。

次に、距離画像撮像装置１における画素３２１の駆動（制御）方法について図４、及び図５を用いて説明する。図４は、従来の距離画像撮像装置における画素を駆動する駆動信号のタイミングを示したタイミングチャートである。図５は、本発明の第１の実施形態の距離画像撮像装置１における画素３２１を駆動するタイミングを示したタイミングチャートである。

図４、及び図５では、１フレーム分の駆動信号のタイミング、及び光パルスＰＯを照射するタイミングを示している。具体的には、駆動信号ＴＸ１のタイミングを「Ｇ１（ＴＸ１）」、駆動信号ＴＸ２のタイミングを「Ｇ２（ＴＸ２）」、駆動信号ＴＸ３のタイミングを「Ｇ３（ＴＸ３）」、駆動信号ＲＳＴＤのタイミングを「ＧＤ（ＲＳＴＤ）」、光パルスＰＯを照射するタイミングを「Ｌｉｇｈｔ（ＰＯ）」の項目名でそれぞれ示している。また、距離画像撮像装置１における一連の受光動作タイミングを「Ｃａｍｅｒａ」の項目名で示している。「Ｃａｍｅｒａ」では、一連の受光動作タイミングとして、読み出しゲートトランジスタＧ１、Ｇ２、Ｇ３、及びドレインゲートトランジスタＧＤがオン状態となるタイミングを、それぞれ、「Ｇ1」、「Ｇ２」、「Ｇ３」、及び「ＧＤ」で示している。

図４に示すように、従来の距離画像撮像装置における１フレーム分の処理には、積算期間と読出し期間とが含まれる。積算期間は、電荷蓄積部ＣＳに電荷を積算させる期間である。読出し期間は、電荷蓄積部ＣＳに積算された電荷量を読み出す期間である。また、積算期間では、蓄積周期における処理が、所定回数だけ繰り返されることにより、電荷蓄積部ＣＳに蓄積された電荷が積算される。蓄積周期における処理とは、電荷蓄積部ＣＳに電荷が蓄積される処理である。

ここで、電荷蓄積部ＣＳに電荷が蓄積する処理の流れについて説明する。
垂直走査回路３２３は、蓄積周期において、電荷蓄積部ＣＳ１、ＣＳ２、及びＣＳ３の順に、電荷を蓄積させる。まず、垂直走査回路３２３は、駆動信号ＴＸ１を“Ｈｉｇｈ”レベルにして、読み出しゲートトランジスタＧ１をオン状態にする。これにより、光電変換素子ＰＤにより光電変換された電荷が、読み出しゲートトランジスタＧ１を介して電荷蓄積部ＣＳ１に蓄積される。その後、垂直走査回路３２３は、駆動信号ＴＸ１を“Ｌｏｗ”レベルにして、読み出しゲートトランジスタＧ１をオフ状態にする。これにより、電荷蓄積部ＣＳ１への電荷の転送が停止される。このようにして、垂直走査回路３２３は、電荷蓄積部ＣＳ１に電荷を蓄積させる。

次に、垂直走査回路３２３は、電荷蓄積部ＣＳ２に電荷を蓄積させる。垂直走査回路３２３は、電荷蓄積部ＣＳ１への電荷の蓄積を終了させたタイミングで、電荷蓄積部ＣＳ２への電荷の蓄積を開始させる。以降の電荷蓄積部ＣＳ２に電荷を蓄積させる処理の流れは、電荷蓄積部ＣＳ１に電荷を蓄積させる処理の流れと同様であるため、その説明を省略する。

次に、垂直走査回路３２３は、電荷蓄積部ＣＳ３に電荷を蓄積させる。垂直走査回路３２３は、電荷蓄積部ＣＳ２への電荷の蓄積を終了させたタイミングで、電荷蓄積部ＣＳ３への電荷の蓄積を開始させる。以降の電荷蓄積部ＣＳ３に電荷を蓄積させる処理の流れは、電荷蓄積部ＣＳ１に電荷を蓄積させる処理の流れと同様であるため、その説明を省略する。

次に、垂直走査回路３２３は、電荷を排出させる。垂直走査回路３２３は、電荷蓄積部ＣＳ３への電荷の蓄積を終了させたタイミングで、電荷の排出を行う。これにより、光電変換素子ＰＤが光電変換した電荷がドレインゲートトランジスタＧＤを介して破棄される。

駆動信号ＲＳＴＤが“Ｈｉｇｈ”レベルとなる期間は、最小排出期間Ｔｂと、ＮＤ期間Ｔｃとで構成される。最小排出期間Ｔｂは、光電変換素子ＰＤをリセットするために最低限必要な期間であって、例えば蓄積期間Ｔａと同じ長さである。ＮＤ期間Ｔｃは、蓄積周期を調整するための期間であって、例えば蓄積期間Ｔａ×ｎ（ｎは任意の自然数）に相当する期間である。

また、光源部２は、読み出しゲートトランジスタＧ１がオフ状態になったタイミング、つまり駆動信号ＴＸ２が“Ｈｉｇｈ”レベルとなるタイミングで、光パルスＰＯを照射する。光源部２が光パルスＰＯを照射する期間は、蓄積期間Ｔａと同じ長さである。

ここで、電荷蓄積部ＣＳに蓄積された電荷量から距離を算出する処理について説明する。蓄積周期において、垂直走査回路３２３により上述したような制御が行われることにより、所定の時間区間に距離画像撮像装置１に入射された光量に相当する電荷が電荷蓄積部ＣＳのそれぞれに蓄積される。光パルスＰＯを照射するタイミングと、電荷蓄積部ＣＳのそれぞれに電荷を蓄積させるタイミングとの関係から、電荷蓄積部ＣＳ１には、光パルスＰＯを照射する前の背景光などの外光成分に相当する電荷量が保持される。また、電荷蓄積部ＣＳ２、及びＣＳ３には、反射光ＲＬ、及び外光成分に相当する電荷量が振り分けられて保持される。

電荷蓄積部ＣＳ２、及びＣＳ３に振り分けられる電荷量の配分（振り分け比率）は、光パルスＰＯが被写体Ｓに反射して距離画像撮像装置１に入射されるまでの遅延時間Ｔｄに応じた比率となる。この原理を利用して、遅延時間Ｔｄは、以下の（１）式により算出することができる。

Ｔｄ＝Ｔｏ×（Ｑ３－Ｑ１）／（Ｑ２＋Ｑ３－２×Ｑ１） …（１）

ここで、Ｔｏは光パルスＰＯが照射された期間、Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量、Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量、Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量、を示す。また、（１）式では、電荷蓄積部ＣＳ２、及びＣＳ３に蓄積される電荷量のうち、外光成分に相当する電荷量は電荷蓄積部ＣＳ１に蓄積された電荷量と同量であることを前提としている。

（１）式で求めた遅延時間に、光速（速度）を乗算させることにより、被写体Ｓまでの往復の距離を算出することができる。そして、上記で算出した往復の距離を１／２とすることにより、被写体Ｓまでの距離を求めることができる。

ここで、本実施形態の距離画像撮像装置１における処理について説明する。
図５に示すように、本実施形態の距離画像撮像装置１における１フレーム分の処理には、調査期間と測定期間とが含まれる。測定期間では、図４に示した従来の測定に相当する処理（１フレームに相当する処理）が行われる。

調査期間では、距離の測定に先立ち、受光タイミングにおける干渉光の有無が判定される。ここで、受光タイミングは、電荷蓄積部ＣＳそれぞれが電荷を蓄積するタイミングであって、読み出しゲートトランジスタＧがオン状態、つまり駆動信号ＴＸが”Ｈｉｇｈ”レベルとなるタイミングである。受光タイミングは、「蓄積タイミング」の一例である。

本実施形態では、調査期間において干渉光の存在が確認された場合、当該干渉光の測定への影響が回避されるように、受光タイミングが調整される。そして、調整後の受光タイミングにて、測定が行われるようにする。これにより、干渉光による誤測定を抑制する。

調査期間は、測定期間と比較して短い（小さい）長さに設定される。例えば、測定期間の長さを３０［ｍｓ］程度とした場合、調査期間の長さは９０［ｕｓ］程度、比率にして約０．３［％］程度である。これにより、距離を測定する測定周期（１フレームに相当する時間）を、従来の測定周期とほとんど変わらない長さに収めるようにする。

図５に示すように、調査期間には、従来の距離画像撮像装置における１フレームの処理と同様に、積算期間と読出し期間とが含まれる。調査期間における読出し期間は、図４に示す従来の読出し期間と同様に、電荷蓄積部ＣＳに積算された電荷の量を読み出す処理が行われる。

調査期間における積算期間では、図４に示す従来の積算期間と同様に、電荷蓄積部ＣＳに電荷を積算させる処理が行われる。しかしながら、調査期間における積算期間では、電荷蓄積部ＣＳに電荷を積算させるタイミングに同期させた光パルスＰＯの照射を行わない。

本実施形態では、調査期間における積算期間に、光パルスＰＯを照射しないため、受光タイミングに同期した干渉光が存在しない場合には、電荷蓄積部ＣＳ１～ＣＳ３のそれぞれに、外光成分に相当する、ほぼ同量の電荷量が蓄積されると考えられる。

一方、受光タイミングに同期した干渉光が存在する場合には、電荷蓄積部ＣＳのうち干渉光と同じタイミングで受光する電荷蓄積部ＣＳに、他の電荷蓄積部ＣＳよりも大きな電荷量が蓄積される。この原理を利用して、タイミング決定部４３は、調査期間に電荷蓄積部ＣＳそれぞれに蓄積された電荷量に基づいて、受光タイミングに同期する干渉光が存在するか否かを判定する。

タイミング決定部４３は、読み出した電荷量に基づいて、調査期間において最も大きな電荷量が蓄積されていた電荷蓄積部ＣＳを、干渉光を受光した電荷蓄積部ＣＳと判定する。そして、タイミング決定部４３は、干渉光を受光したと判定した電荷蓄積部ＣＳの読み出しゲートトランジスタＧがオン状態となるタイミングを、干渉光が存在するタイミングと判定する。例えば、タイミング決定部４３は、電荷蓄積部ＣＳ１に最も大きな電荷量が蓄積されていた場合、読み出しゲートトランジスタＧ１がオン状態となるタイミングを、干渉光が存在するタイミングと判定する。タイミング決定部４３は、電荷蓄積部ＣＳ２、ＣＳ３についても同様に判定する。

上記では、蓄積された電荷量の相対値に基づいて干渉光を受光した電荷蓄積部ＣＳを判定したが、これに限定されない。
タイミング決定部４３は、蓄積された電荷量の絶対値に基づいて、干渉光を受光した電荷蓄積部ＣＳを判定するようにしてもよい。この場合、例えば、タイミング決定部４３は、電荷蓄積部ＣＳそれぞれに蓄積された電荷量が、予め定めた所定の閾値以上であるか否かを判定する。タイミング決定部４３は、蓄積された電荷量が所定の閾値以上である電荷蓄積部ＣＳを、干渉光を受光した電荷蓄積部ＣＳと判定する。

この場合の閾値は、調査期間における振り分け回数や、電荷量をＡ／Ｄ変換するＡ／Ｄ変換器の性能などに応じて任意に設定されてよい。例えば、閾値は、Ａ／Ｄ変換した値が、Ａ／Ｄ変換器の精度指標の一つである最大偏差（例えば、４［ＬＳＢｒｍｓ］）の所定の倍数（例えば６倍）の値（２４［ＬＳＢ］）に設定される。この場合、干渉光を受光した電荷蓄積部ＣＳと判定される電荷蓄積部ＣＳが複数存在してもよい。

また、タイミング決定部４３は、複数の画素３２１における電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３それぞれに蓄積された電荷量の代表値を用いて、干渉光を受光した電荷蓄積部ＣＳを判定するようにしてもよい。代表値は、それぞれに蓄積された電荷量に基づいて算出された一つの値であればよく、例えば、単純加算平均値、重みづけ平均値、最頻値、中央値などである。また、タイミング決定部４３は、画素の移動平均を用いて電荷蓄積部ＣＳに蓄積された電荷量を導出してもよい。この場合、対象画素と、その対象画素が配置された位置の周囲に配置された画素群それぞれの電荷蓄積部ＣＳに蓄積された電荷量の代表値を、その対象画素の電荷蓄積部ＣＳに蓄積された電荷量とする。

また、タイミング決定部４３は、閾値を用いて干渉光を受光した電荷蓄積部ＣＳを判定する場合、距離画像撮像装置１が設けられている環境に応じて、当該閾値を変更してもよい。ここでの環境とは、外光成分に影響を与える可能性がある要因であって、例えば、屋外か屋内か、屋外である場合には晴天か雨天か等の環境である。

例えば、屋外での測定においては、Ａ／Ｄ変換器の最大偏差が、光ショットノイズの影響により、Ａ／Ｄ変換器のダイナミックレンジ（ビット数）の平方根に依存する。例えば、１２ビットのＡ／Ｄ変換器であれば最大偏差は、見かけ上、１つの画素あたり、√（４０９６）＝６４［ＬＳＢｒｍｓ］となる。１６画素の移動平均をとれば、光ショットノイズの影響が相殺されて１／４となり、Ａ／Ｄ変換後の最大偏差が１６［ＬＳＢｒｍｓ］とみなすことができる。この場合、屋外での測定における閾値は、最大偏差（１６［ＬＳＢｒｍｓ］）の所定の倍数（例えば６倍）の値（９６ＬＳＢ）に設定される。

タイミング決定部４３は、蓄積された電荷量の比率に基づいて、干渉光を受光した電荷蓄積部ＣＳを判定するようにしてもよい。この場合、例えば、タイミング決定部４３は、電荷蓄積部ＣＳそれぞれに蓄積された電荷量に基づいて、最も大きな電荷量に対する他の電荷量の平均の比率を算出する。タイミング決定部４３は、算出した比率が所定の閾値未満である場合に、最も大きな電荷量を蓄積していた電荷蓄積部ＣＳを、干渉光を受光した電荷蓄積部ＣＳと判定する。

タイミング決定部４３は、干渉光が存在するタイミングがあると判定した場合、現状の受光タイミングを変更し、当該干渉光が存在するタイミングと、測定時の受光タイミングとが重ならないようにする。これにより、干渉光による誤測定を抑制する。

本実施形態では、タイミング決定部４３は、受光タイミングの位相を遅らせる、又は進ませることにより、蓄積周期の長さを変えずに、受光タイミングを変更する。以下では、タイミング決定部４３が受信タイミングを変更する処理について、図６Ａ及び図６Ｂを用いて説明する。

図６Ａ及び図６Ｂは、本発明の第１の実施形態の受光タイミングを変更する処理を説明するための図である。図６Ａは変更前、図６Ｂは変更後のタイミングを示している。また、図６Ａ及び図６Ｂでは、受光タイミング、及び干渉光が照射されるタイミングを示している。また、図６Ａ及び図６Ｂにおける「Ｃａｍｅｒａ」等の項目名が示す内容については、図４および図５と同様のためその説明を省略する。

図６Ａでは、蓄積周期が、蓄積期間Ｔａ×３、最小排出期間Ｔｂ、及びＮＤ期間Ｔｃにより構成されている。また、図６Ａでは、読み出しゲートトランジスタＧ１及びＧ２がオン状態となるタイミングをまたいで干渉光が存在する例をしめしている。この場合、タイミング決定部４３は、読み出しゲートトランジスタＧ２（又は、読み出しゲートトランジスタＧ１及びＧ２）がオン状態となるタイミングを干渉光が存在するタイミングと判定する。

タイミング決定部４３は、受光タイミングと干渉光が存在するタイミングとが重ならないように、読み出しゲートトランジスタＧ２がオン状態となるタイミング（位相）を、蓄積期間Ｔａ×２だけ遅らせるか、或いは、蓄積期間Ｔａ×２だけ進ませるかして変更する。こうすることで、変更後の受光タイミングにおいて干渉光が存在しなくなるようタイミングをずらすことが可能である。

図６Ｂに示すように、タイミング決定部４３は、例えば、積算時間の特定箇所に調整期間を設け、遅延分ＧＤ＃を加えることで、一時的に調整ＮＤ期間Ｔｃ＃に変更することにより、受光タイミングを変更する。調整ＮＤ期間Ｔｃ＃は、ＮＤ期間Ｔｃに単位調整期間Ｔｅ×２を加えた長さの期間である。単位調整期間Ｔｅを蓄積期間Ｔａと同じ長さであるとすれば、受光タイミングは蓄積期間Ｔａ×２だけ遅れ、変更後の受光タイミングにおいて干渉光が存在しなくなる。以下では、単位調整期間Ｔｅが蓄積期間Ｔａであるものとして説明するが、これに限定されることはなく、単位調整期間Ｔｅは蓄積期間Ｔａに応じて調整可能な任意の長さであってよい。

なお、上記では、調整期間でＧＤ＃を加えることにより受光タイミングの位相を遅らせる場合を例示して説明したが、調整期間でＧＤ＃を減らすことにより位相を進ませることで受光タイミングを調整するようにしてもよい。

上述したように受光タイミングが変更されると、干渉光が存在するタイミングが、ドレインゲートトランジスタＧＤがオン状態となる排出期間と重なる。すなわち、干渉光が存在するタイミングと、変更後の受光タイミングとが、時間的に重ならない。このため、蓄積期間において干渉光が受光されることがない。

このように、タイミング決定部４３は、調査期間において電荷蓄積部ＣＳそれぞれに積算された電荷量と、蓄積周期における電荷蓄積部ＣＳそれぞれの蓄積期間の順序に応じて、受光タイミングを決定する。

具体的に、タイミング決定部４３は、調査期間において蓄積された電荷量が最大である電荷蓄積部ＣＳの蓄積期間Ｔａ（つまり、干渉光が存在するタイミング）と、受光タイミングを決定（変更）した後の電荷蓄積部ＣＳのそれぞれの蓄積期間Ｔａとの、蓄積周期における時間的な位置が重ならないように、受光タイミングを決定する。

具体的に、タイミング決定部４３は、調査期間において電荷蓄積部ＣＳ１に蓄積された電荷量が最大であった場合、受光タイミングを、蓄積期間Ｔａ×１遅らせるか、又は、蓄積期間Ｔａ×３進ませる。これにより、干渉光が存在するタイミングと、電荷蓄積部ＣＳそれぞれの蓄積期間Ｔａとが時間的に重ならないようにすることができる。

同様に、タイミング決定部４３は、調査期間において電荷蓄積部ＣＳ２に蓄積された電荷量が最大であった場合、受光タイミングを、蓄積期間Ｔａ×２遅らせるか、又は蓄積期間Ｔａ×２進ませる。また、タイミング決定部４３は、調査期間において電荷蓄積部ＣＳ３に蓄積された電荷量が最大であった場合、受光タイミングを蓄積期間Ｔａ×３遅らせるか、又は蓄積期間Ｔａ×１進ませる。

ここで、受光タイミングを遅らせる又は進ませる場合、調整ＮＤ期間Ｔｃ＃の長さが設定可能な範囲でなければならない。つまり、タイミング決定部４３は、調整ＮＤ期間Ｔｃ＃が０（ゼロ）未満（つまり、負の値）や、設定可能な上限値を超過した値とならないようにする必要がある。このため、タイミング決定部４３は、受光タイミングを遅らせる又は進ませる場合における、調整ＮＤ期間Ｔｃ＃の長さが設定可能な範囲か否かを判定する。

具体的に、タイミング決定部４３は、調査期間において電荷蓄積部ＣＳ１に蓄積された電荷量が最大であった場合において、受光タイミングを蓄積期間Ｔａ×３進ませると、調整ＮＤ期間Ｔｃ＃の長さが負の値となる場合、受光タイミングを蓄積期間Ｔａ×１遅らせるようにする。或いは、タイミング決定部４３は、受光タイミングを蓄積期間Ｔａ×１遅らせると、調整ＮＤ期間Ｔｃ＃の長さが設定可能な範囲の上限の値を超える場合には、受光タイミングを蓄積期間Ｔａ×３進ませるようにする。調査期間において電荷蓄積部ＣＳ２、又はＣＳ３に蓄積された電荷量が最大であった場合についても、同様である。

なお、本実施形態では、受光タイミングを遅らせても、進ませてもＮＤ期間Ｔｃが設定可能な範囲とならない事態が発生しないように、ＮＤ期間の設定範囲を適切に設定する必要がある。例えば、３つの電荷蓄積部ＣＳを用いて電荷を蓄積する場合、ＮＤ期間の下限を蓄積期間Ｔａ×０（ゼロ）とし、上限を蓄積期間Ｔａ×３以上とする。

図７は、本発明の第１の実施形態のタイミング情報テーブル４４に記憶される情報（タイミング情報）の構成例を示す図である。図７では、ＮＤ期間Ｔｃとして設定可能な範囲において、蓄積された電荷量が最大の電荷蓄積部ＣＳに応じた調整ＮＤ期間Ｔｃ＃の長さが示されている。また、図７では、ＮＤ期間Ｔｃ、調整ＮＤ期間Ｔｃ＃のそれぞれの長さを０Ｄ～６Ｄ等で示している。ここで、０Ｄは蓄積期間Ｔａ×０、１Ｄは蓄積期間Ｔａ×１、２Ｄは蓄積期間Ｔａ×２、…に相当する。つまり、Ｋを自然数として、ＫＤは、蓄積期間Ｔａ×Ｋの長さに相当する。

図７に示すように、ＮＤ期間の設定範囲が０Ｄ～６Ｄである場合、タイミング決定部４３は、図７のタイミング情報テーブル４４に基づいて、調整ＮＤ期間Ｔｃ＃を決定するようにしてもよい。
例えば、タイミング決定部４３は、調査期間におけるＮＤ期間Ｔｃの長さが４Ｄであって、蓄積された電荷量が最大の電荷蓄積部ＣＳが電荷蓄積部ＣＳ１であった場合、調整ＮＤ期間Ｔｃ＃の長さを１Ｄとする。タイミング決定部４３は、調査期間におけるＮＤ期間Ｔｃの長さが５Ｄであって、蓄積された電荷量が最大の電荷蓄積部ＣＳが電荷蓄積部ＣＳ２であった場合、調整ＮＤ期間Ｔｃ＃の長さを３Ｄとする。タイミング決定部４３は、調査期間におけるＮＤ期間Ｔｃの長さが６Ｄであって、蓄積された電荷量が最大の電荷蓄積部ＣＳが電荷蓄積部ＣＳ３であった場合、調整ＮＤ期間Ｔｃ＃の長さを５Ｄとする。

図８は、本発明の第１の実施形態の距離画像撮像装置１が行う処理の流れを示したフローチャートである。
まず、距離画像撮像装置１は、ＮＤ期間Ｔｃ設定する（ステップＳ１０）。ＮＤ期間Ｔｃは、予め設定された所定の期間であってもよいし、前回の測定に用いられたＮＤ期間Ｔｃと同じ長さの期間であってもよい。

次に、距離画像撮像装置１は、発光を伴わない蓄積動作を制御する（ステップＳ１１）。発光を伴わない蓄積動作とは、調査期間における受光の動作であって、図５のタイミングチャートに示すように、光パルスＰＯを照射させずに、電荷蓄積部ＣＳに電荷を蓄積させる動作である。

次に、距離画像撮像装置１は、読出した電荷量に基づいて、干渉光の有無を判定する（ステップＳ１２）。ここで読み出される電荷量は、調査期間において電荷蓄積部ＣＳそれぞれに蓄積された電荷量である。この場合、干渉光が受光されない場合は何れの電荷蓄積部ＣＳもほぼ同量の電荷量が蓄積される。一方で、干渉光が受光されている場合には、干渉光を受光した特定の電荷蓄積部ＣＳに、他の電荷蓄積部ＣＳと比較して大きい電荷量が蓄積される。

次に、距離画像撮像装置１は、干渉光の有無を判定した結果に基づいて、調整ＮＤ期間Ｔｃ＃を決定する（ステップＳ１３）。例えば、距離画像撮像装置１のタイミング決定部４３は、干渉光が存在するタイミングと重なる受光タイミングをもつ電荷蓄積部ＣＳを判定する。タイミング決定部４３は判定結果に基づいて、タイミング情報テーブル４４を参照し、調整ＮＤ期間Ｔｃ＃を決定する。タイミング決定部４３は決定した調整ＮＤ期間Ｔｃ＃をタイミング制御部４１に通知する。タイミング制御部４１は、通知された調整ＮＤ期間Ｔｃ＃に基づいて、ドレインゲートトランジスタＧＤをオン状態とする期間の長さを制御する。

次に、距離画像撮像装置１は、発光を伴う蓄積動作を制御する（ステップＳ１４）。発光を伴う蓄積動作とは、測定期間における受光の動作であって、図４のタイミングチャートに示すように、光パルスＰＯの照射に同期させて、電荷蓄積部ＣＳに電荷を蓄積させる動作を行う動作である。

そして、距離画像撮像装置１は、読出した電荷量に基づいて、被写体Ｓまでの距離を判定する（ステップＳ１５）。ここで読み出される電荷量は、測定期間において電荷蓄積部ＣＳそれぞれに蓄積された電荷量である。この場合、電荷蓄積部ＣＳ１に外光成分に対応する電荷量が蓄積される。電荷蓄積部ＣＳ２、ＣＳ３には、被写体Ｓまでの距離に応じた配合により振り分けられた電荷量が蓄積される。距離画像撮像装置１の距離演算部４２は、電荷蓄積部ＣＳそれぞれに蓄積された電荷量を式（１）に代入して反射光ＲＬの遅延時間Ｔｄを算出し、算出した遅延時間Ｔｄを用いて被写体Ｓまでの距離を求める。

以上、説明したように、第１の実施形態では、タイミング決定部４３が、受光タイミングにおいて干渉光が存在するか否かを判定した結果に基づいて受光タイミングを調整する。タイミング決定部４３は、１フレーム内の測定期間の前に、調査期間を設けて干渉光が存在するか否かを判定する。これにより、第１の実施形態の距離画像撮像装置１は、事前に干渉光が照射されるタイミングを避けて受光するように調整することができ、測定した距離の変化率に応じて干渉光の有無を判定する場合と比較して利便性が高い。

また、第１の実施形態では、タイミング決定部４３は、調査期間において電荷蓄積部ＣＳそれぞれに積算された電荷量と、蓄積周期における電荷蓄積部ＣＳそれぞれの蓄積期間Ｔａの時間的な位置関係に応じて受光タイミングを決定する。これにより、第１の実施形態の距離画像撮像装置１は、電荷量と蓄積期間Ｔａの時間的な位置関係という客観的な指標により定量的に受光タイミングを決定することができ、干渉光の存在を回避して精度よく距離を測定することができる。

また、第１の実施形態では、タイミング決定部４３は、調査期間において積算された電荷量が最大である電荷蓄積部ＣＳの蓄積期間Ｔａと、蓄積タイミングを変更した後の電荷蓄積部ＣＳのそれぞれの蓄積期間Ｔａとの、蓄積周期における時間的な位置が重ならないように、蓄積タイミングを決定する。これにより、第１の実施形態の距離画像撮像装置１は、干渉光が存在するタイミングが電荷蓄積部ＣＳのそれぞれの蓄積期間Ｔａと重ならないようにすることができ、干渉光の影響をより確実に回避することが可能である。

また、第１の実施形態では、タイミング決定部４３は、調査期間において積算された電荷量が最大である電荷蓄積部ＣＳの識別情報と、蓄積タイミングに関する情報とを対応付けたタイミング情報テーブル４４に基づいて、蓄積タイミングを決定する。これにより、第１の実施形態の距離画像撮像装置１は、タイミング情報テーブル４４を参照することにより、容易に蓄積タイミングを決定することができる。

また、第１の実施形態では、調査期間の長さは、測定期間の長さよりも小さい長さであるため、従来の測定の周期とほぼ同等の周期により測定を行うことができ、測定に支障をきたさないようにすることができる。

なお、上記では、一つの測定期間の前に一つの調査期間が設けられる例を説明したが、これに限定されることはない。複数の測定期間の前に一つの調査期間が設けられてもよい。また、調査期間において受光タイミングが変更された場合に、変更後の受光タイミングにて再度の調査期間を設け、変更後の受光タイミングに別の干渉光が存在していないかを確認するようにしてもよい。

（第２の実施形態）
次に、第２の実施形態について説明する。本実施形態では、測定期間における個々の蓄積期間を変更させる点において、上述した実施形態と相違する。以下の説明では、上述した実施形態と相違する構成についてのみ説明し、上述した実施形態と同様の構成については、同じ符号を付してその説明を省略する。

図９は、本発明の第２実施形態の距離画像撮像装置１Ａの構成の例を示したブロック図である。距離画像撮像装置１Ａは、距離画像処理部４Ａを備える。距離画像処理部４Ａは、蓄積周期変更部４５を備える。

蓄積周期変更部４５は、測定期間における蓄積周期の合計の長さを変更しない範囲で、個々の蓄積周期を変更させる。つまり、蓄積周期変更部４５は、測定期間における蓄積周期の平均が、蓄積周期を変更させる前後において変更がないように、個々の蓄積周期を変更させる。

なお、蓄積周期変更部４５は、干渉光の存在の有無に関わらず、測定期間における個々の蓄積周期の長さを変更する。つまり、本実施形態では、必ずしも干渉光の存在の有無を判定する必要はない。従って、本実施形態における画素３２１を駆動するタイミングは、調査期間を設けなくてよいという点において図４と同様である。なお、本実施形態では、第１の実施形態と同様、調査期間を用いて、タイミング情報テーブルで蓄積タイミングを切り替えてもよい。以下、蓄積周期変更部４５が、蓄積周期を変更させる方法について、図１０Ａ～図１０Ｄを用いて説明する。

図１０Ａ～図１０Ｄは、本発明の第２実施形態の距離画像撮像装置１Ａにおける画素３２１を駆動するタイミングを示したタイミングチャートである。図１０Ａ～図１０Ｄでは、従来の距離画像撮像装置（Ｃａｍｅｒａ１）、及び距離画像撮像装置１Ａ（Ｃａｍｅｒａ２）における、光パルスのタイミングと受光タイミングを示している。また、図１０Ａ～図１０Ｄは一連のタイミングを示しており、図１０Ａ、図１０Ｂ、図１０Ｃ、図１０Ｄの順に時系列が進む様子を示している。

図１０Ａに示すように、従来のＣａｍｅｒａ１では、基本とする蓄積周期（基本蓄積周期）で蓄積が行われている。基本蓄積周期におけるＮＤ期間は、基本ＮＤ期間Ｔｃの長さである。
一方、本実施形態のＣａｍｅｒａ２では、蓄積周期変更部４５が、基本蓄積周期より蓄積期間Ｔａだけ長い期間をもつ蓄積周期（長期蓄積周期）で蓄積が行われるようにする。長期蓄積周期におけるＮＤ期間は、長期ＮＤ期間ＴｃＬの長さである。
図１０Ａに示すように、Ｃａｍｅｒａ１とＣａｍｅｒａ２とが、互いの受光タイミングが同じタイミングで測定が開始されたとする。この場合、最初の蓄積周期において互いの光パルスが同じタイミングとなり、互いに相手の光パルスが干渉光となる。次の蓄積周期において、Ｃａｍｅｒａ２の読み出しゲートトランジスタＧ１がオン状態となるタイミングでＣａｍｅｒａ１により照射される光パルスが干渉光となる。さらに次の蓄積周期においては、Ｃａｍｅｒａ２のドレインゲートトランジスタＧＤがオン状態となるタイミングでＣａｍｅｒａ１により光パルスが照射されるため干渉光とはならない。すなわち、Ｃａｍｅｒａ２の蓄積周期が、Ｃａｍｅｒａ１の蓄積周期よりも蓄積期間Ｔａだけ長いことから、互いに照射する光パルスのタイミングが蓄積周期ごとに互いにずれていき、干渉光となる場合と干渉光とならない場合とが存在する。

図１０Ｂに示すように、図１０Ａに続く３回の蓄積周期においては、Ｃａｍｅｒａ２のドレインゲートトランジスタＧＤがオン状態となるタイミングでＣａｍｅｒａ１の光パルスが照射されるため干渉光とはならない。

図１０Ｃに示すように、長期蓄積周期を所定の回数繰り返した後、Ｃａｍｅｒａ２では、蓄積周期変更部４５が、基本蓄積周期より蓄積期間Ｔａだけ短い期間をもつ蓄積周期（短期蓄積周期）で蓄積が行われるようにする。短期蓄積周期におけるＮＤ期間は、短期ＮＤ期間ＴｃＳの長さである。Ｃａｍｅｒａ２の蓄積周期が、Ｃａｍｅｒａ１の蓄積周期よりも蓄積期間Ｔａだけ短い期間となることから、互いに照射する光パルスのタイミングが、今までとは反対の方向にずれていく。この例では、図１０Ｂに続く３回の蓄積周期において、Ｃａｍｅｒａ２のドレインゲートトランジスタＧＤがオン状態となるタイミングでＣａｍｅｒａ１の光パルスが照射されるため干渉光とはならない。

図１０Ｄに示すように、図１０Ｃに続く３回の蓄積周期における１回目の蓄積周期においてＣａｍｅｒａ２の読み出しゲートトランジスタＧ１、２回目の蓄積周期においてＣａｍｅｒａ２の読み出しゲートトランジスタＧ２、３回目の蓄積周期においてＣａｍｅｒａ２の読み出しゲートトランジスタＧ３、がそれぞれオン状態となるタイミングでＣａｍｅｒａ１により照射される光パルスが干渉光となる。

このように、蓄積周期変更部４５は、例えば、測定期間の前半が長期蓄積周期とし、後半が短期蓄積周期となるようにして、測定期間における蓄積周期の合計の長さに変更ない範囲で個々の蓄積周期の長さを変更する。これにより、干渉光が存在する場合であっても、読み出しゲートトランジスタＧ１～Ｇ３それぞれにほぼ同数の干渉光が存在するように調整することができ、干渉光を外光成分とみなして処理することが可能となる。また、蓄積周期変更部４５は、蓄積周期を変更する前後において、測定期間における蓄積周期の合計の長さを変更しないため、測定期間の長さを一定とすることができ、規則的な測定を行うことが可能となる。

なお、上記では測定期間の前半の蓄積周期（図１０Ａ及び図１０Ｂ）に長期ＮＤ期間ＴｃＬ、後半の蓄積周期（図１０Ｃ及び図１０Ｄ）に短期ＮＤ期間ＴｃＳをそれぞれ用いる場合を説明したが、これに限定されない。蓄積周期変更部４５は、読み出しゲートトランジスタＧ１～Ｇ３それぞれが同等に干渉光を受光するように調整できればよく、所定の複数の蓄積周期を切替単位として、切替単位ごとに、長期ＮＤ期間ＴｃＬと短期ＮＤ期間ＴｃＳとを交互に用いるようにしてもよい。

以上説明したように、第２の実施形態では、蓄積周期変更部が蓄積周期の長さを変更する前後において、蓄積周期と測定期間の振り分け回数とを乗算した合計期間の長さに変化がないように、蓄積周期の長さを変更する。これにより、第２の実施形態の距離画像撮像装置１Ａは、読み出しゲートトランジスタＧ１～Ｇ３それぞれが同等に干渉光を受光するように調整でき、干渉光を外光成分とみなして処理することで干渉光による誤測定を抑制することが可能である。また、合計期間の長さが変化しないために、測定周期が変化することがない。このため、測定結果を用いた処理が容易となり使い勝手がよい。

（第３の実施形態）
次に、第３の実施形態について説明する。本実施形態では、複数の距離画像撮像装置１Ｂと、複数の距離画像撮像装置１Ｂを統合する外部制御装置１０を備える点において、上述した実施形態と相違する。以下では、上述した実施形態と相違する構成についてのみ説明し、上述した実施形態と同等の構成についてはその説明を省略する。

図１１は、本発明の第３実施形態の距離画像撮像装置１Ｂが適用される距離画像撮像システムＭの構成の例を示したブロック図である。距離画像撮像システムＭは、複数の距離画像撮像装置１Ｂ（距離画像撮像装置１Ｂ－１、１Ｂ－２、…、１Ｂ－Ｎ）と、外部制御装置１０とを備える。なお、Ｎは任意の自然数である。距離画像撮像装置１Ｂと外部制御装置１０とは、例えばＵＳＢ（Universal Serial Bus）ケーブル等により通信可能に接続される。ここで、距離画像撮像装置１Ｂ－１は「第１距離画像撮像装置」の一例である。距離画像撮像装置１Ｂ－２は「第２距離画像撮像装置」の一例である。

距離画像撮像装置１Ｂは、情報取得部４６を備える。情報取得部４６は、外部制御装置１０から各種の情報を取得する。
外部制御装置１０は、例えば、通信部１１と、タイミング制御部１２とを備える。通信部１１は、距離画像撮像装置１Ｂの情報取得部４６と通信を行う。

タイミング制御部１２は、距離画像撮像装置１Ｂのそれぞれの受光タイミングを制御する。ここでの、受光タイミングは、電荷蓄積部ＣＳそれぞれが電荷を蓄積するタイミングであって、読み出しゲートトランジスタＧがオン状態、つまり駆動信号ＴＸが”Ｈｉｇｈ”レベルとなるタイミングである。受光タイミングは、「蓄積タイミング」の一例である。

タイミング制御部１２は、距離画像撮像装置１Ｂ－１の受光タイミングと、距離画像撮像装置１Ｂ－２の受光タイミングとが時間的に重ならないように制御する。

図１２、図１３は、本発明の第３実施形態の距離画像撮像装置１Ｂにおける画素３２１を駆動するタイミングを示したタイミングチャートである。

図１２には、距離画像撮像装置１Ｂ－１（Ｃａｍｅｒａ１）、距離画像撮像装置１Ｂ－２（Ｃａｍｅｒａ２）、距離画像撮像装置１Ｂ－３（Ｃａｍｅｒａ３）それぞれの受光タイミングと光パルスの照射のタイミングとが示されている。
図１２に示すように、タイミング制御部１２は、例えば、Ｃａｍｅｒａ１の蓄積周期において受光タイミングＸとは異なる期間、つまり「ＧＤ」で示した排出期間（ドレインゲートトランジスタＧＤがオン状態となる期間）に、距離画像撮像装置１Ｂ－２の受光タイミングＹ、及び距離画像撮像装置１Ｂ－３の受光タイミングＺが来るように制御する。

図１３には、距離画像撮像装置１Ｂ－１（Ｃａｍｅｒａ１）、距離画像撮像装置１Ｂ－２（Ｃａｍｅｒａ２）、…、距離画像撮像装置１Ｂ－６（Ｃａｍｅｒａ６）それぞれの積算期間と光パルスの照射のタイミングとが模式的に示されている。図１３では、測定期間における積算期間を「Ｇ１／Ｇ２／Ｇ３／ＧＤ／ＲＥＡＤ」で、読出し期間、及び測定を伴わない排出期間を「ＧＤ」でそれぞれ示している。また図１３では、積算期間において光パルスの照射が断続的に行われていることを示している。

図１３に示すように、タイミング制御部１２は、距離画像撮像装置１Ｂ－１の測定期間Ｔ１と、距離画像撮像装置１Ｂ－２の測定期間Ｔ２と、…、距離画像撮像装置１Ｂ－６の測定期間Ｔ６とが時間的に重ならないように制御するようにしてもよい。この例では、タイミング制御部１２は、距離画像撮像装置１Ｂ－１、距離画像撮像装置１Ｂ－２、…、距離画像撮像装置１Ｂ－６の順に、順番に測定期間が訪れるように制御する。

以上説明したように、第３の実施形態では、外部制御装置１０のタイミング制御部１２が、複数の距離画像撮像装置１Ｂそれぞれの受光タイミングを制御する。これにより、互いの光パルスの照射が干渉光となることがないように制御することができ、複数の距離画像撮像装置１Ｂが近接して設けられている場合であっても、干渉光による誤測定を抑制することができる。

上記各実施形態によれば、利便性を損ねることなく、干渉光の入射による距離の誤測定を抑制することができる。

１ 距離画像撮像装置
２ 光源部
２１ 光源装置
２２ 拡散板
３ 受光部
３１ レンズ
３２ 距離画像センサ
３２０ 受光領域
３２１ 画素
３２２ 制御回路
３２３ 垂直走査回路
３２４ 水平走査回路
３２５ 画素信号処理回路
４ 距離画像処理部
４１ タイミング制御部
４２ 距離演算部
４３ タイミング決定部
４４ タイミング情報テーブル
ＰＤ 光電変換素子
ＧＤ ドレインゲートトランジスタ
ＲＵ 画素信号読み出し部
Ｏ 出力端子
Ｇ 読み出しゲートトランジスタ
ＦＤ フローティングディフュージョン
Ｃ 電荷蓄積容量
ＲＴ リセットゲートトランジスタ
ＳＦ ソースフォロアゲートトランジスタ
ＳＬ 選択ゲートトランジスタ
ＣＳ 電荷蓄積部
ＰＯ 光パルス

Claims (6)

1. 撮影対象の空間に対して所定の周期で断続的な光パルスを照射する光源部と、
   入射した光に応じた電荷を発生する光電変換素子と、前記電荷を蓄積する複数の電荷蓄積部とを具備し、所定の蓄積タイミングで前記電荷を前記電荷蓄積部それぞれに振り分けて蓄積する画素が二次元の行列状に複数配置された距離画像センサを備えた受光部と、
   前記蓄積タイミングに同期させて前記光パルスを照射させる測定期間において前記電荷蓄積部のそれぞれに蓄積された前記電荷の量である電荷量に基づいて、前記撮影対象の空間に存在する被写体との間の距離を求める距離画像処理部と、
   前記蓄積タイミングに前記光パルスを照射させない調査期間において、前記電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量に基づいて、前記測定期間における前記蓄積タイミングを決定するタイミング決定部と、
   を備える距離画像撮像装置。
2. 前記タイミング決定部は、前記調査期間において前記電荷蓄積部それぞれに蓄積された前記電荷量と、前記調査期間における前記蓄積タイミングとに応じて、前記測定期間における前記蓄積タイミングを決定する、
   請求項１に記載の距離画像撮像装置。
3. 前記タイミング決定部は、前記調査期間において蓄積された前記電荷量が最大である前記電荷蓄積部に前記電荷が蓄積される蓄積期間と、前記測定期間における前記蓄積タイミングの前記電荷蓄積部のそれぞれの前記蓄積期間とが、前記蓄積期間が繰り返される周期である蓄積周期において重ならないように、前記測定期間における前記蓄積タイミングを決定する、
   請求項１に記載の距離画像撮像装置。
4. 前記タイミング決定部は、前記調査期間において蓄積された電荷量が最大である前記電荷蓄積部の識別情報と、前記測定期間における前記蓄積タイミングに関する情報とを対応付けたタイミング情報テーブルに基づいて、前記測定期間における前記蓄積タイミングを決定する、
   請求項１に記載の距離画像撮像装置。
5. 前記調査期間の長さは、前記測定期間の長さよりも小さい、
   請求項１から請求項４の何れか一項に記載の距離画像撮像装置。
6. 光源部が、撮影対象の空間に対して所定の周期で断続的な光パルスを照射する光源工程と、
   受光部が、入射した光に応じた電荷を発生する光電変換素子と、前記電荷を蓄積する複数の電荷蓄積部とを具備し、所定の蓄積タイミングで前記電荷を前記電荷蓄積部それぞれに振り分けて蓄積する画素が二次元の行列状に複数配置された距離画像センサを備えた受光工程と、
   距離画像処理部が、前記蓄積タイミングに同期させて前記光パルスを照射させる測定期間において前記電荷蓄積部のそれぞれに蓄積された前記電荷の量である電荷量に基づいて、前記撮影対象の空間に存在する被写体との間の距離を求める距離画像処理工程と、
   タイミング決定部が、前記蓄積タイミングに前記光パルスを照射させない調査期間において、前記電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量に基づいて、前記測定期間における前記蓄積タイミングを決定するタイミング決定工程と、
   を有する距離画像撮像方法。

Images