JP2024078837A - 距離画像撮像装置、及び距離画像撮像方法 - Google Patents

Abstract

【課題】直接波と間接波とが混在する混在比率に応じた測定を行う。【解決手段】照射タイミングと蓄積タイミングとの相対的なタイミング関係が互いに異なる複数の測定を行い、前記複数の測定のそれぞれにて蓄積された電荷量に応じた特徴量の傾向に基づいて、被写体に反射して到来した２つの光路に対応する２つの距離について、前記２つの距離のうち小さい距離である第１距離、前記２つの距離のうち大きい距離である第２距離、前記第１距離に対応する光強度である第１光強度および前記第２距離に対応する光強度である第２光強度を算出し、前記第１距離、前記第２距離、前記第１光強度および前記第２光強度に基づいて前記被写体までの距離を算出する距離画像処理部を備える。【選択図】図１

Description

本発明は、距離画像撮像装置、及び距離画像撮像方法に関する。

光の速度が既知であることを利用し、空間（測定空間）における光の飛行時間に基づいて測定器と対象物との距離を測定する、タイム・オブ・フライト（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ、以下「ＴＯＦ」という）方式の距離画像撮像装置が実現されている（例えば、特許文献１参照）。

このような距離画像撮像装置では、光パルスの光源と物体との間を直接往復した直接光（シングルパス）に加え、物体のコーナー部や物体の表面が凹凸構造となっている部分などにおいて光パルスが多重反射する等した後に到達した間接光を含むマルチパスが受光される場合がある。特許文献２には、このようなマルチパスの傾向に応じた対応を行う技術が開示されている。

特許第４２３５７２９号公報 特開２０２２－１１３４２９号公報

しかしながら、従来のマルチパス対応では、直接光と間接光の混在比率に応じた測定が行われていなかった。

本発明は、上記の課題に基づいてなされたものであり、直接光と間接光とが混在する混在比率に応じた測定を行うことができる距離画像撮像装置、及び距離画像撮像方法を提供することを目的とする。

本発明の距離画像撮像装置は、被写体に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスを照射する照射タイミングに同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離画像処理部と、を備え、前記距離画像処理部は、前記照射タイミングと前記蓄積タイミングとの相対的なタイミング関係が互いに異なる複数の測定を行い、前記複数の測定のそれぞれにて蓄積された電荷量に応じた特徴量の傾向に基づいて、前記被写体に反射して到来した２つの光路に対応する２つの距離について、前記２つの距離のうち小さい距離である第１距離、前記２つの距離のうち大きい距離である第２距離、前記第１距離に対応する光強度である第１光強度および前記第２距離に対応する光強度である第２光強度を算出し、前記第１距離、前記第２距離、前記第１光強度および前記第２光強度に基づいて前記被写体までの距離を算出する。

本発明の距離画像撮像装置では、前記距離画像処理部は、前記第１光強度および前記第２光強度の関係に基づいて選択した、前記第１距離および前記第２距離の何れか一方を、前記被写体までの距離とする。

本発明の距離画像撮像装置では、前記距離画像処理部は、前記第２光強度に対する前記第１光強度の比率が閾値を超える場合に前記第１距離を前記被写体までの距離とし、前記比率が閾値を超えない場合に前記第１距離及び前記第２距離の中間値である中間距離を前記被写体までの距離とする。

本発明の距離画像撮像装置では、前記距離画像処理部は、前記第１光強度および前記第２光強度の関係に基づいて重みづけ平均値の算出に用いる係数を設定し、前記係数を用いて算出される、前記第１距離および前記第２距離の重みづけ平均値である重みづけ平均距離を前記被写体までの距離とする。

本発明の距離画像撮像方法は、被写体に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスを照射する照射タイミングに同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離画像処理部と、を備える距離画像撮像装置が行う距離画像撮像方法であって、前記距離画像処理部は、前記照射タイミングと前記蓄積タイミングとの相対的なタイミング関係が互いに異なる複数の測定を行い、前記複数の測定のそれぞれにて蓄積された電荷量に応じた特徴量の傾向に基づいて、前記被写体に反射して到来した２つの光路に対応する２つの距離について、前記２つの距離のうち小さい距離である第１距離、前記２つの距離のうち大きい距離である第２距離、前記第１距離に対応する光強度である第１光強度および前記第２距離に対応する光強度である第２光強度を算出し、前記第１距離、前記第２距離、前記第１光強度および前記第２光強度に基づいて前記被写体までの距離を算出する。

本発明によれば、直接光と間接光とが混在する混在比率に応じた測定を行うことができる。

実施形態の距離画像撮像装置１の構成例を示すブロック図である。 実施形態の距離画像センサ３２の構成例を示すブロック図である。 実施形態の画素３２１の構成例を示す回路図である。 実施形態の距離画像撮像装置１が行う処理を説明するための図である。 実施形態の距離画像撮像装置１が行う処理を説明するための図である。 実施形態の距離画像撮像装置１が行う処理を説明するための図である。 実施形態の距離画像撮像装置１が行う処理を説明するための図である。 実施形態の距離画像撮像装置１が行う処理を説明するための図である。 実施形態の距離画像撮像装置１が行う処理を説明するための図である。 実施形態の距離画像撮像装置１が行う処理を説明するための図である。 実施形態の距離画像撮像装置１が行う処理を説明するための図である。 実施形態の距離画像撮像装置１が行う処理を説明するための図である。 実施形態の距離画像撮像装置１が行う処理を説明するための図である。 実施形態の距離画像撮像装置１が行う処理の流れを示すフローチャートである。

以下、実施形態の距離画像撮像装置を、図面を参照しながら説明する。

図１は、実施形態の距離画像撮像装置の概略構成を示すブロック図である。距離画像撮像装置１は、例えば、光源部２と、受光部３と、距離画像処理部４とを備える。図１には、距離画像撮像装置１において距離を測定する対象物である被写体ＯＢも併せて示している。

光源部２は、距離画像処理部４からの制御に従って、距離画像撮像装置１において距離を測定する対象の被写体ＯＢが存在する測定対象の空間に光パルスＰＯを照射する。光源部２は、例えば、垂直共振器面発光レーザー（ＶＣＳＥＬ：Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ）などの面発光型の半導体レーザーモジュールである。光源部２は、光源装置２１と、拡散板２２とを備える。

光源装置２１は、被写体ＯＢに照射する光パルスＰＯとなる近赤外の波長帯域（例えば、波長が８５０ｎｍ～９４０ｎｍの波長帯域）のレーザー光を発光する光源である。光源装置２１は、例えば、半導体レーザー発光素子である。光源装置２１は、タイミング制御部４１からの制御に応じて、パルス状のレーザー光を発光する。

拡散板２２は、光源装置２１が発光した近赤外の波長帯域のレーザー光を、被写体ＯＢに照射する面の広さに拡散する光学部品である。拡散板２２が拡散したパルス状のレーザー光が、光パルスＰＯとして出射され、被写体ＯＢに照射される。

受光部３は、距離画像撮像装置１において距離を測定する対象の被写体ＯＢによって反射された光パルスＰＯの反射光ＲＬを受光し、受光した反射光ＲＬに応じた画素信号を出力する。受光部３は、レンズ３１と、距離画像センサ３２とを備える。

レンズ３１は、入射した反射光ＲＬを距離画像センサ３２に導く光学レンズである。レンズ３１は、入射した反射光ＲＬを距離画像センサ３２側に出射して、距離画像センサ３２の受光領域に備えた画素に受光（入射）させる。

距離画像センサ３２は、距離画像撮像装置１に用いられる撮像素子である。距離画像センサ３２は、二次元の受光領域に複数の画素を備える。距離画像センサ３２のそれぞれの画素の中に、１つの光電変換素子と、この１つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられる。つまり、画素は、複数の電荷蓄積部に電荷を振り分けて蓄積させる振り分け構成の撮像素子である。

距離画像センサ３２は、タイミング制御部４１からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ３２は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ３２には、複数の画素が二次元の行列状に配置されており、それぞれの画素の対応する１フレーム分の画素信号を出力する。

距離画像処理部４は、距離画像撮像装置１を制御し、被写体ＯＢまでの距離を算出する。距離画像処理部４は、タイミング制御部４１と、距離演算部４２と、測定制御部４３とを備える。

タイミング制御部４１は、測定制御部４３の制御に応じて、測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスＰＯの照射を制御する信号、反射光ＲＬを複数の電荷蓄積部に振り分けて蓄積させる信号、１フレームあたりの蓄積回数を制御する信号などである。蓄積回数とは、電荷蓄積部ＣＳ（図３参照）に電荷を振り分けて蓄積させる蓄積処理を繰返す回数である。

距離演算部４２は、距離画像センサ３２から出力された画素信号に基づいて、被写体ＯＢまでの距離を演算した距離情報を出力する。距離演算部４２は、複数の電荷蓄積部に蓄積された電荷量に基づいて、光パルスＰＯを照射してから反射光ＲＬを受光するまでの遅延時間を算出する。距離演算部４２は、算出した遅延時間に応じて被写体ＯＢまでの距離を算出する。

測定制御部４３は、タイミング制御部４１を制御する。例えば、測定制御部４３は、１フレームの蓄積回数及び蓄積時間幅を設定し、設定した内容で撮像が行われるようにタイミング制御部４１を制御する。

このような構成によって、距離画像撮像装置１では、光源部２が被写体ＯＢに照射した近赤外の波長帯域の光パルスＰＯが被写体ＯＢによって反射された反射光ＲＬを受光部３が受光し、距離画像処理部４が、被写体ＯＢとの距離を測定した距離情報を出力する。

なお、図１においては、距離画像処理部４を距離画像撮像装置１の内部に備える構成の距離画像撮像装置１を示しているが、距離画像処理部４は、距離画像撮像装置１の外部に備える構成要素であってもよい。

ここで、図２を用いて、距離画像撮像装置１において撮像素子として用いられる距離画像センサ３２の構成について説明する。図２は、実施形態の距離画像撮像装置１に用いられる撮像素子（距離画像センサ３２）の概略構成を示すブロック図である。

図２に示すように、距離画像センサ３２は、例えば、複数の画素３２１が配置された受光領域３２０と、制御回路３２２と、振り分け動作を有した垂直走査回路３２３と、水平走査回路３２４と、画素信号処理回路３２５とを備える。

受光領域３２０は、複数の画素３２１が配置された領域であって、図２では、８行８列に二次元の行列状に配置された例を示している。画素３２１は、受光した光量に相当する電荷を蓄積する。制御回路３２２は、距離画像センサ３２を統括的に制御する。制御回路３２２は、例えば、距離画像処理部４のタイミング制御部４１からの指示に応じて、距離画像センサ３２の構成要素の動作を制御する。なお、距離画像センサ３２に備えた構成要素の制御は、タイミング制御部４１が直接行う構成であってもよく、この場合、制御回路３２２を省略することも可能である。

垂直走査回路３２３は、制御回路３２２からの制御に応じて、受光領域３２０に配置された画素３２１を行ごとに制御する回路である。垂直走査回路３２３は、画素３２１の電荷蓄積部ＣＳそれぞれに蓄積された電荷量に応じた電圧信号を画素信号処理回路３２５に出力させる。この場合、垂直走査回路３２３は、光電変換素子により変換された電荷を画素３２１の電荷蓄積部それぞれに振り分けて蓄積させる。つまり、垂直走査回路３２３は、「画素駆動回路」の一例である。

画素信号処理回路３２５は、制御回路３２２からの制御に応じて、それぞれの列の画素３２１から対応する垂直信号線に出力された電圧信号に対して、予め定めた信号処理（例えば、ノイズ抑圧処理やＡ／Ｄ変換処理など）を行う回路である。

水平走査回路３２４は、制御回路３２２からの制御に応じて、画素信号処理回路３２５から出力される信号を、水平信号線に順次出力させる回路である。これにより、１フレーム分蓄積された電荷量に相当する画素信号が、水平信号線を経由して距離画像処理部４に順次出力される。

以下では、画素信号処理回路３２５がＡ／Ｄ変換処理を行い、画素信号がデジタル信号であるものとして説明する。

ここで、図３を用いて、距離画像センサ３２に備える受光領域３２０内に配置された画素３２１の構成について説明する。図３は、実施形態の距離画像センサ３２の受光領域３２０内に配置された画素３２１の構成の一例を示す回路図である。図３には、受光領域３２０内に配置された複数の画素３２１のうち、１つの画素３２１の構成の一例を示している。画素３２１は、３個の画素信号読み出し部を備えた構成の一例である。

画素３２１は、１個の光電変換素子ＰＤと、ドレインゲートトランジスタＧＤと、対応する出力端子Ｏから電圧信号を出力する３個の画素信号読み出し部ＲＵとを備える。画素信号読み出し部ＲＵのそれぞれは、読み出しゲートトランジスタＧと、フローティングディフュージョンＦＤと、電荷蓄積容量Ｃと、リセットゲートトランジスタＲＴと、ソースフォロアゲートトランジスタＳＦと、選択ゲートトランジスタＳＬとを備える。それぞれの画素信号読み出し部ＲＵでは、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって電荷蓄積部ＣＳが構成されている。

なお、図３においては、３個の画素信号読み出し部ＲＵの符号「ＲＵ」の後に、「１」～「３」の何れかの数字を付与することによって、それぞれの画素信号読み出し部ＲＵを区別する。また、同様に、３個の画素信号読み出し部ＲＵに備えたそれぞれの構成要素も、それぞれの画素信号読み出し部ＲＵを表す数字を符号の後に示すことによって、それぞれの構成要素が対応する画素信号読み出し部ＲＵを区別して表す。

図３に示した画素３２１において、出力端子Ｏ１から電圧信号を出力する画素信号読み出し部ＲＵ１は、読み出しゲートトランジスタＧ１と、フローティングディフュージョンＦＤ１と、電荷蓄積容量Ｃ１と、リセットゲートトランジスタＲＴ１と、ソースフォロアゲートトランジスタＳＦ１と、選択ゲートトランジスタＳＬ１とを備える。画素信号読み出し部ＲＵ１では、フローティングディフュージョンＦＤ１と電荷蓄積容量Ｃ１とによって電荷蓄積部ＣＳ１が構成されている。画素信号読み出し部ＲＵ２～ＲＵ３も同様の構成である。

なお、距離画像センサ３２に配置される画素の構成は、図３に示したような、３個の画素信号読み出し部ＲＵを備える構成に限定されるものではなく、複数の画素信号読み出し部ＲＵを備えた構成の画素であればよい。つまり、距離画像センサ３２に配置される画素に備える画素信号読み出し部ＲＵ（電荷蓄積部ＣＳ）の数は、２個であってもよいし、４個以上であってもよい。

また、図３に示した構成の画素３２１では、電荷蓄積部ＣＳを、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって構成する一例を示した。しかし、電荷蓄積部ＣＳは、少なくともフローティングディフュージョンＦＤによって構成されればよく、画素３２１が電荷蓄積容量Ｃを備えない構成であってもよい。

また、図３に示した構成の画素３２１では、ドレインゲートトランジスタＧＤを備える構成の一例を示したが、光電変換素子ＰＤに蓄積されている（残っている）電荷を破棄する必要がない場合には、ドレインゲートトランジスタＧＤを備えない構成であってもよい。

光電変換素子ＰＤは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。光電変換素子ＰＤの構造は任意であってよい。光電変換素子ＰＤは、例えば、Ｐ型半導体とＮ型半導体とを接合した構造のＰＮフォトダイオードであってもよいし、Ｐ型半導体とＮ型半導体との間にＩ型半導体を挟んだ構造のＰＩＮフォトダイオードであってもよい。また、光電変換素子ＰＤは、フォトダイオードに限定されるものではなく、例えば、フォトゲート方式の光電変換素子であってもよい。

画素３２１では、光パルスＰＯを照射する照射タイミングに同期させた蓄積タイミングにおいて入射した光を、光電変換素子ＰＤが電荷に変換し、変換した電荷を４個の電荷蓄積部ＣＳのそれぞれに振り分けて蓄積させる。また、蓄積タイミング以外のタイミングで画素３２１に入射した光については、光電変換素子ＰＤが変換した電荷をドレインゲートトランジスタＧＤから排出して、電荷蓄積部ＣＳに蓄積させないようにする。

このようにして蓄積タイミングにおける電荷の蓄積と、蓄積タイミング以外のタイミングにおける電荷の破棄とが、１フレームに渡って繰り返し行われた後、読出し期間が設けられる。読み出し期間では、水平走査回路３２４により、電荷蓄積部ＣＳのそれぞれに蓄積された、１フレーム分の電荷量に相当する電気信号が、距離演算部４２に出力される。

ここで、距離を算出する方法について説明する。本実施形態では、距離画像撮像装置１が受光した反射光ＲＬがシングルパスであるか、或いは、反射光ＲＬがマルチパスであるかにより異なる手法を用いて距離を算出する。

距離画像撮像装置１が受光した反射光ＲＬがシングルパスであるか、マルチパスであるかの判定は、既存技術、例えば、特許文献２に記載された技術を用いて判定することが可能である。例えば、距離画像処理部４は、照射タイミングと蓄積タイミングとの相対的なタイミング関係が互いに異なる複数の測定を行う。ここでの照射タイミングは光パルスＰＯを照射するタイミングである。蓄積タイミングは、電荷蓄積部ＣＳのそれぞれに電荷を蓄積させるタイミングである。測定を行う毎に電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に基づく特徴量を算出し、算出した特徴量の傾向に応じて、特徴量の傾向がシングルパスを受光した場合の傾向に似ている場合には、シングルパスを受光したと判定する。一方、距離画像撮像装置１は、特徴量の傾向がマルチパスを受光した場合の傾向に似ている場合には、マルチパスを受光したと判定する。

距離画像撮像装置１が受光した反射光ＲＬがシングルパスであると判定した場合、距離画像処理部４は、以下の（１）式により、被写体ＯＢまでの距離Ｌを算出する。

Ｌ＝ｃ×Ｔｄ／２
Ｔｄ＝Ｔｏ×（Ｑ２－Ｑ３）／（Ｑ１＋Ｑ２－２×Ｑ３） …（１）
但し、Ｌは被写体ＯＢまでの距離
ｃは光速
Ｔｏは光パルスＰＯが照射された期間
Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量

なお、（１）式においては、電荷蓄積部ＣＳ１及びＣＳ２に跨って反射光ＲＬに相当する電荷が蓄積されていること、および、電荷蓄積部ＣＳ１～ＣＳ３のそれぞれにおいて同量の外光成分に相当する電荷が蓄積されていることを前提とする。

一方、距離画像撮像装置１が受光した反射光ＲＬがマルチパスであると判定した場合、距離画像処理部４は、例えば、反射光ＲＬを２つの互いに異なる経路から到来した反射光ＲＡ及びＲＢの和と仮定する。距離画像処理部４は、例えば、反射光ＲＡの距離をＬＡ、光強度をＤＡ、反射光ＲＢの距離をＬＢ、光強度をＤＢとし仮定し、最小二乗法などの技術を用いて、（距離ＬＡ、光強度ＤＡ、距離をＬＢ、光強度ＤＢ）の最適な組合せを決定する。

ここで、図４～図５を用いて、混在比率が異なるマルチパスが受光される例を説明する。図４～図６は、実施形態の距離画像撮像装置１が行う処理を説明するための図である。図４および図５には、物体ＯＢＡが設けられた空間を距離画像撮像装置１が撮像する例が模式的に示されている。

図４に示すように、撮像方向の正面にある物体ＯＢＡからの反射光ＲＬを距離画像撮像装置１が受光する場合、光強度が大きい直接光Ｄ（ｍａｊｏｒ）と、光強度が小さい間接光Ｍ（ｍｉｎｏｒ）が混在した反射光が受光される。物体ＯＢＡは被写体ＯＢの一例である。

一方、図５に示すように、撮像方向の下にある床面Ｆからの反射光ＲＬを距離画像撮像装置１が受光する場合、光強度が大きい間接光Ｍ（ｍａｊｏｒ）と、光強度が小さい直接光Ｄ（ｍｉｎｏｒ）が混在した反射光が受光される。床面Ｆは被写体ＯＢの一例である。

ここで、図６～図８を用いて、マルチパスの特性について説明する。図６～図８は、実施形態の距離画像撮像装置１が行う処理を説明するための図である。

図６には、図４及び図５のように物体ＯＢＡが配置された空間において撮像された距離画像における画素（Ｐｉｘｅｌ）と距離（ＴＯＦ Ｄｉｓｔａｎｃｅ）との関係が示されている。図６の横軸は画素における水平方向の位置座標を示す。図６の縦軸は距離を示す。

図６には、２つの距離、第１距離（Ｍｅａｓｕｒｅｍｅｎｔ）、および第２距離（Ｉｄｅａｌ ｄｉｓｔａｎｃｅ）が示されている。
第１距離は、反射光ＲＬに相当する電荷量に基づいて算出された測定距離である。ここで、反射光ＲＬに相当する電荷量には、直接光Ｄおよび反射光ＲＬに由来する電荷が混在していることを前提とする。
第２距離は、実際の距離であり、距離画像撮像装置１が直接光Ｄのみを受光した場合に算出されることが期待される理想距離である。

図６に示すように、領域ＥＡ、つまり座標Ｐより位置座標が小さい画素の領域、具体的には物体ＯＢＡの手前にある床面Ｆが撮像された領域においては、第１距離と第２距離との差分は比較的大きい。これは、物体ＯＢＡの手前にある床面Ｆに反射して距離画像撮像装置１に受光される反射光ＲＬには、直接光Ｄの光強度に対して、より大きい光量の間接光Ｍが含まれているためと考えられる。この場合、直接光Ｄの光強度に対して、間接光Ｍの光強度が大きくなり、第１距離が、第２距離より大きい値となる。

ここで、領域ＥＡにおいて、床面Ｆの素材が鏡面である等、床面Ｆの反射係数が大きい場合、床面Ｆに反射して距離画像撮像装置１に受光される反射光ＲＬに含まれる直接光Ｄの光強度は小さくなると考えられる。このため、床面Ｆの反射係数が大きい程、第１距離と第２距離の差分が大きくなる傾向にあると考えられる。

一方、領域ＥＢ、つまり座標Ｐより位置座標が大きい画素の領域、具体的には物体ＯＢＡが撮像された領域においては、第１距離と第２距離との差分は比較的小さい。これは、物体ＯＢＡに反射して距離画像撮像装置１に受光される反射光ＲＬには、間接光Ｍの光量と比較して、より大きい光量の直接光Ｄが含まれているためと考えられる。この場合、直接光Ｄの光強度に対して、間接光Ｍの光強度が小さくなり、第１距離が、第２距離とほぼ同じ値となる。

ここで、物体ＯＢＡにおいて床面Ｆに近い部分、つまり物体ＯＢＡの下部は、物体ＯＢＡの上部と比較して、床面Ｆからの反射光が到達し易い。このため、物体ＯＢＡの下部から距離画像撮像装置１に到達する反射光ＲＬには、物体ＯＢＡの上部から距離画像撮像装置１に到達する反射光ＲＬと比較して、反射光ＲＬに含まれる間接光Ｍの光量が大きいと考えられる。これにより、領域ＥＢにおいて、位置座標が小さい画素、つまり物体ＯＢＡの下部が撮像された画素において、第１距離と第２距離の差分は、位置座標が大きい画素、つまり物体ＯＢＡの上部が撮像された画素と比較して、大きくなる傾向を示すと考えられる。

図７には、図４及び図５に示すように物体ＯＢＡが配置された空間において撮像された距離画像における、画素（Ｐｉｘｅｌ）と混在比率（Ｄｉｒｅｃｔ／Ｍｕｌｔｉｐａｔｈ ｒａｔｉｏ）との関係が示されている。図７の横軸は画素における水平方向の位置座標を示す。図７の縦軸は混在比率を示す。

図７には、直接光Ｄにおける混在比率（Ｄｉｒｅｃｔ－ｐａｔｈ ｒａｔｉｏ）、および間接光Ｍにおける混在比率（Ｍｕｌｔｉ－ｐａｔｈ ｒａｔｉｏ）が示されている。

直接光Ｄにおける混在比率は、反射光ＲＬに対して直接光Ｄが含まれる比率である。直接光Ｄにおける混在比率は、以下の（２）式により示される値である。

（直接光Ｄにおける混在比率）＝（直接光Ｄの光強度）／（反射光ＲＬの光強度）…（２）
但し、（反射光ＲＬの光強度）＝（直接光Ｄの光強度）＋（間接光Ｍの光強度）

一方、間接光Ｍにおける混在比率は、反射光ＲＬに対して間接光ＭＤが含まれる比率である。間接光Ｍにおける混在比率は、以下の（３）式により示される値である。

（間接光Ｍにおける混在比率）＝（間接光Ｍの光強度）／（反射光ＲＬの光強度）…（３）
但し、（反射光ＲＬの光強度）＝（直接光Ｄの光強度）＋（間接光Ｍの光強度）

図７に示すように、原点座標において、直接光Ｄにおける混在比率が上限閾値（例えば、９５％）以上であり、間接光Ｍにおける混在比率が下限閾値（例えば、５％）未満であるような傾向を示す。そして、領域ＥＡにある領域ＥＡ１において、位置座標が大きくなるにしたがい、直接光Ｄにおける混在比率が小さくなる一方で、間接光Ｍにおける混在比率が大きくなる。

座標Ｑにおいて、直接光Ｄにおける混在比率、および間接光Ｍにおける混在比率が、共に、５０％となる。そして領域ＥＡにある領域ＥＡ２において、位置座標が大きくなるにしたがい、直接光Ｄにおける混在比率が５０％より小さくなり、間接光Ｍにおける混在比率が５０％を超えて大きくなる。

座標Ｐにおいて、直接光Ｄにおける混在比率が上限閾値（例えば、９５％）以上であり、間接光Ｍにおける混在比率が下限閾値（例えば、５％）未満になる傾向を示す。そして領域ＥＢにおいて、位置座標が大きくなるにしたがい、直接光Ｄにおける混在比率が徐々に増加して１００％に漸近し、間接光Ｍにおける混在比率が徐々に減少して０％に近づくような傾向を示す。

図８には、図４および図５と同様に、物体ＯＢＡが設けられた空間に距離画像撮像装置１が撮像する例が模式的に示されている。

図８に示すように、距離画像撮像装置１からの距離が比較的近い床面ＦＡには、床面Ｆの法線方向に対して角度θ１で光パルスＰＯが入射される。一方、距離画像撮像装置１からの距離が比較的遠い床面ＦＢには、床面Ｆの法線方向に対して角度θ２で光パルスＰＯが入射される。ここで、角度θ１は角度θ２よりも小さく、角度θ１＜角度θ２の関係にある。光パルスＰＯが床面ＦＡで反射した場合、角度θ１が比較的小さいことから、床面ＦＡから距離画像撮像装置１に到達する反射光ＲＬに含まれる直接光Ｄの光強度は相応に強くなる。
一方、光パルスＰＯが床面ＦＢで反射した場合、角度θ２が比較的大きいことから、床面ＦＢから距離画像撮像装置１に到達する反射光ＲＬに含まれる直接光Ｄの光強度は相応に弱くなる。
したがって、床面ＦＢから距離画像撮像装置１に到達する反射光ＲＬに含まれる直接光Ｄの光強度は、床面ＦＡから距離画像撮像装置１に到達する反射光ＲＬに含まれる直接光Ｄの光強度より小さいと考えられる。

また、図８に示すように、床面ＦＢで反射した光の一部は、物体ＯＢＡにおいて床面Ｆの近い位置、つまり物体ＯＢＡの下部に多く到達する。一方、床面ＦＢで反射した光の一部は、物体ＯＢＡにおいて床面Ｆの遠い位置、つまり物体ＯＢＡの上部にはほとんど到達しない。このため、物体ＯＢＡの下部から距離画像撮像装置１に到達した反射光ＲＬには、床面Ｆで反射した間接光Ｍが多く含まれ、物体ＯＢＡの上部から距離画像撮像装置１に到達する反射光ＲＬには、床面Ｆで反射した間接光Ｍがほとんど含まれない。つまり、物体ＯＢＡにおいて、下部で反射する光には、床面から到来するマルチパスに由来する成分が含まれる。このため、物体の上部で反射した反射光ＲＬと比べて、物体の下部で反射した反射光ＲＬにおける間接光Ｍの混在比率は大きくなる。

ここで、図９～図１２を用いて、距離画像撮像装置１が距離を測定する方法について説明する。図９～図１２は、実施形態の距離画像撮像装置１が行う処理を説明するための図である。

図９には、マルチパスに含まれる光量に基づく距離が示されている。図９には、図６と同様に、横軸に画素における水平方向の位置座標、縦軸に距離が示されている。図９には、４つの距離、第３距離（Ｍｅａｓｕｒｅｍｅｎｔ）、第４距離（Ｍｕｌｔｉ－ｐａｔｈ ｄｉｓｔａｎｃｅ）、第５距離（Ｄｉｒｅｃｔ－ｐａｔｈ ｄｉｓｔａｎｃｅ）、および第６距離（Ｉｄｅａｌ ｄｉｓｔａｎｃｅ）が示されている。

第３距離は、図６の第１距離と同様の距離であり、反射光ＲＬに相当する電荷量に基づいて算出された測定距離である。
第４距離は、反射光ＲＬに相当する電荷量から抽出した間接光Ｍに由来する電荷量に基づいて算出された間接距離である。
第５距離は、反射光ＲＬに相当する電荷量から抽出した直接光Ｄに由来する電荷量に基づいて算出された間接距離である。
第６距離は、図６の第２距離と同様の、実際の距離であり、距離画像撮像装置１が直接光Ｄのみを受光した場合に算出されることが期待される理想距離である。

図９に示すように、領域ＥＡ１においては、第５距離と、第６距離とが、ほぼ一致する。これは、物体ＯＢＡの手前にある床面Ｆから到来する反射光ＲＬに含まれる直接光Ｄの強度が大きいことからノイズの影響が小さくなり、（１）式などのアルゴリズムを用いて精度よく距離を算出することができるためと考えられる。

一方、領域ＥＡ２においては、第５距離と、第６距離との差分が生じる。このような差分が生じるのは、距離画像撮像装置１に近い床面Ｆの領域においては直接光Ｄの強度が大きいのに対し、物体ＯＢＡに近い床面Ｆの領域では直接光Ｄの強度が小さくなることから直接光Ｄに含まれるノイズの影響が大きくなり、（１）式などのアルゴリズムを用いたとしても精度よく距離を算出することが困難になるためと考えられる。

また、領域ＥＢにおいては、第５距離と、第６距離とが、ほぼ一致する。これは、物体ＯＢＡから到来する反射光ＲＬには直接光Ｄの混在比率が大きく、適切な積算回数を設定することにより直接光Ｄに含まれるノイズの影響が小さくなるようにすることができるためと考えられる。この場合、反射光ＲＬに相当する電荷量に含まれる直接光Ｄに由来する電荷量を基に、（１）式などのアルゴリズムを用いて精度よく距離を算出することが可能となる。

ここで、図１０～図１２を用いて、距離画像撮像装置１が距離を算出する方法を説明する。図１０～図１２には、図６と同様に、横軸に画素における水平方向の位置座標、縦軸に距離が示されている。図１０～図１２には、第７距離（Ｉｄｅａｌ ｄｉｓｔａｎｃｅ）、および第８距離（ｒｅｓｕｌｔ）が示されている。

第７距離は、図６の第２距離および図９の第６距離と同様の、実際の距離であり、距離画像撮像装置１が直接光Ｄのみを受光した場合に算出されることが期待される理想距離である。
第８距離は、実施形態における距離画像撮像装置１が算出した、被写体ＯＢまでの距離を示す測定結果である。

図１０には、「ｒｅｓｕｌｔ＝Ｄｉｒｅｃｔ－ｐａｔｈ ｄｉｓｔａｎｃｅ」と記載されている。これは、第８距離として、直接距離、を採用したことを示す。ここでの直接距離は、図９における第５距離（Ｄｉｒｅｃｔ－ｐａｔｈ ｄｉｓｔａｎｃｅ）、つまり直接光Ｄに由来する電荷量に基づいて算出される距離である。

この場合、領域ＥＡ１および領域ＥＢでは、第８距離が第７距離とほぼ一致する。一方、領域ＥＡ２では、第８距離と第７距離との差分が大きい。

上述した図１０で述べた観点から、本実施形態の距離画像撮像装置１では、直接光Ｄにおける混在比率が閾値（ここでは５０％）を超える場合、直接距離、つまり図９の第５距離（Ｄｉｒｅｃｔ－ｐａｔｈ ｄｉｓｔａｎｃｅ）、を測定結果として算出する。

具体的に、距離画像撮像装置１は、例えば特許文献２に記載された技術を用いて、反射光ＲＬ（マルチパス）から直接光Ｄと間接光Ｍとを分離する。距離画像撮像装置１は、反射光ＲＬの光量に対する、分離した直接光Ｄの光量の比率を、直接光Ｄにおける混在比率として算出する。距離画像撮像装置１は、算出した直接光Ｄにおける混在比率が、閾値（例えば、５０％）を超える場合、直接光Ｄの光量に基づく距離（直接距離）を算出する。距離画像撮像装置１は、算出した直接距離を、測定結果とする。

一方、直接光Ｄにおける混在比率が閾値（ここでは５０％）未満である場合、本実施形態の距離画像撮像装置１は、後述する図１１～図１３を用いて説明する、何れか手法により算出した距離を、第８距離とする。

図１１には、「ｒｅｓｕｌｔ（ＥＡ２）＝Ｍｅａｓｕｒｅｍｅｎｔ」と記載されている。これは、領域ＥＡ２における第８距離として、測定距離、を採用したことを示す。測定距離は、図９における第３距離（Ｍｅａｓｕｒｅｍｅｎｔ）、つまり反射光ＲＬに由来する電荷量に基づいて算出される距離である。

この場合、領域ＥＡ２と領域ＥＢの境界、つまり座標Ｐの近傍において、第８距離と第７距離との差分が、図１０の場合と比較して低減する。一方、座標Ｑから座標Ｐまでの間に存在する画素は、位置座標が小さくなるにしたがって、第８距離と第７距離との差分が大きくなる。そして、座標Ｑの近傍において、第８距離と第７距離との差分が最も大きくなり、その結果として、座標Ｑにおいて段差が生じる。

上述した図１１で述べた観点から、本実施形態の距離画像撮像装置１では、直接光Ｄにおける混在比率が閾値（ここでは５０％）未満である場合、測定距離、例えば、図９における第３距離（Ｍｅａｓｕｒｅｍｅｎｔ）、を測定結果として算出する。

具体的に、距離画像撮像装置１は、例えば特許文献２に記載された技術を用いて、反射光ＲＬ（マルチパス）から直接光Ｄと間接光Ｍとを分離する。距離画像撮像装置１は、反射光ＲＬの光量に対する、分離した直接光Ｄの光量の比率を、直接光Ｄにおける混在比率として算出する。距離画像撮像装置１は、算出した直接光Ｄにおける混在比率が、閾値（例えば、５０％）未満である場合、反射光ＲＬの光量に基づく距離（測定距離）を算出する。距離画像撮像装置１は、算出した測定距離を、測定結果とする。

図１２には、「ｒｅｓｕｌｔ（ＥＡ２）＝Ａｖｅ」と記載されている。これは、領域ＥＡ２における第８距離として、中間距離（Ａｖｅ）、を採用したことを示す。ここでの中間距離は、直接距離と測定距離の単純平均値に相当する距離であり、例えば、直接距離と測定距離の和に、０．５を乗算した距離である。
ここでの直接距離は、図９における第５距離（Ｄｉｒｅｃｔ－ｐａｔｈ ｄｉｓｔａｎｃｅ）、つまり直接光Ｄに由来する電荷量に基づいて算出される距離である。また、測定距離は、図９における第３距離（Ｍｅａｓｕｒｅｍｅｎｔ）、つまり反射光ＲＬに由来する電荷量に基づいて算出される距離である。

この場合、座標Ｐの近傍において、第８距離と第７距離との差分が、図１０の場合と比較して低減する。また、座標Ｑの近傍において、第８距離と第７距離との差分が、図１１の場合と比較して低減する。

上述した図１２で述べた観点から、本実施形態の距離画像撮像装置１では、直接光Ｄにおける混在比率が閾値（ここでは５０％）未満である場合、中間距離、例えば、直接距離と測定距離の中間値、を測定結果として算出する。

具体的に、距離画像撮像装置１は、直接光Ｄにおける混在比率が、閾値（例えば、５０％）未満である場合、直接光Ｄの光量に基づく距離（直接距離）、および反射光ＲＬの光量に基づく距離（測定距離）を算出する。距離画像撮像装置１は、算出した直接距離と測定距離の和に、０．５を乗算した中間距離を算出する。距離画像撮像装置１は、算出した中間距離を、測定結果とする。

図１３には、「ｒｅｓｕｌｔ（ＥＡ２）＝Ｗａｖｅ」と記載されている。これは、領域ＥＡ２における第８距離として、重みづけ平均距離（ＷＡｖｅ）、を採用したことを示す。ここでの重みづけ平均距離は、直接距離と測定距離のそれぞれを、直接光Ｄにおける混在比率で重みづけ加算した値に相当する距離である。例えば、直接光Ｄにおける混在比率が３０％である場合、重みづけ平均距離は、直接距離に０．３を乗算した値と、測定距離に０．７を乗算した値を加算した値である。
ここでの直接距離は、図９における第５距離（Ｄｉｒｅｃｔ－ｐａｔｈ ｄｉｓｔａｎｃｅ）、つまり直接光Ｄに由来する電荷量に基づいて算出される距離である。また、測定距離は、図９における第３距離（Ｍｅａｓｕｒｅｍｅｎｔ）、つまり反射光ＲＬに由来する電荷量に基づいて算出される距離である。

この場合、座標Ｐの近傍において、第８距離と第７距離との差分が、図１０の場合と比較して低減する。また、座標Ｑの近傍において、第８距離と第７距離との差分が、図１１および図１２の場合と比較して低減する。特に、図１１および図１２において発生していた大きな段差が解消され、領域ＥＡ１と領域ＥＡ２の境界における連続性が改善する。

また、領域ＥＡ２において、全体的に、第８距離と第７距離との差分が、図１０～図１２の場合と比較して低減する。

上述した図１３で述べた観点から、本実施形態の距離画像撮像装置１は、直接光Ｄにおける混在比率が閾値（ここでは５０％）未満である場合、重みづけ平均距離、例えば、直接距離と測定距離を直接光Ｄにおける混在比率に応じて重みづけ加算した値を、測定結果とする。

具体的に、距離画像撮像装置１は、直接光Ｄにおける混在比率が、閾値（例えば、５０％）未満である場合、直接光Ｄの光量に基づく距離（直接距離）、および反射光ＲＬの光量に基づく距離（測定距離）を算出する。距離画像撮像装置１は、算出した直接距離に、直接光Ｄにおける混在比率に応じた第１係数（重みづけ係数Ｋ）を乗算する。距離画像撮像装置１は、算出した測定距離に、第２係数（１－Ｋ）を乗算する。距離画像撮像装置１は、係数を乗算した直接距離と、係数を乗算した測定距離の和を、重みづけ平均距離として算出する。距離画像撮像装置１は、算出した重みづけ平均距離を、測定結果とする。

例えば、距離画像撮像装置１は、以下の（４）式を用いて、重みづけ平均距離ＷＡｖｅを算出する。

ＷＡｖｅ＝Ｄ_{ｄｉｒｅｃｔ}×Ｋ＋Ｄ_ｏｐｔ×（１－Ｋ） …（４）
但し、ＷＡｖｅは、重みづけ平均距離である。
Ｄ_{ｄｉｒｅｃｔ}は、直接距離である。
Ｋは、直接光Ｄにおける混在比率に応じた係数である。
Ｄ_ｏｐｔは、測定距離である。

重みづけ係数Ｋは、直接光Ｄにおける混在比率に応じた値である。例えば、直接光Ｄにおける混在比率が２０％である場合、重みづけ係数Ｋは０．２である。例えば、直接光Ｄにおける混在比率が１０％である場合、重みづけ係数Ｋは０．１である。なお、重みづけ係数Ｋは、直接光Ｄにおける混在比率そのものでなくともよく、少なくとも混在比率に応じた値であればよい。すなわち、混在比率をＭｒとして、重みづけ係数Ｋが、Ｋ＝ｆ（Ｍｒ）で算出される値であればよい。ここでのｆは任意の関数である。

ここで、図１４を用いて、距離画像撮像装置１が行う処理の流れを説明する。図１４は、実施形態の距離画像撮像装置１が行う処理の流れを示すフローチャートである。

ステップＳ１０：距離画像撮像装置１は、画素信号を取得する。距離画像撮像装置１は、１フレームにおいて画素３２１を駆動させ、画素３２１ごとに出力される複数の画素信号、電荷蓄積部ＣＳ１～ＣＳ３のそれぞれに蓄積された電荷量に対応する画素信号を取得する。

ステップＳ１１：距離画像撮像装置１は、画素信号から、反射光成分に対応する信号量を抽出する。距離画像撮像装置１は、反射光ＲＬおよび環境光に対応する電荷が混在して蓄積された画素信号から、環境光成分に対応する信号を減算することにより、反射光成分に対応する信号量を抽出する。距離画像撮像装置１は、例えば、電荷蓄積部ＣＳ１～ＣＳ３のそれぞれに蓄積された電荷量に対応する画素信号のうち、最も小さい値を環境光成分に対応する信号量として特定する。

ステップＳ１２：距離画像撮像装置１は、反射光成分に対応する信号量を、直接光Ｄおよび間接光Ｍのそれぞれに対応する信号量に分離する。距離画像撮像装置１は、例えば、特許文献２に記載された技術を用いて、反射光ＲＬ（マルチパス）から直接光Ｄと間接光Ｍとを分離する。

ステップＳ１３：距離画像撮像装置１は、直接光Ｄにおける混在比率を算出する。距離画像撮像装置１は、例えば、（２）式を用いて、直接光Ｄにおける混在比率を算出する。なお、（２）式の光強度と、画素信号の信号量とは比例する関係にある。

ステップＳ１４：距離画像撮像装置１は、直接光Ｄにおける混在比率が閾値（例えば、５０％）を超えているか否かを判定する。
ステップＳ１５：ステップＳ１４において、直接光Ｄにおける混在比率が閾値（例えば、５０％）を超えている場合、距離画像撮像装置１は、直接距離を算出する。
ステップＳ１６：距離画像撮像装置１は、算出した直接距離を、測定結果とする。

ステップＳ１７：ステップＳ１４において、直接光Ｄにおける混在比率が閾値（例えば、５０％）未満である場合、距離画像撮像装置１は、測定距離、中間距離、および重みづけ距離のうち、いずれの距離を測定結果とするか判定する。距離画像撮像装置１は、例えば、予め決定された距離を、直接光Ｄにおける混在比率が閾値（例えば、５０％）未満である場合における測定結果とする。

ステップＳ１８：ステップＳ１７において、直接光Ｄにおける混在比率が閾値（例えば、５０％）未満である場合において、測定距離を測定結果とすると判定した場合、距離画像撮像装置１は、測定距離を算出する。
ステップＳ１９：距離画像撮像装置１は、算出した測定距離を、測定結果とする。

ステップＳ２０：ステップＳ１７において、直接光Ｄにおける混在比率が閾値（例えば、５０％）未満である場合において、中間距離を測定結果とすると判定した場合、距離画像撮像装置１は、直接距離を算出する。
ステップＳ２１：距離画像撮像装置１は、測定距離を算出する。
ステップＳ２２：距離画像撮像装置１は、中間距離を算出する。距離画像撮像装置１は、直接距離と測定距離の和に、０．５を乗算した値を、中間距離とする。
ステップＳ２３：距離画像撮像装置１は、算出した中間距離を、測定結果とする。

ステップＳ２４：ステップＳ１７において、直接光Ｄにおける混在比率が閾値（例えば、５０％）未満である場合において、重みづけ平均距離を測定結果とすると判定した場合、距離画像撮像装置１は、直接距離を算出する。
ステップＳ２５：距離画像撮像装置１は、測定距離を算出する。
ステップＳ２６：距離画像撮像装置１は、重みづけ平均距離を算出する。距離画像撮像装置１は、直接距離に第１係数（重みづけ係数Ｋ）を乗算し、測定距離に第２係数（１－Ｋ）を乗算する。距離画像撮像装置１は、第１係数を乗算した直接距離と、第２係数を乗算した測定距離との和を、重みづけ平均距離とする。
ステップＳ２７：距離画像撮像装置１は、算出した重みづけ平均距離を、測定結果とする。

なお、上記のフローチャートでは、ステップＳ１７において、３つの距離（測定距離、中間距離、および重みづけ距離）のうち、いずれの距離を測定結果とするか判定する場合を例示して説明した。しかしながら、これに限定されない。３つの距離に加えて、或いは、３つの距離に代えて、他の距離が、測定結果として採用されてもよい。他の距離として、例えば、直接距離と間接距離を重みづけ加算した距離、直接距離を補正した距離、間接距離を補正した距離、測定距離を補正した距離などが想定される。

直接距離を補正した距離を採用する場合、距離画像処理部４は、例えば、直接距離に、直接光Ｄの混在比率に応じた補正係数を乗算した値を、補正後の直接距離とする。この場合、距離画像処理部４は、例えば、予め既知の距離にある被写体ＯＢを測定することによって、実距離と直接距離、および直接光Ｄの混在比率との関係を示すテーブルを作成する。距離画像処理部４は、当該テーブルを参照することよって、直接光Ｄの混在比率に応じた補正係数を決定する。

間接距離を補正した距離を採用する場合、距離画像処理部４は、例えば、間接距離に、間接光Ｍの混在比率に応じた補正係数を乗算した値を、補正後の直接距離とする。この場合、距離画像処理部４は、例えば、予め既知の距離にある被写体ＯＢを測定することによって、実距離と間接距離、および間接光Ｍの混在比率との関係を示すテーブルを作成する。距離画像処理部４は、当該テーブルを参照することよって、間接光Ｍの混在比率に応じた補正係数を決定する。

測定距離を補正した距離を採用する場合、距離画像処理部４は、例えば、測定距離に、に応じた補正係数を乗算した値を、補正後の直接距離とする。この場合、距離画像処理部４は、例えば、予め既知の距離にある被写体ＯＢを測定することによって、実距離と測定距離との関係を示すテーブルを作成する。距離画像処理部４は、当該テーブルを参照することよって、測定距離に応じた補正係数を決定する。

以上説明したように、実施形態の距離画像撮像装置１では、光源部２と受光部３と距離画像処理部４を備える。光源部２は被写体ＯＢに光パルスＰＯを照射する。受光部３は画素３２１と垂直走査回路３２３（「画素駆動回路」の一例）を有する。画素３２１は入射した光に応じた電荷を発生する光電変換素子ＰＤ及び電荷を蓄積する複数の電荷蓄積部ＣＳを具備する。垂直走査回路３２３は、光パルスＰＯを照射する照射タイミングに同期させた蓄積タイミングで、電荷蓄積部ＣＳのそれぞれに電荷を振り分けて蓄積させる。距離画像処理部４は、電荷蓄積部ＣＳの各々に蓄積される電荷量に基づいて、被写体ＯＢまでの距離を算出する。距離画像処理部４は、照射タイミングと蓄積タイミングとの相対的なタイミング関係が互いに異なる複数の測定を行う。
距離画像処理部４は、複数の測定のそれぞれにて蓄積された電荷量に応じた特徴量の傾向に基づいて、被写体ＯＢに反射して到来した２つの光路に対応する２つの距離を設定する。距離画像処理部４は、２つの距離として、例えば、直接距離と測定距離、を設定する。距離画像処理部４は、直接距離（２つの距離のうち小さい距離である第１距離）、測定距離（２つの距離のうち大きい距離である第２距離）、直接光Ｄの光強度（第１距離に対応する光強度である第１光強度）、および反射光ＲＬの光強度（第２距離に対応する光強度である第２光強度）を算出する。例えば、距離画像処理部４は、最小二乗法を用いて直接距離および直接光Ｄの光強度を算出し、画素信号から環境光成分に相当する信号量を減算した値を（１）式に適用することにより測定距離および反射光ＲＬの光強度を算出する。距離画像処理部４は、直接距離（第１距離）、測定距離（第２距離）、直接光Ｄの光強度（第１光強度）および反射光ＲＬの光強度（第２光強度）に基づいて、被写体ＯＢまでの距離を算出する。
これにより、実施形態の距離画像撮像装置１では、第１距離、第２距離、第１光強度および第２光強度に基づいて、被写体ＯＢまでの距離を算出することが可能となり、直接光と間接光とが混在する混在比率に応じた測定を行うことができる。

また、実施形態の距離画像撮像装置１では、距離画像処理部４は、直接光Ｄの光強度（第１光強度）および反射光ＲＬの光強度（第２光強度）の関係に基づいて選択した、直接距離（第１距離）と測定距離（第２距離）の何れか一方を、被写体ＯＢまでの距離とする。例えば、距離画像処理部４は、反射光ＲＬの光強度に対する直接光Ｄの光強度である、直接光Ｄの混在比率に基づいて、直接光Ｄの混在比率が閾値（例えば、５０％）を超えている場合に直接距離（第１距離）を、被写体ＯＢまでの距離として選択する。直接光Ｄの混在比率が閾値（例えば、５０％）を超えていない場合に測定距離（第２距離）を、被写体ＯＢまでの距離として選択する。これにより、実施形態の距離画像撮像装置１では、光強度が大きく、より精度がよいことが期待できる距離を、被写体ＯＢまでの距離として採用することができる。

また、実施形態の距離画像撮像装置１では、距離画像処理部４は、直接光Ｄの混在比率（第２光強度に対する第１光強度の比率）が閾値を超える場合に、直接距離（第１距離）を被写体ＯＢまでの距離とする。距離画像処理部４は、直接光Ｄの混在比率（第２光強度に対する第１光強度の比率）が閾値を超えない場合に、中間距離Ａｖｅ（第１距離及び前記第２距離の中間値）を、被写体ＯＢまでの距離とする。これにより、実施形態の距離画像撮像装置１では、直接光Ｄの混在比率が閾値を超えない領域において、より精度よく距離を算出することが可能となる。

また、実施形態の距離画像撮像装置１では、距離画像処理部は、直接光Ｄの光強度（第１光強度）および反射光ＲＬの光強度（第２光強度）の関係に基づいて重みづけ係数Ｋを設定する。距離画像処理部４は、重みづけ係数Ｋを用いて算出される、直接距離（第１距離）および測定距離（第２距離）の重みづけ平均値である重みづけ平均距離ＷＡｖｅを、被写体ＯＢまでの距離とする。これにより、実施形態の距離画像撮像装置１では、直接光Ｄの混在比率が閾値を超えない領域において、より精度よく距離を算出することが可能となる。

上述した実施形態における距離画像撮像装置１、距離画像処理部４の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…距離画像撮像装置
２…光源部
３…受光部
３２…距離画像センサ
３２１…画素
４２…距離演算部
ＣＳ…電荷蓄積部
ＰＯ…光パルス
ＲＬ…反射光

Claims (5)

1. 被写体に光パルスを照射する光源部と、
   入射した光に応じた電荷を発生する光電変換素子及び電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスを照射する照射タイミングに同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
   前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離画像処理部と、を備え、
   前記距離画像処理部は、
   前記照射タイミングと前記蓄積タイミングとの相対的なタイミング関係が互いに異なる複数の測定を行い、前記複数の測定のそれぞれにて蓄積された電荷量に応じた特徴量の傾向に基づいて、前記被写体に反射して到来した２つの光路に対応する２つの距離について、前記２つの距離のうち小さい距離である第１距離、前記２つの距離のうち大きい距離である第２距離、前記第１距離に対応する光強度である第１光強度および前記第２距離に対応する光強度である第２光強度を算出し、前記第１距離、前記第２距離、前記第１光強度および前記第２光強度に基づいて前記被写体までの距離を算出する、
   距離画像撮像装置。
2. 前記距離画像処理部は、前記第１光強度および前記第２光強度の関係に基づいて選択した、前記第１距離および前記第２距離の何れか一方を、前記被写体までの距離とする、
   請求項１に記載の距離画像撮像装置。
3. 前記距離画像処理部は、前記第２光強度に対する前記第１光強度の比率が閾値を超える場合に前記第１距離を前記被写体までの距離とし、前記比率が閾値を超えない場合に前記第１距離及び前記第２距離の中間値である中間距離を前記被写体までの距離とする、
   請求項１に記載の距離画像撮像装置。
4. 前記距離画像処理部は、前記第１光強度および前記第２光強度の関係に基づいて重みづけ平均値の算出に用いる係数を設定し、前記係数を用いて算出される、前記第１距離および前記第２距離の重みづけ平均値である重みづけ平均距離を前記被写体までの距離とする、
   請求項１に記載の距離画像撮像装置。
5. 被写体に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスを照射する照射タイミングに同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離画像処理部と、を備える距離画像撮像装置が行う距離画像撮像方法であって、
   前記距離画像処理部は、
   前記照射タイミングと前記蓄積タイミングとの相対的なタイミング関係が互いに異なる複数の測定を行い、前記複数の測定のそれぞれにて蓄積された電荷量に応じた特徴量の傾向に基づいて、前記被写体に反射して到来した２つの光路に対応する２つの距離について、前記２つの距離のうち小さい距離である第１距離、前記２つの距離のうち大きい距離である第２距離、前記第１距離に対応する光強度である第１光強度および前記第２距離に対応する光強度である第２光強度を算出し、前記第１距離、前記第２距離、前記第１光強度および前記第２光強度に基づいて前記被写体までの距離を算出する、
   距離画像撮像方法。

Images