JP6918210B2 - 距離情報取得装置、マルチパス検出装置およびマルチパス検出方法 - Google Patents

距離情報取得装置、マルチパス検出装置およびマルチパス検出方法 Download PDF

Info

Publication number
JP6918210B2
JP6918210B2 JP2020509901A JP2020509901A JP6918210B2 JP 6918210 B2 JP6918210 B2 JP 6918210B2 JP 2020509901 A JP2020509901 A JP 2020509901A JP 2020509901 A JP2020509901 A JP 2020509901A JP 6918210 B2 JP6918210 B2 JP 6918210B2
Authority
JP
Japan
Prior art keywords
exposure
light
timing
pulse
multipath
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020509901A
Other languages
English (en)
Other versions
JPWO2019188348A1 (ja
Inventor
永田　恵
恵 永田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuvoton Technology Corp Japan
Original Assignee
Nuvoton Technology Corp Japan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nuvoton Technology Corp Japan filed Critical Nuvoton Technology Corp Japan
Publication of JPWO2019188348A1 publication Critical patent/JPWO2019188348A1/ja
Application granted granted Critical
Publication of JP6918210B2 publication Critical patent/JP6918210B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本開示は、ＴＯＦ(Time of Flight)方式により距離を測定する距離情報取得装置、マルチパス検出装置およびマルチパス検出方法に関する。
一般に、オブジェクトからの反射光の飛行時間に基づいて距離を測定するＴＯＦカメラシステムでは、直接反射光と間接反射光とが混在するマルチパス環境では測定誤差が大きなって測定精度が劣化する。これに対して、例えば特許文献１および非特許文献１は、マルチパスの影響を軽減するＴＯＦカメラを提案している。
国際公開第２０１５／１８９３１１号
D. Freedman, E. Krupka, Y. Smolin, I. Leichter, and M. Schmidt, "SRA: Fast removal of general multipath for ToF sensors." In Proceedings of the 13th European Conference on Computer Vision (ECCV'14). 234--249
しかしながら、特許文献１のＴＯＦカメラシステムでは、特別な専用の照明ユニットを備えるので、装置コストが高くなるという問題がある。非特許文献１のＴＯＦカメラシステムでは、マルチパスの有無の判定するための計算量が多い、つまり処理負荷が重いという問題がある。そのため、非特許文献１によるマルチパスの有無の判定は、高い処理能力を持つＰＣ等の計算機ではリアルタイム処理を行うことが可能だが、そうでない小型なＴＯＦカメラシステムでのリアルタイム処理に適していないという問題がある。
本開示は、マルチパスを検出するための処理負荷を軽減し、かつ、コストを低減することができる距離情報取得装置、マルチパス検出装置およびマルチパス検出方法を提供することを目的とする。
上記課題を解決するため本開示の一態様に係る距離情報取得装置は、発光を指示する発光パルスに従って発光する発光部と、露光を指示する露光パルスに従って露光する固体撮像素子と、発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成する発光露光制御部と、前記複数の組に従う発光および露光により前記固体撮像素子から受光信号列を取得し、取得した前記受光信号列と、マルチパスのない環境下における受光信号のモデルとして予め作成された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定するマルチパス検出部とを備える。
また、本開示の一態様に係るマルチパス検出装置は、発光を指示する発光パルスに従って発光する発光部と、露光を指示する露光パルスに従って露光する固体撮像素子とを用いてマルチパスを検出するマルチパス検出装置であって、発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成する発光露光制御部と、前記複数の組に従う発光および露光により前記固体撮像素子から受光信号列を取得し、取得した前記受光信号列と、マルチパスのない環境下における受光信号列のモデルとして予め作成された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定するマルチパス検出部と、を備える。
さらに、本開示の一態様に係るマルチパス検出方法は、発光を指示する発光パルスに従って発光する発光部と、露光を指示する露光パルスに従って露光する固体撮像素子とを用いてマルチパスを検出するマルチパス検出方法であって、発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成し、前記複数の組に従う発光および露光により前記固体撮像素子から受光信号列を取得し、取得した前記受光信号列と、マルチパスのない環境下における受光信号列のモデルとして予め作成された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定する。
本開示に係る距離情報取得装置、マルチパス検出装置およびマルチパス検出方法によれば、マルチパスを検出するための処理負荷を軽減し、かつ、コストを低減することができる。
図１は、比較例としての距離情報取得装置においてマルチパスが存在しない場合の測距動作を示す説明図である。 図２は、ＴＯＦ方式（その１）を説明するためのタイムチャートである。 図３は、ＴＯＦ方式（その２）を説明するためのタイムチャートである。 図４は、比較例の距離情報取得装置においてマルチパス環境の一例における測距動作を示す説明図である。 図５は、ＴＯＦ方式（その１）におけるマルチパス環境による測定誤差を生じさせる動作を説明するためのタイムチャートである。 図６は、ＴＯＦ方式（その２）におけるマルチパス環境による測定誤差を生じさせる動作例を説明するためのタイムチャートである。 図７Ａは、実施の形態１に係る距離情報取得装置の構成例を示すブロック図である。 図７Ｂは、実施の形態１に係るマルチパス検出部の構成例を示すブロック図である。 図８Ａは、実施の形態１に係るマルチパス検出部における発光露光タイミングの第１動作例を示す図である。 図８Ｂは、実施の形態１に係るマルチパス検出部の第１動作例における受光信号列の一例を示す図である。 図９は、実施の形態１に係るマルチパス検出部の第１動作例におけるマルチパス検出の説明図である。 図１０は、実施の形態１に係るマルチパス検出部の第１動作例における補正方法を示す図である。 図１１Ａは、実施の形態１に係るマルチパス検出部における発光露光タイミングの第２動作例を示す図である。 図１１Ｂは、実施の形態１に係るマルチパス検出部の第２動作例における受光信号列の一例を示す図である。 図１１Ｃは、実施の形態１に係るマルチパス検出部の第２動作例における正規化された受光信号列の一例と参照データとを示す図である。 図１２Ａは、実施の形態１に係るマルチパス検出部における発光露光タイミングの第３動作例を示す図である。 図１２Ｂは、実施の形態１に係るマルチパス検出部の第３動作例における正規化された参照データの一例を示す図である。 図１３は、波形なまりを有するパルス波形を対象とする補正を示す説明図である。 図１４Ａは、実施の形態２に係るマルチパス検出部の第１動作例を示す図である。 図１４Ｂは、実施の形態２に係るマルチパス検出部の第１動作例における受光信号列の一例を示す図である。 図１５Ａは、実施の形態２に係るマルチパス検出部の第２動作例を示す図である。 図１５Ｂは、実施の形態２に係るマルチパス検出部の第２動作例における受光信号列の一例を示す図である。 図１６は、実施の形態２に係るマルチパス検出部におけるマルチパス検出方法を示す説明図である。 図１７は、実施の形態２に係るマルチパス検出部のマルチパス検出方法の一例を示すフローチャートである。 図１８は、実施の形態２に係るマルチパス検出部の補正係数算出例を示す説明図である。 図１９は、実施の形態２に係るマルチパス検出部の補正係数算出例を示す説明図である。 図２０は、実施の形態３に係る距離情報取得装置の構成例を示すブロック図である。
（発明者の知見）
本発明者は、「背景技術」の欄において記載した照明装置に関し、以下の問題が生じることを見出した。
まず、本発明者の知見に係る距離情報取得装置を比較例として説明する。
図１は、本発明者の知見に係る比較例の距離情報取得装置の構成を示す図である。同図では、距離情報を取得する対象物である物体ＯＢＪも図示してある。同図の距離情報取得装置は、ＴＯＦ方式による測距装置であり、発光露光制御部１０１、固体撮像素子１０２、および発光部１０４を備える。
発光露光制御部１０１は、発光部１０４に発光を指示する発光パルスを有する発光制御信号と、固体撮像素子１０２に露光を指示する露光パルスを有する露光制御信号とを生成する。
固体撮像素子１０２は、露光制御信号の露光パルスに従って露光つまり撮像する。
発光部１０４は、発光制御信号の発光パルスに従って発光つまり照明光を発する。
距離演算部１１２は、少なくとも３種類の露光処理で得られた受信信号列から画素毎に距離を算出する。
次に、比較例の距離情報取得装置の動作例として、ＴＯＦ方式（その１）およびＴＯＦ方式（その２）について説明する。
図２は、ＴＯＦ方式（その１）を説明するためのタイムチャートである。同図では、さらに撮像した画像例も記載してある。同図は、（２Ａ）発光パルスを有する発光制御信号（または発光部１０４から照射光）と、（２Ｂ）固体撮像素子１０２への入射光と、（２Ｃ）露光パルスを有する露光制御信号とを示している。同図の発光パルスはハイレベルでアクティブを示す正論理であり、露光パルスはローレベルでアクティブを示す負論理である。（２Ｂ）入射光は、照射光を受けた物体ＯＢＪからの反射光と、背景光とを含む。反射光は距離情報取得装置から物体までの距離に応じて、照射光から遅延時間を有する。入射光のうち同図の黒塗り部分（１か所）およびハッチング部分（２か所）は、画素毎の受光信号に該当する。
測距のための発光露光処理は、Ｓ０露光、Ｓ１露光、およびＢＧ露光を含む。
Ｓ０露光では、露光パルスは発光パルスの開始と同時にアクティブになる。つまり、露光は発光と同時に開始される。また、露光パルスのパルス幅は、発光パルスのハルス幅よりも長い。Ｓ０露光では、例えば、反射光のうち先頭部分または全体を露光可能である。
Ｓ１露光では、露光パルスは発光パルスの終了と同時にアクティブになる。つまり、露光は発光の終了時点に開始される。また、露光パルスのパルス幅は、発光パルスのハルス幅と同じである。Ｓ１露光では、例えば、照明光の終了後に、遅延した反射光の部分を露光可能である。
ＢＧ露光では、発光パルスがない状態で露光パルスを有効にし、反射光が存在しない背景光を露光する。
距離演算部１１２は、Ｓ０露光、Ｓ１露光、ＢＧ露光における画素毎の受光信号量（信号電荷量）を用いて、画素毎に距離Ｌを算出する。Ｓ０露光、Ｓ１露光、ＢＧ露光における画素毎の受光信号量（つまり受光により生じる信号電荷の量）Ｓ０、Ｓ１、ＢＧとすると、画素毎の距離Ｌは、数式１により算出される。ｃは光速（約299 792 458ｍ／ｓ）であり、ＴＬ０は発光パルスの時間幅である。
Figure 0006918210
続いて、比較例の距離情報取得装置の動作例として、ＴＯＦ方式（その２）について説明する。
図３は、ＴＯＦ方式（その２）を説明するためのタイムチャートである。同図は、図２と同様に（３Ａ）発光制御信号（または発光部１０４から照射光）の波形と、（３Ｂ）入射光の波形と、（３Ｃ）露光制御信号の波形とを示している。図３は、図２と比べて、露光パルスの幅が発行パルスの幅と同じである点が異なっている。この場合、画素毎に距離Ｌは、数式２により算出される。
Figure 0006918210
このような、ＴＯＦ方式（その１）およびＴＯＦ（その２）は、直接反射光と間接反射光とが混在するマルチパス環境では測定誤差発生するという問題がある。
次に、マルチパス環境下における比較例の距離情報取得装置の動作で測定誤差が生じる仕組みについて説明する。
図４は、比較例の距離情報取得装置においてマルチパス環境の一例における測距動作を示す説明図である。同図では、測距対象である物体ＯＢＪ−１、および、照射光を反射して間接照明光の原因となる物体ＯＢＪ−２も図示してある。
同図では、直接照射光Ｄ−Ｐａｔｈ１、直接反射光Ｄ−Ｐａｔｈ２、間接照射光Ｍ−Ｐａｔｈ１、Ｍ−Ｐａｔｈ２、および、間接反射光Ｍ−Ｐａｔｈ３が存在するマルチパス環境の例を示している。
図５は、ＴＯＦ方式（その１）におけるマルチパス環境による測定誤差を生じさせる動作を説明するためのタイムチャートである。同図は、（５Ａ）発光制御信号または照射光、（５Ｂ）直接反射光Ｄ−Ｐａｔｈ、（５Ｃ）間接反射光Ｍ−Ｐａｔｈ、（５Ｄ）直接反射光と間接反射光との和である混合反射光、（５Ｅ）露光制御信号とを示している。このうち、（５Ａ）発光制御信号または照射光、（５Ｂ）直接反射光Ｄ−Ｐａｔｈ、および（５Ｅ）露光制御信号は、図２に示した（２Ａ）発光制御信号（または照射光）、（２Ｂ）入射光、および（２Ｃ）露光制御信号と同じである。つまり、図５は、図２に対して、（５Ｃ）間接反射光Ｍ−Ｐａｔｈと、（５Ｄ）混合反射光とを追加した図になっている。
Ｓ０露光における受光信号量Ｓ０は、直接反射光による受光信号量Ｄ０と、間接反射光による受光信号量Ｍ０との合計になる。同様に、Ｓ１露光における受光信号量Ｓ１は、直接反射光による受光信号量Ｄ１と、間接反射光による受光信号量Ｍ１との合計になる。
ＴＯＨ方式（その１）で画素毎の距離Ｌを求める数式１は、図５を適用すると数式３となる。ただし、背景光による受光信号量ＢＧは０とし、無視できるほど小さいものとする。
Figure 0006918210
数式３中、間接反射光による受光信号量Ｍ０およびＭ１は、物体ＯＢＪ１の距離に依存せず、周辺物体に依存した値として発生するので、数式３による距離Ｌは物体ＯＢＪ−１からは予測不能な誤差を含むことになり、測定精度を小さく劣化させる場合も大きく劣化させる場合もある。
図６は、ＴＯＦ方式（その２）におけるマルチパス環境による測定誤差を生じさせる動作を説明するためのタイムチャートである。同図は、（６Ａ）発光制御信号または照射光、（６Ｂ）直接反射光Ｄ−Ｐａｔｈ、（６Ｃ）間接反射光Ｍ−Ｐａｔｈ、（６Ｄ）直接反射光と間接反射光との和である混合反射光、（６Ｅ）露光制御信号とを示している。図６は、図３に対して、（６Ｃ）間接反射光Ｍ−Ｐａｔｈと、（６Ｄ）混合反射光とを追加した図になっている。
Ｓ０露光における受光信号量Ｓ０は、直接反射光による受光信号量Ｄ０と、間接反射光による受光信号量Ｍ０との合計になる。同様に、Ｓ１露光における受光信号量Ｓ１は、直接反射光による受光信号量Ｄ１と、間接反射光による受光信号量Ｍ１との合計になる。ＴＯＨ方式（その２）で画素毎の距離Ｌを求める数式２は、図６を適用すると数式４となる。ただし、背景光による受光信号量ＢＧは０とし、無視できるほど小さいものとする。
Figure 0006918210
数式４中、間接反射光による受光信号量Ｍ０およびＭ１は、物体ＯＢＪ１の距離に依存せず、周辺物体に依存した大きさで発生するので、数式４による距離Ｌは物体ＯＢＪ−１からは予測不能な誤差を含むことになり、測定精度を小さく劣化させる場合も大きく劣化させる場合もある。
このように、測距精度を劣化させマルチパスに対して、上述した特許文献１のＴＯＦカメラシステムでは、特別な専用の照明ユニットを備えるので、装置コストが高くなるという問題がある。また、非特許文献１は、マルチパスの有無の判定するための処理負荷が重いという問題がある。
そこで、本開示は、マルチパスを検出するための処理負荷を軽減し、かつ、コストを低減することができる距離情報取得装置、マルチパス検出装置およびマルチパス検出方法を提供することを目的とする。
上記問題を解決するため、本開示の一態様に係る距離情報取得装置は、発光を指示する発光パルスに従って発光する発光部と、露光を指示する露光パルスに従って露光する固体撮像素子と、発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成する発光露光制御部と、前記複数の組に従う発光および露光により前記固体撮像素子から受光信号列を取得し、取得した前記受光信号列と、マルチパスのない環境下における受光信号のモデルとして予め作成された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定するマルチパス検出部とを備える。
また、本開示の一態様に係るマルチパス検出装置は、発光を指示する発光パルスに従って発光する発光部と、露光を指示する露光パルスに従って露光する固体撮像素子とを用いてマルチパスを検出するマルチパス検出装置であって、発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成する発光露光制御部と、前記複数の組に従う発光および露光により前記固体撮像素子から受光信号列を取得し、取得した前記受光信号列と、マルチパスのない環境下における受光信号列のモデルとして予め作成された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定するマルチパス検出部と、を備える。
また、本開示の一態様に係るマルチパス検出方法は、発光を指示する発光パルスに従って発光する発光部と、露光を指示する露光パルスに従って露光する固体撮像素子とを用いてマルチパスを検出するマルチパス検出方法であって、発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成し、前記複数の組に従う発光および露光により前記固体撮像素子から受光信号列を取得し、取得した前記受光信号列と、マルチパスのない環境下における受光信号列のモデルとして予め作成された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定する。
これによれば、マルチパスを検出するための処理負荷を軽減し、かつ、コストを低減することができる。
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
なお、以下で説明する実施の形態は、いずれも本発明の一包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態１）
［１．１ 距離情報取得装置１００の構成例］
図７Ａは、実施の形態１に係る距離情報取得装置１００の構成例を示すブロック図である。同図では、距離情報を取得する対象物である物体ＯＢＪ、照射光、反射光も模式的に図示してある。
同図の距離情報取得装置１００は、ＴＯＦ方式による測距装置であり、発光露光制御部１０１、固体撮像素子１０２、信号処理部１０３および発光部１０４を備える。発光部１０４は、光源駆動部１１４および光源１１５を備える。また、同図のうち発光露光制御部１０１およびマルチパス検出部１１１を含む回路部分は、マルチパスの有無を判定するマルチパス検出装置１１０に相当する。
発光露光制御部１０１は、マルチパス検出動作および通常の測距動作において、発光と露光を指示するタイミング信号を生成する。具体的には、発光露光制御部１０１は、マルチパス検出動作において、発光部１０４に発光を指示する発光パルスと固体撮像素子１０２に露光を指示する露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成する。このタイミング信号は、例えば、発光部１０４に発光を指示する発光パルスを有する発光制御信号と、固体撮像素子１０２に露光を指示する露光パルスを有する露光制御信号とを含む。また、発光露光制御部１０１は、通常の測距動作において、図２に示したＴＯＦ方式（その１）の（２Ａ）発光制御信号と（２Ｃ）露光制御信号とを生成し、あるいは、図３に示したＴＯＦ方式（その２）の（３Ａ）発光制御信号と（３Ｃ）露光制御信号とを生成する。
固体撮像素子１０２は、２次元上に配列された画素を有するイメージセンサであって、露光制御信号の露光パルスに従って露光つまり撮像する。
信号処理部１０３は、マルチパス検出部１１１および距離演算部１１２を備える。
マルチパス検出部１１１は、マルチパス検出動作を次のように行う。すなわち、マルチパス検出部１１１は、上記のタイミング信号が指示する複数の組に従う発光および露光により固体撮像素子１０２から受光信号列を取得し、取得した受光信号列と、マルチパスのない環境下における受光信号のモデルとして予め作成された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定する。さらに、マルチパス検出部１１１は、マルチパスが存在する判定した場合は、画素毎に補正係数を算出し、算出した補正係数を距離演算部１１２に出力する。
距離演算部１１２は、マルチパス検出部１１１によってマルチパスが存在しないと判定された場合は、図２に示したＴＯＦ方式（その１）、または図３に示したＴＯＦ方式（その２）によって画素毎の距離Ｌを算出し、距離画像を生成する。また、距離演算部１１２は、マルチパス検出部１１１によってマルチパスが存在する判定された場合は、図２に示したＴＯＦ方式（その１）、または図３に示したＴＯＦ方式（その２）によって画素毎の距離Ｌを算出し、さらに、補正係数を用いて距離Ｌを補正して距離画像を生成する。
なお、信号処理部１０３は、マイクロコンピュータ、マイクロコントローラまたはＤＳＰ（Digital Signal Processor）により構成してもよい。マイクロコンピュータ、マイクロコントローラ、またはＤＳＰ（Digital Signal Processor）は、マルチパス検出用のプログラムを格納するメモリと、プログラムを実行するＣＰＵ（Central Processing Unit）とを備える。
発光部１０４は、光源駆動部１１４と光源１１５を備える。光源駆動部１１４は、発光制御信号の発光パルスに従って光源１１５を発光させる。光源１１５は、光源駆動部１１４に制御に従って照明光を出力する。照明光は、発光パルスと同じタイミングのパルス状であり、例えば近赤外線でよい。
［１．２ マルチパス検出部１１１の構成例］
次に、マルチパス検出部１１１の構成例について説明する。
図７Ｂは、実施の形態１に係るマルチパス検出部１１１の構成例を示すブロック図である。同図のマルチパス検出部１１１は、タイミング指示部７０１、信号蓄積部７０２、リファレンス保持部７０３、信号比較部７０４および補正係数算出部７０５を備える。
タイミング指示部７０１は、発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の組を指示するタイミング信号を生成する。
複数の組は、上記の時間差の小さい方から順に第１組から第Ｎ（Ｎは整数）組を含む。タイミング指示部７０１は、例えば、第１組から第Ｎ組の順に、または、第Ｎから第１の順に時系列的に指示するタイミング信号を生成し、発光露光制御部１０１に出力する。あるいは、タイミング指示部７０１は、第１組から第Ｎ組の順に、または、第Ｎから第１の順に時系列的に指示するタイミング信号を生成し、発光露光制御部１０１に出力する。あるいは、タイミング指示部７０１は、前記時間差が小さい方から順に選んだ１組と、前記時間差が大きい方から順に選んだ１組とが交互になるように前記タイミング信号を生成し、発光露光制御部１０１に出力してもよい。
信号蓄積部７０２は、タイミング信号に指示された複数の組に従う発光および露光によって固体撮像素子１０２から複数の受光信号を取得し、受光信号列として蓄積する。受光信号列は、第１組から第Ｎ組に対応する第１受光信号から第Ｎ受光信号を含む。
リファレンス保持部７０３は、マルチパスのない環境下における受光信号のモデルとして予め作成された参照データを記憶する。参照データは、シミュレーションにより、または実験的に作成され、例えば、直接反射光が存在し間接反射光が存在しない環境を想定し、当該マルチパスのない環境において、上記のタイミング信号が指示する複数の組に従って発光および露光をしたときに得られる受信信号列をモデルとする。参照データは、受信信号列、または、受信信号列の特徴量を示すスカラー値で表される。また、参照データは受信信号の最大値を１とする正規化がなされていてもよい。
信号比較部７０４は、信号蓄積部７０２に蓄積された受光信号列と、リファレンス保持部７０３に保持された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定する。
補正係数算出部７０５は、信号比較部７０４によりマルチパスが存在すると判定したときに、信号比較部７０４による比較結果の差異に応じた画素毎の補正係数を算出する。
［１．３ マルチパス検出の第１動作例］
以上のように構成された実施の形態１における距離情報取得装置１００について、まず、マルチパス検出の第１動作例について説明する。
図８Ａは、実施の形態１に係るマルチパス検出部における発光露光タイミングの第１動作例を示す図である。
まず、同図の（８Ａ）から（８Ｇ）に示す信号波形について説明する。（８Ａ）から（８Ｇ）に示す信号波形は、必ずしも同じ時間軸上の波形とは限らず、説明の便宜上異なる時間軸の波形を混在させて記載してある。同図に示す各種タイミングは、現実の時刻に限らず、仮想的または論理的な時刻でもある。例えば、露光タイミングｔｓ１は、信号蓄積部７０２に蓄積される受光信号の仮想的な時刻でもある。
（８Ａ）は、タイミング指示部７０１によって生成されるタイミング信号としての発光制御信号に含まれる発光パルス、または、当該発光パルスによる光源１１５からの照射光を示す。この発光パルスまたは照射光のタイミングを発光タイミングｔｌ１とする。また、この発光パルスのパルス幅または照射光のパルス幅をＴＬとする。発光パルスは正論理であり、ハイレベル区間で発光に対応し、ローレベル区間で消灯に対応する。この発光パルスは、タイミング指示部７０１により指示される第１組から第Ｎ組までのＮ個の組に含まれるＮ個の発光パルスを代表的に示している。
（８Ｂ）は、（８Ａ）の照射光が当たった物体ＯＢＪからの直接反射光と間接反射光とを含む混合反射光の一例を模式的に示す。
（８Ｃ）は、タイミング指示部７０１によって生成されるタイミング信号としての露光制御信号に含まれる露光パルスであり、第１組の露光パルスを示す。この露光パルスのタイミングを露光タイミングｔｓ１とする。この露光パルスのパルス幅をＴＳとする。露光パルスは負論理であり、ローレベル区間で露光（つまり撮像）に対応し、ハイレベル区間で非露光に対応する。言い換えれば、露光パルスのローレベル区間において固体撮像素子１０２は画素毎に受光量に応じた受光信号を発生する。
（８Ｄ）は、第２組の露光パルスを示す。この露光パルスのタイミングを露光タイミングｔｓ２とする。
（８Ｅ）は、第ｎ組の露光パルスを示す。この露光パルスのタイミングを露光タイミングｔｓｎとする。ｎは、１からＮまでの何れかの整数である。Ｎは上記の第１組から第Ｎ組までの複数の組の個数である。
（８Ｆ）は、第Ｎ組の露光パルスを示す。この露光パルスのタイミングを露光タイミングｔｓｅとする。
（８Ｇ）は、第１組から第Ｎ組に含まれるＮ個の露光パルスの開始タイミングの間隔を示す。図８Ａでは、直近の２つの露光パルスの開始タイミングにはΔｔの時間差がある。つまり、露光タイミングｔｓ１、ｔｓ２、・・・、ｔｓｎ、・・・、ｔｓｅは、一定の時間間隔Δｔを有する。
タイミング指示部７０１が生成するタイミング信号に指示される複数の組のうち、第１組は（８Ａ、８Ｃ）に対応する。ここで（８Ａ、８Ｃ）の表記は、発光タイミングｔｌ１の発光パルス（８Ａ）と、露光タイミングｔｓ１の露光パルス（８Ｃ）との組を意味する。同様に、第２組は（８Ａ、８Ｄ）に対応する。また、第ｎ組（ｎを１からＮまでの何れかの整数）は（８Ａ、８Ｅ）に対応する。第Ｎ組は、（８Ａ、８Ｆ）に対応する。
タイミング指示部７０１は、第１組から第Ｎ組の順に、または、第Ｎ組から第１組の順に、時系列的に指示するタイミング信号を生成し、発光露光制御部１０１に出力する。
図８Ｂは、実施の形態１に係るマルチパス検出部の第１動作例における受光信号列の一例を示す図である。この受光信号列は、第１組から第Ｎ組までの複数の組に従う発光および露光により固体撮像素子１０２から出力され、信号蓄積部７０２に蓄積される受光信号列を示す。同図の横軸は時間軸を示し、（８Ｇ）の露光タイミング間隔に対応する。縦軸は、露光により画素で発生した信号電荷量である受光量を示す。同図のプロット点Ｐ８１１は、第１組に対応し、（露光タイミング、受光量）が（ｔｓ１、Ａ１）であることを意味する。プロット点Ｐ８１２は、第２組に対応し、（露光タイミング、受光量）が（ｔｓ２、Ａ２）であることを意味する。プロット点Ｐ８１ｎは、第ｎ組に対応し、（露光タイミング、受光量）が（ｔｓｎ、Ａｎ）であることを意味する。
さらに、図８Ａの第１動作例におけるタイミング指示部７０１の発光露光タイミング指示方法の一例について具体的に説明する。このタイミング指示方法は複数の組における発光タイミングに対する露光タイミングを順次変更していく方法である。タイミング指示部７０１は発光露光制御部１０１に対して第１組のタイミングとして、照射光の発光パルス幅ＴＬと発光タイミングｔｌ１と、固体撮像素子１０２の露光パルス幅ＴＳと露光タイミングｔｓ１を指示する。露光タイミングｔｓ１は、発光パルス幅ＴＬと発光タイミングｔｌ１により発光部１０４の照射光に対応するマルチパス成分が混在した混合反射光８０１の反射タイミングよりも前に設定する。第１組のタイミングの設定により受光した受光量Ａ１は信号蓄積部７０２に蓄積される。具体的には、信号蓄積部７０２において、横軸を露光タイミング、縦軸を受光量として、露光タイミングｔｓ１、受光量Ａ１としてＰ８１１としてプロットされる。
第２組のタイミングでは、第１組のタイミングと同じ、照射光の発光パルス幅ＴＬと発光タイミングｔｌ１と、固体撮像素子の露光パルス幅ＴＳを指示し、第１組のタイミングと異なる露光タイミングｔｓ２への変更を指示する。露光タイミングｔｓ２は露光タイミングｔｓ１からずらし量として時間差Δｔ遅らせたタイミングであり、以下の式で表す。
Figure 0006918210
第２組のタイミング設定による受光した受光量Ａ２は信号蓄積部７０２に蓄積される。信号蓄積部７０２において、露光タイミングｔｓ２、受光量Ａ２としてＰ８１２としてプロットされる。
上記のような、タイミングの変更は、第１組から第Ｎ組までのＮ回の発光および露光において（Ｎ−１）回繰り返される。第ｎ組（ｎは１からＮのいずれかの整数）のタイミングでは、第１組のタイミングと同じ、照射光の発光パルス幅ＴＬと発光タイミングｔｌ１と、固体撮像素子１２０の露光パルス幅ＴＳを指示し、第１組のタイミングと異なる露光タイミングｔｓｎへの変更を指示する。露光タイミングｔｓｎは、以下の式で表す。
Figure 0006918210
第ｎのタイミング設定による受光した受光量Ａｎは信号蓄積部７０２に蓄積される。信号蓄積部７０２において、露光タイミングｔｓｎ、受光量ＡｎとしてＰ８１ｎとしてプロットされる。
最後の第Ｎ組の露光タイミングｔｓｅは混合反射光８０１の反射タイミングよりも後に設定する。光速をｃ、最大測距範囲をＤｍａｘとすると、ｔｓｅは以下を満たせばよい。
Figure 0006918210
最大測距範囲Ｄｍａｘは照射光に対する反射光が受光できる最大の距離を意味する。
図８ＡではΔｔを等間隔で示したが、これに限定されない。Δｔは小さい程精度よくマルチパスを検出できる反面、Δｔが細かい程測定に時間がかかる。Δｔをマルチパス検出に重要な混合反射光８０１より早いタイミングの周辺と、混合反射光８０１の遅いタイミングの周辺のみΔｔを小さく設定し、その間の中間データ部分はΔｔを大きく設定することによりマルチパス検出精度を維持したまま測定時間を短縮できる。また、Δｔの間隔が空いた部分は線形補完により推定することができる。
次に、第１動作例における信号比較部７０４によるマルチパス検出、つまりマルチパスの有無の判定方法について説明する。
図９は、実施の形態１に係るマルチパス検出部の第１動作例におけるマルチパス検出の説明図である。図９では受光量、正規化受光量を直線で表すが、これは点の集合だけでもよいし、点が疎であれば線形補完で点と点の間のデータを生成するものであってもよい。
信号蓄積部７０２は、タイミング指示部７０１で指示された第１組から第Ｎ組までのタイミング毎に受光量を蓄積した折れ線Ｌ９０１をもつ。信号蓄積部７０２は、受光量の最大値Ａｍａｘも同時に計測する。
リファレンス保持部７０３は、マルチパスの影響を受けない条件でタイミング指示部７０１にて指示されたタイミング毎に受光量を蓄積し、蓄積した受光量の最大値で正規化したリファレンステーブルを参照データとして保持する。参照データは、折れ線Ｌ９０２をもつ。参照データは、実測またはシミュレーションにより、予め作成される。
信号比較部７０４は、第１に蓄積値Ｌ９０１の立ち上がりから立下りの期間である蓄積期間ＴＡを計測する。第２に、信号比較部７０４は、リファレンステーブルの折れ線Ｌ９０２の立ち上がりから立下りの期間であるリファレンス期間ＴＲを計測する。リファレンス期間ＴＲはリファレンステーブルを作成した時点で下記の式でわかるので、別途保持しておいてもよい。
Figure 0006918210
第３に、信号比較部７０４は、蓄積期間ＴＡとリファレンス期間ＴＲを比較する。マルチパスが発生した場合、混合反射光のパルス幅が太くなるので、蓄積期間ＴＡの方がリファレンス期間ＴＲより大きくなるため、信号比較部７０４は、ＴＡ＞ＴＲのとき、マルチパスが発生していると判定する。このようにマルチパスの影響を受けていないリファレンステーブルを持ち、実測した蓄積値との比較を行うという処理負荷の少ない方法でマルチパスを検出できる。
なお、参照データは、図９の折れ線Ｌ９０２を示すデータであってもよいし、上記のリファレンス期間ＴＲ（＝ＴＬ＋ＴＳ）であってもよい。リファレンス期間ＴＲは、発光パルスのパルス幅ＴＬと露光パルスのハルス幅ＴＳとの和で定まる。
次に、信号比較部７０４によりマルチパスが発生すると判定された場合に、補正係数算出部７０５による補正係数の算出について説明する。
図１０は、実施の形態１に係るマルチパス検出部１１１の第１動作例における補正方法を示す図である。信号比較部７０４にてマルチパスが発生していると判定された場合、補正係数算出部７０５は、図１０に示す補正方法で補正係数Ｃを算出する。補正係数算出部７０５は、第１に信号蓄積部７０２で蓄積されたデータを受光量最大値Ａｍａｘにより用いて正規化受光量に変換する。具体的には蓄積値Ｌ９０１が正規化蓄積値Ｌ１００１となる。第２に、補正係数算出部７０５は、正規化蓄積値Ｌ１００１の立ち上がりｔｕを検出し、リファレンステーブルＬ９０２の立ち上がりタイミングをｔｕ合わせたリファレンステーブルＬ１００２へ変換する。第３に、補正係数算出部７０５は、距離測定用として定められた露光タイミングｔｓの位置の、正規化蓄積値ａａとリファレンス値ａｒを求める。蓄積値をマルチパスの除去された値へ補正する補正係数Ｃは以下で算出する。
Figure 0006918210
この補正係数Ｃは、マルチパスによって受光量が誤ってａａ／ａｒ倍になっているのを、マルチパスのない本来の受光量に戻すことができる。
距離測定用露光タイミングｔｄで受光した受光量Ｓ０、Ｓ１からマルチパス成分が除去された補正受光量Ｓ_Ｃ０、Ｓ＿Ｃ１へ変換するには以下の式で補正する。
Figure 0006918210
Figure 0006918210
補正係数Ｃ＿０および補正係数Ｃ＿１は、図２および図５に示したＴＯＦ方式（その１）の場合、距離測定用露光タイミングが２種類あるため、２種類の距離測定用露光タイミングの位置のそれぞれで数式９に従って補正係数Ｃ＿０、補正系数Ｃ＿１を算出する。
距離演算部１１２はマルチパス検出部１１１から出力された補正係数をもとに補正された信号に基づき距離を計算する。これにより軽量な補正方法で良好な距離精度の距離画像が取得可能となる。
［１．４ マルチパス検出の第２動作例］
次に、実施の形態１における距離情報取得装置１００についてマルチパス検出の第２動作例について説明する。
図１１Ａは、実施の形態１に係るマルチパス検出部における発光露光タイミングの第２動作例を示す図である。
まず、同図の（１１Ａ）から（１１Ｇ）に示す信号波形について説明する。（１１Ａ）から（１１Ｇ）に示す信号波形は、必ずしも同じ時間軸上の波形とは限らず、説明の便宜上異なる時間軸の波形を混在させて記載してある。
（１１Ａ）は、タイミング指示部７０１によって生成されるタイミング信号としての発光制御信号に含まれる発光パルス、または、当該発光パルスによる光源１１５からの照射光を示す。この発光パルスまたは照射光のタイミングを発光タイミングｔｌ１とする。また、この発光パルスのパルス幅または照射光のパルス幅をＴＬとする。この発光パルスは、タイミング指示部７０１により指示される第１組から第Ｎ組までのＮ個の組に含まれる半数（例えば奇数番目組のＮ／２個）の発光パルスを代表的にて示している。
（１１Ｂ）は、タイミング指示部７０１によって生成されるタイミング信号としての発光制御信号に含まれる発光パルス、または、当該発光パルスによる光源１１５からの照射光を示す。この発光パルスまたは照射光のタイミングを発光タイミングｔｌ２とする。また、この発光パルスのパルス幅または照射光のパルス幅をＴＬとする。発光パルスは正論理であり、ハイレベル区間で発光に対応し、ローレベル区間で消灯に対応する。この発光パルスは、Ｎ個の発光パルスのうち、（１１Ａ）の残りの半数（例えば偶数番目の組のＮ／２個）の発光パルスを代表的に示している。
（１１Ｃ）は、（１１Ａ）の照射光が当たった物体ＯＢＪからの直接反射光と間接反射光とを含む混合反射光の一例を模式的に示す。
（１１Ｄ）は、（１１Ｂ）の照射光が当たった物体ＯＢＪからの直接反射光と間接反射光とを含む混合反射光の一例を模式的に示す。
（１１Ｅ）は、タイミング指示部７０１によって生成されるタイミング信号としての露光制御信号に含まれる露光パルスであり、例えば、第１組の露光パルスと第２組の露光パルスとを代表的に示す。この露光パルスのタイミングを露光タイミングｔｓ１とする。この露光パルスのパルス幅をＴＳとする。
（１１Ｆ）は、タイミング指示部７０１によって生成されるタイミング信号としての露光制御信号に含まれる露光パルスであり、例えば、第３組の露光パルスと第４組の露光パルスとを代表的に示す。この露光パルスのタイミングを露光タイミングｔｓ２とする。この露光パルスのパルス幅をＴＳとする。
（１１Ｇ）は、タイミング指示部７０１によって生成されるタイミング信号としての露光制御信号に含まれる露光パルスであり、例えば、第（Ｎ−１）組の露光パルスと第Ｎ組の露光パルスとを代表的に示す。この露光パルスのタイミングを露光タイミングｔｓｅとする。この露光パルスのパルス幅をＴＳとする。
（１１Ｈ）は、露光パルスの開始タイミングの間隔を示す。露光タイミングｔｓ１は、実際には異なる時間で露光する第１組と第２組に対応し、信号蓄積部７０２に受光信号を蓄積するための便宜上の同一のタイミングとして扱う。露光タイミングｔｓ２、・・・、ｔｓｅも同様に２組の露光を対応させている。
図１１Ａでは、奇数番目の露光パルス同士の開始タイミングにはΔｔの時間差がある。偶数番目の露光パルス同士の開始タイミングにはΔｔの時間差がある。奇数番目の組と、その次の偶数番目の組とは便宜上同じ露光タイミングとみなしてしている。
タイミング指示部７０１が生成するタイミング信号に指示される複数の組のうち、例えば、第１組は（１１Ａ、１１Ｅ）に対応する。第２組は（１１Ｂ、１１Ｅ）に対応する。第３組は（１１Ａ、１１Ｆ）に対応する。第４組は（１１Ｂ、１１Ｆ）に対応する。同様に、第（Ｎー１）組は、（１１Ａ、１１Ｇ）に対応する。第Ｎ組は、（１１Ｂ、１１Ｇ）に対応する。
タイミング指示部７０１は、第１組から第Ｎ組の順に、または、第Ｎ組から第１組の順に、時系列的に指示するタイミング信号を生成し、発光露光制御部１０１に出力する。
図１１Ｂは、実施の形態１に係るマルチパス検出部の第２動作例における受光信号列の一例を示す図である。この受光信号列は、第１組から第Ｎ組までの複数の組に従う発光および露光により固体撮像素子１０２から出力され、信号蓄積部７０２に蓄積される受光信号列を示す。奇数番目の組（同図の黒丸印）と、その次の偶数番目の組（同図の白丸印）とは便宜上同じ露光タイミングとみなしてプロットされている。
同図の横軸は時間軸を示し、（８Ｇ）の露光タイミング間隔に対応する。縦軸は、露光により画素で発生した信号電荷量である受光量を示す。同図のプロット点Ｐ１１１１は、第１組に対応し、（露光タイミング、受光量）が（ｔｓ１、Ａ１１）であることを意味する。プロット点Ｐ１１１２は、第２組に対応し、（露光タイミング、受光量）が（ｔｓ１、Ａ１２）であることを意味する。
さらに、図１１Ａの第２動作例のおけるＴＯＦ方式（その２）対応の場合のタイミング指示部７０１のタイミング指示方法の一例について具体的に説明する。タイミング指示部７０１は発光露光制御部１０１に対して第１組のタイミングとして、照射光の発光パルス幅ＴＬと発光タイミングｔｌ１と、固体撮像素子１０２の露光パルス幅ＴＳと露光タイミングｔｓ１を指示する。露光タイミングｔｓ１は、発光パルス幅ＴＬと発光タイミングｔｌ１により発光部１０４の照射光に対応するマルチパス成分が混在した混合反射光１１０１反射タイミングの早く返ってくる反射光よりも前に設定する。図１１Ａでは混合反射光１１０２の方が早く反射光が返ってくるので、混合反射光１１０２よりも前のタイミングを設定する。第１組のタイミングの設定により受光した発光タイミングｔｌ１での照射光に対応する反射光の受光量Ａ１１は信号蓄積部７０２に蓄積される。具体的には、信号蓄積部７０２において、横軸露光タイミング、縦軸を受光量として、露光タイミングｔｓ１、受光量Ａ１１としてＰ１１１１がプロットされる。
タイミング指示部７０１は発光露光制御部１０１に対して第２組のタイミングとして、照射光の発光パルス幅ＴＬと発光タイミングｔｌ２と、固体撮像素子の露光パルス幅ＴＳと露光タイミングｔｓ１を指示する。露光タイミングｔｓ１は、発光パルス幅ＴＬと発光タイミングｔｌ２により発光部１０４の照射光に対応するマルチパス成分が混在した混合反射光１１０２の反射タイミングの早く返ってくる反射光よりも前に設定する。図１１Ａでは混合反射光１１０２の方が早く反射光が返ってくるので、混合反射光１１０２よりも前のタイミングを設定する。第２組のタイミングの設定により受光した発光タイミングｔｌ２での照射光に対応する反射光の受光量Ａ１２は信号蓄積部７０２に蓄積される。具体的には、信号蓄積部７０２において、横軸露光タイミング、縦軸を受光量として、露光タイミングｔｓ１、受光量Ａ１２としてＰ１１１２がプロットされる。
露光タイミングの変更は（Ｎ−１）回繰り返される。奇数番目の第ｎ組のタイミングでは、第１組のタイミングと同じ、照射光の発光パルス幅ＴＬと発光タイミングｔｌ１と、固体撮像素子１０２の露光パルス幅ＴＳを指示し、第１組のタイミングと異なる露光タイミングｔｓｎへの変更を指示する。偶数番目の第ｎ組のタイミングでは、第２組のタイミングと同じ、照射光の発光パルス幅ＴＬと発光タイミングｔｌ２と、固体撮像素子１０２の露光パルス幅ＴＳを指示し、第２組のタイミングと異なる露光タイミングｔｓｎへの変更を指示する。露光タイミングｔｓｎは、奇数番目の組とその次の偶数番目の組とに対応し、以下の式で表す。
Figure 0006918210
第ｎ組（奇数番目の組とその次の偶数番目の組）のタイミング設定による受光した受光量Ａｎ１、Ａｎ２は信号蓄積部７０２に蓄積される。信号蓄積部７０２において、露光タイミングｔｓｎ、受光量Ａｎ１、Ａｎ２としてプロットされる。
最後の露光タイミングｔｓｅは、混合反射光１１０１、１１０２の早く返ってくる方の反射タイミングよりも後に設定する。図１１Ａにおいては混合反射光１１０２の反射タイミングよりあとに設定すればよい。光速ｃ、最大測距範囲Ｄｍａｘとすると、ｔｓｅは以下を満たせばよい。
Figure 0006918210
最大測距範囲Ｄｍａｘは照射光に対する反射光が受光できる最大の距離を意味する。
図１１Ｃは、実施の形態１に係るマルチパス検出部の第２動作例における正規化された受光信号列の一例と参照データとを示す図である。
本タイミングのリファレンス保持値と蓄積値の関係は、発光タイミングｔｌ１のリファレンステーブルＬ１１２１、発光タイミングｔｌ２のリファレンステーブルＬ１１２２、発光タイミングｔｌ１の正規化蓄積値Ｌ１１３１、発光タイミングｔｌ１の正規化蓄積値はＬ１１３２として示されている。補正係数を算出する距離測定用露光タイミングはｔｄの１種類で、この１種類から補正係数Ｃ０はＬ１１２１とＬ１１３１から、補正係数Ｃ１はＬ１１２２とＬ１１３１からそれぞれ（数式９）により算出できる。
［１．５ マルチパス検出の第３動作例］
次に、実施の形態１における距離情報取得装置１００についてマルチパス検出の第３動作例について説明する。
図１２Ａは、実施の形態１に係るマルチパス検出部における発光露光タイミングの第２動作例を示す図である。
まず、同図の（１２Ａ）から（１２Ｆ）に示す信号波形について説明する。（１２Ａ）から（１２Ｆ）に示す信号波形は、必ずしも同じ時間軸上の波形とは限らず、説明の便宜上異なる時間軸の波形を混在させて記載してある。
（１２Ａ）は、タイミング指示部７０１によって生成されるタイミング信号としての発光制御信号に含まれる発光パルス、または、当該発光パルスによる光源１１５からの照射光を示す。この発光パルスまたは照射光のタイミングを発光タイミングｔｌ１とする。また、この発光パルスのパルス幅または照射光のパルス幅をＴＬとする。この発光パルスは、タイミング指示部７０１により指示される第１組の発光パルスを示している。
（１２Ｂ）は、（１２Ａ）の照射光が当たった物体ＯＢＪからの直接反射光と間接反射光とを含む混合反射光の一例を模式的に示す。
（１２Ｃ）は、タイミング指示部７０１によって生成されるタイミング信号としての発光制御信号に含まれる発光パルス、または、当該発光パルスによる光源１１５からの照射光を示す。この発光パルスまたは照射光のタイミングを発光タイミングｔｌｅとする。また、この発光パルスのパルス幅または照射光のパルス幅をＴＬとする。この発光パルスは、タイミング指示部７０１により指示される第Ｎ組の発光パルスを示している。
（１２Ｄ）は、（１２Ｃ）の照射光が当たった物体ＯＢＪからの直接反射光と間接反射光とを含む混合反射光の一例を模式的に示す。
（１２Ｅ）は、タイミング指示部７０１によって生成されるタイミング信号としての露光制御信号に含まれる露光パルスであり、例えば、第１組から第Ｎ組の露光パルスを代表的に示す。この露光パルスのパルス幅をＴＳとする。
（１２Ｆ）は、発光パルスによる照射タイミングの間隔を示す。発光タイミングｔｌ１、・・・、ｔｌｅは、第１組、・・・、第Ｎ組に対応し、信号蓄積部７０２に受光信号を蓄積するための便宜上のタイミングとして扱う。
図１２Ａでは、露光パルスの露光タイミングｔｓに対して、第１組から第Ｎ組の発光パルスの発光タイミングｔｌ１、・・・、ｔｌｅが少しずつずれていくように設定される。
タイミング指示部７０１が生成するタイミング信号に指示される複数の組のうち、例えば、第１組は（１２Ａ、１２Ｅ）に対応する。第Ｎ組は（１２Ｃ、１２Ｅ）に対応する。
タイミング指示部７０１は、第１組から第Ｎ組の順に、または、第Ｎ組から第１組の順に、時系列的に指示するタイミング信号を生成し、発光露光制御部１０１に出力する。
図１２Ｂは、実施の形態１に係るマルチパス検出部の第３動作例における正規化された参照データの一例を示す図である。同図の横軸は時間軸を示し、（１２Ｆ）の照射タイミングに対応する。縦軸は、発光タイミングｔｌ１、・・・、ｔｌｅ毎の正規化された受光量であって、マルチパスのない環境下に対応する受光量を示す。
さらに、図１２Ａの第３動作例におけるタイミング指示部７０１の発光露光タイミング指示方法の一例について説明する。このタイミング指示方法は、複数の組における露光タイミングに対する発光タイミングを順次変更する方法である。タイミング指示部７０１は発光露光制御部１０１に対して第１組のタイミングとして、照射光の発光パルス幅ＴＬと発光タイミングｔｌ１と、固体撮像素子１０２の露光パルス幅ＴＳと露光タイミングｔｓ１を指示する。発光タイミングｔｌ１は、発光パルス幅ＴＬと発光タイミングｔｌ１により発光部１０４の照射光に対応するマルチパス成分が混在した混合反射光１２０１の反射タイミングよりも後に露光タイミングｔｓ１がくるように設定する。第１組のタイミングの設定により受光した受光量Ａ１は信号蓄積部７０２に蓄積される。
第ｎのタイミングでは、照射光の発光パルス幅ＴＬと発光タイミングｔｌ１と、固体撮像素子１０２の露光パルス幅ＴＳと露光タイミングｔｓを指示する。発光タイミングｔｌ１は、発光パルス幅ＴＬと発光タイミングｔｌ１により発光部１０４の照射光に対応するマルチパス成分が混在した混合反射光１２０１の反射タイミングよりも後に露光タイミングｔｓ１がくるように設定する。第１のタイミングの設定により受光した受光量Ａ１は信号蓄積部７０２に蓄積される。
第ｎ組のタイミングでは、第１組のタイミングと同じ、照射光の発光パルス幅ＴＬ、固体撮像素子１０２の露光パルス幅ＴＳと露光タイミングｔｓを指示し、第１のタイミングと異なる発光タイミングｔｌｎへの変更を指示する。露光タイミングｔｌｎは、以下の式で表す。
Figure 0006918210
第ｎ組のタイミング設定による受光した受光量Ａｎは信号蓄積部７０２に蓄積される。信号蓄積部７０２において、発光タイミングｔｌｎ、受光量Ａｎとしてプロットされる。
最後の発光タイミングｔｓｅは、混合反射光１２０ｅの反射タイミングが露光タイミングよりも後になるように設定する。光速ｃ、最大測距範囲Ｄｍａｘとすると、ｔｌｅは以下を満たせばよい。
Figure 0006918210
最大測距範囲Ｄｍａｘは照射光に対する反射光が受光できる最大距離である。
なお、第３動作例における補正係数は、図１０と同様にして数式９から算出される。
次に、上記の第１動作例から第３動作例において、照射光および反射光の波形なまりがある場合の補正について説明する。
図１３は、波形なまりを有するパルス波形を対象とする補正を示す説明図である。ここまではパルス波形を矩形波であるものとして説明してきたが、実デバイスによる波形は例えば図１３の（ａ）、（ｃ）のような鈍った波形になる。このように鈍った波形においても、マルチパス検出動作と測距動作とを処理できる。例えば図１３の（ｂ）のリファレンステーブル（つまり参照データ）は１３０１のようになり、リファレンス幅ＴＲ＝ＴＬ１＋ＴＳ１により計算できる。またリファレンステーブルはあらかじめ測定したリファレンス値を拡大縮小してもよい。例えば、もとの発光パルス幅ＴＬ１で露光パルス幅がＴＳ１で、変更したい発光パルス幅ＴＬ２で露光パルス幅ＴＳ２である場合、以下の補正式で図１３の（ｄ）のように横軸を拡大または縮小する。
Figure 0006918210
なお、リファレンステーブルは、第１動作例から第３動作例の何れかによる発光および露光の複数の組を、間接反射波が環境をシミュレートにより予め作成してもよいし、実測により予めしてもよい。
以上説明してきたように実施の形態１に係る距離情報取得装置１００は、発光を指示する発光パルスに従って発光する発光部１０４と、露光を指示する露光パルスに従って露光する固体撮像素子１０２と、発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成する発光露光制御部１０１と、前記複数の組に従う発光および露光により前記固体撮像素子から受光信号列を取得し、取得した前記受光信号列と、マルチパスのない環境下における受光信号列のモデルとして予め作成された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定するマルチパス検出部１１１と、を備える。
これによれば、マルチパスを検出するための処理負荷を軽減し、かつ、コストを低減することができる。
ここで、前記複数の組の数は、６以上であってもよい。
ここで、前記複数の組における発光パルスと露光パルスとの時間差は、一定時間ずつ異なっていてもよい。
ここで、前記発光露光制御部１０１は、前記複数の組において発光パルスのタイミングに対して露光パルスのタイミングを変化させてもよい。
ここで、前記発光露光制御部１０１は、前記複数の組において露光パルスのタイミングに対して発光パルスのタイミングを変化させてもよい。
ここで、前記露光パルスの幅ＴＳは前記発光パルスの幅ＴＬ以上であってもよい。
ここで、前記複数の組は、第１組から第Ｎ（Ｎは整数）組を含み、前記発光露光制御部１０１は、前記第１組から第Ｎ組が時系列的に発生するように前記タイミング信号を生成してもよい。
ここで、前記複数の組における発光パルス間の時間差は、一定時間であってもよい。
ここで、前記マルチパス検出部は、前記参照データを保持する参照データ保持部を有し、前記参照データは、マルチパスのない環境下における受光信号列のモデルであってもよい。
ここで、前記マルチパス検出部は、前記参照データを保持する参照データ保持部を有し、前記参照データは、発光パルスのパルス幅ＴＬと露光パルスのハルス幅ＴＳとの和で定まる時間の長さであってもよい。
ここで、前記マルチパス検出部は、さらに、マルチパスが存在すると判定した場合は、画素毎に補正係数を算出してもよい。
ここで、記マルチパス検出部は、前記受信信号列と前記参照データとの比率を示す比較結果に応じて前記補正係数を算出してもよい。
また、実施の形態１に係るマルチパス検出装置１１０は、発光を指示する発光パルスに従って発光する発光部と、露光を指示する露光パルスに従って露光する固体撮像素子とを用いてマルチパスを検出するマルチパス検出装置であって、発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成する発光露光制御部１０１と、前記複数の組に従う発光および露光により前記固体撮像素子から受光信号列を取得し、取得した前記受光信号列と、マルチパスのない環境下における受光信号列のモデルとして予め作成された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定するマルチパス検出部１１１と、を備える。
また、実施の形態１に係るマルチパス検出方法は、発光を指示する発光パルスに従って発光する発光部と、露光を指示する露光パルスに従って露光する固体撮像素子とを用いてマルチパスを検出するマルチパス検出方法であって、発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成し、前記複数の組に従う発光および露光により前記固体撮像素子から受光信号列を取得し、取得した前記受光信号列と、マルチパスのない環境下における受光信号列のモデルとして予め作成された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定する。
上記のマルチパス検出装置およびマルチパス検出方法によれば、マルチパスを検出するための処理負荷を軽減し、かつ、コストを低減することができる。
（実施の形態２）
続いて、実施の形態２に係る距離情報取得装置１００について説明する。実施の形態１では、マルチパス検出動作と、通常の測距動作とを別のタイミングで実施する例を説明した。これに対して、実施の形態２では、マルチパス検出動作と通常の測距動作とを兼用して同時に実施可能な例について説明する。
［２．１ 距離情報取得装置１００の構成例］
実施の形態２における距離情報取得装置１００は、図７Ａおよび図７Ｂと同じ構成でよい。ただし、マルチパス検出部１１１の動作が少し異なっている。以下異なる点を中心に説明する。
［２．２ マルチパス検出動作兼測距動作の第１動作例］
まず、実施の形態２における距離情報取得装置１００についてマルチパス検出動作と測距動作とを同時に実施する第１動作例について説明する。
図１４Ａは、実施の形態２に係るマルチパス検出部１１１の第１動作例を示す図である。また、図１４Ｂは、実施の形態２に係るマルチパス検出部の第１動作例における受光信号列の一例を示す図である。同図の受光量ａ〜受光量ｆは、例えば、第１組〜第６組に対応する。
まず、図１４Ａの（１４Ａ）から（１４Ｈ）に示す信号波形について説明する。（１４Ａ）から（１４Ｆ）に示す信号波形は、必ずしも同じ時間軸上の波形とは限らず、説明の便宜上異なる時間軸の波形を混在させて記載してある。同図では、発光パルスと露光パルスとの組を指示する第１組から第Ｎ組までの複数の組が６つである場合を示している。
（１４Ａ）は、タイミング指示部７０１によって生成されるタイミング信号としての発光制御信号に含まれる発光パルス、または、当該発光パルスによる光源１１５からの照射光を示す。この発光パルスまたは照射光のタイミングを発光タイミングｔｌ１とする。また、この発光パルスのパルス幅または照射光のパルス幅をＴＬとする。この発光パルスは、タイミング指示部７０１により指示される第１組から第６組のそれぞれの発光パルスを代表して示している。
（１４Ｂ）は、（１４Ａ）の照射光が当たった物体ＯＢＪからの直接反射光と間接反射光とを含む混合反射光の一例を模式的に示す。
（１４Ｃ）は、タイミング指示部７０１によって生成されるタイミング信号としての露光制御信号に含まれる露光パルスであり、例えば、第１組の露光パルスを示す。この露光パルスのパルス幅をＴＳとし、露光タイミングをｔｓ１−０とする。
（１４Ｄ）は、タイミング指示部７０１によって生成されるタイミング信号としての露光制御信号に含まれる露光パルスであり、例えば、第２組の露光パルスを示す。この露光パルスのパルス幅をＴＳとし、露光タイミングをｔｓ１−１とする。
（１４Ｅ）は、タイミング指示部７０１によって生成されるタイミング信号としての露光制御信号に含まれる露光パルスであり、例えば、第３組の露光パルスを示す。この露光パルスのパルス幅をＴＳとし、露光タイミングをｔｓ２−０とする。露光タイミングｔｓ２−０は、測距用の露光タイミングｔｓ１−０に対して−Δｔｐの遅延時間を与えたタイミングである。
（１４Ｆ）は、タイミング指示部７０１によって生成されるタイミング信号としての露光制御信号に含まれる露光パルスであり、例えば、第４組の露光パルスを示す。この露光パルスのパルス幅をＴＳとし、露光タイミングをｔｓ２−１とする。
（１４Ｇ）は、タイミング指示部７０１によって生成されるタイミング信号としての露光制御信号に含まれる露光パルスであり、例えば、第５組の露光パルスを示す。この露光パルスのパルス幅をＴＳとし、露光タイミングをｔｓ３−０とする。
（１４Ｈ）は、タイミング指示部７０１によって生成されるタイミング信号としての露光制御信号に含まれる露光パルスであり、例えば、第６組の露光パルスを示す。この露光パルスのパルス幅をＴＳとし、露光タイミングをｔｓ３−１とする。
タイミング指示部７０１が生成するタイミング信号に指示される６つ組のうち、例えば、第１組は（１４Ａ、１４Ｃ）に対応する。第２組は（１４Ａ、１４Ｄ）に対応する。第３組は（１４Ａ、１４Ｅ）に対応する。第４組は（１４Ａ、１４Ｆ）に対応する。第５組は（１４Ａ、１４Ｇ）に対応する。第６組は（１４Ａ、１４Ｈ）に対応する。
図１４Ａ中の発光タイミングｔｌ１および露光タイミングｔｓ１−０は、図２に示したＴＯＦ方式（その１）の「Ｓ０露光」と同じタイミングであり、マルチパス検出動作にも測距動作にも利用される。また、発光タイミングｔｌ１および露光タイミングｔｓ１−１は、図２に示したＴＯＦ方式（その１）の「Ｓ１露光」と同じタイミングであり、マルチパス検出動作にも測距動作にも利用される。
測距用の露光タイミングｔｓ１−０と露光タイミングｔｓ１−１とは、Δｔｄの時間差を有する。時間差Δｔｄは、測距用のずらし量を意味する。
露光タイミングｔｓ２−０、ｔｓ２−１は、測距用の露光タイミングｔｓ１−０、ｔｓ１−１に対してそれぞれ−Δｔｐの遅延を有する。−Δｔｐは、測距用の露光タイミングｔｓ１−０、ｔｓ１−１に対してマルチパス検出用に設定された前ずらし量を意味する。
露光タイミングｔｓ３−０、ｔｓ３−１は、測距用の露光タイミングｔｓ１−０、ｔｓ１−１に対してそれぞれ＋Δｔｂの遅延を有する。＋Δｔｂは、測距用の露光タイミングｔｓ１−０、ｔｓ１−１に対してマルチパス検出用に設定された後ずらし量を意味する。
タイミング指示部７０１は、第１組から第６組の順に、または、第Ｎ組から第１組の順に、時系列的に指示するタイミング信号を生成し、発光露光制御部１０１に出力する。なお、第１組から第６組の生成順は、任意の順でもよい。
図１４Ｂは、実施の形態２に係るマルチパス検出部１１１の第１動作例における受光信号列の一例を示す図である。同図の受光量ａ〜受光量ｆは、例えば、第１組〜第６組に対応する。図１４Ｂの受光信号列は、図１１Ｃのようなマルチパス検出動作および補正係数算出に用いられ、かつ、図２のＴＯＦ方式（その１）のような測距動作にも用いられる。
さらに、図１４Ａの第１動作例におけるタイミング指示部７０１によるＴＯＦ方式（その１）のタイミング指示方法の例について説明する。タイミング指示部７０１は発光露光制御部１０１に対して第１組のタイミングとして、照射光の発光パルス幅ＴＬと発光タイミングｔｌ１と、固体撮像素子１０２の露光パルス幅ＴＳと露光タイミングｔｓ１−０を指示する。さらに、タイミング指示部７０１は発光露光制御部１０１に対して第２組のタイミングとして、照射光の発光パルス幅ＴＬと発光タイミングｔｌ１と、固体撮像素子１０２の露光パルス幅ＴＳと露光タイミングｔｓ１−１を指示する。露光タイミングｔｓ１−０とｔｓ１−１は、距離測定に必要なずらし量Δｔｄにより、以下で表せる。
Figure 0006918210
発光パルス幅ＴＬと発光タイミングｔｌ１により発光部１０４の照射光に対応するマルチパス成分が混在した混合反射光１４０１とする。第１組のタイミングの設定により受光した発光タイミングｔｌ１での照射光に対応する反射光の露光タイミングｔｓ１−０の（Ｓ０−ＢＧ）信号の受光量ａが信号蓄積部７０２に蓄積される。さらに、第２組のタイミングの設定により受光した発光タイミングｔｌ１での照射光に対応する反射光の露光タイミングｔｓ１−１の（Ｓ１−ＢＧ）信号の受光量ｂは信号蓄積部７０２に蓄積される。具体的には図１４Ｂに示すように、信号蓄積部７０２において、横軸露光タイミング、縦軸を受光量として、露光タイミングｔｓ１、受光量ａ、受光量ｂとしてプロットされる。
同様に、第３組のタイミングとして、第１組のタイミングと同じ発光パルス幅ＴＬと発光タイミングｔｌ１と固体撮像素子１０２の露光パルス幅ＴＳと第１のタイミングと異なる露光タイミングｔｓ２−０を指示する。さらに、第４組のタイミングとして、第１組のタイミングと同じ発光パルス幅ＴＬと発光タイミングｔｌ１と固体撮像素子１０２の露光パルス幅ＴＳと第１のタイミングと異なる露光タイミングｔｓ２−１を指示する。露光タイミングｔｓ２−０と露光タイミングｔｓ２−１はマルチパス検出用の前ずらし量Δｔｐにより、以下の関係式で計算される。
Figure 0006918210
Δｔｐは固定値を使用してもよいし、受光量ａ、ｂの値から最適ずらし量を計算してもよい。第３組のタイミングの設定により発光タイミングｔｌ１での照射光に対応する反射光の露光タイミングｔｓ２−０の（Ｓ０−ＢＧ）信号の受光量ｃが信号蓄積部７０２に蓄積される。さらに、第４組のタイミングの設定により発光タイミングｔｌ１での照射光に対応する反射光の露光タイミングｔｓ２−１の（Ｓ１−ＢＧ）信号の受光量ｄは信号蓄積部７０２に蓄積される。具体的には図１４Ｂに示すように信号蓄積部７０２において、露光タイミングｔｓ２、受光量ｃ、受光量ｄとしてプロットされる。
次に、第５組のタイミングとして、第１のタイミングと同じ発光パルス幅ＴＬと発光タイミングｔｌ１と固体撮像素子１０２の露光パルス幅ＴＳと第１のタイミングと異なる露光タイミングｔｓ３−０を指示する。さらに、第６組のタイミングとして、第１のタイミングと同じ発光パルス幅ＴＬと発光タイミングｔｌ１と固体撮像素子１０２の露光パルス幅ＴＳと第１のタイミングと異なる露光タイミングｔｓ３−１を指示する。露光タイミングｔｓ３−０とｔｓ３−１はマルチパス検出用後ずらし量Δｔｂにより、以下の関係式で計算される。
Figure 0006918210
Δｔｂは固定値を使用してもよいし、受光量ａ、ｂの値から最低ずらし量を計算してもよい。第５組のタイミングの設定により受光した発光タイミングｔｌ１での照射光に対応する反射光の露光タイミングｔｓ３−０の（Ｓ０−ＢＧ）信号の受光量ｅが信号蓄積部７０２に蓄積される。さらに、第６組のタイミングの設定により受光した発光タイミングｔｌ１での照射光に対応する反射光の露光タイミングｔｓ３−１の（Ｓ１−ＢＧ）信号の受光量ｆは信号蓄積部７０２に蓄積される。具体的には信号蓄積部７０２において、露光タイミングｔｓ３、受光量ｅ、受光量ｆとしてプロットされる。
マルチパス検出部１１１は、図１４Ｂの受光信号列と、参照データとを比較し、比較結果の差異に応じて画素毎にマルチパスの有無を判定する。また、距離演算部１１２は、図１４Ｂの受信信号列を用いてＴＯＦ方式（その１）により画素毎の距離を算出する。このとき、マルチパス検出部１１１によってマルチパスが存在すると判定した場合、補正係数算出部７０５は、後述する第２動作例の数式２６及び数式２８に従って補正係数を算出する。なお、図１４ＡではＴＯＦ方式（その１）の測距動作について説明したが、ＴＯＦ方式（その２）でもよい。
［２．３ マルチパス検出動作兼測距動作の第２動作例］
次に、実施の形態２における距離情報取得装置１００についてマルチパス検出動作と測距動作の同時に実施する第２動作例について説明する。
図１５Ａは、実施の形態２に係るマルチパス検出部１１１の第２動作例を示す図である。また、図１５Ｂは、実施の形態２に係るマルチパス検出部の第２動作例における受光信号列の一例を示す図である。同図の受光量ａ〜受光量ｆは、例えば、第１組〜第６組に対応する。
まず、図１５Ａの（１５Ａ）から（１５Ｇ）に示す信号波形について説明する。（１５Ａ）から（１５Ｇ）に示す信号波形は、必ずしも同じ時間軸上の波形とは限らず、説明の便宜上異なる時間軸の波形を混在させて記載してある。同図では、発光パルスと露光パルスとの組を指示する第１組から第Ｎ組までの複数の組が６つである場合を示している。
（１５Ａ）は、発光パルス、または、照射光を示す。この発光パルスまたは照射光のタイミングを発光タイミングｔｌ０とする。また、この発光パルスのパルス幅または照射光のパルス幅をＴＬとする。この発光パルスは、タイミング指示部７０１により指示される例えば、第１組、第３組、第５組の発光パルスを代表して示している。
（１５Ｂ）は、発光パルス、または、照射光を示す。この発光パルスまたは照射光のタイミングを発光タイミングｔｌ１とする。また、この発光パルスのパルス幅または照射光のパルス幅をＴＬとする。この発光パルスは、タイミング指示部７０１により指示される第２組、第４組、第６組の発光パルスを代表して示している。
（１５Ｃ）は、（１５Ａ）の照射光が当たった物体ＯＢＪからの直接反射光と間接反射光とを含む混合反射光の一例を模式的に示す。
（１５Ｄ）は、（１５Ｂ）の照射光が当たった物体ＯＢＪからの直接反射光と間接反射光とを含む混合反射光の一例を模式的に示す。
（１５Ｅ）は、例えば、第１組、第２組の露光パルスを代表して示す。この露光パルスのパルス幅をＴＳとし、露光タイミングをｔｓ１とする。第１組、第２組の露光パルスは、例えば受光量ａ、ｂに対応する。受光量ａは、露光タイミングｔｓ１におけるＴＯＦ方式（その２）のＳ０露光における受光量（Ｓ０−ＢＧ）信号に対応する。受光量ｂは、露光タイミングｔｓ１におけるＴＯＦ方式（その２）のＳ１露光における受光量（Ｓ１−ＢＧ）信号に対応する。
（１５Ｆ）は、例えば、第３組、第４組の露光パルスを代表して示す。この露光パルスのパルス幅をＴＳとし、露光タイミングをｔｓ２とする。第３組、第４組の露光パルスは、例えば受光量ｃ、ｄに対応する。受光量ｃは、露光タイミングｔｓ２におけるＴＯＦ方式（その２）のＳ０露光における受光量（Ｓ０−ＢＧ）信号に対応する。受光量ｄは、ＴＯＦ方式（その２）のＳ１露光における露光タイミングｔｓ２での受光量（Ｓ１−ＢＧ）信号に対応する。
（１５Ｇ）は、例えば、第５組、第６組の露光パルスを代表して示す。この露光パルスのパルス幅をＴＳとし、露光タイミングをｔｓ３とする。第５組、第６組の露光パルスは、例えば受光量ｅ、ｆに対応する。受光量ｅは、ＴＯＦ方式（その２）のＳ０露光における露光タイミングｔｓ３による受光量（Ｓ０−ＢＧ）信号に対応する。受光量ｆは、ＴＯＦ方式（その２）のＳ１露光における露光タイミングｔｓ３による受光量（Ｓ１−ＢＧ）信号に対応する。
タイミング指示部７０１が生成するタイミング信号に指示される６つ組のうち、例えば、第１組は（１５Ａ、１５Ｅ）に対応する。第２組は（１５Ｂ、１５Ｅ）に対応する。第３組は（１５Ａ、１５Ｆ）に対応する。第４組は（１５Ｂ、１５Ｆ）に対応する。第５組は（１５Ａ、１５Ｇ）に対応する。第６組は（１５Ｂ、１５Ｇ）に対応する。
図１５Ａ中の発光タイミングｔｌ０および露光タイミングｔｓ１は、図３に示したＴＯＦ方式（その２）の「Ｓ０露光」と同じタイミングであり、マルチパス検出動作にも測距動作にも利用される。また、発光タイミングｔｌ１および露光タイミングｔｓ１は、図３に示したＴＯＦ方式（その２）の「Ｓ１露光」と同じタイミングであり、マルチパス検出動作にも測距動作にも利用される。
露光タイミングｔｓ２は、測距用の露光タイミングｔｓ１に対して−Δｔｐの遅延を有する。−Δｔｐは、測距用の露光タイミングｔｓ１−０、ｔｓ１−１に対してマルチパス検出用に設定された前ずらし量を意味する。
露光タイミングｔｓ３は、測距用の露光タイミングｔｓ１に対して＋Δｔｂの遅延を有する。＋Δｔｂは、測距用の露光タイミングｔｓ１−０、ｔｓ１−１に対してマルチパス検出用に設定された後ずらし量を意味する。
タイミング指示部７０１は、第１組から第６組の順に、または、第Ｎ組から第１組の順に、時系列的に指示するタイミング信号を生成し、発光露光制御部１０１に出力する。なお、第１組から第６組の生成順は、任意の順でもよい。
図１５Ｂは、実施の形態２に係るマルチパス検出部１１１の第２動作例における受光信号列の一例を示す図である。同図の受光量ａ〜受光量ｆは、例えば、第１組〜第６組に対応する。図１５Ｂの受光信号列は、図１１Ｃのようなマルチパス検出動作および補正係数算出に用いられ、かつ、図２のＴＯＦ方式（その１）のような測距動作にも用いられる。
このような実施の形態２の第１動作例によれば、マルチパス検出と測距動作とを兼用するので、マルチパス検出動作をより高速にすることができ、リアルタイム処理に適している。
さらに、図１５Ａの第２動作例におけるタイミング指示部７０１のタイミング指示方法について具体的に説明する。タイミング指示部７０１は、第１組から第６組を指示するために、ＴＯＦ方式（その２）では照射タイミングｔｌ０、ｔｌ１と、露光タイミングｔｓ１、ｔｓ２、ｔｓ３との組み合わせを指示する。第１組から第６組により得られる受光量ａ、ｂ、ｃ、ｄ、ｅ、ｆを取得し、信号蓄積部７０２に蓄積される。露光タイミングｔｓ１、ｔｓ２、ｔｓ３の関係式は、（数式１７）、（数式１８−２）、（数式１９−２）である。
続いて、実施の形態２の第１動作例および第２動作例におけるマルチパス検出方法を説明する。
図１６は、実施形態２におけるマルチパス検出方法を示す説明図である。図１６の信号蓄積部７０２は、図１４Ａの第１動作例や図１５Ａの第２動作例で示されたタイミング指示部７０１による信号蓄積結果として露光タイミングｔｓ１の受光量ａ、ｂ、露光タイミングｔｓ２の受光量ｃ、ｄ、露光タイミングｔｓ３の受光量ｅ、ｆが蓄積されている。図１６のリファレンス保持部７０３は実施の形態１におけるリファレンステーブル作成方法と同じ方法でリファレンステーブル（つまり参照データ）を作成し、保持する。つまり、詳細なずらし量Δｔによって露光タイミングを順次ずらしたデータを保持する。リファレンステーブルにより、少ない露光タイミングでも高速にマルチパスを検出することを可能とする。図１６の信号比較部７０４によるマルチパス検出方法について、図１７の実を用いて説明する。
図１７は、実施の形態２に係るマルチパス検出部のマルチパス検出方法の一例を示すフローチャートである。
Ｓ１７０１では信号蓄積部７０２の蓄積データのうち、ｔｓ１の受光量ａ、ｂの比を計算する。
Ｓ１７０２では、受光量ａ、ｂの比と、リファレンス保持部の正規化受光量ａｒ、ｂｒの比が一致するようなリファレンスタイミングｔｓｒ１を探索する。受光量ａ、ｂの比と正規化受光量ａｒ、ｂｒの比に一致する部分がない場合は、信号比が間にはまる部分を探索し、２点間を線形補完によりリファレンスタイミングｔｓｒ１を推定する。
Ｓ１７０３ではｔｓ１の受光量をｔｓｒ１の正規化受光量にするための正規化係数Ｋを求める。正規化係数Ｋは以下の式で算出する。
Figure 0006918210
Ｓ１７０４では、Ｓ１７０３により計算された正規化係数Ｋにより、受光量ａ、ｂ、ｃ、ｄ、ｅ、ｆを正規化受光量ａａ、ｂａ、ｃａ、ｄａ、ｅａ、ｆａへ変換する。計算式は以下である。
Figure 0006918210
Ｓ１７０５ではリファレンステーブル内で露光タイミングｔｓ２に対応するリファレンスタイミングｔｓｒ２、露光タイミングｔｓ３に対応するリファレンスタイミングｔｓｒ３を計算する。計算式は以下である。
Figure 0006918210
マルチパス検出用前ずらし量Δｔｐ、後ずらし量Δｔｂはタイミング指示部７０１によって指示された値である。
Ｓ１７０６ではＳ１７０５で計算されたリファレンスタイミングｔｓｒ２、ｔｓｒ３に対応するリファレンスの正規化受光量ｃｒ、ｄｒ、ｅｒ、ｆｒを取得する。ｔｓｒ２、ｔｓｒ３と一致するリファレンスがない場合は線形補完により推定する。リファレンスの正規化受光量ａｒ、ｂｒはａａ、ｂａと同じになるよう正規化係数Ｋを設定したため、計算は不要である。
Ｓ１７０７では蓄積値正規化受光量間の傾きα２０ａ、α２１ａ、α３０ａ、α３１ａと、リファレンスの正規化受光量間の傾きα２０ｒ、α２１ｒ、α３０ｒ、α３１ｒを算出する。具体的には、正規化受光量ａａ、ｃａを結ぶ直線の傾きα２０ａ、蓄積値の正規化受光量ａａ、ｅａを結ぶ直線の傾きα３０ａ、蓄積値正規化受光量ｂａ、ｄａを結ぶ直線の傾きα２１ａ、蓄積値の正規化受光量ｂａ、ｆａの傾きα３１ａ、リファレンス正規化受光量ａｒ、ｃｒを結ぶ直線の傾きα２０ｒ、蓄積値の正規化受光量ａｒ、ｅｒを結ぶ直線の傾きα３０ｒ、蓄積値正規化受光量ｂｒ、ｄｒを結ぶ直線の傾きα２１ｒ、蓄積値の正規化受光量ｂｒ、ｆｒの傾きα３１ｒを以下の式で算出する。
Figure 0006918210
Ｓ１７０８では、Ｓ１７０７で算出された直線の比率が同じかどうかを判定する。比較式はＳ１７０８に記載の通りである。ここでは傾きの比率で計算する。信号量は光の飛行距離や照射された物体の反射率によって減少し、上記で算出された蓄積値正規化受光量の傾きもそれに伴い変化してしまうため、傾きの値そのものを比較することは適切でない。ずらし量前後傾き比率は信号量が増減してもパルス波形が同じである限りは同じであり、反射光の移動距離や物体の反射率に依存しない。よって、傾きの比率を使うことによりマルチパスの影響により波形の形が変化したことを検出できる。以上のことから、Ｓ１７０８で傾きの比率が同じである、と判定された場合にはＳ１７０９へ遷移しマルチパスは発生してない、と判定する。Ｓ１７０８にて傾きの比率が同じでないと判定された場合、Ｓ１７１０へ遷移しマルチパスが発生している、と判定する。
次に、実施の形態２における補正係数の算出方法について説明する。
図１８は実施の形態２のマルチパス補正係数算出例を示す説明図である。同図において、信号蓄積部７０２に蓄積した正規化受光量の点を結んだ直線をＬ２ａ、Ｌ３ａとし、その傾きをα２ａ、α３ａとし、リファレンステーブルの正規化受光量の点を結んだ点をＬ２ｒ、Ｌ３ｒとする。マルチパスが発生している場合、前述のように傾きの比率は一致しない。そこで、リファレンステーブルどおりの傾きを持つ点Ｐ１８０１（ｔｓｒ１，ａｃ）を算出する。ａｃはマルチパス補正後の正規化受光量といえるのでマルチパス補正後正規化受光量ａｃと蓄積値正規化受光量ｃａを結んだ直線をＬ２ｃ、マルチパス補正後正規化受光量ａｃと蓄積値正規化受光量ｅａを結んだ直線をＬ３ｃとし、その傾きをそれぞれα２ｃ、α＿３ｃα３ｃとすると、以下が成り立つようなマルチパス補正後正規化受光量ａｃを算出すればよい。
Figure 0006918210
これを各点の座標値を代入し、ａｃで解くと（数式２５）となる。また補正係数Ｃ０は蓄積値をマルチパス補正後の値に補正するので、（数式２６）で表される。
Figure 0006918210
Figure 0006918210
図１９は実施形態２に係るマルチパス検出部１１１の補正係数算出例を示す説明図である。図１８に示した補正係数算出方法を適用すると、Ｓ０信号の場合、リファレンス通りの傾きを持つ点はＰ１９０１であり、（数式２５）、（数式２６）を用いて補正係数Ｃ０を算出する。Ｓ１信号の場合、リファレンス通りの傾きを持つ点はＰ１９０２であり、（数式２７）、（数式２８）を用いて補正係数Ｃ１を算出できる。
Figure 0006918210
Figure 0006918210
マルチパス補正は補正係数を用いて以下の式で補正する。
Figure 0006918210
実施の形態２は実施の形態１よりも少ない組による露光タイミングでマルチパス検出と補正する方法を示した。実施の形態２は、必要な露光タイミング回数を減らすことによりデータ蓄積時間を短縮できる。
実施の形態１および２において、露光タイミングを順次設定するよう説明したが、１フレーム間の露光で複数タイミングを設定できる撮像素子であれば、必要なタイミングを複数種類同時に設定して全結果を蓄積部へ蓄積してもよい。
本明細書でリファレンステーブルの探索などを線形補完により推定する、という実施例を記載したが、これに限定されるものではない。リファレンステーブルの形に基づき、ｎ次関数や累乗関数でリファレンステーブルをモデル化してもよい。
以上説明してきたように実施の形態２に係る距離情報取得装置１００は、前記複数の組は、前記時間差の小さい方から順に第１組から第Ｎ組（Ｎは偶数）を含み、前記発光露光制御部（１０１）は、前記時間差が小さい方から順に選んだ１組と、前記時間差が大きい方から順に選んだ１組とが交互になるように前記タイミング信号を生成する。
これによれば、発光パルスと露光パルスとの組の数をより少なくすることができ、処理負荷をさらに低減することができる。
ここで、前記距離情報取得装置は、さらに、前記受信信号列を用いて画素毎の距離を示す距離画像を生成する距離演算部を備えてもよい。
これによれば、マルチパスの検出動作において通常の測距動作もを同時に実施できるので、マルチパス検出の処理負荷をに低減または隠蔽することができる。
（実施の形態３）
続いて、実施の形態３に係る距離情報取得装置１００について説明する。実施の形態１、２では、発光パルスと露光パルスを含む複数の組を時系列で生成する例を説明した。これに対して、実施の形態３では、複数の組を複数の画素に対応させて、かつ、複数の組を一斉に生成する構成例について説明する。
［３．１ 距離情報取得装置１００の構成例］
実施の形態３における距離情報取得装置１００は、図７Ａおよび図７Ｂと同じ構成でよい。ただし、固体撮像素子１０２とマルチパス検出部１１１とが少し異なっている。以下異なる点を中心に説明する。
図２０は、実施の形態３に係る距離情報取得装置の構成例を示すブロック図である。同図では、図７Ａ、図７Ｂと同じ点は図示を省略し、異なる点を図示してある。
タイミング指示部７０１は、第１組から第Ｎ組のタイミング信号を一斉に生成する。ここで、Ｎは６以上の整数であり、図２０ではＮ＝９である。
固体撮像素子１０２は、画素２００１〜画素２００９を含む。画素２００１〜画素２００９は、第１組〜第Ｎ組に対応する。画素２００１〜画素２００９は、それぞれ異なるタイミング信号が入力される。タイミング信号のうち発光を指示する発光制御信号は、画素２００１〜画素２００９に共通であり、発光部１０４に入力される。タイミング信号のうち露光を指示する露光制御信号は、画素２００１〜画素２００９に個別であり、互いに異なるタイミングで露光を指示する。同図では９種類の異なる露光タイミングを示す９つの露光制御信号がタイミング指示部７０１から画素２００１〜画素２００９に入力される。
タイミング指示部７０１は、第１組から第Ｎ組を指示するタイミング信号を一斉に生成する。
実施形態１および２では、第１組から第Ｎ組のタイミング設定を逐次的に行う方法を示したが、実施の形態３では第１組から第ｎ組をｎ個の画素に対応させて、ｎ個の画素から受光信号を一斉に出力させる。
図２０に複数画素へのタイミング指示方法を示す。固体撮像素子１０２内にある、画素を画素２００１、画素２００２、画素２００３、画素２００４、画素２００５、画素２００６、画素２００７、画素２００８、画素２００９とする。ここで画素数を簡単のため、９個図示しているが、これに限定されるものではない。第１の実施形態のようにＮ個の画素を使用してもよいし、第２の実施形態のように６個の画素を使用してもよい。タイミング指示部７０１は、画素２００１から画素２００９に対してそれぞれタイミング指示を行う。画素２００１から画素２００９は指示されたタイミングで露光し、受光量Ａ１〜Ａ９を信号蓄積部７０２へ蓄積する。具体的には、信号蓄積部７０２において、横軸露光タイミング、縦軸を受光量として、露光タイミング９個に対して、信号量Ａ１からＡ９の９点をプロットする。
プロットした結果は第１または第２の実施形態のとおり、マルチパス検出と、補正係数の算出に利用される。ただし、第１、第２の実施形態では１画素１つのマルチパス検出結果と補正係数を算出したが、本実施形態では９画素で１つの結果・補正係数を出力する。つまり、画素２００１から画素２００９についてのマルチパス検出し、画素２００１から画素２００９に対して１つの補正係数を算出しマルチパスを補正することができる。
さらに、実施の形態１および２より少ないフレーム数で必要な受光量を取得することができ、マルチパス検出と補正の高速化が図れる。
以上説明してきたように実施の形態３に係る距離情報取得装置１００は、前記複数の組は、第１組から第Ｎ組（Ｎは６以上の整数）を含み、前記第１組から第Ｎ組は、１つの発光パルスを共有し、第１組から第Ｎ組は、前記固体撮像素子に含まれる第１画素から第Ｎ画素に対応し、前記発光露光制御部１０１は、前記第１組から第Ｎ組の露光を指示するＮ個のタイミング信号を一斉に生成し、前記第１画素から前記第Ｎ画素に供給する。
これによれば、Ｎ個の画素においてＮ組の発光および露光を同時に行うので、マルチパス検出動作のリアルタイム処理を容易にする。
本開示におけるマルチパスを検出する距離情報取得装置、マルチパス検出装置およびマルチパス検出方法に適しており、例えばＴＯＦカメラシステムに適している。
１００ 距離情報取得装置
１０１ 発光露光制御部
１０２ 固体撮像素子
１０３ 信号処理部
１０４ 発光部
１１０ マルチパス検出装置
１１１ マルチパス検出部
１１２ 距離演算部
１１４ 光源駆動部
１１５ 光源
７０１ タイミング指示部
７０２ 信号蓄積部
７０３ リファレンス保持部
７０４ 信号比較部
７０５ 補正係数算出部

Claims (17)

  1. 発光を指示する発光パルスに従って発光する発光部と、
    露光を指示する露光パルスに従って露光する固体撮像素子と、
    発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成する発光露光制御部と、
    前記複数の組に従う発光および露光により前記固体撮像素子から受光信号列を取得し、取得した前記受光信号列と、マルチパスのない環境下における受光信号列のモデルとして予め作成された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定するマルチパス検出部と、を備える
    距離情報取得装置。
  2. 前記複数の組の数は、６以上である
    請求項１に記載の距離情報取得装置。
  3. 前記複数の組における発光パルスと露光パルスとの時間差は、一定時間ずつ異なる
    請求項１または２に記載の距離情報取得装置。
  4. 前記発光露光制御部は、前記複数の組において発光パルスのタイミングに対して露光パルスのタイミングを変化させる
    請求項１から３の何れか１項に記載の距離情報取得装置。
  5. 前記発光露光制御部は、前記複数の組において露光パルスのタイミングに対して発光パルスのタイミングを変化させる
    請求項１から３の何れか１項に記載の距離情報取得装置。
  6. 前記露光パルスの幅は前記発光パルスの幅以上である
    請求項１から５の何れか１項に記載の距離情報取得装置。
  7. 前記複数の組は、第１組から第Ｎ（Ｎは整数）組を含み、
    前記発光露光制御部は、前記第１組から第Ｎ組が時系列的に発生するように前記タイミング信号を生成する
    請求項１から６の何れか１項に記載の距離情報取得装置。
  8. 前記複数の組は、前記時間差の小さい方から順に第１組から第Ｎ組（Ｎは偶数）を含み、
    前記発光露光制御部は、前記時間差が小さい方から順に選んだ１組と、前記時間差が大きい方から順に選んだ１組とが交互になるように前記タイミング信号を生成する
    請求項１から６の何れか１項に記載の距離情報取得装置。
  9. 前記複数の組における発光パルス間の時間差は、一定時間である
    請求項１から７の何れか１項に記載の距離情報取得装置。
  10. 前記複数の組は、第１組から第Ｎ組（Ｎは６以上の整数）を含み、
    前記第１組から第Ｎ組は、１つの発光パルスを共有し、
    第１組から第Ｎ組は、前記固体撮像素子に含まれる第１画素から第Ｎ画素に対応し、
    前記発光露光制御部は、前記第１組から第Ｎ組の露光を指示するＮ個のタイミング信号を一斉に生成し、前記第１画素から前記第Ｎ画素に供給する
    請求項１または２に記載の距離情報取得装置。
  11. 前記マルチパス検出部は、前記参照データを保持する参照データ保持部を有し、
    前記参照データは、マルチパスのない環境下における受光信号列のモデルである
    請求項１から１０の何れか１項に記載の距離情報取得装置。
  12. 前記マルチパス検出部は、前記参照データを保持する参照データ保持部を有し、
    前記参照データは、発光パルスのパルス幅と露光パルスのハルス幅との和で定まる時間の長さである
    請求項１から１０の何れか１項に記載の距離情報取得装置。
  13. 前記マルチパス検出部は、さらに、マルチパスが存在すると判定した場合は、画素毎に補正係数を算出する
    請求項１から１２の何れか１項に記載の距離情報取得装置。
  14. 前記マルチパス検出部は、前記受信信号列と前記参照データとの比率を示す比較結果に応じて前記補正係数を算出する
    請求項１３に記載の距離情報取得装置。
  15. さらに、前記受信信号列を用いて画素毎の距離を示す距離画像を生成する距離演算部を備える
    請求項１から１４の何れか１項に記載の距離情報取得装置。
  16. 発光を指示する発光パルスに従って発光する発光部と、露光を指示する露光パルスに従って露光する固体撮像素子とを用いてマルチパスを検出するマルチパス検出装置であって、
    発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成する発光露光制御部と、
    前記複数の組に従う発光および露光により前記固体撮像素子から受光信号列を取得し、取得した前記受光信号列と、マルチパスのない環境下における受光信号列のモデルとして予め作成された参照データとを比較し、比較結果の差異に応じてマルチパスの有無を判定するマルチパス検出部と、を備える
    マルチパス検出装置。
  17. 発光を指示する発光パルスに従って発光する発光部と、露光を指示する露光パルスに従って露光する固体撮像素子とを用いてマルチパスを検出するマルチパス検出方法であって、
    発光パルスと露光パルスとの組であって、発光パルスと露光パルスとの間に互いに異なる時間差を有する複数の前記組を指示するタイミング信号を生成し、
    前記複数の組に従う発光および露光により前記固体撮像素子から受光信号列を取得し、
    取得した前記受光信号列と、マルチパスのない環境下における受光信号列のモデルとして予め作成された参照データとを比較し、
    比較結果の差異に応じてマルチパスの有無を判定する
    マルチパス検出方法。
JP2020509901A 2018-03-29 2019-03-14 距離情報取得装置、マルチパス検出装置およびマルチパス検出方法 Active JP6918210B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862649994P 2018-03-29 2018-03-29
US62/649,994 2018-03-29
PCT/JP2019/010567 WO2019188348A1 (ja) 2018-03-29 2019-03-14 距離情報取得装置、マルチパス検出装置およびマルチパス検出方法

Publications (2)

Publication Number Publication Date
JPWO2019188348A1 JPWO2019188348A1 (ja) 2021-03-25
JP6918210B2 true JP6918210B2 (ja) 2021-08-11

Family

ID=68060551

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020509901A Active JP6918210B2 (ja) 2018-03-29 2019-03-14 距離情報取得装置、マルチパス検出装置およびマルチパス検出方法

Country Status (4)

Country Link
US (1) US11906669B2 (ja)
JP (1) JP6918210B2 (ja)
CN (1) CN111971578A (ja)
WO (1) WO2019188348A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6777701B2 (ja) * 2018-09-19 2020-10-28 ファナック株式会社 測距装置を有する物体監視システム
CN115176174A (zh) * 2019-11-27 2022-10-11 新唐科技日本株式会社 测距摄像装置
JP2021117036A (ja) * 2020-01-23 2021-08-10 株式会社日立エルジーデータストレージ 測距装置の測定値補正方法
JP7241710B2 (ja) * 2020-02-03 2023-03-17 株式会社ソニー・インタラクティブエンタテインメント 位相差算出装置、位相差算出方法およびプログラム
CN115052530A (zh) * 2020-03-09 2022-09-13 松下知识产权经营株式会社 计测装置以及对计测装置进行控制的方法
WO2021205787A1 (ja) * 2020-04-06 2021-10-14 パナソニックＩｐマネジメント株式会社 測距装置、およびプログラム
CN111601381B (zh) * 2020-05-26 2022-01-28 煤炭科学技术研究院有限公司 一种基于决策-预测的uwb的井下人员定位方法和系统
JP2022067801A (ja) * 2020-10-21 2022-05-09 キヤノン株式会社 光電変換装置、光電変換システム
CN113945951B (zh) * 2021-10-21 2022-07-08 浙江大学 Tof深度解算中的多径干扰抑制方法、tof深度解算方法及装置
WO2023199804A1 (ja) * 2022-04-13 2023-10-19 ヌヴォトンテクノロジージャパン株式会社 測距装置および測距方法
WO2024014547A1 (ja) * 2022-07-15 2024-01-18 Ｔｏｐｐａｎホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013078433A (ja) * 2011-10-03 2013-05-02 Panasonic Corp 監視装置、プログラム
WO2014097539A1 (ja) * 2012-12-20 2014-06-26 パナソニック株式会社 ３次元測定装置および３次元測定方法
US10230934B2 (en) * 2013-06-14 2019-03-12 Microsoft Tehcnology Licensing, Llc Depth map correction using lookup tables
US9874638B2 (en) * 2014-03-06 2018-01-23 University Of Waikato Time of flight camera system which resolves direct and multi-path radiation components
EP2955544B1 (en) 2014-06-11 2020-06-17 Sony Depthsensing Solutions N.V. A TOF camera system and a method for measuring a distance with the system
CN104461951A (zh) * 2014-11-19 2015-03-25 浪潮(北京)电子信息产业有限公司 动态管理物理和虚拟多路径i/o的方法及系统
JP6054994B2 (ja) * 2015-01-29 2016-12-27 シャープ株式会社 距離測定装置
JP2017015448A (ja) * 2015-06-29 2017-01-19 株式会社デンソー 光飛行型測距装置
US9760837B1 (en) * 2016-03-13 2017-09-12 Microsoft Technology Licensing, Llc Depth from time-of-flight using machine learning

Also Published As

Publication number Publication date
WO2019188348A1 (ja) 2019-10-03
US11906669B2 (en) 2024-02-20
US20210011130A1 (en) 2021-01-14
CN111971578A (zh) 2020-11-20
JPWO2019188348A1 (ja) 2021-03-25

Similar Documents

Publication Publication Date Title
JP6918210B2 (ja) 距離情報取得装置、マルチパス検出装置およびマルチパス検出方法
US9417326B2 (en) Pulsed light optical rangefinder
JP6981997B2 (ja) 距離測定装置
US20210116572A1 (en) Light ranging apparatus
JPWO2017141957A1 (ja) 距離測定装置
JP2021518551A (ja) リアルタイム検出に対するレーザパルスエッジの検出
US10705215B2 (en) Distance measurement apparatus, and method of measuring distance
US11828850B2 (en) 3D image sensor and related 3D image sensing module and hand-held device
US11474217B2 (en) Time of flight device and time of flight method
JP2022531578A (ja) Ｌｉｄａｒシステムにおける時間的ジッタ
JPWO2019181518A1 (ja) 距離測定装置、距離測定システム、距離測定方法、及びプログラム
JP2009124666A (ja) 光電センサ
US20220179079A1 (en) Time-of-flight ranging device and time-of-flight ranging method
US10382012B2 (en) Navigation device and track smoothing method thereof
JP7259525B2 (ja) 光測距装置およびその方法
CN111522024B (zh) 解决多路径损坏的图像处理系统、方法和成像设备
JP7149505B2 (ja) 測距方法、測距装置、及び、プログラム
WO2021199225A1 (ja) 情報処理システム、センサシステム、情報処理方法、及びプログラム
KR20210153563A (ko) 깊이 검출을 위한 히스토그램 비닝 시스템 및 방법
CN115176174A (zh) 测距摄像装置
US20240012424A1 (en) Moving robot with improved identification accuracy of step distance
JP7234069B2 (ja) 検知システム及び検知方法
WO2022209219A1 (ja) 測距装置およびその信号処理方法、並びに、測距システム
JP2002221408A (ja) 光学測定装置
JPWO2021181841A5 (ja)

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210720

R150 Certificate of patent or registration of utility model

Ref document number: 6918210

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150