JPWO2010100846A1 - 距離測定装置、距離測定方法、プログラムおよび集積回路 - Google Patents
距離測定装置、距離測定方法、プログラムおよび集積回路 Download PDFInfo
- Publication number
- JPWO2010100846A1 JPWO2010100846A1 JP2011502616A JP2011502616A JPWO2010100846A1 JP WO2010100846 A1 JPWO2010100846 A1 JP WO2010100846A1 JP 2011502616 A JP2011502616 A JP 2011502616A JP 2011502616 A JP2011502616 A JP 2011502616A JP WO2010100846 A1 JPWO2010100846 A1 JP WO2010100846A1
- Authority
- JP
- Japan
- Prior art keywords
- distance
- unit
- charge
- storage element
- phase shift
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 65
- 238000003860 storage Methods 0.000 claims abstract description 348
- 238000004364 calculation method Methods 0.000 claims abstract description 169
- 230000010363 phase shift Effects 0.000 claims description 301
- 238000005259 measurement Methods 0.000 claims description 173
- 238000009826 distribution Methods 0.000 claims description 126
- 230000010354 integration Effects 0.000 claims description 60
- 238000012546 transfer Methods 0.000 claims description 53
- 238000009825 accumulation Methods 0.000 claims description 38
- 230000001678 irradiating effect Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 15
- 238000002366 time-of-flight method Methods 0.000 description 26
- 238000003384 imaging method Methods 0.000 description 22
- 238000005070 sampling Methods 0.000 description 20
- 238000012545 processing Methods 0.000 description 18
- 238000001514 detection method Methods 0.000 description 14
- 238000000691 measurement method Methods 0.000 description 12
- 239000003990 capacitor Substances 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 238000010351 charge transfer process Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
- G01S7/4913—Circuits for detection, sampling, integration or read-out
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/499—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
TOF方式とは、距離測定の対象とする空間に強度変調した光を照射し、その反射波の位相ずれを検出することで、距離を測定するものである。なお、TOF方式により距離測定を行うために用いる強度変調した光は、正弦波、三角波、パルス波など様々であるが、基本原理は同様である
図1は、TOF方式の原理を説明するための説明図である。光の強度を変調した光(光強度変調光)の光強度の変調周期をT、角周波数をω、時刻0、T/4、T/2、3T/4における反射波の強度を、それぞれ、A0、A1、A2、A3とするとき、距離測定の対象空間に照射した光強度変調光と、その反射波(反射光)との位相ずれ量
(以下、これを「Δψ」と表記することもある。)は、(数式1)により、
しかしながら、TOF方式による距離測定方法には、「距離精度」(測定距離の精度)と「最大検出距離」にトレードオフがある。すなわち、「距離精度」は、距離測定に用いる光強度変調光の光強度の変調周波数に比例するが、「最大検出距離」は、光強度変調光の光強度の変調周波数に反比例する。よって、距離測定に用いる光強度変調光の光強度の変調周波数が高周波であるほど距離精度は高精度になるが、最大検出距離は短くなる。逆に、距離測定に用いる光強度変調光の光強度の変調周波数が低周波であるほど長距離まで検出可能となるが距離精度は低精度となってしまう。
これは、TOF方式による距離測定方法では、距離測定に用いる光強度変調光の光強度の変調周期の1周期以上の位相ずれを検出できないためである。
本発明は、上記課題に鑑み、分波回路規模を大幅に削減し、取得される距離画像の解像度低下を最小限に抑えることで、取得される距離画像の高解像度化、測定距離精度の高精度化、および、測定距離の長距離化を実現することができる多重波を用いた距離測定装置を提供することを目的とする。
照射部は、
fn+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化することで生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する。受光素子部は、照射部から照射された多重変調光の距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する。分配部は、受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する。蓄積素子部は、分配部から出力される電荷を蓄積する。距離算出部は、蓄積素子部により蓄積された電荷量から、距離測定対象までの距離を算出する。
つまり、この距離測定装置では、「互いに偶数倍」の関係となる複数の周波数を多重化することで、分配制御のみによる分波が可能となる。TOF方式の距離測定では、通常、(数式1)のように、半周期ごとの値の減算を行うので、「互いに偶数倍」の関係であれば、半周期後に同じ値となるため、減算により打ち消しあうことを用いている。
これにより、この距離測定装置では、加減算のみで分波できるので、分波回路規模を大幅に削減することができ、かつ、多重変調光を用いた精度の高い、長距離まで測定できる距離測定を行うことが可能となる。
「照射部」は、例えば、LED光源やレーザー光源を用いて実現することができる。これに光強度変調光を照射させるための光強度変調信号発生部を含むようにしてもよい。また、赤外光など、不可視光を用いると被写体が人物等である場合にも不快を与えないのでよい。また、照射部により照射される「多重変調光」は電磁波であり、赤外光、可視光以外の周波数の電磁波であってもよく、また、音波(超音波など)を用いてもよい。
「距離測定対象」とは、光波測距儀では、測定対象物における1点を指すが、距離画像センサでは、イメージセンサにより撮像される空間全体(以下、「対象空間」と表現することがある)のことを指す。
「受光素子部」とは、例えば、イメージセンサ(CCD型イメージセンサやCMOS型イメージセンサ)などにより実現可能である。
また、照射部が照射する電磁波に応じて、受光素子部に光学フィルタを備えるようにしてもよい。例えば、照射部から赤外光が照射される場合、受光素子部に赤外光以外の電磁波を遮断する赤外光用の光学フィルタを備え、受光素子部の受光素子に赤外光成分以外の電磁波が入射されないようにしてもよい。
なお、蓄積素子部は、複数の蓄積素子(電荷蓄積素子)を用いる構成にしてもよい。
「所定のタイミング」とは、例えば、多重変調光に含まれる各周波数成分の周期をTnとするとき、時刻t=0、Tn/4、Tn/2、3Tn/4である。なお、これは一例にすぎず、基本的には、未知パラメータは3つ(後述するΔψ、A、B)であるから、反射光(反射波)から少なくとも3点サンプリング値を取得できるタイミングであれば、「所定のタイミング」をどの時刻に設定してもよい。
「切り替え」とは、分配制御などのことを指す。
第2の発明は、第1の発明であって、蓄積素子部は、多重変調光に含まれる各周波数fn(1≦n≦N)に対して、少なくとも1つの蓄積素子を備える。
この距離測定装置では、各周波数成分に対応する電荷量を個別に保持する蓄積素子を備えているので、各周波数成分別に設けられた蓄積素子に各周波数成分に対応する電荷量を個別に保持することができ、距離算出部において、各周波数成分の位相ずれを算出することができる。
なお、この距離測定装置では、単波のTOF方式の距離測定を用いる距離測定装置に比べて、例えば、2重波(高周波の周波数が低周波のk(≧2)倍とする)の場合、2倍の数の蓄積素子が必要となるが、距離測定精度はk(≧2)倍になる。
この距離測定装置では、「互いに偶数倍」の関係で周波数多重されており、各周波数fnに対して、fnを超える高周波成分は、半周期(Tn/2)後に同値になるので、減算により除去することができる。また、fn未満の低周波成分の各時刻における全ての値は、最長周期T1の間に、逆符号の同値になるペアが存在するので、積算により除去することができる(詳細は後述する)。すなわち、分配部の分配制御のみで、簡単に、分波することができるので、分波回路規模を大幅に削減することができ、かつ、多重変調光を用いた精度の高い、長距離まで測定できる距離測定を行うことが可能となる。
(1)周期T1の間、所定の時刻における蓄積電荷量のサンプリング値を加算(積算)し続けること、または、
(2)周期T1の間、所定の時刻を含む所定の積分期間において取得した蓄積電荷量の積分値を加算(積算)し続けること、
を含む概念である。
第4の発明は、第3の発明であって、蓄積素子部は、時刻t0および時刻t2における電荷量の差分電荷量を、少なくとも最長周期T1の間蓄積し(この蓄積により取得(生成)される信号を第1差分積算信号とする。)、蓄積した電荷量を前記距離算出部に電荷転送した後、時刻t1および時刻t3における電荷量の差分電荷量を、少なくとも前記最長周期T1の間蓄積する(この蓄積により取得(生成)される信号を第2差分積算信号とする。)。
この距離測定装置では、差分電荷量を蓄積するので、最長周期T1の間、定常成分(外光など)を打ち消しながら強度変調光成分のみを蓄積することができ、受光素子の飽和を抑制することができる。このため、より強く強度変調光を照射することができ、距離精度が向上する。
また、この距離測定装置では、各周波数に対して1つの蓄積素子を用いるので、第1差分積算信号蓄積中の第2差分積算信号成分は捨てることになるが(逆も同様)、蓄積素子増加による回路規模増大を最小限に抑えることができるので、解像度を優先する場合は、この距離測定装置の構成を採用することが好ましい。
この距離測定装置では、2つの蓄積素子(第1の蓄積素子部および第2の蓄積素子部)を用いるので、回路規模は多少増大するが、第1・第2差分積算信号を同時に保持することができる。このため、第1・第2差分積算信号に時間遅延がなく、被写体が動いた場合の動きぼけを低減することができ、高精度な距離画像を取得することができる。また、この距離測定装置では、蓄積素子数は2倍になるが、その他の回路は共通であるから、全体の回路規模は2倍以下になる。
第1差分積算信号として、
に相当する電荷を蓄積し、
第2差分積算信号として、
に相当する電荷を蓄積する。
ここで、「時刻t0に対応する蓄積電荷量、時刻t1に対する蓄積電荷量、時刻t2に対する蓄積電荷量、および、時刻t3に対する蓄積電荷量の全てに対して順次行う」には、4!(4の階乗)通りの順番がある。つまり、時刻t0に対応する蓄積電荷量をE(t0)とし、時刻t1に対応する蓄積電荷量をE(t1)とし、時刻t2に対応する蓄積電荷量をE(t2)とし、時刻t3に対応する蓄積電荷量をE(t3)とすると、E(t0)、E(t1)、E(t2)、E(t3)の順番に電荷転送処理をおこなってもよいし、E(t3)、E(t2)、E(t1)、E(t0)の順番に電荷転送処理を行ってもよい。転送順序は、上記の通り、4!(4の階乗)通りあり、そのいずれの順序により電荷転送処理を行ってもよい。
この距離測定装置では、電流を逆向きにする回路は不要であるので、より回路規模を小さくすることができ、距離画像の解像度が向上する。
また、この距離測定装置では、各周波数に対して1つの蓄積素子を用いるので、各積算信号取得中の、その他の積算信号成分は捨てることになるが、蓄積素子増加による回路規模増大を最小限に抑えることができるので、解像度を優先する場合は、この距離測定装置の構成を採用することが好ましい。
ここで、「時刻t0〜t3のうち任意の2つの時刻」とは、例えば、時刻t0および時刻t2であり、「残りの2つの時刻」とは、例えば、時刻t1および時刻t3である。
この距離測定装置では、2つの蓄積素子を用いるので、回路規模は多少増大するが、2つの積算信号を同時に保持することができる。このため、この2つの積算信号の時間遅延がなく、被写体が動いた場合の動きぼけを低減することができ、高精度な距離画像を取得することができる。また、この距離測定装置では、蓄積素子数は2倍になるが、その他の回路は共通であるから、全体の回路規模は2倍以下になる。
第9の発明は、第3の発明であって、蓄積素子部は、第0の蓄積素子部と、第1の蓄積素子部と、第2の蓄積素子部と、第3の蓄積素子部と、を有し、少なくとも前記最長周期T1の間、第0の蓄積素子部は、時刻t0における電荷量を蓄積し(第0積算信号)、第1の蓄積素子部は、時刻t1における電荷量を蓄積し(第1積算信号)、第2の蓄積素子部は、時刻t2における電荷量を蓄積し(第2積算信号)、第3の蓄積素子部は、時刻t3における電荷量を蓄積する(第3積算信号)。
この距離測定装置では、4つの蓄積素子を用いるので、回路規模は多少増大するが、4つの積算信号を同時に保持することができる。このため、この4つの積算信号の時間遅延がなく、被写体が動いた場合の動きぼけを低減することができ、高精度な距離画像を取得することができる。また、この距離測定装置では、蓄積素子数は4倍になるが、その他の回路は共通であるから、全体の回路規模は4倍以下になる。
第0積算信号として、
に相当する電荷を蓄積し、
第1積算信号として、
に相当する電荷を蓄積し、
第2積算信号として、
に相当する電荷を蓄積し、
第3積算信号として、
に相当する電荷を蓄積する。
これにより、検出位相ずれ限界(π/2)以上の高周波位相ずれを検出できるので、高精度かつ長距離測定可能となる。
第12の発明は、第11の発明であって、低周波位相ずれ量をΔψi(周波数fi)とし、高周波位相ずれ量をΔψj(周波数fj)とし、光速をcとするとき、距離算出部は、多重変調光に含まれる各周波数の位相ずれ量、最終位相ずれ量、および、距離Lを、それぞれ、
により算出する。
この距離測定装置では、低周波位相ずれΔψiを高周波位相ずれ量に換算した
(低精度だがπ/2以上の範囲に相当する距離測定が可能。)を算出し、これと高周波位相ずれ量Δψj(高精度だが±π/2の範囲のみでの相当する距離測定が可能)を組み合わせることで、π/2以上の高周波位相ずれ量である最終位相ずれ量であるΔψ(高精度かつπ/2以上の範囲に相当する距離測定が可能。)を算出することができる。
これにより、この距離測定装置では、長距離測定可能、かつ、高精度の距離測定を行うことができる。
により算出する。
この距離測定装置では、図2または図6に示すように、各時刻の電荷蓄積時間τ(>0)を考慮して位相ずれ量Δψを求める。一般に、瞬時値(サンプリング値)ではなく、積分値を用いて位相ずれ量Δψを求めることで、ノイズの影響を受けにくくすることができるため好ましいが、位相ずれ量算出式は、上式のように変化する。
例えば、図2のように、t=0〜τ、T/4〜T/4+τ、T/2〜T/2+τ、3T/4〜3T/4+τを積分期間とすると、位相ずれΔψは、(数式3)により、
これにより、この距離測定装置では、電荷蓄積時間τによる位相ずれ誤差を補正することができるので、電荷蓄積時間τを長くでき、さらに精度を向上させることができる。
例えば、ψ1=40°、ψ2=80°、ψ3=120°のとき、低周波位相ずれをψ2(=80°)とする。
なお、TOF方式における位相ずれ量は、周波数に比例する。一般的に、f(t)のフーリエ変換をF(ω)とするとき、f(t−Δt)のフーリエ変換はF(ω)exp(−ωΔt)となり、位相ずれ量Δψ=ωΔtとなり、周波数に比例する(線形位相。直線位相とも呼ばれる)。
この距離測定装置では、多重変調光に含まれる各周波数成分の中で、最も精度の高い低周波成分を用いるので、さらに距離測定の精度が向上する。この距離測定装置により取得される距離画像では、これを画素ごとに行うことで、各画素における測距対象物の距離に応じて最も精度の高い低周波成分を用いることができ、これにより、各画像の距離精度が向上する。
を用いる。
これにより、この距離測定装置では、
において、分母の値が小さく、除算結果が発散する場合には、低周波位相ずれΔψiを高周波位相ずれ量に換算した
(低精度だがπ/2以上の範囲に相当する距離測定が可能。)に基づいて距離を算出することによって、距離測定不能な場合が発生することを回避することができる。
低周波成分は、粗く測距するためのものなので、振幅を小さくしてもよく、これにより蓄積素子の飽和を低減することができる。
第17の発明は、照射部と、受光素子部と、分配部と、蓄積素子部と、を備える距離測定装置に用いられる距離測定方法であって、分配制御ステップと、距離算出ステップと、を備える。
照射部は、
fn+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化することで生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する。受光素子部は、照射部から照射された多重変調光の距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する。分配部は、受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する。蓄積素子部は、分配部から出力される電荷を蓄積する。
分配制御ステップでは、分配部の出力先を、所定のタイミングで、所定の出力先に切り替えるように制御する。距離算出ステップでは、第1の蓄積素子部および第2の蓄積素子部により蓄積された電荷量に基づいて、距離測定対象までの距離を算出する。
これにより、第1の発明と同様の効果を奏する距離測定方法を実現することができる。
照射部は、
fn+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化することで生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する。受光素子部は、照射部から照射された多重変調光の距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する。分配部は、受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する。蓄積素子部は、分配部から出力される電荷を蓄積する。
分配制御ステップでは、分配部の出力先を、所定のタイミングで、所定の出力先に切り替えるように制御する。距離算出ステップでは、第1の蓄積素子部および第2の蓄積素子部により蓄積された電荷量に基づいて、距離測定対象までの距離を算出する。
これにより、第1の発明と同様の効果を奏する距離測定方法をコンピュータに実行させるプログラムを実現することができる。
照射部は、
fn+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化することで生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する。受光素子部は、照射部から照射された多重変調光の距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する。分配部は、受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する。蓄積素子部は、分配部から出力される電荷を蓄積する。距離算出部は、蓄積素子部により蓄積された電荷量から、距離測定対象までの距離を算出する。
これにより、第1の発明と同様の効果を奏する集積回路を実現することができる。
[第1実施形態]
本発明の第1実施形態である距離測定装置1について、図3〜5を用いて説明する。
第1実施形態では、多重変調光(複数の周波数により光強度変調された光強度変調光を重畳(多重)した光強度変調光)として、3種類の周波数(低周波、中周波、高周波)により、それぞれ、光強度変調された3つの光強度変調光を重畳(多重)した3重変調光(3重波)を採用する場合について説明する。なお、重畳(多重)される光強度変調光の周波数の関係は、「互いに偶数倍」の周波数となる関係にする。ここでは、最も簡単な例として、基準周波数f(周期T)を用いて、
低周波:f1=f、
中周波:f2=2・f、
高周波:f3=4・f
とする(以下では、「f1」を「f1」と、「f2」を「f2」と、「f3」を「f3」と表記することがある)。つまり、低周波数により光強度変調された光強度変調光(低周波)の光強度変調周波数をf1(=f)とし、中周波数により光強度変調された光強度変調光(中周波)の光強度変調周波数をf2(=2・f)とし、高周波数により光強度変調された光強度変調光(高周波)の光強度変調周波数をf3(=4・f)とする。
fn+1=2kn・fn(fn+1>fn、nおよびknは自然数)
が成立する関係をいう。
また、以下では、3重変調光(3重波)を用いる場合について説明するが、通常は、多重変調光として、2重波(互いに偶数倍の関係にある光強度変調光周波数により光強度変調された低周波および高周波の2つの光強度変調光を重畳(多重)した多重変調光)を用いれば十分である(2重波により本実施形態の距離測定を実現すれば、十分、取得される距離画像の高解像度化、測定距離精度の高精度化、および、測定距離の長距離化を実現することができる)。
<1.1:距離推定装置の構成>
図3は、本発明の第1実施形態における距離測定装置1の概略構成を示すブロック図である。
図3に示すように、本発明の第1実施形態による距離測定装置1は、多重変調光を撮像空間に照射する照射部10と、照射部10から照射された多重変調光の撮像空間からの反射波である反射多重変調光を受光する受光部20と、受光部20の出力から距離測定装置1と撮像空間内の被写体(距離測定対象)と間の距離を算出する距離算出部30と、照射部10、受光部20および距離算出部30を制御する制御部40と、を備える。
受光部20は、複数の(画素数分の)電荷蓄積部200(1つの電荷蓄積部200が1つの画素に対応する。)と、電荷転送部210と、を備える。
電荷蓄積部200は、画素ごとに、受光素子部201と、分配部202と、第1波成分用蓄積素子部211A、211Bと、第2波成分用蓄積素子部221A、221Bと、第3波成分用蓄積素子部231A、231Bと、を備える。なお、以下では、第1波成分用蓄積素子部から第N波成分用蓄積素子部(ここでは、N=3)をまとめて、「蓄積素子部」ということがある。
分配部202は、制御部40により分配制御を行う。分配部202は、制御部40により指示される所定のタイミングで、受光素子部201から出力される電荷(電気信号)を、第1波成分用蓄積素子部211A、211B、第2波成分用蓄積素子部221A、221B、第3波成分用蓄積素子部231A、231B、のいずれかに出力する。
第1波成分用蓄積素子部211Aは、電荷蓄積素子を有し、受光素子部201から分配部202を介して出力される電荷(電気信号)を蓄積する。第1波成分用蓄積素子部211Aは、反射波の低周波成分のみの電荷を蓄積する(詳細については後述)。
第2波成分用蓄積素子部221Aは、電荷蓄積素子を有し、受光素子部201から分配部202を介して出力される電荷(電気信号)を蓄積する。第2波成分用蓄積素子部221Aは、反射波の中周波成分のみの電荷を蓄積する(詳細については後述)。
第2波成分用蓄積素子部221Bは、電荷蓄積素子を有し、受光素子部201から分配部202を介して出力される電荷(電気信号)を蓄積する。第2波成分用蓄積素子部221Bは、反射波の中周波成分のみの電荷を蓄積する(詳細については後述)。
第3波成分用蓄積素子部231Aは、電荷蓄積素子を有し、受光素子部201から分配部202を介して出力される電荷(電気信号)を蓄積する。第3波成分用蓄積素子部231Aは、反射波の高周波成分のみの電荷を蓄積する(詳細については後述)。
なお、電荷蓄積部200では、多重変調光の多重度が「3」(低周波、中周波、高周波の3つの光強度変調光を重畳(多重)。)であるため、3つの成分用の蓄積素子部(211A、211B、221A、221B、231A、231B)を備える構成となっている。多重度が「N」の場合は、電荷蓄積部200は、N個の成分用の蓄積素子部を備える構成(例えば、N×2個の蓄積素子部を備える構成)にすればよい。
また、受光素子部201と、分配部202と、蓄積素子部(211A、211B、221A、221B、231A、231B)と、の構成の一例(特許文献3図8記載)を、図4に示す。図4に示すように、フォトダイオードPD1およびPD2(受光素子部201の一部に相当。)に流れる電流I1およびI2を、分配部(一部)202Aを介して、蓄積素子部(図4では第1波成分用蓄積素子部211A)に流すことで、電荷蓄積処理を実行する。具体的には、制御部40からの分配制御信号に基づいて、分配部202Aの分配制御を切り替えることで、蓄積素子部(図4では第1波成分用蓄積素子部211A)のコンデンサに流れる電流の向きを変え、蓄積素子部(図4では第1波成分用蓄積素子部211A)のコンデンサに差分電荷を蓄積させる。
電荷転送部210は、各画素に対応する電荷蓄積部200の蓄積素子部(211A、211B、221A、221B、231A、231B)から出力される蓄積電荷(蓄積電荷に対応する電気信号)を、入力とし、制御部40により指示される所定のタイミングで、距離算出部30に転送する。
距離算出部30は、受光部20の電荷転送部210からの出力を入力とし、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)に基づいて各画素についての距離値を算出し、各画素が距離値となる距離画像を生成して出力する。なお、距離算出部30は、アナログ信号のまま距離算出についての計算を行うものであってもよいし、A/D変換後にディジタル処理により距離算出についての計算を行うものであってもよい。
第1波位相ずれ量算出部31は、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)を入力とし、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)に基づいて、低周波位相ずれ量を算出する。そして、第1波位相ずれ量算出部31は、算出した低周波位相ずれ量を距離値取得部34に出力する。
第2波位相ずれ量算出部32は、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)を入力とし、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)に基づいて、中周波位相ずれ量を算出する。そして、第2波位相ずれ量算出部32は、算出した低周波位相ずれ量を距離値取得部34に出力する。
距離値取得部34は、第1波位相ずれ量算出部31により算出された低周波位相ずれ量、第2波位相ずれ量算出部32により算出された中周波位相ずれ量、および、第3波位相ずれ量算出部33により算出された高周波位相ずれ量を入力として、低周波位相ずれ量、中周波位相ずれ量および高周波位相ずれ量に基づいて、各画素について、距離(距離値)を算出する。そして、距離値取得部34は、各画素が算出した距離値となる距離画像を生成して、生成した距離画像を出力する。
以上のように構成された距離測定装置1の動作について、説明する。
照射部10により、「互いに偶数倍」の関係となる周波数を有する多重変調光(例:低周波f1=f、中周波f2=2・f、高周波f3=4・f、fは基準周波数)が、距離測定対象空間である撮像空間へ照射される。
受光部20では、撮像空間からの多重変調光の反射光を受光する。つまり、撮像空間からの多重変調光の反射光は、各画素に対応する電荷蓄積部200の受光素子部201で受光され、光電変換により、受光素子部201で受光した光量に応じた電荷を発生させる。そして、発生させた電荷(電気信号)は、分配部202に出力される。
分配部202では、受光素子部201により取得された電荷(電気信号)を、制御部40からの指令に基づいて、所定のタイミングで切り替えながら、蓄積素子部(211A、211B、221A、221B、231A、231B)に出力する。
ここで、「所定のタイミング」は、図5に示すように、高周波の4分の1周期(T/16)ごとの時刻とする。t=jT/16(0≦j<16、jは整数)における反射波f(t)の値Ajは、低周波成分Bj、中周波成分Cj、高周波成分Dj、変数α、定数βを用いて、
Aj=α(Bj+Cj+Dj)+β
となる。なお、変数αは、照射部10の強度、被写体の反射率、反射角度、反射の種類(鏡面反射、拡散反射等)、被写体までの距離などに依存する変数である。また、定数βは、環境光の強度、被写体の反射率などに依存する変数である。
A8−A0=α(B8+C8+D8)−α(B0+C0+D0)
に相当する電荷を蓄積する。つまり、第1波成分用蓄積素子部211Aには、時刻t=8T/16における蓄積電荷量A8(所定のサンプリング期間によりサンプル値(サンプリングは、分配部202による分配制御により行う。))と時刻t=0における蓄積電荷量A0(所定のサンプリング期間によりサンプル値)との差分電荷を蓄積する。
上式では、定数β(定常成分)は減算により打ち消される。ここで、中周波および高周波の周波数は、低周波の偶数倍であるから、図5からも明らかなように、低周波の半周期後の時刻における中周波の値(C0、C8)および高周波の値(D0、D8)は同じ値となる。
A8−A0=α(B8−B0)
となり、これに相当する電荷が第1波成分用蓄積素子部211Aに蓄積される。つまり、第1波成分用蓄積素子部211Aには、低周波成分のみの電荷が蓄積される。
同様にして、第1波成分用蓄積素子部211Bには、
A4−A12=α(B4−B12)
に相当する電荷が蓄積される。つまり、第1波成分用蓄積素子部211Bには、低周波成分のみの電荷が蓄積される。
第2波成分用蓄積素子部221Aには、制御部40が分配部202に対して、分配制御を行うことで、
(A4−A0)+(A12−A8)
に相当する電荷を蓄積する。すなわち、最低周波数f1の1周期Tの間、蓄積し続ける。ここで、高周波の周波数は、中周波の偶数倍であるから、
D4=D0、D12=D8
であり、高周波成分は減算により打ち消しあう。一方、中周波の周波数は、低周波の偶数倍であるから、
B8=−B0、B12=−B4
であり、低周波成分は加算により打ち消しあう。また、
C0=C8、C4=C12
である。よって、第2波成分用蓄積素子部221Aには、
(A4−A0)+(A12−A8)=2α(C4−C0)
が蓄積される。つまり、第2波成分用蓄積素子部221Aには、中周波成分のみの電荷が蓄積される。
(A2−A6)+(A10−A14)=2α(C2−C6)
が蓄積される。つまり、第2波成分用蓄積素子部221Bには、中周波成分のみの電荷が蓄積される。
第3波成分用蓄積素子部231Aには、制御部40が分配部202に対して、分配制御を行うことで、
(A2−A0)+(A6−A4)+(A10−A8)+(A14−A12)
に相当する電荷を蓄積する。すなわち、最低周波数f1の1周期Tの間、蓄積し続ける。同様に、図5より、
C4=−C0、C6=−C2、C12=−C8、C14=−C10
B8=−B0、B10=−B2、B12=−B4、B14=−B6
D0=D4=D8=D12、D2=D6=D10=D14
より、
(A2−A0)+(A6−A4)+(A10−A8)+(A14−A12)=4α(D2−D0)
となる。つまり、つまり、第3波成分用蓄積素子部231Aには、高周波成分のみの電荷が蓄積される。
(A1−A3)+(A5−A7)+(A9−A11)+(A13−A15)=4α(D1−D3)
が蓄積される。つまり、第3波成分用蓄積素子部231Bには、高周波成分のみの電荷が蓄積される。
距離測定装置1では、このようにして、分波処理が実行される。
≪分波原理について≫
次に、この分波原理(上記分波処理の原理)が一般的に成立することを証明する。
反射波(多重度N)を、
反射波f(t)から、第n周波数成分(1≦n≦N)を分波するために、時刻t=0およびTn/2における反射光の差分電荷を、第1周波数(=最低周波数)の1周期の間、積算処理(サンプリング時刻における離散値の加算処理)を実行し続け(波数kn)、上記第1波成分用の蓄積素子に第1差分積算信号
また、時刻t=Tn/4および3Tn/4における反射光の差分電荷を、第1周波数(=最低周波数)の1周期の間、積算処理(サンプリング時刻における離散値の加算処理)を実行し続け(波数kn)、上記第2波成分用の蓄積素子に第2差分積算信号、
また、距離測定装置1において、図6に示すように、サンプリング値(上記の場合)ではなく積分値を用いて、位相ずれ量を算出するようにしてもよい。距離測定装置1において、積分値を用いて位相ずれ量を算出する場合、蓄積素子部に蓄積される電荷量が多くなり、S/N比を良くすることができる(距離測定に用いる電荷量に対するノイズ量の割合が低減される)ので、さらに、高精度の距離測定が可能となる。
なお、積分値を用いて、位相ずれ量を算出する場合の位相ずれ量は、t=jTN/4〜jTN/4+τ(0≦j<4ωN/ω1、jは整数)における反射波f(t)の積分値をAjとし、これに含まれる低周波成分をBj、中周波成分をCj、高周波成分をDjとし、上記と同様の計算を行うことで取得することができる。なお、図6の例では、N=3、TN=T3=T/4、ωN/ω1=ω3/ω1=4より、積分区間はt=jT/16〜(j+1)T/16(0≦j<16、jは整数)となる。
この場合、位相ずれ量Δψnは、
また、距離測定装置1において、積分値による位相ずれ量を算出する場合、制御部40が、分配部202に対する分配制御(分配タイミングおよび分配期間)を調整することで、蓄積素子部(211A、211B、221A、221B、231A、231B)に、所定の積分期間による積分値に相当する電荷を蓄積させることができる。
次に、電荷転送部210以降の処理について説明する。
電荷転送部210では、各画素に対応する蓄積素子部(211A、211B、221A、221B、231A、231B)の電荷を、制御部40からの指令により、所定のタイミングで、距離算出部30へ転送する。なお、「所定のタイミング」とは、蓄積素子部(211A、211B、221A、221B、231A、231B)の蓄積電荷(蓄積電荷に対応する電気信号)が、混同(混合)されることなく、距離算出部30に転送されるものであればよい。例えば、CCDデバイス等で用いられている蓄積電荷の転送方法に基づいた転送方式(例えば、順次転送方式)により、蓄積素子部(211A、211B、221A、221B、231A、231B)の蓄積電荷(蓄積電荷に対応する電気信号)を距離算出部30に転送するようにすればよい。
具体的には、第1波位相ずれ量算出部31では、電荷転送部210から転送される、第1波成分用蓄積素子部211Aの蓄積電荷(α(B8−B0))および第1波成分用蓄積素子部211Bの蓄積電荷(α(B4−B12))に基づいて、低周波位相ずれΔψ1が、
第2波位相ずれ量算出部32では、電荷転送部210から転送される各画素についての蓄積電荷量に基づいて、各画素についての中周波位相ずれ量が算出される。
具体的には、第2波位相ずれ量算出部32では、電荷転送部210から転送される、第2波成分用蓄積素子部221Aの蓄積電荷(2α(C4−C0))および第2波成分用蓄積素子部221Bの蓄積電荷(2α(C2−C6))に基づいて、低周波位相ずれ量Δψ2が、
第3波位相ずれ量算出部33では、電荷転送部210から転送される各画素についての蓄積電荷量に基づいて、各画素についての高周波位相ずれ量が算出される。
具体的には、第3波位相ずれ量算出部33では、電荷転送部210から転送される、第3波成分用蓄積素子部231Aの蓄積電荷(4α(D2−D0))および第3波成分用蓄積素子部231Bの蓄積電荷(4α(D1−D3))に基づいて、高周波位相ずれ量Δψ3が、
距離値取得部34では、第1波位相ずれ量算出部31により算出された低周波位相ずれ量、第2波位相ずれ量算出部32により算出された中周波位相ずれ量、および、第3波位相ずれ量算出部33により算出された高周波位相ずれ量、の3つの位相ずれ量に基づいて、各画素について、距離(距離値)が算出される。
具体的には、距離値取得部34は、各画素について、低周波位相ずれ量Δψ1、中周波位相ずれ量Δψ2および高周波位相ずれ量Δψ3に基づいて最終位相ずれ量Δψを決定し、これに基づき、各画素の距離値Lを算出する。
距離値取得部34では、例えば、低周波位相ずれ量Δψ1および高周波位相ずれ量Δψ3を用いて、最終位相ずれ量Δψが、
また、
距離値取得部34では、以上により算出された最終位相ずれ量Δψに基づいて、各画素についての距離値Lを、
(数式20)〜(数式24)に基づいて分かるように、距離測定装置1では、低周波f1により決定される最大測定可能距離範囲において、高周波f3により決定される高精度の距離測定が可能となる。
距離値取得部34は、画素ごとに、距離値Lを上記処理により取得し、取得(算出)した距離値Lを画素値とする距離画像を生成し、出力する。
以上のように、本実施形態に係る距離測定装置1では、「互いに偶数倍」の関係となる複数の周波数を多重化した多重変調光を用いて、分配制御のみによる分波が可能となる。また、距離測定装置1では、差分電荷を蓄積し続けるので、定常成分(環境光など)が減算により常に打ち消され、蓄積素子における蓄積電荷の飽和を抑えることができる。このため、距離測定装置1では、より強く変調光を距離測定対象である撮像空間(被写体)に照射することができ、距離測定精度を向上させることができる
したがって、本実施形態に係る距離測定装置1および距離測定方法により、分波回路規模を大幅に削減することができ、かつ、取得される距離画像の高解像度化、測定距離精度の高精度化、および、測定距離の長距離化を実現することができる。
なお、上記において、多重変調光の多重度は「3」(低周波、中周波、高周波)であるので、距離算出部30は、位相ずれ量を算出する機能部として、第1波位相ずれ量算出部31、第2波位相ずれ量算出部32、および、第3波位相ずれ量算出部33、の3つを備えているが、多重変調光の多重度は「N」の場合は、多重度に応じて、位相ずれ量を算出する機能部を設置し、上記同様の方法を、多重度「N」の場合に適用すればよい。このようにすることで、本実施形態に係る距離測定装置および距離測定方法を、多重変調光の多重度は「N」の場合においても、実現することができる。
次に、本実施形態に係る変形例について、説明する。
上記では、差分電荷を保存することで位相ずれ量を算出する場合について説明したが、蓄積素子部の電荷をそのまま(同符号のまま)蓄積した後、電荷転送部210を介して、位相ずれ量算出部(第1実施形態では、第1波位相ずれ量算出部31、第2波位相ずれ量算出部32、および、第3波位相ずれ量算出部33に相当。)に出力し、位相ずれ量算出部において減算することで、位相ずれ量を算出するようにしてもよい。この場合、蓄積素子部において、差分電荷を取得するための電流反転回路を不要にすることができる。
すなわち、第1周波数(=最低周波数)の1周期の間(波数kn)、時刻t=0における反射光の電荷の積算処理を行う。つまり、第1蓄積素子に、第0積算信号
そして、位相ずれ量算出部は、抽出した、各周波数成分の位相ずれのない周波数成分および位相が90°ずれた周波数成分に基づいて、各周波数成分の位相ずれ量を算出する。
そして、上記で説明したのと同様の方法により、最終位相ずれ量Δψを求め、最終位相ずれ量Δψに基づいて、画素ごとの距離値Lを算出する。
なお、上記処理のようにサンプリング値を用いるのでではなく、上記において、図6により説明したのと同様、積分値を用いて距離値Lを算出するようにしてもよい。サンプリング値の代わりに、積分値を用いて位相ずれ量Δψを求めることで、ノイズの影響を受けにくくすることができる。
以上により、本変形例では、電流反転回路を不要にできるので、距離測定装置において、画素ピッチサイズをさらに小さくすることができ、距離測定装置により取得される距離画像の解像度低下を低減できる。
したがって、本変形例に係る距離測定装置および距離測定方法により、分波回路規模を大幅に削減することができ、かつ、取得される距離画像の高解像度化、測定距離精度の高精度化、および、測定距離の長距離化を実現することができる。
上記実施形態の距離測定装置では、多重波(多重変調光)を用いて距離測定を行う場合について説明したが、これに限定されることはなく、例えば、異なる周波数により光強度変調された、複数の光強度変調光を交互に繰り返して(時分割で)測定対象の被写体(撮像空間)に照射する構成にしてもよい。 また、チャープ信号を用いて周波数を連続的に切り替えることによって生成された光強度変調光を用いて距離測定を行うようにしてもよい。例えば、チャープ信号を用いて周波数を低周波側からスキャンし、全画素における位相ずれ量がπ/2を超えないような、最大の周波数付近に強度変調周波数を設定することで、距離測定対象空間における最遠点にあわせた強度変調周波数を設定することができる。
また、距離測定対象とする撮像空間において、距離測定装置から距離測定対象の被写体までの距離のばらつきが大きい場合は、遠くに存在する被写体ほど、長い波長(光強度変調周波数の低い)の光強度変調光を用いて距離測定するようにしてもよい。例えば、被写体Aが遠くに存在し、被写体Bが近く存在する場合、距離測定装置において、被写体Aに対しては、長い波長(光強度変調周波数の低い)の光強度変調光(これを「光強度変調光A」、その光強度変調周波数を「fA」とする。)を用いて多重変調光(多重化される光強度変調光の光強度変調周波数の最低周波数をfAとする。)を生成し、被写体Aに当該多重変調光を照射し、上記で説明した距離測定方法により、被写体Aまでの距離を測定する。一方、被写体Bに対しては、光強度変調光Aよりも波長の短い光強度変調光B(この光強度変調周波数を「fB」とする。)を用いて多重変調光(多重化される光強度変調光の光強度変調周波数の最低周波数をfBとする。)を生成し、被写体Bに当該多重変調光を照射し、上記で説明した距離測定方法により、被写体Bまでの距離を測定する。距離測定装置において、このようにして距離測定を行うようにしてもよい。
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサーで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
10 照射部
20 受光部
200 電荷蓄積部
201 受光素子部
202 分配部
211A、211B、221A、221B、231A、231B 蓄積素子部
210 電荷転送部
30 距離画像取得部
31 第1波位相ずれ量算出部
32 第2波位相ずれ量算出部
33 第3波位相ずれ量算出部
34 距離値取得部
40 制御部
TOF方式とは、距離測定の対象とする空間に強度変調した光を照射し、その反射波の位相ずれを検出することで、距離を測定するものである。なお、TOF方式により距離測定を行うために用いる強度変調した光は、正弦波、三角波、パルス波など様々であるが、基本原理は同様である
図1は、TOF方式の原理を説明するための説明図である。光の強度を変調した光(光強度変調光)の光強度の変調周期をT、角周波数をω、時刻0、T/4、T/2、3T/4における反射波の強度を、それぞれ、A0、A1、A2、A3とするとき、距離測定の対象空間に照射した光強度変調光と、その反射波(反射光)との位相ずれ量
しかしながら、TOF方式による距離測定方法には、「距離精度」(測定距離の精度)と「最大検出距離」にトレードオフがある。すなわち、「距離精度」は、距離測定に用いる光強度変調光の光強度の変調周波数に比例するが、「最大検出距離」は、光強度変調光の光強度の変調周波数に反比例する。よって、距離測定に用いる光強度変調光の光強度の変調周波数が高周波であるほど距離精度は高精度になるが、最大検出距離は短くなる。逆に、距離測定に用いる光強度変調光の光強度の変調周波数が低周波であるほど長距離まで検出可能となるが距離精度は低精度となってしまう。
これは、TOF方式による距離測定方法では、距離測定に用いる光強度変調光の光強度の変調周期の1周期以上の位相ずれを検出できないためである。
本発明は、上記課題に鑑み、分波回路規模を大幅に削減し、取得される距離画像の解像度低下を最小限に抑えることで、取得される距離画像の高解像度化、測定距離精度の高精度化、および、測定距離の長距離化を実現することができる多重波を用いた距離測定装置を提供することを目的とする。
照射部は、
fn+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化することで生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する。受光素子部は、照射部から照射された多重変調光の距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する。分配部は、受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する。蓄積素子部は、分配部から出力される電荷を蓄積する。距離算出部は、蓄積素子部により蓄積された電荷量から、距離測定対象までの距離を算出する。
つまり、この距離測定装置では、「互いに偶数倍」の関係となる複数の周波数を多重化することで、分配制御のみによる分波が可能となる。TOF方式の距離測定では、通常、(数式1)のように、半周期ごとの値の減算を行うので、「互いに偶数倍」の関係であれば、半周期後に同じ値となるため、減算により打ち消しあうことを用いている。
これにより、この距離測定装置では、加減算のみで分波できるので、分波回路規模を大幅に削減することができ、かつ、多重変調光を用いた精度の高い、長距離まで測定できる距離測定を行うことが可能となる。
「照射部」は、例えば、LED光源やレーザー光源を用いて実現することができる。これに光強度変調光を照射させるための光強度変調信号発生部を含むようにしてもよい。また、赤外光など、不可視光を用いると被写体が人物等である場合にも不快を与えないのでよい。また、照射部により照射される「多重変調光」は電磁波であり、赤外光、可視光以外の周波数の電磁波であってもよく、また、音波(超音波など)を用いてもよい。
「距離測定対象」とは、光波測距儀では、測定対象物における1点を指すが、距離画像センサでは、イメージセンサにより撮像される空間全体(以下、「対象空間」と表現することがある)のことを指す。
「受光素子部」とは、例えば、イメージセンサ(CCD型イメージセンサやCMOS型イメージセンサ)などにより実現可能である。
また、照射部が照射する電磁波に応じて、受光素子部に光学フィルタを備えるようにしてもよい。例えば、照射部から赤外光が照射される場合、受光素子部に赤外光以外の電磁波を遮断する赤外光用の光学フィルタを備え、受光素子部の受光素子に赤外光成分以外の電磁波が入射されないようにしてもよい。
なお、蓄積素子部は、複数の蓄積素子(電荷蓄積素子)を用いる構成にしてもよい。
「所定のタイミング」とは、例えば、多重変調光に含まれる各周波数成分の周期をTnとするとき、時刻t=0、Tn/4、Tn/2、3Tn/4である。なお、これは一例にすぎず、基本的には、未知パラメータは3つ(後述するΔψ、A、B)であるから、反射光(反射波)から少なくとも3点サンプリング値を取得できるタイミングであれば、「所定のタイミング」をどの時刻に設定してもよい。
「切り替え」とは、分配制御などのことを指す。
第2の発明は、第1の発明であって、蓄積素子部は、多重変調光に含まれる各周波数fn(1≦n≦N)に対して、少なくとも1つの蓄積素子を備える。
この距離測定装置では、各周波数成分に対応する電荷量を個別に保持する蓄積素子を備えているので、各周波数成分別に設けられた蓄積素子に各周波数成分に対応する電荷量を個別に保持することができ、距離算出部において、各周波数成分の位相ずれを算出することができる。
なお、この距離測定装置では、単波のTOF方式の距離測定を用いる距離測定装置に比べて、例えば、2重波(高周波の周波数が低周波のk(≧2)倍とする)の場合、2倍の数の蓄積素子が必要となるが、距離測定精度はk(≧2)倍になる。
この距離測定装置では、「互いに偶数倍」の関係で周波数多重されており、各周波数fnに対して、fnを超える高周波成分は、半周期(Tn/2)後に同値になるので、減算により除去することができる。また、fn未満の低周波成分の各時刻における全ての値は、最長周期T1の間に、逆符号の同値になるペアが存在するので、積算により除去することができる(詳細は後述する)。すなわち、分配部の分配制御のみで、簡単に、分波することができるので、分波回路規模を大幅に削減することができ、かつ、多重変調光を用いた精度の高い、長距離まで測定できる距離測定を行うことが可能となる。
(1)周期T1の間、所定の時刻における蓄積電荷量のサンプリング値を加算(積算)し続けること、または、
(2)周期T1の間、所定の時刻を含む所定の積分期間において取得した蓄積電荷量の積分値を加算(積算)し続けること、
を含む概念である。
第4の発明は、第3の発明であって、蓄積素子部は、時刻t0および時刻t2における電荷量の差分電荷量を、少なくとも最長周期T1の間蓄積し(この蓄積により取得(生成)される信号を第1差分積算信号とする。)、蓄積した電荷量を前記距離算出部に電荷転送した後、時刻t1および時刻t3における電荷量の差分電荷量を、少なくとも前記最長周期T1の間蓄積する(この蓄積により取得(生成)される信号を第2差分積算信号とする。)。
この距離測定装置では、差分電荷量を蓄積するので、最長周期T1の間、定常成分(外光など)を打ち消しながら強度変調光成分のみを蓄積することができ、受光素子の飽和を抑制することができる。このため、より強く強度変調光を照射することができ、距離精度が向上する。
また、この距離測定装置では、各周波数に対して1つの蓄積素子を用いるので、第1差分積算信号蓄積中の第2差分積算信号成分は捨てることになるが(逆も同様)、蓄積素子増加による回路規模増大を最小限に抑えることができるので、解像度を優先する場合は、この距離測定装置の構成を採用することが好ましい。
この距離測定装置では、2つの蓄積素子(第1の蓄積素子部および第2の蓄積素子部)を用いるので、回路規模は多少増大するが、第1・第2差分積算信号を同時に保持することができる。このため、第1・第2差分積算信号に時間遅延がなく、被写体が動いた場合の動きぼけを低減することができ、高精度な距離画像を取得することができる。また、この距離測定装置では、蓄積素子数は2倍になるが、その他の回路は共通であるから、全体の回路規模は2倍以下になる。
第1差分積算信号として、
第7の発明は、第3の発明であって、蓄積素子部は、時刻t0〜t3のうちの任意の1つの時刻において、少なくとも最長周期T1の間電荷量を蓄積し、蓄積した電荷量を距離算出部に電荷転送する処理を、時刻t0に対応する蓄積電荷量、時刻t1に対する蓄積電荷量、時刻t2に対する蓄積電荷量、および、時刻t3に対する蓄積電荷量の全てに対して順次行うことにより、各時刻t0〜t3に対応した電荷量(第0〜第3積算信号)を距離算出部に電荷転送する。
ここで、「時刻t0に対応する蓄積電荷量、時刻t1に対する蓄積電荷量、時刻t2に対する蓄積電荷量、および、時刻t3に対する蓄積電荷量の全てに対して順次行う」には、4!(4の階乗)通りの順番がある。つまり、時刻t0に対応する蓄積電荷量をE(t0)とし、時刻t1に対応する蓄積電荷量をE(t1)とし、時刻t2に対応する蓄積電荷量をE(t2)とし、時刻t3に対応する蓄積電荷量をE(t3)とすると、E(t0)、E(t1)、E(t2)、E(t3)の順番に電荷転送処理をおこなってもよいし、E(t3)、E(t2)、E(t1)、E(t0)の順番に電荷転送処理を行ってもよい。転送順序は、上記の通り、4!(4の階乗)通りあり、そのいずれの順序により電荷転送処理を行ってもよい。
また、この距離測定装置では、各周波数に対して1つの蓄積素子を用いるので、各積算信号取得中の、その他の積算信号成分は捨てることになるが、蓄積素子増加による回路規模増大を最小限に抑えることができるので、解像度を優先する場合は、この距離測定装置の構成を採用することが好ましい。
第8の発明は、第3の発明であって、蓄積素子部は、第1の蓄積素子部と、第2の蓄積素子部と、を有し、第1の蓄積素子部および第2の蓄積素子部は、少なくとも最長周期T1の間、時刻t0〜t3のうち任意の2つの時刻における電荷量を蓄積し、蓄積した電荷量を距離算出部に電荷転送した後、少なくとも最長周期T1の間、残りの2つの時刻における電荷量を蓄積し、蓄積した電荷量を距離算出部に電荷転送することで、各時刻t0〜t3に対応した電荷量(第0〜第3積算信号)を距離算出部に電荷転送する。
この距離測定装置では、2つの蓄積素子を用いるので、回路規模は多少増大するが、2つの積算信号を同時に保持することができる。このため、この2つの積算信号の時間遅延がなく、被写体が動いた場合の動きぼけを低減することができ、高精度な距離画像を取得することができる。また、この距離測定装置では、蓄積素子数は2倍になるが、その他の回路は共通であるから、全体の回路規模は2倍以下になる。
第9の発明は、第3の発明であって、蓄積素子部は、第0の蓄積素子部と、第1の蓄積素子部と、第2の蓄積素子部と、第3の蓄積素子部と、を有し、少なくとも前記最長周期T1の間、第0の蓄積素子部は、時刻t0における電荷量を蓄積し(第0積算信号)、第1の蓄積素子部は、時刻t1における電荷量を蓄積し(第1積算信号)、第2の蓄積素子部は、時刻t2における電荷量を蓄積し(第2積算信号)、第3の蓄積素子部は、時刻t3における電荷量を蓄積する(第3積算信号)。
第10の発明は、第7から第9のいずれかの発明であって、多重変調光の前記距離対象からの前記反射波をf(t)とし、前記多重変調光に含まれる第n周波数(nは自然数、1≦n≦N)の周期をTn、前記最長周期T1に含まれる波数をkn(=fn/f1)とするとき、蓄積素子部は、
第0積算信号として、
第11の発明は、第1から第10のいずれかの発明であって、距離算出部は、多重変調光に含まれる各周波数の位相ずれ量を算出し、算出した位相ずれ量のうち、多重変調光に含まれる各周波数成分の中の任意の周波数成分の位相ずれ量である低周波位相ずれ量、および、多重変調光に含まれる各周波数成分の中に含まれ、低周波位相ずれ量に対応する周波数成分より高い周波数成分の位相ずれ量である高周波位相ずれ量から最終位相ずれ量を算出し、算出した最終位相ずれ量から距離を算出する。
これにより、検出位相ずれ限界(π/2)以上の高周波位相ずれを検出できるので、高精度かつ長距離測定可能となる。
第12の発明は、第11の発明であって、低周波位相ずれ量をΔψi(周波数fi)とし、高周波位相ずれ量をΔψj(周波数fj)とし、光速をcとするとき、距離算出部は、多重変調光に含まれる各周波数の位相ずれ量、最終位相ずれ量、および、距離Lを、それぞれ、
これにより、この距離測定装置では、長距離測定可能、かつ、高精度の距離測定を行うことができる。
第13の発明は、第12の発明であって、距離算出部は、各時刻における電荷蓄積時間τを考慮して、多重変調光に含まれる各周波数の位相ずれ量Δψnを、
この距離測定装置では、図2または図6に示すように、各時刻の電荷蓄積時間τ(>0)を考慮して位相ずれ量Δψを求める。一般に、瞬時値(サンプリング値)ではなく、積分値を用いて位相ずれ量Δψを求めることで、ノイズの影響を受けにくくすることができるため好ましいが、位相ずれ量算出式は、上式のように変化する。
例えば、図2のように、t=0〜τ、T/4〜T/4+τ、T/2〜T/2+τ、3T/4〜3T/4+τを積分期間とすると、位相ずれΔψは、(数式3)により、
これにより、この距離測定装置では、電荷蓄積時間τによる位相ずれ誤差を補正することができるので、電荷蓄積時間τを長くでき、さらに精度を向上させることができる。
第14の発明は、第11から第13のいずれかの発明であって、距離算出部は、多重変調光に含まれる各周波数の位相ずれ量ψnを添え字順(n=1、2、…)に並べ、初めてπ/2以上となる位相ずれ量の添え字をk(2≦k≦N)とするとき、位相ずれ量ψk-1を、低周波位相ずれ量として、距離を算出する。
例えば、ψ1=40°、ψ2=80°、ψ3=120°のとき、低周波位相ずれをψ2(=80°)とする。
この距離測定装置では、多重変調光に含まれる各周波数成分の中で、最も精度の高い低周波成分を用いるので、さらに距離測定の精度が向上する。この距離測定装置により取得される距離画像では、これを画素ごとに行うことで、各画素における測距対象物の距離に応じて最も精度の高い低周波成分を用いることができ、これにより、各画像の距離精度が向上する。
第15の発明は、第11から第14のいずれかの発明であって、第1差分積算信号の絶対値が小さいとき、または、第1積算信号と第3積算信号との差分絶対値が小さいとき、距離算出部は、最終位相ずれ量として、
第16の発明は、第1から第15のいずれかの発明であって、照射部は、多重変調光を、低周波成分ほど振幅を小さくして生成する。
低周波成分は、粗く測距するためのものなので、振幅を小さくしてもよく、これにより蓄積素子の飽和を低減することができる。
第17の発明は、照射部と、受光素子部と、分配部と、蓄積素子部と、を備える距離測定装置に用いられる距離測定方法であって、分配制御ステップと、距離算出ステップと、を備える。
照射部は、
fn+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化することで生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する。受光素子部は、照射部から照射された多重変調光の距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する。分配部は、受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する。蓄積素子部は、分配部から出力される電荷を蓄積する。
これにより、第1の発明と同様の効果を奏する距離測定方法を実現することができる。
第18の発明は、照射部と、受光素子部と、分配部と、蓄積素子部と、を備える距離測定装置に用いられる距離測定方法をコンピュータに実行させるプログラムである。距離測定方法は、分配制御ステップと、距離算出ステップと、を備える。
照射部は、
fn+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化することで生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する。受光素子部は、照射部から照射された多重変調光の距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する。分配部は、受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する。蓄積素子部は、分配部から出力される電荷を蓄積する。
これにより、第1の発明と同様の効果を奏する距離測定方法をコンピュータに実行させるプログラムを実現することができる。
第19の発明は、照射部と、受光素子部と、分配部と、蓄積素子部と、距離算出部と、を備える集積回路である。
照射部は、
fn+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化することで生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する。受光素子部は、照射部から照射された多重変調光の距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する。分配部は、受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する。蓄積素子部は、分配部から出力される電荷を蓄積する。距離算出部は、蓄積素子部により蓄積された電荷量から、距離測定対象までの距離を算出する。
[第1実施形態]
本発明の第1実施形態である距離測定装置1について、図3〜5を用いて説明する。
第1実施形態では、多重変調光(複数の周波数により光強度変調された光強度変調光を重畳(多重)した光強度変調光)として、3種類の周波数(低周波、中周波、高周波)により、それぞれ、光強度変調された3つの光強度変調光を重畳(多重)した3重変調光(3重波)を採用する場合について説明する。なお、重畳(多重)される光強度変調光の周波数の関係は、「互いに偶数倍」の周波数となる関係にする。ここでは、最も簡単な例として、基準周波数f(周期T)を用いて、
低周波:f1=f、
中周波:f2=2・f、
高周波:f3=4・f
とする(以下では、「f1」を「f1」と、「f2」を「f2」と、「f3」を「f3」と表記することがある)。つまり、低周波数により光強度変調された光強度変調光(低周波)の光強度変調周波数をf1(=f)とし、中周波数により光強度変調された光強度変調光(中周波)の光強度変調周波数をf2(=2・f)とし、高周波数により光強度変調された光強度変調光(高周波)の光強度変調周波数をf3(=4・f)とする。
fn+1=2kn・fn(fn+1>fn、nおよびknは自然数)
が成立する関係をいう。
また、以下では、3重変調光(3重波)を用いる場合について説明するが、通常は、多重変調光として、2重波(互いに偶数倍の関係にある光強度変調光周波数により光強度変調された低周波および高周波の2つの光強度変調光を重畳(多重)した多重変調光)を用いれば十分である(2重波により本実施形態の距離測定を実現すれば、十分、取得される距離画像の高解像度化、測定距離精度の高精度化、および、測定距離の長距離化を実現することができる)。
<1.1:距離測定装置の構成>
図3は、本発明の第1実施形態における距離測定装置1の概略構成を示すブロック図である。
図3に示すように、本発明の第1実施形態による距離測定装置1は、多重変調光を撮像空間に照射する照射部10と、照射部10から照射された多重変調光の撮像空間からの反射波である反射多重変調光を受光する受光部20と、受光部20の出力から距離測定装置1と撮像空間内の被写体(距離測定対象)と間の距離を算出する距離算出部30と、照射部10、受光部20および距離算出部30を制御する制御部40と、を備える。
受光部20は、複数の(画素数分の)電荷蓄積部200(1つの電荷蓄積部200が1つの画素に対応する。)と、電荷転送部210と、を備える。
電荷蓄積部200は、画素ごとに、受光素子部201と、分配部202と、第1波成分用蓄積素子部211A、211Bと、第2波成分用蓄積素子部221A、221Bと、第3波成分用蓄積素子部231A、231Bと、を備える。なお、以下では、第1波成分用蓄積素子部から第N波成分用蓄積素子部(ここでは、N=3)をまとめて、「蓄積素子部」ということがある。
分配部202は、制御部40により分配制御を行う。分配部202は、制御部40により指示される所定のタイミングで、受光素子部201から出力される電荷(電気信号)を、第1波成分用蓄積素子部211A、211B、第2波成分用蓄積素子部221A、221B、第3波成分用蓄積素子部231A、231B、のいずれかに出力する。
第1波成分用蓄積素子部211Aは、電荷蓄積素子を有し、受光素子部201から分配部202を介して出力される電荷(電気信号)を蓄積する。第1波成分用蓄積素子部211Aは、反射波の低周波成分のみの電荷を蓄積する(詳細については後述)。
第2波成分用蓄積素子部221Aは、電荷蓄積素子を有し、受光素子部201から分配部202を介して出力される電荷(電気信号)を蓄積する。第2波成分用蓄積素子部221Aは、反射波の中周波成分のみの電荷を蓄積する(詳細については後述)。
第2波成分用蓄積素子部221Bは、電荷蓄積素子を有し、受光素子部201から分配部202を介して出力される電荷(電気信号)を蓄積する。第2波成分用蓄積素子部221Bは、反射波の中周波成分のみの電荷を蓄積する(詳細については後述)。
第3波成分用蓄積素子部231Aは、電荷蓄積素子を有し、受光素子部201から分配部202を介して出力される電荷(電気信号)を蓄積する。第3波成分用蓄積素子部231Aは、反射波の高周波成分のみの電荷を蓄積する(詳細については後述)。
なお、電荷蓄積部200では、多重変調光の多重度が「3」(低周波、中周波、高周波の3つの光強度変調光を重畳(多重)。)であるため、3つの成分用の蓄積素子部(211A、211B、221A、221B、231A、231B)を備える構成となっている。多重度が「N」の場合は、電荷蓄積部200は、N個の成分用の蓄積素子部を備える構成(例えば、N×2個の蓄積素子部を備える構成)にすればよい。
また、受光素子部201と、分配部202と、蓄積素子部(211A、211B、221A、221B、231A、231B)と、の構成の一例(特許文献3図8記載)を、図4に示す。図4に示すように、フォトダイオードPD1およびPD2(受光素子部201の一部に相当。)に流れる電流I1およびI2を、分配部(一部)202Aを介して、蓄積素子部(図4では第1波成分用蓄積素子部211A)に流すことで、電荷蓄積処理を実行する。具体的には、制御部40からの分配制御信号に基づいて、分配部202Aの分配制御を切り替えることで、蓄積素子部(図4では第1波成分用蓄積素子部211A)のコンデンサに流れる電流の向きを変え、蓄積素子部(図4では第1波成分用蓄積素子部211A)のコンデンサに差分電荷を蓄積させる。
電荷転送部210は、各画素に対応する電荷蓄積部200の蓄積素子部(211A、211B、221A、221B、231A、231B)から出力される蓄積電荷(蓄積電荷に対応する電気信号)を、入力とし、制御部40により指示される所定のタイミングで、距離算出部30に転送する。
距離算出部30は、受光部20の電荷転送部210からの出力を入力とし、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)に基づいて各画素についての距離値を算出し、各画素が距離値となる距離画像を生成して出力する。なお、距離算出部30は、アナログ信号のまま距離算出についての計算を行うものであってもよいし、A/D変換後にディジタル処理により距離算出についての計算を行うものであってもよい。
第1波位相ずれ量算出部31は、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)を入力とし、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)に基づいて、低周波位相ずれ量を算出する。そして、第1波位相ずれ量算出部31は、算出した低周波位相ずれ量を距離値取得部34に出力する。
第2波位相ずれ量算出部32は、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)を入力とし、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)に基づいて、中周波位相ずれ量を算出する。そして、第2波位相ずれ量算出部32は、算出した低周波位相ずれ量を距離値取得部34に出力する。
距離値取得部34は、第1波位相ずれ量算出部31により算出された低周波位相ずれ量、第2波位相ずれ量算出部32により算出された中周波位相ずれ量、および、第3波位相ずれ量算出部33により算出された高周波位相ずれ量を入力として、低周波位相ずれ量、中周波位相ずれ量および高周波位相ずれ量に基づいて、各画素について、距離(距離値)を算出する。そして、距離値取得部34は、各画素が算出した距離値となる距離画像を生成して、生成した距離画像を出力する。
以上のように構成された距離測定装置1の動作について、説明する。
照射部10により、「互いに偶数倍」の関係となる周波数を有する多重変調光(例:低周波f1=f、中周波f2=2・f、高周波f3=4・f、fは基準周波数)が、距離測定対象空間である撮像空間へ照射される。
受光部20では、撮像空間からの多重変調光の反射光を受光する。つまり、撮像空間からの多重変調光の反射光は、各画素に対応する電荷蓄積部200の受光素子部201で受光され、光電変換により、受光素子部201で受光した光量に応じた電荷を発生させる。そして、発生させた電荷(電気信号)は、分配部202に出力される。
分配部202では、受光素子部201により取得された電荷(電気信号)を、制御部40からの指令に基づいて、所定のタイミングで切り替えながら、蓄積素子部(211A、211B、221A、221B、231A、231B)に出力する。
ここで、「所定のタイミング」は、図5に示すように、高周波の4分の1周期(T/16)ごとの時刻とする。t=jT/16(0≦j<16、jは整数)における反射波f(t)の値Ajは、低周波成分Bj、中周波成分Cj、高周波成分Dj、変数α、定数βを用いて、
Aj=α(Bj+Cj+Dj)+β
となる。なお、変数αは、照射部10の強度、被写体の反射率、反射角度、反射の種類(鏡面反射、拡散反射等)、被写体までの距離などに依存する変数である。また、定数βは、環境光の強度、被写体の反射率などに依存する変数である。
A8−A0=α(B8+C8+D8)−α(B0+C0+D0)
に相当する電荷を蓄積する。つまり、第1波成分用蓄積素子部211Aには、時刻t=8T/16における蓄積電荷量A8(所定のサンプリング期間によりサンプル値(サンプリングは、分配部202による分配制御により行う。))と時刻t=0における蓄積電荷量A0(所定のサンプリング期間によりサンプル値)との差分電荷を蓄積する。
上式では、定数β(定常成分)は減算により打ち消される。ここで、中周波および高周波の周波数は、低周波の偶数倍であるから、図5からも明らかなように、低周波の半周期後の時刻における中周波の値(C0、C8)および高周波の値(D0、D8)は同じ値となる。
A8−A0=α(B8−B0)
となり、これに相当する電荷が第1波成分用蓄積素子部211Aに蓄積される。つまり、第1波成分用蓄積素子部211Aには、低周波成分のみの電荷が蓄積される。
同様にして、第1波成分用蓄積素子部211Bには、
A4−A12=α(B4−B12)
に相当する電荷が蓄積される。つまり、第1波成分用蓄積素子部211Bには、低周波成分のみの電荷が蓄積される。
第2波成分用蓄積素子部221Aには、制御部40が分配部202に対して、分配制御を行うことで、
(A4−A0)+(A12−A8)
に相当する電荷を蓄積する。すなわち、最低周波数f1の1周期Tの間、蓄積し続ける。ここで、高周波の周波数は、中周波の偶数倍であるから、
D4=D0、D12=D8
であり、高周波成分は減算により打ち消しあう。一方、中周波の周波数は、低周波の偶数倍であるから、
B8=−B0、B12=−B4
であり、低周波成分は加算により打ち消しあう。また、
C0=C8、C4=C12
である。よって、第2波成分用蓄積素子部221Aには、
(A4−A0)+(A12−A8)=2α(C4−C0)
が蓄積される。つまり、第2波成分用蓄積素子部221Aには、中周波成分のみの電荷が蓄積される。
(A2−A6)+(A10−A14)=2α(C2−C6)
が蓄積される。つまり、第2波成分用蓄積素子部221Bには、中周波成分のみの電荷が蓄積される。
第3波成分用蓄積素子部231Aには、制御部40が分配部202に対して、分配制御を行うことで、
(A2−A0)+(A6−A4)+(A10−A8)+(A14−A12)
に相当する電荷を蓄積する。すなわち、最低周波数f1の1周期Tの間、蓄積し続ける。同様に、図5より、
C4=−C0、C6=−C2、C12=−C8、C14=−C10
B8=−B0、B10=−B2、B12=−B4、B14=−B6
D0=D4=D8=D12、D2=D6=D10=D14
より、
(A2−A0)+(A6−A4)+(A10−A8)+(A14−A12)=4α(D2−D0)
となる。つまり、つまり、第3波成分用蓄積素子部231Aには、高周波成分のみの電荷が蓄積される。
(A1−A3)+(A5−A7)+(A9−A11)+(A13−A15)=4α(D1−D3)
が蓄積される。つまり、第3波成分用蓄積素子部231Bには、高周波成分のみの電荷が蓄積される。
距離測定装置1では、このようにして、分波処理が実行される。
≪分波原理について≫
次に、この分波原理(上記分波処理の原理)が一般的に成立することを証明する。
反射波(多重度N)を、
反射波f(t)から、第n周波数成分(1≦n≦N)を分波するために、時刻t=0およびTn/2における反射光の差分電荷を、第1周波数(=最低周波数)の1周期の間、積算処理(サンプリング時刻における離散値の加算処理)を実行し続け(波数kn)、上記第1波成分用の蓄積素子に第1差分積算信号
ここで、任意のi>nに対して、各周波数が互いに偶数倍のとき、ωi/ωnが偶数であることを用いて、
以上より、
また、時刻t=Tn/4および3Tn/4における反射光の差分電荷を、第1周波数(=最低周波数)の1周期の間、積算処理(サンプリング時刻における離散値の加算処理)を実行し続け(波数kn)、上記第2波成分用の蓄積素子に第2差分積算信号、
なお、後述するが、第n周波数成分の位相ずれΔψnは、
また、距離測定装置1において、図6に示すように、サンプリング値(上記の場合)ではなく積分値を用いて、位相ずれ量を算出するようにしてもよい。距離測定装置1において、積分値を用いて位相ずれ量を算出する場合、蓄積素子部に蓄積される電荷量が多くなり、S/N比を良くすることができる(距離測定に用いる電荷量に対するノイズ量の割合が低減される)ので、さらに、高精度の距離測定が可能となる。
なお、積分値を用いて、位相ずれ量を算出する場合の位相ずれ量は、t=jTN/4〜jTN/4+τ(0≦j<4ωN/ω1、jは整数)における反射波f(t)の積分値をAjとし、これに含まれる低周波成分をBj、中周波成分をCj、高周波成分をDjとし、上記と同様の計算を行うことで取得することができる。なお、図6の例では、N=3、TN=T3=T/4、ωN/ω1=ω3/ω1=4より、積分区間はt=jT/16〜(j+1)T/16(0≦j<16、jは整数)となる。
また、距離測定装置1において、積分値による位相ずれ量を算出する場合、制御部40が、分配部202に対する分配制御(分配タイミングおよび分配期間)を調整することで、蓄積素子部(211A、211B、221A、221B、231A、231B)に、所定の積分期間による積分値に相当する電荷を蓄積させることができる。
次に、電荷転送部210以降の処理について説明する。
電荷転送部210では、各画素に対応する蓄積素子部(211A、211B、221A、221B、231A、231B)の電荷を、制御部40からの指令により、所定のタイミングで、距離算出部30へ転送する。なお、「所定のタイミング」とは、蓄積素子部(211A、211B、221A、221B、231A、231B)の蓄積電荷(蓄積電荷に対応する電気信号)が、混同(混合)されることなく、距離算出部30に転送されるものであればよい。例えば、CCDデバイス等で用いられている蓄積電荷の転送方法に基づいた転送方式(例えば、順次転送方式)により、蓄積素子部(211A、211B、221A、221B、231A、231B)の蓄積電荷(蓄積電荷に対応する電気信号)を距離算出部30に転送するようにすればよい。
具体的には、第1波位相ずれ量算出部31では、電荷転送部210から転送される、第1波成分用蓄積素子部211Aの蓄積電荷(α(B8−B0))および第1波成分用蓄積素子部211Bの蓄積電荷(α(B4−B12))に基づいて、低周波位相ずれΔψ1が、
第2波位相ずれ量算出部32では、電荷転送部210から転送される各画素についての蓄積電荷量に基づいて、各画素についての中周波位相ずれ量が算出される。
具体的には、第2波位相ずれ量算出部32では、電荷転送部210から転送される、第2波成分用蓄積素子部221Aの蓄積電荷(2α(C4−C0))および第2波成分用蓄積素子部221Bの蓄積電荷(2α(C2−C6))に基づいて、低周波位相ずれ量Δψ2が、
第3波位相ずれ量算出部33では、電荷転送部210から転送される各画素についての蓄積電荷量に基づいて、各画素についての高周波位相ずれ量が算出される。
具体的には、第3波位相ずれ量算出部33では、電荷転送部210から転送される、第3波成分用蓄積素子部231Aの蓄積電荷(4α(D2−D0))および第3波成分用蓄積素子部231Bの蓄積電荷(4α(D1−D3))に基づいて、高周波位相ずれ量Δψ3が、
距離値取得部34では、第1波位相ずれ量算出部31により算出された低周波位相ずれ量、第2波位相ずれ量算出部32により算出された中周波位相ずれ量、および、第3波位相ずれ量算出部33により算出された高周波位相ずれ量、の3つの位相ずれ量に基づいて、各画素について、距離(距離値)が算出される。
具体的には、距離値取得部34は、各画素について、低周波位相ずれ量Δψ1、中周波位相ずれ量Δψ2および高周波位相ずれ量Δψ3に基づいて最終位相ずれ量Δψを決定し、これに基づき、各画素の距離値Lを算出する。
距離値取得部34では、例えば、低周波位相ずれ量Δψ1および高周波位相ずれ量Δψ3を用いて、最終位相ずれ量Δψが、
なお、距離値取得部34は、Δψ1≦Δψ2≦π/2の場合、最終位相ずれ量Δψを、
また、
距離値取得部34では、以上により算出された最終位相ずれ量Δψに基づいて、各画素についての距離値Lを、
(数式20)〜(数式24)に基づいて分かるように、距離測定装置1では、低周波f1により決定される最大測定可能距離範囲において、高周波f3により決定される高精度の距離測定が可能となる。
距離値取得部34は、画素ごとに、距離値Lを上記処理により取得し、取得(算出)した距離値Lを画素値とする距離画像を生成し、出力する。
以上のように、本実施形態に係る距離測定装置1では、「互いに偶数倍」の関係となる複数の周波数を多重化した多重変調光を用いて、分配制御のみによる分波が可能となる。また、距離測定装置1では、差分電荷を蓄積し続けるので、定常成分(環境光など)が減算により常に打ち消され、蓄積素子における蓄積電荷の飽和を抑えることができる。このため、距離測定装置1では、より強く変調光を距離測定対象である撮像空間(被写体)に照射することができ、距離測定精度を向上させることができる
したがって、本実施形態に係る距離測定装置1および距離測定方法により、分波回路規模を大幅に削減することができ、かつ、取得される距離画像の高解像度化、測定距離精度の高精度化、および、測定距離の長距離化を実現することができる。
≪変形例≫
次に、本実施形態に係る変形例について、説明する。
上記では、差分電荷を保存することで位相ずれ量を算出する場合について説明したが、蓄積素子部の電荷をそのまま(同符号のまま)蓄積した後、電荷転送部210を介して、位相ずれ量算出部(第1実施形態では、第1波位相ずれ量算出部31、第2波位相ずれ量算出部32、および、第3波位相ずれ量算出部33に相当。)に出力し、位相ずれ量算出部において減算することで、位相ずれ量を算出するようにしてもよい。この場合、蓄積素子部において、差分電荷を取得するための電流反転回路を不要にすることができる。
第2蓄積素子に、第2積算信号
そして、第1蓄積素子および第2蓄積素子に蓄積した電荷を転送した後、
第1蓄積素子に、第1積算信号
第2蓄積素子に、第3積算信号
そして、位相ずれ量算出部において、
また、位相ずれ量算出部において、
そして、位相ずれ量算出部は、抽出した、各周波数成分の位相ずれのない周波数成分および位相が90°ずれた周波数成分に基づいて、各周波数成分の位相ずれ量を算出する。
そして、上記で説明したのと同様の方法により、最終位相ずれ量Δψを求め、最終位相ずれ量Δψに基づいて、画素ごとの距離値Lを算出する。
なお、上記処理のようにサンプリング値を用いるのでではなく、上記において、図6により説明したのと同様、積分値を用いて距離値Lを算出するようにしてもよい。サンプリング値の代わりに、積分値を用いて位相ずれ量Δψを求めることで、ノイズの影響を受けにくくすることができる。
以上により、本変形例では、電流反転回路を不要にできるので、距離測定装置において、画素ピッチサイズをさらに小さくすることができ、距離測定装置により取得される距離画像の解像度低下を低減できる。
[他の実施形態]
上記実施形態の距離測定装置では、多重波(多重変調光)を用いて距離測定を行う場合について説明したが、これに限定されることはなく、例えば、異なる周波数により光強度変調された、複数の光強度変調光を交互に繰り返して(時分割で)測定対象の被写体(撮像空間)に照射する構成にしてもよい。 また、チャープ信号を用いて周波数を連続的に切り替えることによって生成された光強度変調光を用いて距離測定を行うようにしてもよい。例えば、チャープ信号を用いて周波数を低周波側からスキャンし、全画素における位相ずれ量がπ/2を超えないような、最大の周波数付近に強度変調周波数を設定することで、距離測定対象空間における最遠点にあわせた強度変調周波数を設定することができる。
また、距離測定対象とする撮像空間において、距離測定装置から距離測定対象の被写体までの距離のばらつきが大きい場合は、遠くに存在する被写体ほど、長い波長(光強度変調周波数の低い)の光強度変調光を用いて距離測定するようにしてもよい。例えば、被写体Aが遠くに存在し、被写体Bが近く存在する場合、距離測定装置において、被写体Aに対しては、長い波長(光強度変調周波数の低い)の光強度変調光(これを「光強度変調光A」、その光強度変調周波数を「fA」とする。)を用いて多重変調光(多重化される光強度変調光の光強度変調周波数の最低周波数をfAとする。)を生成し、被写体Aに当該多重変調光を照射し、上記で説明した距離測定方法により、被写体Aまでの距離を測定する。一方、被写体Bに対しては、光強度変調光Aよりも波長の短い光強度変調光B(この光強度変調周波数を「fB」とする。)を用いて多重変調光(多重化される光強度変調光の光強度変調周波数の最低周波数をfBとする。)を生成し、被写体Bに当該多重変調光を照射し、上記で説明した距離測定方法により、被写体Bまでの距離を測定する。距離測定装置において、このようにして距離測定を行うようにしてもよい。
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサーで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
10 照射部
20 受光部
200 電荷蓄積部
201 受光素子部
202 分配部
211A、211B、221A、221B、231A、231B 蓄積素子部
210 電荷転送部
30 距離算出部
31 第1波位相ずれ量算出部
32 第2波位相ずれ量算出部
33 第3波位相ずれ量算出部
34 距離値取得部
40 制御部
Claims (19)
- fn+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化して生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する照射部と、
前記照射部から照射された前記多重変調光の前記距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する受光素子部と、
前記受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する分配部と、
前記分配部から出力される電荷を蓄積する蓄積素子部と、
前記蓄積素子部により蓄積された電荷量に基づいて、前記距離測定対象までの距離を算出する距離算出部と、
を備える距離測定装置。 - 前記蓄積素子部は、前記多重変調光に含まれる各周波数fn(1≦n≦N)に対して、少なくとも1つの蓄積素子を備える、
請求項1に記載の距離測定装置。 - 前記多重変調光に含まれる各周波数fn(1≦n≦N、周期Tn)に対して、
前記分配部は、
所定の時刻t0と、前記時刻t0とは異なる時刻である時刻t1(≠t0)と、前記時刻t0からTn/2後の時刻である時刻t2(=t0+Tn/2)と、前記時刻t0からTn/2後の時刻である時刻t3(=t1+Tn/2)において出力先を切り替え、
前記蓄積素子部は、
少なくとも前記多重変調光における最長周期T1の間、電荷を蓄積し続ける、
請求項1または2に記載の距離測定装置。 - 前記蓄積素子部は、
前記時刻t0および前記時刻t2における電荷量の差分電荷量を、少なくとも前記最長周期T1の間蓄積して、第1差分積算信号を生成し、
蓄積した電荷量を前記距離算出部に電荷転送した後、
前記時刻t1および前記時刻t3における電荷量の差分電荷量を、少なくとも前記最長周期T1の間蓄積して、第2差分積算信号を生成する、
請求項3に記載の距離測定装置。 - 前記蓄積素子部は、第1の蓄積素子部と、第2の蓄積素子部と、を有し、
少なくとも前記最長周期T1の間、
前記第1の蓄積素子部は、前記時刻t0および前記時刻t2における電荷量の差分電荷量を蓄積して、第1差分積算信号を生成し、
前記第2の蓄積素子部は、前記時刻t1および前記時刻t3における電荷量の差分電荷量を蓄積して、第2差分積算信号を生成する、
請求項3に記載の距離測定装置。 - 前記蓄積素子部は、
前記時刻t0〜t3のうちの任意の1つの時刻において、少なくとも前記最長周期T1の間電荷量を蓄積し、蓄積した電荷量を前記距離算出部に電荷転送する処理を、前記時刻t0に対応する蓄積電荷量、前記時刻t1に対する蓄積電荷量、前記時刻t2に対する蓄積電荷量、および、前記時刻t3に対する蓄積電荷量の全てに対して順次行うことにより、前記各時刻t0〜t3に対応した電荷量を前記第0〜第3積算信号として前記距離算出部に電荷転送する、
請求項3に記載の距離測定装置。 - 前記蓄積素子部は、第1の蓄積素子部と、第2の蓄積素子部と、を有し、
前記第1の蓄積素子部および前記第2の蓄積素子部は、
少なくとも前記最長周期T1の間、前記時刻t0〜t3のうち任意の2つの時刻における電荷量を蓄積し、蓄積した電荷量を前記距離算出部に電荷転送した後、
少なくとも前記最長周期T1の間、残りの2つの時刻における電荷量を蓄積し、
蓄積した電荷量を前記距離算出部に電荷転送することにより、
前記各時刻t0〜t3に対応した電荷量を前記第0〜第3積算信号として前記距離算出部に電荷転送する、
請求項3に記載の距離測定装置。 - 前記蓄積素子部は、第0の蓄積素子部と、第1の蓄積素子部と、第2の蓄積素子部と、第3の蓄積素子部と、を有し、
少なくとも前記最長周期T1の間、
前記第0の蓄積素子部は、前記時刻t0における電荷量を蓄積して、第0積算信号を生成し、
前記第1の蓄積素子部は、前記時刻t1における電荷量を蓄積して、第1積算信号を生成し、
前記第2の蓄積素子部は、前記時刻t2における電荷量を蓄積して、第2積算信号を生成し、
前記第3の蓄積素子部は、前記時刻t3における電荷量を蓄積して、第3積算信号を生成する、
請求項3に記載の距離測定装置。 - 前記距離算出部は、
前記多重変調光に含まれる各周波数の位相ずれ量を算出し、算出した位相ずれ量のうち、前記多重変調光に含まれる各周波数成分の中の任意の周波数成分の位相ずれ量である低周波位相ずれ量、および、前記多重変調光に含まれる各周波数成分の中に含まれ、前記低周波位相ずれ量に対応する周波数成分より高い周波数成分の位相ずれ量である高周波位相ずれ量に基づいて最終位相ずれ量を算出し、算出した前記最終位相ずれ量に基づいて前記距離を算出する、
請求項1から10のいずれかに記載の距離測定装置。 - 前記距離算出部は、
前記多重変調光に含まれる各周波数の位相ずれ量ψnを添え字順(n=1、2、…)に並べ、初めてπ/2以上となる位相ずれ量の添え字をk(2≦k≦N)とするとき、位相ずれ量ψk-1を、前記低周波位相ずれ量として、距離を算出する、
請求項11から13のいずれかに記載の距離測定装置。 - 前記照射部は、前記多重変調光を、低周波成分ほど振幅を小さくして生成する、
請求項1から15のいずれかに記載の距離測定装置。 - fn+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化して生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する照射部と、
前記照射部から照射された前記多重変調光の前記距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する受光素子部と、
前記受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する分配部と、
前記分配部から出力される電荷を蓄積する蓄積素子部と、
を備える距離測定装置に用いられる距離測定方法であって、
前記分配部の出力先を、所定のタイミングで、所定の出力先に切り替えるように制御する分配制御ステップと、
前記第1の蓄積素子部および前記第2の蓄積素子部により蓄積された電荷量に基づいて、前記距離測定対象までの距離を算出する距離算出ステップと、
を備える距離測定方法。 - fn+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化して生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する照射部と、
前記照射部から照射された前記多重変調光の前記距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する受光素子部と、
前記受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する分配部と、
前記分配部から出力される電荷を蓄積する蓄積素子部と、
を備える距離測定装置に用いられる距離測定方法をコンピュータに実行させるプログラムであって、
前記分配部の出力先を、所定のタイミングで、所定の出力先に切り替えるように制御する分配制御ステップと、
前記第1の蓄積素子部および前記第2の蓄積素子部により蓄積された電荷量に基づいて、前記距離測定対象までの距離を算出する距離算出ステップと、
を備える距離測定方法をコンピュータに実行させるプログラム。 - fn+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化して生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する照射部と、
前記照射部から照射された前記多重変調光の前記距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する受光素子部と、
前記受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する分配部と、
前記分配部から出力される電荷を蓄積する蓄積素子部と、
前記蓄積素子部により蓄積された電荷量に基づいて、前記距離測定対象までの距離を算出する距離算出部と、
を備える集積回路。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011502616A JP5584196B2 (ja) | 2009-03-05 | 2010-02-18 | 距離測定装置、距離測定方法、プログラムおよび集積回路 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009052669 | 2009-03-05 | ||
JP2009052669 | 2009-03-05 | ||
PCT/JP2010/001023 WO2010100846A1 (ja) | 2009-03-05 | 2010-02-18 | 距離測定装置、距離測定方法、プログラムおよび集積回路 |
JP2011502616A JP5584196B2 (ja) | 2009-03-05 | 2010-02-18 | 距離測定装置、距離測定方法、プログラムおよび集積回路 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2010100846A1 true JPWO2010100846A1 (ja) | 2012-09-06 |
JP5584196B2 JP5584196B2 (ja) | 2014-09-03 |
Family
ID=42709417
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011502616A Active JP5584196B2 (ja) | 2009-03-05 | 2010-02-18 | 距離測定装置、距離測定方法、プログラムおよび集積回路 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8531651B2 (ja) |
JP (1) | JP5584196B2 (ja) |
CN (1) | CN102016636B (ja) |
WO (1) | WO2010100846A1 (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8988660B2 (en) * | 2011-06-29 | 2015-03-24 | Silicon Laboratories Inc. | Optical detector |
CN104137150B (zh) * | 2011-07-04 | 2016-12-28 | 李·文森特·斯特里特 | 测距成像中的运动补偿 |
EP2821748B1 (en) * | 2012-03-01 | 2019-07-31 | Nissan Motor Co., Ltd | Range finding device and range finding method |
WO2013133143A1 (en) * | 2012-03-09 | 2013-09-12 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving semiconductor device |
JP2013195117A (ja) * | 2012-03-16 | 2013-09-30 | Ricoh Co Ltd | 測距装置 |
US20140139632A1 (en) * | 2012-11-21 | 2014-05-22 | Lsi Corporation | Depth imaging method and apparatus with adaptive illumination of an object of interest |
TWI454968B (zh) | 2012-12-24 | 2014-10-01 | Ind Tech Res Inst | 三維互動裝置及其操控方法 |
DE102013112553A1 (de) * | 2013-11-14 | 2015-06-03 | Odos Imaging Ltd. | Beleuchtungsvorrichtung und Verfahren zum Beleuchten eines Objekts |
EP3095003B1 (en) * | 2014-01-18 | 2023-04-26 | Daylight Solutions Inc. | Low-noise spectroscopic imaging system |
US10437033B2 (en) * | 2014-01-18 | 2019-10-08 | Daylight Solutions, Inc. | Modulating spectroscopic imaging system using substantially coherent illumination |
US11803044B2 (en) | 2014-01-18 | 2023-10-31 | Daylight Solutions, Inc. | Low-noise spectroscopic imaging system with steerable substantially coherent illumination |
US9467227B2 (en) * | 2014-03-13 | 2016-10-11 | Luxtera, Inc. | Method and system for an optical connection service interface |
JP6290512B2 (ja) * | 2015-06-09 | 2018-03-07 | 富士フイルム株式会社 | 距離画像取得装置及び距離画像取得方法 |
JP6406449B2 (ja) * | 2015-06-24 | 2018-10-17 | 株式会社村田製作所 | 距離センサ |
JP6747822B2 (ja) * | 2016-02-23 | 2020-08-26 | 株式会社トプコン | 距離測定装置、距離測定方法および距離測定用プログラム |
JP2017201760A (ja) * | 2016-05-06 | 2017-11-09 | 株式会社ニコン | 撮像装置および測距装置 |
JP6922187B2 (ja) * | 2016-11-08 | 2021-08-18 | 株式会社リコー | 測距装置、監視カメラ、3次元計測装置、移動体、ロボット及び光源駆動条件設定方法 |
JP6848364B2 (ja) * | 2016-11-10 | 2021-03-24 | 株式会社リコー | 測距装置、移動体、ロボット、3次元計測装置、監視カメラ及び測距方法 |
CN108983249B (zh) * | 2017-06-02 | 2020-11-06 | 比亚迪股份有限公司 | 飞行时间测距系统、方法、测距传感器和相机 |
CN108622176A (zh) * | 2018-05-23 | 2018-10-09 | 常州星宇车灯股份有限公司 | 一种基于tof手势识别的多功能方向盘人车交互系统 |
DE112018007552B4 (de) | 2018-06-12 | 2022-03-10 | Mitsubishi Electric Corporation | Optische-Distanz-Messungseinrichtung und Bearbeitungseinrichtung |
KR102469944B1 (ko) * | 2018-08-07 | 2022-11-23 | 엘지이노텍 주식회사 | 카메라 |
WO2020178920A1 (ja) * | 2019-03-01 | 2020-09-10 | 株式会社ブルックマンテクノロジ | 距離画像撮像装置および距離画像撮像装置による距離画像撮像方法 |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5866880A (ja) * | 1981-10-16 | 1983-04-21 | Tohoku Richo Kk | 光波測距計 |
JPH05264723A (ja) * | 1992-03-23 | 1993-10-12 | Mitsubishi Heavy Ind Ltd | 測距装置 |
JPH109834A (ja) * | 1996-06-19 | 1998-01-16 | Olympus Optical Co Ltd | 3次元画像入力装置 |
JPH11109034A (ja) * | 1997-10-07 | 1999-04-23 | Nissan Motor Co Ltd | 測距レーダ |
JPH11160065A (ja) * | 1997-11-26 | 1999-06-18 | Nikon Corp | 光波測距儀 |
JPH11507155A (ja) * | 1995-05-19 | 1999-06-22 | リチャード,ジェンキン,エイ. | 光学式送受信機 |
JP2002538418A (ja) * | 1999-02-22 | 2002-11-12 | ビジダイン インク | レーザ変位測定装置 |
JP2004032682A (ja) * | 2002-04-08 | 2004-01-29 | Matsushita Electric Works Ltd | 強度変調光を用いた空間情報の検出装置 |
JP2004527765A (ja) * | 2001-05-30 | 2004-09-09 | イーグル レイ コーポレーション | 距離測定用光学センサー |
JP2006003127A (ja) * | 2004-06-15 | 2006-01-05 | Hokuyo Automatic Co | 光波測距装置 |
JP2006084430A (ja) * | 2004-09-17 | 2006-03-30 | Matsushita Electric Works Ltd | 距離画像センサ |
JP3840341B2 (ja) * | 1998-10-15 | 2006-11-01 | 浜松ホトニクス株式会社 | 立体情報検出方法及び装置 |
JP2006349506A (ja) * | 2005-06-16 | 2006-12-28 | Sokkia Co Ltd | 距離測定装置及びその方法 |
JP3906858B2 (ja) * | 2004-09-17 | 2007-04-18 | 松下電工株式会社 | 距離画像センサ |
JP2007121116A (ja) * | 2005-10-28 | 2007-05-17 | Sharp Corp | 光学式測距装置 |
JP2007155660A (ja) * | 2005-12-08 | 2007-06-21 | Sokkia Co Ltd | 光波距離計 |
JP2007526448A (ja) * | 2003-06-17 | 2007-09-13 | カネスタ インコーポレイテッド | 三次元及び色彩検出における電荷管理のための方法及び装置 |
JP2008107286A (ja) * | 2006-10-27 | 2008-05-08 | Mitsui Eng & Shipbuild Co Ltd | 画像情報取得装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5446396A (en) * | 1992-10-22 | 1995-08-29 | Advanced Micro Devices, Inc. | Voltage comparator with hysteresis |
DE602005006080T2 (de) | 2004-09-17 | 2009-05-07 | Matsushita Electric Works, Ltd., Kadoma | Reichweitenbildsensor |
US7417718B2 (en) | 2005-10-28 | 2008-08-26 | Sharp Kabushiki Kaisha | Optical distance measuring apparatus |
JP2007132848A (ja) * | 2005-11-11 | 2007-05-31 | Sharp Corp | 光学式測距装置 |
WO2008005413A2 (en) | 2006-06-30 | 2008-01-10 | E. I. Du Pont De Nemours And Company | Stabilized compositions of conductive polymers and partially-fluorinated acid polymers |
-
2010
- 2010-02-18 US US12/990,677 patent/US8531651B2/en active Active
- 2010-02-18 JP JP2011502616A patent/JP5584196B2/ja active Active
- 2010-02-18 CN CN201080001501.1A patent/CN102016636B/zh active Active
- 2010-02-18 WO PCT/JP2010/001023 patent/WO2010100846A1/ja active Application Filing
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5866880A (ja) * | 1981-10-16 | 1983-04-21 | Tohoku Richo Kk | 光波測距計 |
JPH05264723A (ja) * | 1992-03-23 | 1993-10-12 | Mitsubishi Heavy Ind Ltd | 測距装置 |
JPH11507155A (ja) * | 1995-05-19 | 1999-06-22 | リチャード,ジェンキン,エイ. | 光学式送受信機 |
JPH109834A (ja) * | 1996-06-19 | 1998-01-16 | Olympus Optical Co Ltd | 3次元画像入力装置 |
JPH11109034A (ja) * | 1997-10-07 | 1999-04-23 | Nissan Motor Co Ltd | 測距レーダ |
JPH11160065A (ja) * | 1997-11-26 | 1999-06-18 | Nikon Corp | 光波測距儀 |
JP3840341B2 (ja) * | 1998-10-15 | 2006-11-01 | 浜松ホトニクス株式会社 | 立体情報検出方法及び装置 |
JP2002538418A (ja) * | 1999-02-22 | 2002-11-12 | ビジダイン インク | レーザ変位測定装置 |
JP2004527765A (ja) * | 2001-05-30 | 2004-09-09 | イーグル レイ コーポレーション | 距離測定用光学センサー |
JP2004032682A (ja) * | 2002-04-08 | 2004-01-29 | Matsushita Electric Works Ltd | 強度変調光を用いた空間情報の検出装置 |
JP2007526448A (ja) * | 2003-06-17 | 2007-09-13 | カネスタ インコーポレイテッド | 三次元及び色彩検出における電荷管理のための方法及び装置 |
JP2006003127A (ja) * | 2004-06-15 | 2006-01-05 | Hokuyo Automatic Co | 光波測距装置 |
JP2006084430A (ja) * | 2004-09-17 | 2006-03-30 | Matsushita Electric Works Ltd | 距離画像センサ |
JP3906858B2 (ja) * | 2004-09-17 | 2007-04-18 | 松下電工株式会社 | 距離画像センサ |
JP2006349506A (ja) * | 2005-06-16 | 2006-12-28 | Sokkia Co Ltd | 距離測定装置及びその方法 |
JP2007121116A (ja) * | 2005-10-28 | 2007-05-17 | Sharp Corp | 光学式測距装置 |
JP2007155660A (ja) * | 2005-12-08 | 2007-06-21 | Sokkia Co Ltd | 光波距離計 |
JP2008107286A (ja) * | 2006-10-27 | 2008-05-08 | Mitsui Eng & Shipbuild Co Ltd | 画像情報取得装置 |
Also Published As
Publication number | Publication date |
---|---|
US20110051118A1 (en) | 2011-03-03 |
WO2010100846A1 (ja) | 2010-09-10 |
US8531651B2 (en) | 2013-09-10 |
CN102016636A (zh) | 2011-04-13 |
JP5584196B2 (ja) | 2014-09-03 |
CN102016636B (zh) | 2014-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5584196B2 (ja) | 距離測定装置、距離測定方法、プログラムおよび集積回路 | |
JP6817387B2 (ja) | Ladarシステム及び方法 | |
JP7347942B2 (ja) | 3次元映像装置 | |
US20210118926A1 (en) | Distance-measuring imaging device, distance measuring method of distance-measuring imaging device, and solid-state imaging device | |
US9857469B2 (en) | System and method for multi TOF camera operation using phase hopping | |
CN111758047B (zh) | 单芯片rgb-d相机 | |
EP3213114B1 (en) | Time of flight camera | |
US10422879B2 (en) | Time-of-flight distance measuring device | |
EP2594959B1 (en) | System and method for multi TOF camera operation using phase hopping | |
JP4409331B2 (ja) | 光画像計測装置 | |
US20150041625A1 (en) | Time to digital converter and applications thereof | |
WO2017022152A1 (ja) | 測距撮像装置、及び、固体撮像装置 | |
JP2018077143A (ja) | 測距装置、移動体、ロボット、3次元計測装置、監視カメラ及び測距方法 | |
US11991341B2 (en) | Time-of-flight image sensor resolution enhancement and increased data robustness using a binning module | |
EP2264481A1 (en) | Method and device for acquiring a range image | |
JP2016099233A (ja) | 光飛行型測距装置 | |
CN111798503A (zh) | 利用飞行时间相机同时进行数据传输和深度图像记录 | |
US20130176550A1 (en) | Image sensor, image sensing method, and image photographing apparatus including the image sensor | |
Yasutomi et al. | A time-of-flight image sensor with sub-mm resolution using draining only modulation pixels | |
Hussmann et al. | Systematic distance deviation error compensation for a ToF-camera in the close-up range | |
JP2018036144A (ja) | 距離計測システム、および距離計測方法 | |
Seiter et al. | Correction of a phase dependent error in a time-of-flight range sensor | |
US20220075063A1 (en) | Method and Apparatus for Time-of-Flight Sensing | |
Jongenelen et al. | Development and characterisation of an easily configurable range imaging system | |
Hussmann et al. | Performance improvement of a 3D-TOF PMD camera using a pseudo 4-phase shift algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120706 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140318 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20140530 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140708 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140717 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5584196 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |