JPWO2010100846A1 - 距離測定装置、距離測定方法、プログラムおよび集積回路 - Google Patents

距離測定装置、距離測定方法、プログラムおよび集積回路 Download PDF

Info

Publication number
JPWO2010100846A1
JPWO2010100846A1 JP2011502616A JP2011502616A JPWO2010100846A1 JP WO2010100846 A1 JPWO2010100846 A1 JP WO2010100846A1 JP 2011502616 A JP2011502616 A JP 2011502616A JP 2011502616 A JP2011502616 A JP 2011502616A JP WO2010100846 A1 JPWO2010100846 A1 JP WO2010100846A1
Authority
JP
Japan
Prior art keywords
distance
unit
charge
storage element
phase shift
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011502616A
Other languages
English (en)
Other versions
JP5584196B2 (ja
Inventor
大将 佐藤
大将 佐藤
渡辺 辰巳
辰巳 渡辺
文平 田路
文平 田路
桑原 康浩
康浩 桑原
井東 武志
武志 井東
木内 真也
真也 木内
義明 尾脇
義明 尾脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2011502616A priority Critical patent/JP5584196B2/ja
Publication of JPWO2010100846A1 publication Critical patent/JPWO2010100846A1/ja
Application granted granted Critical
Publication of JP5584196B2 publication Critical patent/JP5584196B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4913Circuits for detection, sampling, integration or read-out
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/499Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

多重波を用いた距離測定装置において、分波回路規模を大幅に削減することにより、高解像度かつ高精度かつ長距離測定可能な距離測定装置を提供する。距離測定装置(1)は、互いに偶数倍の関係となる複数の周波数を有する多重変調光を照射する照射部(10)と、当該多重変調光の反射光の電荷を、複数の蓄積素子部に所定のタイミングで切り替えながら蓄積する受光部(20)と、当該電荷に基づいて距離を算出する距離算出部(30)とを備える。

Description

本発明は、距離測定装置、距離測定方法、距離測定方法、プログラムおよび集積回路に関する。特に、多重波を用いた距離測定装置、距離測定方法、プログラムおよび集積回路に関する。
近年、所定の周波数の電磁波を被写体に照射し、被写体からの反射波に基づいて被写体までの距離を測定し、測定した距離を画素値として画像を形成することで「距離画像」を撮影する距離測定装置(距離画像センサを用いた測距装置)が開発されている。このような距離測定装置には、複数のカメラを用いるものや、レーザーを走査するものなどがあるが、小型で精度が比較的よいものにTOF(Time−Of−Flight)方式を用いたものがある(例えば、特許文献1〜3参照)。
TOF方式とは、距離測定の対象とする空間に強度変調した光を照射し、その反射波の位相ずれを検出することで、距離を測定するものである。なお、TOF方式により距離測定を行うために用いる強度変調した光は、正弦波、三角波、パルス波など様々であるが、基本原理は同様である
図1は、TOF方式の原理を説明するための説明図である。光の強度を変調した光(光強度変調光)の光強度の変調周期をT、角周波数をω、時刻0、T/4、T/2、3T/4における反射波の強度を、それぞれ、A0、A1、A2、A3とするとき、距離測定の対象空間に照射した光強度変調光と、その反射波(反射光)との位相ずれ量
Figure 2010100846
(以下、これを「Δψ」と表記することもある。)は、(数式1)により、
Figure 2010100846
と求められる。これにより、距離Lは、光速c、往復時間Δt=Δψ/ωであるので、(数式2)により、
Figure 2010100846
と求められる。
しかしながら、TOF方式による距離測定方法には、「距離精度」(測定距離の精度)と「最大検出距離」にトレードオフがある。すなわち、「距離精度」は、距離測定に用いる光強度変調光の光強度の変調周波数に比例するが、「最大検出距離」は、光強度変調光の光強度の変調周波数に反比例する。よって、距離測定に用いる光強度変調光の光強度の変調周波数が高周波であるほど距離精度は高精度になるが、最大検出距離は短くなる。逆に、距離測定に用いる光強度変調光の光強度の変調周波数が低周波であるほど長距離まで検出可能となるが距離精度は低精度となってしまう。
これは、TOF方式による距離測定方法では、距離測定に用いる光強度変調光の光強度の変調周期の1周期以上の位相ずれを検出できないためである。
そこで、特許文献4、5に開示されている技術では、周波数多重変調光(複数の周波数により光強度変調された光強度変調光を重畳(多重)した光強度変調光、あるいは複数の周波数成分を重畳した変調信号により光強度変調された光強度変調光)を用いることで、1周期以上の位相ずれを検出することを可能にしている(以下、周波数多重変調光を用いることで、1周期以上の位相ずれを検出する方法(方式)を「多重波TOF方式」という。)。すなわち、多重波TOF方式による距離測定では、低周波数により光強度変調された光強度変調光(低周波)により粗く(低精度に)距離を測定し、測定しようとしている距離を大まかに把握し、さらに、高周波数により光強度変調された光強度変調光(高周波)により精密に(高精度に)距離を測定する。これにより、周波数多重変調光に含まれる高周波(高周波数により光強度変調された光強度変調光)の被写体からの反射波において、当該高周波の1周期以上の位相ずれ(高周波位相ずれ)がある場合であっても、当該高周波による精度の距離測定(高精度の距離測定)が可能となる。このようにして、多重波TOF方式による距離測定では、上記トレードオフを解決し、高精度かつ長距離の距離測定が可能となる。
なお、特許文献6には、多重波(周波数多重変調光)ではなく、低周波(低周波数により光強度変調された光強度変調光)と高周波(高周波数により光強度変調された光強度変調光)とを交互に用いる方法が開示されているが、この距離測定は、上記のような多重波を用いる距離測定に比べて、測定距離の精度は劣る。
特許3906858号 特許3840341号 特開2007−121116 特開昭58−66880 特開平5−264723 特開平11−160065
しかしながら、多重波TOF方式による距離測定を行う距離測定装置では、いずれも分波(周波数分離)するための回路(フィルタ回路や同期検波回路など)が必要であり、回路規模(ハードウェア規模)が大きくなるという課題がある。つまり、このような距離測定装置では、画素ごとに分波回路が必要となるため、画素ピッチサイズが大きくなり、解像度が低下してしまうという課題がある。このため、現在、距離測定装置では、1種類の周波数の波(単波)を用いて距離測定を行うのが一般的であり、多重波を用いる距離測定装置を回路規模の増大を抑えつつ、低コストで実現することは困難である。
本発明は、上記課題に鑑み、分波回路規模を大幅に削減し、取得される距離画像の解像度低下を最小限に抑えることで、取得される距離画像の高解像度化、測定距離精度の高精度化、および、測定距離の長距離化を実現することができる多重波を用いた距離測定装置を提供することを目的とする。
第1の発明は、照射部と、受光素子部と、分配部と、蓄積素子部と、距離算出部と、を備える距離測定装置である。
照射部は、
n+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化することで生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する。受光素子部は、照射部から照射された多重変調光の距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する。分配部は、受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する。蓄積素子部は、分配部から出力される電荷を蓄積する。距離算出部は、蓄積素子部により蓄積された電荷量から、距離測定対象までの距離を算出する。
この距離測定装置では、「互いに偶数倍」の関係(上記数式の関係)となる少なくとも2つの異なる周波数を多重化した多重変調光を用いて、距離測定を行うので、分配部により、所定のタイミングで分配制御を行うのみで、反射波において、簡単に、分波することができる(多重化された各周波数成分を抽出することができる)ので、画素ピッチサイズを小さくすることができ、距離画像の解像度が向上する。
つまり、この距離測定装置では、「互いに偶数倍」の関係となる複数の周波数を多重化することで、分配制御のみによる分波が可能となる。TOF方式の距離測定では、通常、(数式1)のように、半周期ごとの値の減算を行うので、「互いに偶数倍」の関係であれば、半周期後に同じ値となるため、減算により打ち消しあうことを用いている。
これにより、この距離測定装置では、加減算のみで分波できるので、分波回路規模を大幅に削減することができ、かつ、多重変調光を用いた精度の高い、長距離まで測定できる距離測定を行うことが可能となる。
ここで、「距離測定装置」とは、例えば、光波測距儀、距離画像センサを含む概念である。この距離測定装置により距離画像を取得する場合、受光素子部、分配部、第1の蓄積素子部および第2の蓄積素子部は、画素数分設ける構成にすればよい。この場合、受光素子部、分配部、第1の蓄積素子部および第2の蓄積素子部により実行される分波処理、および、距離算出部により実行される距離算出演算は、1画素ごとに行えばよい。なお、距離算出部の演算は、比較的複雑となるので、第1の蓄積素子部および第2の蓄積素子部から電荷を読み出し、シリアライズした後、処理を行うようにしてもよい。
「照射部」は、例えば、LED光源やレーザー光源を用いて実現することができる。これに光強度変調光を照射させるための光強度変調信号発生部を含むようにしてもよい。また、赤外光など、不可視光を用いると被写体が人物等である場合にも不快を与えないのでよい。また、照射部により照射される「多重変調光」は電磁波であり、赤外光、可視光以外の周波数の電磁波であってもよく、また、音波(超音波など)を用いてもよい。
「光強度変調」は、正弦波による光強度変調のみに限らず、三角波、パルス波などの周期信号を用いて光強度変調を行うものであってもよい。なお、用いる波により、近距離、遠距離における距離分解能の粗密が変わるだけであるので、どのような信号により光強度変調を行うかは、目的・用途に応じて決定すればよい。
「距離測定対象」とは、光波測距儀では、測定対象物における1点を指すが、距離画像センサでは、イメージセンサにより撮像される空間全体(以下、「対象空間」と表現することがある)のことを指す。
「受光素子部」とは、例えば、イメージセンサ(CCD型イメージセンサやCMOS型イメージセンサ)などにより実現可能である。
また、照射部が照射する電磁波に応じて、受光素子部に光学フィルタを備えるようにしてもよい。例えば、照射部から赤外光が照射される場合、受光素子部に赤外光以外の電磁波を遮断する赤外光用の光学フィルタを備え、受光素子部の受光素子に赤外光成分以外の電磁波が入射されないようにしてもよい。
蓄積素子部は、「蓄積素子」(電荷蓄積素子)を有しており、「蓄積素子」とは、例えば、コンデンサ(キャパシタ)や、半導体の空乏層(ポテンシャル井戸)などにより実現されるが、これに限らず、電荷を保持するものであれば何でもよい。
なお、蓄積素子部は、複数の蓄積素子(電荷蓄積素子)を用いる構成にしてもよい。
「所定のタイミング」とは、例えば、多重変調光に含まれる各周波数成分の周期をTnとするとき、時刻t=0、Tn/4、Tn/2、3Tn/4である。なお、これは一例にすぎず、基本的には、未知パラメータは3つ(後述するΔψ、A、B)であるから、反射光(反射波)から少なくとも3点サンプリング値を取得できるタイミングであれば、「所定のタイミング」をどの時刻に設定してもよい。
「切り替え」とは、分配制御などのことを指す。
「距離算出部」は、位相ずれ計算、距離計算などを行う。なお、非線形な変換はルックアップテーブル(LUT)などで構成するとよい。距離算出部のみソフトウェア処理してもよい。
第2の発明は、第1の発明であって、蓄積素子部は、多重変調光に含まれる各周波数fn(1≦n≦N)に対して、少なくとも1つの蓄積素子を備える。
この距離測定装置では、各周波数成分に対応する電荷量を個別に保持する蓄積素子を備えているので、各周波数成分別に設けられた蓄積素子に各周波数成分に対応する電荷量を個別に保持することができ、距離算出部において、各周波数成分の位相ずれを算出することができる。
なお、この距離測定装置では、単波のTOF方式の距離測定を用いる距離測定装置に比べて、例えば、2重波(高周波の周波数が低周波のk(≧2)倍とする)の場合、2倍の数の蓄積素子が必要となるが、距離測定精度はk(≧2)倍になる。
第3の発明は、第1または第2の発明であって、多重変調光に含まれる各周波数fn(1≦n≦N、周期Tn)に対して、分配部は、所定の時刻t0、時刻t1(≠t0)、時刻t2(=t0+Tn/2)、時刻t3(=t1+Tn/2)において出力先を切り替える。蓄積素子部は、少なくとも多重変調光における最長周期T1の間、電荷を蓄積し続ける。
この距離測定装置では、「互いに偶数倍」の関係で周波数多重されており、各周波数fnに対して、fnを超える高周波成分は、半周期(Tn/2)後に同値になるので、減算により除去することができる。また、fn未満の低周波成分の各時刻における全ての値は、最長周期T1の間に、逆符号の同値になるペアが存在するので、積算により除去することができる(詳細は後述する)。すなわち、分配部の分配制御のみで、簡単に、分波することができるので、分波回路規模を大幅に削減することができ、かつ、多重変調光を用いた精度の高い、長距離まで測定できる距離測定を行うことが可能となる。
なお、「周期T1の間、電荷を蓄積し続ける」とは、
(1)周期T1の間、所定の時刻における蓄積電荷量のサンプリング値を加算(積算)し続けること、または、
(2)周期T1の間、所定の時刻を含む所定の積分期間において取得した蓄積電荷量の積分値を加算(積算)し続けること、
を含む概念である。
第4の発明は、第3の発明であって、蓄積素子部は、時刻t0および時刻t2における電荷量の差分電荷量を、少なくとも最長周期T1の間蓄積し(この蓄積により取得(生成)される信号を第1差分積算信号とする。)、蓄積した電荷量を前記距離算出部に電荷転送した後、時刻t1および時刻t3における電荷量の差分電荷量を、少なくとも前記最長周期T1の間蓄積する(この蓄積により取得(生成)される信号を第2差分積算信号とする。)。
ここで、「差分電荷量を蓄積(減算)」するためには、ダイオードなどを用いて逆向きの電流で蓄積素子(コンデンサなど)に蓄積する回路構成を用いるとよい。
この距離測定装置では、差分電荷量を蓄積するので、最長周期T1の間、定常成分(外光など)を打ち消しながら強度変調光成分のみを蓄積することができ、受光素子の飽和を抑制することができる。このため、より強く強度変調光を照射することができ、距離精度が向上する。
また、この距離測定装置では、各周波数に対して1つの蓄積素子を用いるので、第1差分積算信号蓄積中の第2差分積算信号成分は捨てることになるが(逆も同様)、蓄積素子増加による回路規模増大を最小限に抑えることができるので、解像度を優先する場合は、この距離測定装置の構成を採用することが好ましい。
第5の発明は、第3の発明であって、蓄積素子部は、第1の蓄積素子部と、第2の蓄積素子部と、を有し、少なくとも最長周期T1の間、第1の蓄積素子部は、時刻t0および時刻t2における電荷量の差分電荷量を蓄積し(第1差分積算信号)、第2の蓄積素子部は、時刻t1および時刻t3における電荷量の差分電荷量を蓄積する(第2差分積算信号)。
この距離測定装置では、2つの蓄積素子(第1の蓄積素子部および第2の蓄積素子部)を用いるので、回路規模は多少増大するが、第1・第2差分積算信号を同時に保持することができる。このため、第1・第2差分積算信号に時間遅延がなく、被写体が動いた場合の動きぼけを低減することができ、高精度な距離画像を取得することができる。また、この距離測定装置では、蓄積素子数は2倍になるが、その他の回路は共通であるから、全体の回路規模は2倍以下になる。
第6の発明は、第4または第5の発明であって、多重変調光の距離測定対象からの反射波をf(t)とし、多重変調光に含まれる第n周波数成分(nは自然数、1≦n≦N)の周期をTn、最長周期T1に含まれる波数をkn(=fn/f1)とするとき、蓄積素子部は、
第1差分積算信号として、
Figure 2010100846
に相当する電荷を蓄積し、
第2差分積算信号として、
Figure 2010100846
に相当する電荷を蓄積する。
第7の発明は、第3の発明であって、蓄積素子部は、時刻t0〜t3のうちの任意の1つの時刻において、少なくとも最長周期T1の間電荷量を蓄積し、蓄積した電荷量を距離算出部に電荷転送する処理を、時刻t0に対応する蓄積電荷量、時刻t1に対する蓄積電荷量、時刻t2に対する蓄積電荷量、および、時刻t3に対する蓄積電荷量の全てに対して順次行うことにより、各時刻t0〜t3に対応した電荷量(第0〜第3積算信号)を距離算出部に電荷転送する。
ここで、「時刻t0に対応する蓄積電荷量、時刻t1に対する蓄積電荷量、時刻t2に対する蓄積電荷量、および、時刻t3に対する蓄積電荷量の全てに対して順次行う」には、4!(4の階乗)通りの順番がある。つまり、時刻t0に対応する蓄積電荷量をE(t0)とし、時刻t1に対応する蓄積電荷量をE(t1)とし、時刻t2に対応する蓄積電荷量をE(t2)とし、時刻t3に対応する蓄積電荷量をE(t3)とすると、E(t0)、E(t1)、E(t2)、E(t3)の順番に電荷転送処理をおこなってもよいし、E(t3)、E(t2)、E(t1)、E(t0)の順番に電荷転送処理を行ってもよい。転送順序は、上記の通り、4!(4の階乗)通りあり、そのいずれの順序により電荷転送処理を行ってもよい。
この距離測定装置では、電流を逆向きにする回路は不要であるので、より回路規模を小さくすることができ、距離画像の解像度が向上する。
また、この距離測定装置では、各周波数に対して1つの蓄積素子を用いるので、各積算信号取得中の、その他の積算信号成分は捨てることになるが、蓄積素子増加による回路規模増大を最小限に抑えることができるので、解像度を優先する場合は、この距離測定装置の構成を採用することが好ましい。
第8の発明は、第3の発明であって、蓄積素子部は、第1の蓄積素子部と、第2の蓄積素子部と、を有し、第1の蓄積素子部および第2の蓄積素子部は、少なくとも最長周期T1の間、時刻t0〜t3のうち任意の2つの時刻における電荷量を蓄積し、蓄積した電荷量を距離算出部に電荷転送した後、少なくとも最長周期T1の間、残りの2つの時刻における電荷量を蓄積し、蓄積した電荷量を距離算出部に電荷転送することで、各時刻t0〜t3に対応した電荷量(第0〜第3積算信号)を距離算出部に電荷転送する。
ここで、「時刻t0〜t3のうち任意の2つの時刻」とは、例えば、時刻t0および時刻t2であり、「残りの2つの時刻」とは、例えば、時刻t1および時刻t3である。
この距離測定装置では、2つの蓄積素子を用いるので、回路規模は多少増大するが、2つの積算信号を同時に保持することができる。このため、この2つの積算信号の時間遅延がなく、被写体が動いた場合の動きぼけを低減することができ、高精度な距離画像を取得することができる。また、この距離測定装置では、蓄積素子数は2倍になるが、その他の回路は共通であるから、全体の回路規模は2倍以下になる。
第9の発明は、第3の発明であって、蓄積素子部は、第0の蓄積素子部と、第1の蓄積素子部と、第2の蓄積素子部と、第3の蓄積素子部と、を有し、少なくとも前記最長周期T1の間、第0の蓄積素子部は、時刻t0における電荷量を蓄積し(第0積算信号)、第1の蓄積素子部は、時刻t1における電荷量を蓄積し(第1積算信号)、第2の蓄積素子部は、時刻t2における電荷量を蓄積し(第2積算信号)、第3の蓄積素子部は、時刻t3における電荷量を蓄積する(第3積算信号)。
この距離測定装置では、4つの蓄積素子を用いるので、回路規模は多少増大するが、4つの積算信号を同時に保持することができる。このため、この4つの積算信号の時間遅延がなく、被写体が動いた場合の動きぼけを低減することができ、高精度な距離画像を取得することができる。また、この距離測定装置では、蓄積素子数は4倍になるが、その他の回路は共通であるから、全体の回路規模は4倍以下になる。
第10の発明は、第7から第9のいずれかの発明であって、多重変調光の前記距離対象からの前記反射波をf(t)とし、前記多重変調光に含まれる第n周波数(nは自然数、1≦n≦N)の周期をTn、前記最長周期T1に含まれる波数をkn(=fn/f1)とするとき、蓄積素子部は、
第0積算信号として、
Figure 2010100846
に相当する電荷を蓄積し、
第1積算信号として、
Figure 2010100846
に相当する電荷を蓄積し、
第2積算信号として、
Figure 2010100846
に相当する電荷を蓄積し、
第3積算信号として、
Figure 2010100846
に相当する電荷を蓄積する。
第11の発明は、第1から第10のいずれかの発明であって、距離算出部は、多重変調光に含まれる各周波数の位相ずれ量を算出し、算出した位相ずれ量のうち、多重変調光に含まれる各周波数成分の中の任意の周波数成分の位相ずれ量である低周波位相ずれ量、および、多重変調光に含まれる各周波数成分の中に含まれ、低周波位相ずれ量に対応する周波数成分より高い周波数成分の位相ずれ量である高周波位相ずれ量から最終位相ずれ量を算出し、算出した最終位相ずれ量から距離を算出する。
これにより、検出位相ずれ限界(π/2)以上の高周波位相ずれを検出できるので、高精度かつ長距離測定可能となる。
第12の発明は、第11の発明であって、低周波位相ずれ量をΔψi(周波数fi)とし、高周波位相ずれ量をΔψj(周波数fj)とし、光速をcとするとき、距離算出部は、多重変調光に含まれる各周波数の位相ずれ量、最終位相ずれ量、および、距離Lを、それぞれ、
Figure 2010100846
Figure 2010100846
Figure 2010100846
により算出する。
この距離測定装置では、低周波位相ずれΔψiを高周波位相ずれ量に換算した
Figure 2010100846
(低精度だがπ/2以上の範囲に相当する距離測定が可能。)を算出し、これと高周波位相ずれ量Δψj(高精度だが±π/2の範囲のみでの相当する距離測定が可能)を組み合わせることで、π/2以上の高周波位相ずれ量である最終位相ずれ量であるΔψ(高精度かつπ/2以上の範囲に相当する距離測定が可能。)を算出することができる。
これにより、この距離測定装置では、長距離測定可能、かつ、高精度の距離測定を行うことができる。
第13の発明は、第12の発明であって、距離算出部は、各時刻における電荷蓄積時間τを考慮して、多重変調光に含まれる各周波数の位相ずれ量Δψnを、
Figure 2010100846
により算出する。
この距離測定装置では、図2または図6に示すように、各時刻の電荷蓄積時間τ(>0)を考慮して位相ずれ量Δψを求める。一般に、瞬時値(サンプリング値)ではなく、積分値を用いて位相ずれ量Δψを求めることで、ノイズの影響を受けにくくすることができるため好ましいが、位相ずれ量算出式は、上式のように変化する。
例えば、図2のように、t=0〜τ、T/4〜T/4+τ、T/2〜T/2+τ、3T/4〜3T/4+τを積分期間とすると、位相ずれΔψは、(数式3)により、
Figure 2010100846
と求められる。この場合、位相は、サンプル値により算出した場合に比べ、さらに、ωτ/2だけずれるので、その分の補正が必要となる。
これにより、この距離測定装置では、電荷蓄積時間τによる位相ずれ誤差を補正することができるので、電荷蓄積時間τを長くでき、さらに精度を向上させることができる。
第14の発明は、第11から第13のいずれかの発明であって、距離算出部は、多重変調光に含まれる各周波数の位相ずれ量ψnを添え字順(n=1、2、…)に並べ、初めてπ/2以上となる位相ずれ量の添え字をk(2≦k≦N)とするとき、位相ずれ量ψk-1を、低周波位相ずれ量として、距離を算出する。
例えば、ψ1=40°、ψ2=80°、ψ3=120°のとき、低周波位相ずれをψ2(=80°)とする。
なお、TOF方式における位相ずれ量は、周波数に比例する。一般的に、f(t)のフーリエ変換をF(ω)とするとき、f(t−Δt)のフーリエ変換はF(ω)exp(−ωΔt)となり、位相ずれ量Δψ=ωΔtとなり、周波数に比例する(線形位相。直線位相とも呼ばれる)。
この距離測定装置では、多重変調光に含まれる各周波数成分の中で、最も精度の高い低周波成分を用いるので、さらに距離測定の精度が向上する。この距離測定装置により取得される距離画像では、これを画素ごとに行うことで、各画素における測距対象物の距離に応じて最も精度の高い低周波成分を用いることができ、これにより、各画像の距離精度が向上する。
第15の発明は、第11から第14のいずれかの発明であって、第1差分積算信号の絶対値が小さいとき、または、第0積算信号と第2積算信号との差分絶対値が小さいとき、距離算出部は、最終位相ずれ量として、
Figure 2010100846
を用いる。
これにより、この距離測定装置では、
Figure 2010100846
において、分母の値が小さく、除算結果が発散する場合には、低周波位相ずれΔψiを高周波位相ずれ量に換算した
Figure 2010100846
(低精度だがπ/2以上の範囲に相当する距離測定が可能。)に基づいて距離を算出することによって、距離測定不能な場合が発生することを回避することができる。
第16の発明は、第1から第15のいずれかの発明であって、照射部は、多重変調光を、低周波成分ほど振幅を小さくして生成する。
低周波成分は、粗く測距するためのものなので、振幅を小さくしてもよく、これにより蓄積素子の飽和を低減することができる。
第17の発明は、照射部と、受光素子部と、分配部と、蓄積素子部と、を備える距離測定装置に用いられる距離測定方法であって、分配制御ステップと、距離算出ステップと、を備える。
照射部は、
n+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化することで生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する。受光素子部は、照射部から照射された多重変調光の距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する。分配部は、受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する。蓄積素子部は、分配部から出力される電荷を蓄積する。
分配制御ステップでは、分配部の出力先を、所定のタイミングで、所定の出力先に切り替えるように制御する。距離算出ステップでは、第1の蓄積素子部および第2の蓄積素子部により蓄積された電荷量に基づいて、距離測定対象までの距離を算出する。
これにより、第1の発明と同様の効果を奏する距離測定方法を実現することができる。
第18の発明は、照射部と、受光素子部と、分配部と、蓄積素子部と、を備える距離測定装置に用いられる距離測定方法をコンピュータに実行させるプログラムである。距離測定方法は、分配制御ステップと、距離算出ステップと、を備える。
照射部は、
n+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化することで生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する。受光素子部は、照射部から照射された多重変調光の距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する。分配部は、受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する。蓄積素子部は、分配部から出力される電荷を蓄積する。
分配制御ステップでは、分配部の出力先を、所定のタイミングで、所定の出力先に切り替えるように制御する。距離算出ステップでは、第1の蓄積素子部および第2の蓄積素子部により蓄積された電荷量に基づいて、距離測定対象までの距離を算出する。
これにより、第1の発明と同様の効果を奏する距離測定方法をコンピュータに実行させるプログラムを実現することができる。
第19の発明は、照射部と、受光素子部と、分配部と、蓄積素子部と、距離算出部と、を備える集積回路である。
照射部は、
n+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化することで生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する。受光素子部は、照射部から照射された多重変調光の距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する。分配部は、受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する。蓄積素子部は、分配部から出力される電荷を蓄積する。距離算出部は、蓄積素子部により蓄積された電荷量から、距離測定対象までの距離を算出する。
これにより、第1の発明と同様の効果を奏する集積回路を実現することができる。
本発明によれば、分波回路規模を大幅に削減し、取得される距離画像の解像度低下を最小限に抑えることで、取得される距離画像の高解像度化、測定距離精度の高精度化、および、測定距離の長距離化を実現することができる多重波を用いた距離測定装置、距離測定方法、プログラムおよび集積回路を実現することができる。
TOF方式の距離測定の原理を説明するための説明図 TOF方式(積分型)の距離測定の原理を説明するための説明図 第1実施形態における距離測定装置1の概略構成を示すブロック図 第1実施形態における距離測定装置1の受光素子部201と、分配部202と、蓄積素子部(211A、211B、221A、221B、231A、231B)と、の構成の一例(特許文献3図8記載)を示す図 第1実施形態における距離測定装置1の動作を説明するための説明図 第1実施形態における距離測定装置1(積分型)の動作を説明するための説明図
以下、本発明の実施形態について、図面を用いて詳細に説明する。
[第1実施形態]
本発明の第1実施形態である距離測定装置1について、図3〜5を用いて説明する。
第1実施形態では、多重変調光(複数の周波数により光強度変調された光強度変調光を重畳(多重)した光強度変調光)として、3種類の周波数(低周波、中周波、高周波)により、それぞれ、光強度変調された3つの光強度変調光を重畳(多重)した3重変調光(3重波)を採用する場合について説明する。なお、重畳(多重)される光強度変調光の周波数の関係は、「互いに偶数倍」の周波数となる関係にする。ここでは、最も簡単な例として、基準周波数f(周期T)を用いて、
低周波:f1=f、
中周波:f2=2・f、
高周波:f3=4・f
とする(以下では、「f1」を「f1」と、「f2」を「f2」と、「f3」を「f3」と表記することがある)。つまり、低周波数により光強度変調された光強度変調光(低周波)の光強度変調周波数をf1(=f)とし、中周波数により光強度変調された光強度変調光(中周波)の光強度変調周波数をf2(=2・f)とし、高周波数により光強度変調された光強度変調光(高周波)の光強度変調周波数をf3(=4・f)とする。
なお、「互いに偶数倍」の周波数となる関係とは、重畳(多重)される光強度変調光の光強度変調周波数を、低い方から、f1、f2、・・・、fn、fn+1、・・・としたとき、
n+1=2kn・fn(fn+1>fn、nおよびknは自然数)
が成立する関係をいう。
また、以下では、3重変調光(3重波)を用いる場合について説明するが、通常は、多重変調光として、2重波(互いに偶数倍の関係にある光強度変調光周波数により光強度変調された低周波および高周波の2つの光強度変調光を重畳(多重)した多重変調光)を用いれば十分である(2重波により本実施形態の距離測定を実現すれば、十分、取得される距離画像の高解像度化、測定距離精度の高精度化、および、測定距離の長距離化を実現することができる)。
また、本実施形態の距離測定方法(距離測定装置1により実現される距離測定方法)は、一般的な場合(N重波(Nは自然数)を用いる場合)においても成立する(分波できる)。これについては、以下の文中で証明する。
<1.1:距離推定装置の構成>
図3は、本発明の第1実施形態における距離測定装置1の概略構成を示すブロック図である。
図3に示すように、本発明の第1実施形態による距離測定装置1は、多重変調光を撮像空間に照射する照射部10と、照射部10から照射された多重変調光の撮像空間からの反射波である反射多重変調光を受光する受光部20と、受光部20の出力から距離測定装置1と撮像空間内の被写体(距離測定対象)と間の距離を算出する距離算出部30と、照射部10、受光部20および距離算出部30を制御する制御部40と、を備える。
照射部10は、制御部40からの指令に基づいて、多重変調光(本実施形態では、3種類の周波数(低周波、中周波、高周波)により、それぞれ、光強度変調された3つの光強度変調光を重畳(多重)した3重変調光(3重波))を生成し、生成した多重変調光を、距離測定対象である撮像空間に照射する。
受光部20は、複数の(画素数分の)電荷蓄積部200(1つの電荷蓄積部200が1つの画素に対応する。)と、電荷転送部210と、を備える。
電荷蓄積部200は、画素ごとに、受光素子部201と、分配部202と、第1波成分用蓄積素子部211A、211Bと、第2波成分用蓄積素子部221A、221Bと、第3波成分用蓄積素子部231A、231Bと、を備える。なお、以下では、第1波成分用蓄積素子部から第N波成分用蓄積素子部(ここでは、N=3)をまとめて、「蓄積素子部」ということがある。
受光素子部201は、受光素子(例えば、フォトダイオードにより実現される受光素子)を有し、距離測定対象の撮像空間からの反射多重変調光(反射波)を受光し、光電変換により反射波を電荷(電気信号)に変換する。そして、受光素子部201は、光電変換により取得した電荷(電気信号)を、分配部202を介して、蓄積素子部(211A、211B、221A、221B、231A、231B)に出力する。
分配部202は、制御部40により分配制御を行う。分配部202は、制御部40により指示される所定のタイミングで、受光素子部201から出力される電荷(電気信号)を、第1波成分用蓄積素子部211A、211B、第2波成分用蓄積素子部221A、221B、第3波成分用蓄積素子部231A、231B、のいずれかに出力する。
第1波成分用蓄積素子部211Aは、電荷蓄積素子を有し、受光素子部201から分配部202を介して出力される電荷(電気信号)を蓄積する。第1波成分用蓄積素子部211Aは、反射波の低周波成分のみの電荷を蓄積する(詳細については後述)。
第1波成分用蓄積素子部211Bは、電荷蓄積素子を有し、受光素子部201から分配部202を介して出力される電荷(電気信号)を蓄積する。第1波成分用蓄積素子部211Bは、反射波の低周波成分のみの電荷を蓄積する(詳細については後述)。
第2波成分用蓄積素子部221Aは、電荷蓄積素子を有し、受光素子部201から分配部202を介して出力される電荷(電気信号)を蓄積する。第2波成分用蓄積素子部221Aは、反射波の中周波成分のみの電荷を蓄積する(詳細については後述)。
第2波成分用蓄積素子部221Bは、電荷蓄積素子を有し、受光素子部201から分配部202を介して出力される電荷(電気信号)を蓄積する。第2波成分用蓄積素子部221Bは、反射波の中周波成分のみの電荷を蓄積する(詳細については後述)。
第3波成分用蓄積素子部231Aは、電荷蓄積素子を有し、受光素子部201から分配部202を介して出力される電荷(電気信号)を蓄積する。第3波成分用蓄積素子部231Aは、反射波の高周波成分のみの電荷を蓄積する(詳細については後述)。
第3波成分用蓄積素子部231Bは、電荷蓄積素子を有し、受光素子部201から分配部202を介して出力される電荷(電気信号)を蓄積する。第3波成分用蓄積素子部231Bは、反射波の高周波成分のみの電荷を蓄積する(詳細については後述)。
なお、電荷蓄積部200では、多重変調光の多重度が「3」(低周波、中周波、高周波の3つの光強度変調光を重畳(多重)。)であるため、3つの成分用の蓄積素子部(211A、211B、221A、221B、231A、231B)を備える構成となっている。多重度が「N」の場合は、電荷蓄積部200は、N個の成分用の蓄積素子部を備える構成(例えば、N×2個の蓄積素子部を備える構成)にすればよい。
また、受光素子部201と、分配部202と、蓄積素子部(211A、211B、221A、221B、231A、231B)と、の構成の一例(特許文献3図8記載)を、図4に示す。図4に示すように、フォトダイオードPD1およびPD2(受光素子部201の一部に相当。)に流れる電流I1およびI2を、分配部(一部)202Aを介して、蓄積素子部(図4では第1波成分用蓄積素子部211A)に流すことで、電荷蓄積処理を実行する。具体的には、制御部40からの分配制御信号に基づいて、分配部202Aの分配制御を切り替えることで、蓄積素子部(図4では第1波成分用蓄積素子部211A)のコンデンサに流れる電流の向きを変え、蓄積素子部(図4では第1波成分用蓄積素子部211A)のコンデンサに差分電荷を蓄積させる。
なお、図4に示す構成は、一例であり、この構成に限定されないことは言うまでもない。
電荷転送部210は、各画素に対応する電荷蓄積部200の蓄積素子部(211A、211B、221A、221B、231A、231B)から出力される蓄積電荷(蓄積電荷に対応する電気信号)を、入力とし、制御部40により指示される所定のタイミングで、距離算出部30に転送する。
距離算出部30は、受光部20の電荷転送部210からの出力を入力とし、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)に基づいて各画素についての距離値を算出し、各画素が距離値となる距離画像を生成して出力する。なお、距離算出部30は、アナログ信号のまま距離算出についての計算を行うものであってもよいし、A/D変換後にディジタル処理により距離算出についての計算を行うものであってもよい。
距離算出部30は、図3に示すように、第1波位相ずれ量算出部31と、第2波位相ずれ量算出部32と、第3波位相ずれ量算出部33と、距離値取得部34と、を備える。
第1波位相ずれ量算出部31は、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)を入力とし、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)に基づいて、低周波位相ずれ量を算出する。そして、第1波位相ずれ量算出部31は、算出した低周波位相ずれ量を距離値取得部34に出力する。
第2波位相ずれ量算出部32は、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)を入力とし、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)に基づいて、中周波位相ずれ量を算出する。そして、第2波位相ずれ量算出部32は、算出した低周波位相ずれ量を距離値取得部34に出力する。
第3波位相ずれ量算出部33は、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)を入力とし、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)に基づいて、高周波位相ずれ量を算出する。そして、第3波位相ずれ量算出部33は、算出した低周波位相ずれ量を距離値取得部34に出力する。
距離値取得部34は、第1波位相ずれ量算出部31により算出された低周波位相ずれ量、第2波位相ずれ量算出部32により算出された中周波位相ずれ量、および、第3波位相ずれ量算出部33により算出された高周波位相ずれ量を入力として、低周波位相ずれ量、中周波位相ずれ量および高周波位相ずれ量に基づいて、各画素について、距離(距離値)を算出する。そして、距離値取得部34は、各画素が算出した距離値となる距離画像を生成して、生成した距離画像を出力する。
<1.2:距離推定装置の動作>
以上のように構成された距離測定装置1の動作について、説明する。
照射部10により、「互いに偶数倍」の関係となる周波数を有する多重変調光(例:低周波f1=f、中周波f2=2・f、高周波f3=4・f、fは基準周波数)が、距離測定対象空間である撮像空間へ照射される。
受光部20では、撮像空間からの多重変調光の反射光を受光する。つまり、撮像空間からの多重変調光の反射光は、各画素に対応する電荷蓄積部200の受光素子部201で受光され、光電変換により、受光素子部201で受光した光量に応じた電荷を発生させる。そして、発生させた電荷(電気信号)は、分配部202に出力される。
分配部202では、受光素子部201により取得された電荷(電気信号)を、制御部40からの指令に基づいて、所定のタイミングで切り替えながら、蓄積素子部(211A、211B、221A、221B、231A、231B)に出力する。
蓄積素子部(211A、211B、221A、221B、231A、231B)では、分配部202から出力された電荷(電気信号)を蓄積する。
ここで、「所定のタイミング」は、図5に示すように、高周波の4分の1周期(T/16)ごとの時刻とする。t=jT/16(0≦j<16、jは整数)における反射波f(t)の値Ajは、低周波成分Bj、中周波成分Cj、高周波成分Dj、変数α、定数βを用いて、
Aj=α(Bj+Cj+Dj)+β
となる。なお、変数αは、照射部10の強度、被写体の反射率、反射角度、反射の種類(鏡面反射、拡散反射等)、被写体までの距離などに依存する変数である。また、定数βは、環境光の強度、被写体の反射率などに依存する変数である。
第1波成分用蓄積素子部211Aには、制御部40が分配部202に対して、分配制御を行うことで、
A8−A0=α(B8+C8+D8)−α(B0+C0+D0)
に相当する電荷を蓄積する。つまり、第1波成分用蓄積素子部211Aには、時刻t=8T/16における蓄積電荷量A8(所定のサンプリング期間によりサンプル値(サンプリングは、分配部202による分配制御により行う。))と時刻t=0における蓄積電荷量A0(所定のサンプリング期間によりサンプル値)との差分電荷を蓄積する。
上式では、定数β(定常成分)は減算により打ち消される。ここで、中周波および高周波の周波数は、低周波の偶数倍であるから、図5からも明らかなように、低周波の半周期後の時刻における中周波の値(C0、C8)および高周波の値(D0、D8)は同じ値となる。
したがって、
A8−A0=α(B8−B0)
となり、これに相当する電荷が第1波成分用蓄積素子部211Aに蓄積される。つまり、第1波成分用蓄積素子部211Aには、低周波成分のみの電荷が蓄積される。
同様にして、第1波成分用蓄積素子部211Bには、
A4−A12=α(B4−B12)
に相当する電荷が蓄積される。つまり、第1波成分用蓄積素子部211Bには、低周波成分のみの電荷が蓄積される。
第2波成分用蓄積素子部221Aには、制御部40が分配部202に対して、分配制御を行うことで、
(A4−A0)+(A12−A8)
に相当する電荷を蓄積する。すなわち、最低周波数f1の1周期Tの間、蓄積し続ける。ここで、高周波の周波数は、中周波の偶数倍であるから、
D4=D0、D12=D8
であり、高周波成分は減算により打ち消しあう。一方、中周波の周波数は、低周波の偶数倍であるから、
B8=−B0、B12=−B4
であり、低周波成分は加算により打ち消しあう。また、
C0=C8、C4=C12
である。よって、第2波成分用蓄積素子部221Aには、
(A4−A0)+(A12−A8)=2α(C4−C0)
が蓄積される。つまり、第2波成分用蓄積素子部221Aには、中周波成分のみの電荷が蓄積される。
同様にして、第2波成分用蓄積素子部221Bには、
(A2−A6)+(A10−A14)=2α(C2−C6)
が蓄積される。つまり、第2波成分用蓄積素子部221Bには、中周波成分のみの電荷が蓄積される。
第3波成分用蓄積素子部231Aには、制御部40が分配部202に対して、分配制御を行うことで、
(A2−A0)+(A6−A4)+(A10−A8)+(A14−A12)
に相当する電荷を蓄積する。すなわち、最低周波数f1の1周期Tの間、蓄積し続ける。同様に、図5より、
C4=−C0、C6=−C2、C12=−C8、C14=−C10
B8=−B0、B10=−B2、B12=−B4、B14=−B6
D0=D4=D8=D12、D2=D6=D10=D14
より、
(A2−A0)+(A6−A4)+(A10−A8)+(A14−A12)=4α(D2−D0)
となる。つまり、つまり、第3波成分用蓄積素子部231Aには、高周波成分のみの電荷が蓄積される。
同様にして、第3波成分用蓄積素子部231Bには、
(A1−A3)+(A5−A7)+(A9−A11)+(A13−A15)=4α(D1−D3)
が蓄積される。つまり、第3波成分用蓄積素子部231Bには、高周波成分のみの電荷が蓄積される。
距離測定装置1では、このようにして、分波処理が実行される。
≪分波原理について≫
次に、この分波原理(上記分波処理の原理)が一般的に成立することを証明する。
反射波(多重度N)を、
Figure 2010100846
とし、その第i周波数成分(i=1〜N)を、
Figure 2010100846
とする。
反射波f(t)から、第n周波数成分(1≦n≦N)を分波するために、時刻t=0およびTn/2における反射光の差分電荷を、第1周波数(=最低周波数)の1周期の間、積算処理(サンプリング時刻における離散値の加算処理)を実行し続け(波数kn)、上記第1波成分用の蓄積素子に第1差分積算信号
Figure 2010100846
を蓄積する。この際、βは減算により打ち消される。
ここで、任意のi>nに対して、各周波数が互いに偶数倍のとき、ωi/ωnが偶数であることを用いて、
Figure 2010100846
となるので、第n周波数を超える高周波成分は全て減算により打ち消しあう。よって、
Figure 2010100846
となる。ここで、上式を次のように変形しておく。
Figure 2010100846
一方、任意のi<nに対して、各周波数が互いに偶数倍のとき、kn/kiが偶数であることを用いて、
Figure 2010100846
となる。同様にして、
Figure 2010100846
となる。すなわち、第n周波数未満の低周波成分は全て加算により打ち消しあう。
以上より、
Figure 2010100846
となり、第n周波数成分のみが分波される。
また、時刻t=Tn/4および3Tn/4における反射光の差分電荷を、第1周波数(=最低周波数)の1周期の間、積算処理(サンプリング時刻における離散値の加算処理)を実行し続け(波数kn)、上記第2波成分用の蓄積素子に第2差分積算信号、
Figure 2010100846
を蓄積する。同様にして、
Figure 2010100846
となり、位相が90°ずれた、第n周波数成分のみが得られる。
なお、後述するが、第n周波数成分の位相ずれΔψnは、
Figure 2010100846
により算出される。
また、距離測定装置1において、図6に示すように、サンプリング値(上記の場合)ではなく積分値を用いて、位相ずれ量を算出するようにしてもよい。距離測定装置1において、積分値を用いて位相ずれ量を算出する場合、蓄積素子部に蓄積される電荷量が多くなり、S/N比を良くすることができる(距離測定に用いる電荷量に対するノイズ量の割合が低減される)ので、さらに、高精度の距離測定が可能となる。
なお、積分値を用いて、位相ずれ量を算出する場合の位相ずれ量は、t=jTN/4〜jTN/4+τ(0≦j<4ωN/ω1、jは整数)における反射波f(t)の積分値をAjとし、これに含まれる低周波成分をBj、中周波成分をCj、高周波成分をDjとし、上記と同様の計算を行うことで取得することができる。なお、図6の例では、N=3、TN=T3=T/4、ωN/ω1=ω3/ω1=4より、積分区間はt=jT/16〜(j+1)T/16(0≦j<16、jは整数)となる。
この場合、位相ずれ量Δψnは、
Figure 2010100846
となり、位相ずれ量Δψnのオフセット項((数式16)の「ωnτ/2」の部分)が生じる。なお、図6は、τ=Tn/4の場合の一例であるが、これ以外の期間であってもよい。また、分配制御切り替え時間εを考慮して、τ=Tn/4−εとしてもよい。
また、距離測定装置1において、積分値による位相ずれ量を算出する場合、制御部40が、分配部202に対する分配制御(分配タイミングおよび分配期間)を調整することで、蓄積素子部(211A、211B、221A、221B、231A、231B)に、所定の積分期間による積分値に相当する電荷を蓄積させることができる。
次に、電荷転送部210以降の処理について説明する。
電荷転送部210では、各画素に対応する蓄積素子部(211A、211B、221A、221B、231A、231B)の電荷を、制御部40からの指令により、所定のタイミングで、距離算出部30へ転送する。なお、「所定のタイミング」とは、蓄積素子部(211A、211B、221A、221B、231A、231B)の蓄積電荷(蓄積電荷に対応する電気信号)が、混同(混合)されることなく、距離算出部30に転送されるものであればよい。例えば、CCDデバイス等で用いられている蓄積電荷の転送方法に基づいた転送方式(例えば、順次転送方式)により、蓄積素子部(211A、211B、221A、221B、231A、231B)の蓄積電荷(蓄積電荷に対応する電気信号)を距離算出部30に転送するようにすればよい。
第1波位相ずれ量算出部31では、電荷転送部210から転送される各画素についての蓄積電荷量に基づいて、各画素についての低周波位相ずれ量が算出される。
具体的には、第1波位相ずれ量算出部31では、電荷転送部210から転送される、第1波成分用蓄積素子部211Aの蓄積電荷(α(B8−B0))および第1波成分用蓄積素子部211Bの蓄積電荷(α(B4−B12))に基づいて、低周波位相ずれΔψ1が、
Figure 2010100846
により算出される。
第2波位相ずれ量算出部32では、電荷転送部210から転送される各画素についての蓄積電荷量に基づいて、各画素についての中周波位相ずれ量が算出される。
具体的には、第2波位相ずれ量算出部32では、電荷転送部210から転送される、第2波成分用蓄積素子部221Aの蓄積電荷(2α(C4−C0))および第2波成分用蓄積素子部221Bの蓄積電荷(2α(C2−C6))に基づいて、低周波位相ずれ量Δψ2が、
Figure 2010100846
により算出される。
第3波位相ずれ量算出部33では、電荷転送部210から転送される各画素についての蓄積電荷量に基づいて、各画素についての高周波位相ずれ量が算出される。
具体的には、第3波位相ずれ量算出部33では、電荷転送部210から転送される、第3波成分用蓄積素子部231Aの蓄積電荷(4α(D2−D0))および第3波成分用蓄積素子部231Bの蓄積電荷(4α(D1−D3))に基づいて、高周波位相ずれ量Δψ3が、
Figure 2010100846
により算出される。
距離値取得部34では、第1波位相ずれ量算出部31により算出された低周波位相ずれ量、第2波位相ずれ量算出部32により算出された中周波位相ずれ量、および、第3波位相ずれ量算出部33により算出された高周波位相ずれ量、の3つの位相ずれ量に基づいて、各画素について、距離(距離値)が算出される。
具体的には、距離値取得部34は、各画素について、低周波位相ずれ量Δψ1、中周波位相ずれ量Δψ2および高周波位相ずれ量Δψ3に基づいて最終位相ずれ量Δψを決定し、これに基づき、各画素の距離値Lを算出する。
距離値取得部34では、例えば、低周波位相ずれ量Δψ1および高周波位相ずれ量Δψ3を用いて、最終位相ずれ量Δψが、
Figure 2010100846
により算出される。
なお、距離値取得部34は、Δψ1≦Δψ2≦π/2の場合、最終位相ずれ量Δψを、
Figure 2010100846
により算出する。すなわち、距離値取得部34は、中周波位相ずれ量がπ/2(検出可能位相ずれ限界)以下の場合、低周波位相ずれ量よりも高精度である中周波位相ずれ量を、低周波位相ずれ量の代わりに用いて、最終位相ずれ量Δψを算出する。
また、
Figure 2010100846
の分母の値が小さいときは、除算結果が発散し、高周波位相ずれ量Δψ3の信頼性が低いので、距離値取得部34は、最終位相ずれ量を、
Figure 2010100846
を用いて算出する(例えば、fi=f1、fj=f3として、最終位相ずれ量を算出する)。すなわち、距離値取得部34では、このように低周波位相ずれ量のみに基づいて距離を算出することで、距離測定不能な場合が発生することを回避することができる。
距離値取得部34では、以上により算出された最終位相ずれ量Δψに基づいて、各画素についての距離値Lを、
Figure 2010100846
により算出する。ここで、cは光速である。
(数式20)〜(数式24)に基づいて分かるように、距離測定装置1では、低周波f1により決定される最大測定可能距離範囲において、高周波f3により決定される高精度の距離測定が可能となる。
距離値取得部34は、画素ごとに、距離値Lを上記処理により取得し、取得(算出)した距離値Lを画素値とする距離画像を生成し、出力する。
以上のように、本実施形態に係る距離測定装置1では、「互いに偶数倍」の関係となる複数の周波数を多重化した多重変調光を用いて、分配制御のみによる分波が可能となる。また、距離測定装置1では、差分電荷を蓄積し続けるので、定常成分(環境光など)が減算により常に打ち消され、蓄積素子における蓄積電荷の飽和を抑えることができる。このため、距離測定装置1では、より強く変調光を距離測定対象である撮像空間(被写体)に照射することができ、距離測定精度を向上させることができる
したがって、本実施形態に係る距離測定装置1および距離測定方法により、分波回路規模を大幅に削減することができ、かつ、取得される距離画像の高解像度化、測定距離精度の高精度化、および、測定距離の長距離化を実現することができる。
なお、上記において、多重変調光の多重度は「3」(低周波、中周波、高周波)であるので、距離算出部30は、位相ずれ量を算出する機能部として、第1波位相ずれ量算出部31、第2波位相ずれ量算出部32、および、第3波位相ずれ量算出部33、の3つを備えているが、多重変調光の多重度は「N」の場合は、多重度に応じて、位相ずれ量を算出する機能部を設置し、上記同様の方法を、多重度「N」の場合に適用すればよい。このようにすることで、本実施形態に係る距離測定装置および距離測定方法を、多重変調光の多重度は「N」の場合においても、実現することができる。
≪変形例≫
次に、本実施形態に係る変形例について、説明する。
上記では、差分電荷を保存することで位相ずれ量を算出する場合について説明したが、蓄積素子部の電荷をそのまま(同符号のまま)蓄積した後、電荷転送部210を介して、位相ずれ量算出部(第1実施形態では、第1波位相ずれ量算出部31、第2波位相ずれ量算出部32、および、第3波位相ずれ量算出部33に相当。)に出力し、位相ずれ量算出部において減算することで、位相ずれ量を算出するようにしてもよい。この場合、蓄積素子部において、差分電荷を取得するための電流反転回路を不要にすることができる。
すなわち、第1周波数(=最低周波数)の1周期の間(波数kn)、時刻t=0における反射光の電荷の積算処理を行う。つまり、第1蓄積素子に、第0積算信号
Figure 2010100846
に相当する電荷を蓄積し、
第2蓄積素子に、第2積算信号
Figure 2010100846
に相当する電荷を蓄積する。
そして、第1蓄積素子および第2蓄積素子に蓄積した電荷を転送した後、
第1蓄積素子に、第1積算信号
Figure 2010100846
を蓄積し、
第2蓄積素子に、第3積算信号
Figure 2010100846
を蓄積する。
そして、位相ずれ量算出部において、
Figure 2010100846
に相当する減算処理を行い、各周波数成分の位相ずれのない周波数成分を抽出する。
また、位相ずれ量算出部において、
Figure 2010100846
に相当する減算処理を行い、各周波数成分の位相が90°ずれた周波数成分を抽出する。
そして、位相ずれ量算出部は、抽出した、各周波数成分の位相ずれのない周波数成分および位相が90°ずれた周波数成分に基づいて、各周波数成分の位相ずれ量を算出する。
そして、上記で説明したのと同様の方法により、最終位相ずれ量Δψを求め、最終位相ずれ量Δψに基づいて、画素ごとの距離値Lを算出する。
なお、上記処理のようにサンプリング値を用いるのでではなく、上記において、図6により説明したのと同様、積分値を用いて距離値Lを算出するようにしてもよい。サンプリング値の代わりに、積分値を用いて位相ずれ量Δψを求めることで、ノイズの影響を受けにくくすることができる。
以上により、本変形例では、電流反転回路を不要にできるので、距離測定装置において、画素ピッチサイズをさらに小さくすることができ、距離測定装置により取得される距離画像の解像度低下を低減できる。
したがって、本変形例に係る距離測定装置および距離測定方法により、分波回路規模を大幅に削減することができ、かつ、取得される距離画像の高解像度化、測定距離精度の高精度化、および、測定距離の長距離化を実現することができる。
[他の実施形態]
上記実施形態の距離測定装置では、多重波(多重変調光)を用いて距離測定を行う場合について説明したが、これに限定されることはなく、例えば、異なる周波数により光強度変調された、複数の光強度変調光を交互に繰り返して(時分割で)測定対象の被写体(撮像空間)に照射する構成にしてもよい。 また、チャープ信号を用いて周波数を連続的に切り替えることによって生成された光強度変調光を用いて距離測定を行うようにしてもよい。例えば、チャープ信号を用いて周波数を低周波側からスキャンし、全画素における位相ずれ量がπ/2を超えないような、最大の周波数付近に強度変調周波数を設定することで、距離測定対象空間における最遠点にあわせた強度変調周波数を設定することができる。
また、低周波と高周波を直交させた偏光(偏波)を用いて距離測定を行うようにしてもよい。例えば、受光側で、反射波をハーフミラーにより2つの経路に分け、低周波成分・高周波成分を偏光フィルタにより抽出し、各周波数の位相ずれ量を算出すればよい。
また、距離測定対象とする撮像空間において、距離測定装置から距離測定対象の被写体までの距離のばらつきが大きい場合は、遠くに存在する被写体ほど、長い波長(光強度変調周波数の低い)の光強度変調光を用いて距離測定するようにしてもよい。例えば、被写体Aが遠くに存在し、被写体Bが近く存在する場合、距離測定装置において、被写体Aに対しては、長い波長(光強度変調周波数の低い)の光強度変調光(これを「光強度変調光A」、その光強度変調周波数を「fA」とする。)を用いて多重変調光(多重化される光強度変調光の光強度変調周波数の最低周波数をfAとする。)を生成し、被写体Aに当該多重変調光を照射し、上記で説明した距離測定方法により、被写体Aまでの距離を測定する。一方、被写体Bに対しては、光強度変調光Aよりも波長の短い光強度変調光B(この光強度変調周波数を「fB」とする。)を用いて多重変調光(多重化される光強度変調光の光強度変調周波数の最低周波数をfBとする。)を生成し、被写体Bに当該多重変調光を照射し、上記で説明した距離測定方法により、被写体Bまでの距離を測定する。距離測定装置において、このようにして距離測定を行うようにしてもよい。
なお、上記実施形態で説明した距離測定装置において、各ブロックは、LSIなどの半導体装置により個別に1チップ化されてもよいし、一部または全部を含むように1チップ化されてもよい。
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサーで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現してもよい。なお、上記実施形態に係る距離測定装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のために、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
本発明に係る距離測定装置(特に距離画像センサ)、距離測定方法、プログラムおよび集積回路によれば、高解像度かつ高精度かつ長距離測定可能となるので、画像・映像分野(3D、任意焦点画像、オブジェクト検出・認識、3次元計測)、ロボットの目、交通安全(衝突検知)、セキュリティ分野、FA(Factory Automation)分野、ゲームのインターフェースなど、様々な分野において有用であり、当該分野において実施することができる。
1 距離測定装置
10 照射部
20 受光部
200 電荷蓄積部
201 受光素子部
202 分配部
211A、211B、221A、221B、231A、231B 蓄積素子部
210 電荷転送部
30 距離画像取得部
31 第1波位相ずれ量算出部
32 第2波位相ずれ量算出部
33 第3波位相ずれ量算出部
34 距離値取得部
40 制御部
本発明は、距離測定装置、距離測定方法、プログラムおよび集積回路に関する。特に、多重波を用いた距離測定装置、距離測定方法、プログラムおよび集積回路に関する。
近年、所定の周波数の電磁波を被写体に照射し、被写体からの反射波に基づいて被写体までの距離を測定し、測定した距離を画素値として画像を形成することで「距離画像」を撮影する距離測定装置(距離画像センサを用いた測距装置)が開発されている。このような距離測定装置には、複数のカメラを用いるものや、レーザーを走査するものなどがあるが、小型で精度が比較的よいものにTOF(Time−Of−Flight)方式を用いたものがある(例えば、特許文献1〜3参照)。
TOF方式とは、距離測定の対象とする空間に強度変調した光を照射し、その反射波の位相ずれを検出することで、距離を測定するものである。なお、TOF方式により距離測定を行うために用いる強度変調した光は、正弦波、三角波、パルス波など様々であるが、基本原理は同様である
図1は、TOF方式の原理を説明するための説明図である。光の強度を変調した光(光強度変調光)の光強度の変調周期をT、角周波数をω、時刻0、T/4、T/2、3T/4における反射波の強度を、それぞれ、A0、A1、A2、A3とするとき、距離測定の対象空間に照射した光強度変調光と、その反射波(反射光)との位相ずれ量
Figure 2010100846
(以下、これを「Δψ」と表記することもある。)は、(数式1)により、
Figure 2010100846
と求められる。これにより、距離Lは、光速c、往復時間Δt=Δψ/ωであるので、(数式2)により、
Figure 2010100846
と求められる。
しかしながら、TOF方式による距離測定方法には、「距離精度」(測定距離の精度)と「最大検出距離」にトレードオフがある。すなわち、「距離精度」は、距離測定に用いる光強度変調光の光強度の変調周波数に比例するが、「最大検出距離」は、光強度変調光の光強度の変調周波数に反比例する。よって、距離測定に用いる光強度変調光の光強度の変調周波数が高周波であるほど距離精度は高精度になるが、最大検出距離は短くなる。逆に、距離測定に用いる光強度変調光の光強度の変調周波数が低周波であるほど長距離まで検出可能となるが距離精度は低精度となってしまう。
これは、TOF方式による距離測定方法では、距離測定に用いる光強度変調光の光強度の変調周期の1周期以上の位相ずれを検出できないためである。
そこで、特許文献4、5に開示されている技術では、周波数多重変調光(複数の周波数により光強度変調された光強度変調光を重畳(多重)した光強度変調光、あるいは複数の周波数成分を重畳した変調信号により光強度変調された光強度変調光)を用いることで、1周期以上の位相ずれを検出することを可能にしている(以下、周波数多重変調光を用いることで、1周期以上の位相ずれを検出する方法(方式)を「多重波TOF方式」という。)。すなわち、多重波TOF方式による距離測定では、低周波数により光強度変調された光強度変調光(低周波)により粗く(低精度に)距離を測定し、測定しようとしている距離を大まかに把握し、さらに、高周波数により光強度変調された光強度変調光(高周波)により精密に(高精度に)距離を測定する。これにより、周波数多重変調光に含まれる高周波(高周波数により光強度変調された光強度変調光)の被写体からの反射波において、当該高周波の1周期以上の位相ずれ(高周波位相ずれ)がある場合であっても、当該高周波による精度の距離測定(高精度の距離測定)が可能となる。このようにして、多重波TOF方式による距離測定では、上記トレードオフを解決し、高精度かつ長距離の距離測定が可能となる。
なお、特許文献6には、多重波(周波数多重変調光)ではなく、低周波(低周波数により光強度変調された光強度変調光)と高周波(高周波数により光強度変調された光強度変調光)とを交互に用いる方法が開示されているが、この距離測定は、上記のような多重波を用いる距離測定に比べて、測定距離の精度は劣る。
特許3906858号 特許3840341号 特開2007−121116 特開昭58−66880 特開平5−264723 特開平11−160065
しかしながら、多重波TOF方式による距離測定を行う距離測定装置では、いずれも分波(周波数分離)するための回路(フィルタ回路や同期検波回路など)が必要であり、回路規模(ハードウェア規模)が大きくなるという課題がある。つまり、このような距離測定装置では、画素ごとに分波回路が必要となるため、画素ピッチサイズが大きくなり、解像度が低下してしまうという課題がある。このため、現在、距離測定装置では、1種類の周波数の波(単波)を用いて距離測定を行うのが一般的であり、多重波を用いる距離測定装置を回路規模の増大を抑えつつ、低コストで実現することは困難である。
本発明は、上記課題に鑑み、分波回路規模を大幅に削減し、取得される距離画像の解像度低下を最小限に抑えることで、取得される距離画像の高解像度化、測定距離精度の高精度化、および、測定距離の長距離化を実現することができる多重波を用いた距離測定装置を提供することを目的とする。
第1の発明は、照射部と、受光素子部と、分配部と、蓄積素子部と、距離算出部と、を備える距離測定装置である。
照射部は、
n+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化することで生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する。受光素子部は、照射部から照射された多重変調光の距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する。分配部は、受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する。蓄積素子部は、分配部から出力される電荷を蓄積する。距離算出部は、蓄積素子部により蓄積された電荷量から、距離測定対象までの距離を算出する。
この距離測定装置では、「互いに偶数倍」の関係(上記数式の関係)となる少なくとも2つの異なる周波数を多重化した多重変調光を用いて、距離測定を行うので、分配部により、所定のタイミングで分配制御を行うのみで、反射波において、簡単に、分波することができる(多重化された各周波数成分を抽出することができる)ので、画素ピッチサイズを小さくすることができ、距離画像の解像度が向上する。
つまり、この距離測定装置では、「互いに偶数倍」の関係となる複数の周波数を多重化することで、分配制御のみによる分波が可能となる。TOF方式の距離測定では、通常、(数式1)のように、半周期ごとの値の減算を行うので、「互いに偶数倍」の関係であれば、半周期後に同じ値となるため、減算により打ち消しあうことを用いている。
これにより、この距離測定装置では、加減算のみで分波できるので、分波回路規模を大幅に削減することができ、かつ、多重変調光を用いた精度の高い、長距離まで測定できる距離測定を行うことが可能となる。
ここで、「距離測定装置」とは、例えば、光波測距儀、距離画像センサを含む概念である。この距離測定装置により距離画像を取得する場合、受光素子部、分配部、第1の蓄積素子部および第2の蓄積素子部は、画素数分設ける構成にすればよい。この場合、受光素子部、分配部、第1の蓄積素子部および第2の蓄積素子部により実行される分波処理、および、距離算出部により実行される距離算出演算は、1画素ごとに行えばよい。なお、距離算出部の演算は、比較的複雑となるので、第1の蓄積素子部および第2の蓄積素子部から電荷を読み出し、シリアライズした後、処理を行うようにしてもよい。
「照射部」は、例えば、LED光源やレーザー光源を用いて実現することができる。これに光強度変調光を照射させるための光強度変調信号発生部を含むようにしてもよい。また、赤外光など、不可視光を用いると被写体が人物等である場合にも不快を与えないのでよい。また、照射部により照射される「多重変調光」は電磁波であり、赤外光、可視光以外の周波数の電磁波であってもよく、また、音波(超音波など)を用いてもよい。
「光強度変調」は、正弦波による光強度変調のみに限らず、三角波、パルス波などの周期信号を用いて光強度変調を行うものであってもよい。なお、用いる波により、近距離、遠距離における距離分解能の粗密が変わるだけであるので、どのような信号により光強度変調を行うかは、目的・用途に応じて決定すればよい。
「距離測定対象」とは、光波測距儀では、測定対象物における1点を指すが、距離画像センサでは、イメージセンサにより撮像される空間全体(以下、「対象空間」と表現することがある)のことを指す。
「受光素子部」とは、例えば、イメージセンサ(CCD型イメージセンサやCMOS型イメージセンサ)などにより実現可能である。
また、照射部が照射する電磁波に応じて、受光素子部に光学フィルタを備えるようにしてもよい。例えば、照射部から赤外光が照射される場合、受光素子部に赤外光以外の電磁波を遮断する赤外光用の光学フィルタを備え、受光素子部の受光素子に赤外光成分以外の電磁波が入射されないようにしてもよい。
蓄積素子部は、「蓄積素子」(電荷蓄積素子)を有しており、「蓄積素子」とは、例えば、コンデンサ(キャパシタ)や、半導体の空乏層(ポテンシャル井戸)などにより実現されるが、これに限らず、電荷を保持するものであれば何でもよい。
なお、蓄積素子部は、複数の蓄積素子(電荷蓄積素子)を用いる構成にしてもよい。
「所定のタイミング」とは、例えば、多重変調光に含まれる各周波数成分の周期をTnとするとき、時刻t=0、Tn/4、Tn/2、3Tn/4である。なお、これは一例にすぎず、基本的には、未知パラメータは3つ(後述するΔψ、A、B)であるから、反射光(反射波)から少なくとも3点サンプリング値を取得できるタイミングであれば、「所定のタイミング」をどの時刻に設定してもよい。
「切り替え」とは、分配制御などのことを指す。
「距離算出部」は、位相ずれ計算、距離計算などを行う。なお、非線形な変換はルックアップテーブル(LUT)などで構成するとよい。距離算出部のみソフトウェア処理してもよい。
第2の発明は、第1の発明であって、蓄積素子部は、多重変調光に含まれる各周波数fn(1≦n≦N)に対して、少なくとも1つの蓄積素子を備える。
この距離測定装置では、各周波数成分に対応する電荷量を個別に保持する蓄積素子を備えているので、各周波数成分別に設けられた蓄積素子に各周波数成分に対応する電荷量を個別に保持することができ、距離算出部において、各周波数成分の位相ずれを算出することができる。
なお、この距離測定装置では、単波のTOF方式の距離測定を用いる距離測定装置に比べて、例えば、2重波(高周波の周波数が低周波のk(≧2)倍とする)の場合、2倍の数の蓄積素子が必要となるが、距離測定精度はk(≧2)倍になる。
第3の発明は、第1または第2の発明であって、多重変調光に含まれる各周波数fn(1≦n≦N、周期Tn)に対して、分配部は、所定の時刻t0、時刻t1(≠t0)、時刻t2(=t0+Tn/2)、時刻t3(=t1+Tn/2)において出力先を切り替える。蓄積素子部は、少なくとも多重変調光における最長周期T1の間、電荷を蓄積し続ける。
この距離測定装置では、「互いに偶数倍」の関係で周波数多重されており、各周波数fnに対して、fnを超える高周波成分は、半周期(Tn/2)後に同値になるので、減算により除去することができる。また、fn未満の低周波成分の各時刻における全ての値は、最長周期T1の間に、逆符号の同値になるペアが存在するので、積算により除去することができる(詳細は後述する)。すなわち、分配部の分配制御のみで、簡単に、分波することができるので、分波回路規模を大幅に削減することができ、かつ、多重変調光を用いた精度の高い、長距離まで測定できる距離測定を行うことが可能となる。
なお、「周期T1の間、電荷を蓄積し続ける」とは、
(1)周期T1の間、所定の時刻における蓄積電荷量のサンプリング値を加算(積算)し続けること、または、
(2)周期T1の間、所定の時刻を含む所定の積分期間において取得した蓄積電荷量の積分値を加算(積算)し続けること、
を含む概念である。
第4の発明は、第3の発明であって、蓄積素子部は、時刻t0および時刻t2における電荷量の差分電荷量を、少なくとも最長周期T1の間蓄積し(この蓄積により取得(生成)される信号を第1差分積算信号とする。)、蓄積した電荷量を前記距離算出部に電荷転送した後、時刻t1および時刻t3における電荷量の差分電荷量を、少なくとも前記最長周期T1の間蓄積する(この蓄積により取得(生成)される信号を第2差分積算信号とする。)。
ここで、「差分電荷量を蓄積(減算)」するためには、ダイオードなどを用いて逆向きの電流で蓄積素子(コンデンサなど)に蓄積する回路構成を用いるとよい。
この距離測定装置では、差分電荷量を蓄積するので、最長周期T1の間、定常成分(外光など)を打ち消しながら強度変調光成分のみを蓄積することができ、受光素子の飽和を抑制することができる。このため、より強く強度変調光を照射することができ、距離精度が向上する。
また、この距離測定装置では、各周波数に対して1つの蓄積素子を用いるので、第1差分積算信号蓄積中の第2差分積算信号成分は捨てることになるが(逆も同様)、蓄積素子増加による回路規模増大を最小限に抑えることができるので、解像度を優先する場合は、この距離測定装置の構成を採用することが好ましい。
第5の発明は、第3の発明であって、蓄積素子部は、第1の蓄積素子部と、第2の蓄積素子部と、を有し、少なくとも最長周期T1の間、第1の蓄積素子部は、時刻t0および時刻t2における電荷量の差分電荷量を蓄積し(第1差分積算信号)、第2の蓄積素子部は、時刻t1および時刻t3における電荷量の差分電荷量を蓄積する(第2差分積算信号)。
この距離測定装置では、2つの蓄積素子(第1の蓄積素子部および第2の蓄積素子部)を用いるので、回路規模は多少増大するが、第1・第2差分積算信号を同時に保持することができる。このため、第1・第2差分積算信号に時間遅延がなく、被写体が動いた場合の動きぼけを低減することができ、高精度な距離画像を取得することができる。また、この距離測定装置では、蓄積素子数は2倍になるが、その他の回路は共通であるから、全体の回路規模は2倍以下になる。
第6の発明は、第4または第5の発明であって、多重変調光の距離測定対象からの反射波をf(t)とし、多重変調光に含まれる第n周波数成分(nは自然数、1≦n≦N)の周期をTn、最長周期T1に含まれる波数をkn(=fn/f1)とするとき、蓄積素子部は、
第1差分積算信号として、
Figure 2010100846
に相当する電荷を蓄積し、
第2差分積算信号として、
Figure 2010100846
に相当する電荷を蓄積する。
第7の発明は、第3の発明であって、蓄積素子部は、時刻t0〜t3のうちの任意の1つの時刻において、少なくとも最長周期T1の間電荷量を蓄積し、蓄積した電荷量を距離算出部に電荷転送する処理を、時刻t0に対応する蓄積電荷量、時刻t1に対する蓄積電荷量、時刻t2に対する蓄積電荷量、および、時刻t3に対する蓄積電荷量の全てに対して順次行うことにより、各時刻t0〜t3に対応した電荷量(第0〜第3積算信号)を距離算出部に電荷転送する。
ここで、「時刻t0に対応する蓄積電荷量、時刻t1に対する蓄積電荷量、時刻t2に対する蓄積電荷量、および、時刻t3に対する蓄積電荷量の全てに対して順次行う」には、4!(4の階乗)通りの順番がある。つまり、時刻t0に対応する蓄積電荷量をE(t0)とし、時刻t1に対応する蓄積電荷量をE(t1)とし、時刻t2に対応する蓄積電荷量をE(t2)とし、時刻t3に対応する蓄積電荷量をE(t3)とすると、E(t0)、E(t1)、E(t2)、E(t3)の順番に電荷転送処理をおこなってもよいし、E(t3)、E(t2)、E(t1)、E(t0)の順番に電荷転送処理を行ってもよい。転送順序は、上記の通り、4!(4の階乗)通りあり、そのいずれの順序により電荷転送処理を行ってもよい。
この距離測定装置では、電流を逆向きにする回路は不要であるので、より回路規模を小さくすることができ、距離画像の解像度が向上する。
また、この距離測定装置では、各周波数に対して1つの蓄積素子を用いるので、各積算信号取得中の、その他の積算信号成分は捨てることになるが、蓄積素子増加による回路規模増大を最小限に抑えることができるので、解像度を優先する場合は、この距離測定装置の構成を採用することが好ましい。
第8の発明は、第3の発明であって、蓄積素子部は、第1の蓄積素子部と、第2の蓄積素子部と、を有し、第1の蓄積素子部および第2の蓄積素子部は、少なくとも最長周期T1の間、時刻t0〜t3のうち任意の2つの時刻における電荷量を蓄積し、蓄積した電荷量を距離算出部に電荷転送した後、少なくとも最長周期T1の間、残りの2つの時刻における電荷量を蓄積し、蓄積した電荷量を距離算出部に電荷転送することで、各時刻t0〜t3に対応した電荷量(第0〜第3積算信号)を距離算出部に電荷転送する。
ここで、「時刻t0〜t3のうち任意の2つの時刻」とは、例えば、時刻t0および時刻t2であり、「残りの2つの時刻」とは、例えば、時刻t1および時刻t3である。
この距離測定装置では、2つの蓄積素子を用いるので、回路規模は多少増大するが、2つの積算信号を同時に保持することができる。このため、この2つの積算信号の時間遅延がなく、被写体が動いた場合の動きぼけを低減することができ、高精度な距離画像を取得することができる。また、この距離測定装置では、蓄積素子数は2倍になるが、その他の回路は共通であるから、全体の回路規模は2倍以下になる。
第9の発明は、第3の発明であって、蓄積素子部は、第0の蓄積素子部と、第1の蓄積素子部と、第2の蓄積素子部と、第3の蓄積素子部と、を有し、少なくとも前記最長周期T1の間、第0の蓄積素子部は、時刻t0における電荷量を蓄積し(第0積算信号)、第1の蓄積素子部は、時刻t1における電荷量を蓄積し(第1積算信号)、第2の蓄積素子部は、時刻t2における電荷量を蓄積し(第2積算信号)、第3の蓄積素子部は、時刻t3における電荷量を蓄積する(第3積算信号)。
この距離測定装置では、4つの蓄積素子を用いるので、回路規模は多少増大するが、4つの積算信号を同時に保持することができる。このため、この4つの積算信号の時間遅延がなく、被写体が動いた場合の動きぼけを低減することができ、高精度な距離画像を取得することができる。また、この距離測定装置では、蓄積素子数は4倍になるが、その他の回路は共通であるから、全体の回路規模は4倍以下になる。
第10の発明は、第7から第9のいずれかの発明であって、多重変調光の前記距離対象からの前記反射波をf(t)とし、前記多重変調光に含まれる第n周波数(nは自然数、1≦n≦N)の周期をTn、前記最長周期T1に含まれる波数をkn(=fn/f1)とするとき、蓄積素子部は、
第0積算信号として、
Figure 2010100846
に相当する電荷を蓄積し、
第1積算信号として、
Figure 2010100846
に相当する電荷を蓄積し、
第2積算信号として、
Figure 2010100846
に相当する電荷を蓄積し、
第3積算信号として、
Figure 2010100846
に相当する電荷を蓄積する。
第11の発明は、第1から第10のいずれかの発明であって、距離算出部は、多重変調光に含まれる各周波数の位相ずれ量を算出し、算出した位相ずれ量のうち、多重変調光に含まれる各周波数成分の中の任意の周波数成分の位相ずれ量である低周波位相ずれ量、および、多重変調光に含まれる各周波数成分の中に含まれ、低周波位相ずれ量に対応する周波数成分より高い周波数成分の位相ずれ量である高周波位相ずれ量から最終位相ずれ量を算出し、算出した最終位相ずれ量から距離を算出する。
これにより、検出位相ずれ限界(π/2)以上の高周波位相ずれを検出できるので、高精度かつ長距離測定可能となる。
第12の発明は、第11の発明であって、低周波位相ずれ量をΔψi(周波数fi)とし、高周波位相ずれ量をΔψj(周波数fj)とし、光速をcとするとき、距離算出部は、多重変調光に含まれる各周波数の位相ずれ量、最終位相ずれ量、および、距離Lを、それぞれ、
Figure 2010100846
により算出する。
この距離測定装置では、低周波位相ずれΔψiを高周波位相ずれ量に換算した
Figure 2010100846
(低精度だがπ/2以上の範囲に相当する距離測定が可能。)を算出し、これと高周波位相ずれ量Δψj(高精度だが±π/2の範囲のみでの相当する距離測定が可能)を組み合わせることで、π/2以上の高周波位相ずれ量である最終位相ずれ量であるΔψ(高精度かつπ/2以上の範囲に相当する距離測定が可能。)を算出することができる。
これにより、この距離測定装置では、長距離測定可能、かつ、高精度の距離測定を行うことができる。
第13の発明は、第12の発明であって、距離算出部は、各時刻における電荷蓄積時間τを考慮して、多重変調光に含まれる各周波数の位相ずれ量Δψnを、
Figure 2010100846
により算出する。
この距離測定装置では、図2または図6に示すように、各時刻の電荷蓄積時間τ(>0)を考慮して位相ずれ量Δψを求める。一般に、瞬時値(サンプリング値)ではなく、積分値を用いて位相ずれ量Δψを求めることで、ノイズの影響を受けにくくすることができるため好ましいが、位相ずれ量算出式は、上式のように変化する。
例えば、図2のように、t=0〜τ、T/4〜T/4+τ、T/2〜T/2+τ、3T/4〜3T/4+τを積分期間とすると、位相ずれΔψは、(数式3)により、
Figure 2010100846
と求められる。この場合、位相は、サンプル値により算出した場合に比べ、さらに、ωτ/2だけずれるので、その分の補正が必要となる。
これにより、この距離測定装置では、電荷蓄積時間τによる位相ずれ誤差を補正することができるので、電荷蓄積時間τを長くでき、さらに精度を向上させることができる。
第14の発明は、第11から第13のいずれかの発明であって、距離算出部は、多重変調光に含まれる各周波数の位相ずれ量ψnを添え字順(n=1、2、…)に並べ、初めてπ/2以上となる位相ずれ量の添え字をk(2≦k≦N)とするとき、位相ずれ量ψk-1を、低周波位相ずれ量として、距離を算出する。
例えば、ψ1=40°、ψ2=80°、ψ3=120°のとき、低周波位相ずれをψ2(=80°)とする。
なお、TOF方式における位相ずれ量は、周波数に比例する。一般的に、f(t)のフーリエ変換をF(ω)とするとき、f(t−Δt)のフーリエ変換はF(ω)exp(−ωΔt)となり、位相ずれ量Δψ=ωΔtとなり、周波数に比例する(線形位相。直線位相とも呼ばれる)。
この距離測定装置では、多重変調光に含まれる各周波数成分の中で、最も精度の高い低周波成分を用いるので、さらに距離測定の精度が向上する。この距離測定装置により取得される距離画像では、これを画素ごとに行うことで、各画素における測距対象物の距離に応じて最も精度の高い低周波成分を用いることができ、これにより、各画像の距離精度が向上する。
第15の発明は、第11から第14のいずれかの発明であって、第1差分積算信号の絶対値が小さいとき、または、第1積算信号と第3積算信号との差分絶対値が小さいとき、距離算出部は、最終位相ずれ量として、
Figure 2010100846
を用いる。
これにより、この距離測定装置では、
Figure 2010100846
において、分母の値が小さく、除算結果が発散する場合には、低周波位相ずれΔψiを高周波位相ずれ量に換算した
Figure 2010100846
(低精度だがπ/2以上の範囲に相当する距離測定が可能。)に基づいて距離を算出することによって、距離測定不能な場合が発生することを回避することができる。
第16の発明は、第1から第15のいずれかの発明であって、照射部は、多重変調光を、低周波成分ほど振幅を小さくして生成する。
低周波成分は、粗く測距するためのものなので、振幅を小さくしてもよく、これにより蓄積素子の飽和を低減することができる。
第17の発明は、照射部と、受光素子部と、分配部と、蓄積素子部と、を備える距離測定装置に用いられる距離測定方法であって、分配制御ステップと、距離算出ステップと、を備える。
照射部は、
n+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化することで生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する。受光素子部は、照射部から照射された多重変調光の距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する。分配部は、受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する。蓄積素子部は、分配部から出力される電荷を蓄積する。
分配制御ステップでは、分配部の出力先を、所定のタイミングで、所定の出力先に切り替えるように制御する。距離算出ステップでは、第1の蓄積素子部および第2の蓄積素子部により蓄積された電荷量に基づいて、距離測定対象までの距離を算出する。
これにより、第1の発明と同様の効果を奏する距離測定方法を実現することができる。
第18の発明は、照射部と、受光素子部と、分配部と、蓄積素子部と、を備える距離測定装置に用いられる距離測定方法をコンピュータに実行させるプログラムである。距離測定方法は、分配制御ステップと、距離算出ステップと、を備える。
照射部は、
n+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化することで生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する。受光素子部は、照射部から照射された多重変調光の距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する。分配部は、受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する。蓄積素子部は、分配部から出力される電荷を蓄積する。
分配制御ステップでは、分配部の出力先を、所定のタイミングで、所定の出力先に切り替えるように制御する。距離算出ステップでは、第1の蓄積素子部および第2の蓄積素子部により蓄積された電荷量に基づいて、距離測定対象までの距離を算出する。
これにより、第1の発明と同様の効果を奏する距離測定方法をコンピュータに実行させるプログラムを実現することができる。
第19の発明は、照射部と、受光素子部と、分配部と、蓄積素子部と、距離算出部と、を備える集積回路である。
照射部は、
n+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化することで生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する。受光素子部は、照射部から照射された多重変調光の距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する。分配部は、受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する。蓄積素子部は、分配部から出力される電荷を蓄積する。距離算出部は、蓄積素子部により蓄積された電荷量から、距離測定対象までの距離を算出する。
これにより、第1の発明と同様の効果を奏する集積回路を実現することができる。
本発明によれば、分波回路規模を大幅に削減し、取得される距離画像の解像度低下を最小限に抑えることで、取得される距離画像の高解像度化、測定距離精度の高精度化、および、測定距離の長距離化を実現することができる多重波を用いた距離測定装置、距離測定方法、プログラムおよび集積回路を実現することができる。
TOF方式の距離測定の原理を説明するための説明図 TOF方式(積分型)の距離測定の原理を説明するための説明図 第1実施形態における距離測定装置1の概略構成を示すブロック図 第1実施形態における距離測定装置1の受光素子部201と、分配部202と、蓄積素子部(211A、211B、221A、221B、231A、231B)と、の構成の一例(特許文献3図8記載)を示す図 第1実施形態における距離測定装置1の動作を説明するための説明図 第1実施形態における距離測定装置1(積分型)の動作を説明するための説明図
以下、本発明の実施形態について、図面を用いて詳細に説明する。
[第1実施形態]
本発明の第1実施形態である距離測定装置1について、図3〜5を用いて説明する。
第1実施形態では、多重変調光(複数の周波数により光強度変調された光強度変調光を重畳(多重)した光強度変調光)として、3種類の周波数(低周波、中周波、高周波)により、それぞれ、光強度変調された3つの光強度変調光を重畳(多重)した3重変調光(3重波)を採用する場合について説明する。なお、重畳(多重)される光強度変調光の周波数の関係は、「互いに偶数倍」の周波数となる関係にする。ここでは、最も簡単な例として、基準周波数f(周期T)を用いて、
低周波:f1=f、
中周波:f2=2・f、
高周波:f3=4・f
とする(以下では、「f1」を「f1」と、「f2」を「f2」と、「f3」を「f3」と表記することがある)。つまり、低周波数により光強度変調された光強度変調光(低周波)の光強度変調周波数をf1(=f)とし、中周波数により光強度変調された光強度変調光(中周波)の光強度変調周波数をf2(=2・f)とし、高周波数により光強度変調された光強度変調光(高周波)の光強度変調周波数をf3(=4・f)とする。
なお、「互いに偶数倍」の周波数となる関係とは、重畳(多重)される光強度変調光の光強度変調周波数を、低い方から、f1、f2、・・・、fn、fn+1、・・・としたとき、
n+1=2kn・fn(fn+1>fn、nおよびknは自然数)
が成立する関係をいう。
また、以下では、3重変調光(3重波)を用いる場合について説明するが、通常は、多重変調光として、2重波(互いに偶数倍の関係にある光強度変調光周波数により光強度変調された低周波および高周波の2つの光強度変調光を重畳(多重)した多重変調光)を用いれば十分である(2重波により本実施形態の距離測定を実現すれば、十分、取得される距離画像の高解像度化、測定距離精度の高精度化、および、測定距離の長距離化を実現することができる)。
また、本実施形態の距離測定方法(距離測定装置1により実現される距離測定方法)は、一般的な場合(N重波(Nは自然数)を用いる場合)においても成立する(分波できる)。これについては、以下の文中で証明する。
<1.1:距離測定装置の構成>
図3は、本発明の第1実施形態における距離測定装置1の概略構成を示すブロック図である。
図3に示すように、本発明の第1実施形態による距離測定装置1は、多重変調光を撮像空間に照射する照射部10と、照射部10から照射された多重変調光の撮像空間からの反射波である反射多重変調光を受光する受光部20と、受光部20の出力から距離測定装置1と撮像空間内の被写体(距離測定対象)と間の距離を算出する距離算出部30と、照射部10、受光部20および距離算出部30を制御する制御部40と、を備える。
照射部10は、制御部40からの指令に基づいて、多重変調光(本実施形態では、3種類の周波数(低周波、中周波、高周波)により、それぞれ、光強度変調された3つの光強度変調光を重畳(多重)した3重変調光(3重波))を生成し、生成した多重変調光を、距離測定対象である撮像空間に照射する。
受光部20は、複数の(画素数分の)電荷蓄積部200(1つの電荷蓄積部200が1つの画素に対応する。)と、電荷転送部210と、を備える。
電荷蓄積部200は、画素ごとに、受光素子部201と、分配部202と、第1波成分用蓄積素子部211A、211Bと、第2波成分用蓄積素子部221A、221Bと、第3波成分用蓄積素子部231A、231Bと、を備える。なお、以下では、第1波成分用蓄積素子部から第N波成分用蓄積素子部(ここでは、N=3)をまとめて、「蓄積素子部」ということがある。
受光素子部201は、受光素子(例えば、フォトダイオードにより実現される受光素子)を有し、距離測定対象の撮像空間からの反射多重変調光(反射波)を受光し、光電変換により反射波を電荷(電気信号)に変換する。そして、受光素子部201は、光電変換により取得した電荷(電気信号)を、分配部202を介して、蓄積素子部(211A、211B、221A、221B、231A、231B)に出力する。
分配部202は、制御部40により分配制御を行う。分配部202は、制御部40により指示される所定のタイミングで、受光素子部201から出力される電荷(電気信号)を、第1波成分用蓄積素子部211A、211B、第2波成分用蓄積素子部221A、221B、第3波成分用蓄積素子部231A、231B、のいずれかに出力する。
第1波成分用蓄積素子部211Aは、電荷蓄積素子を有し、受光素子部201から分配部202を介して出力される電荷(電気信号)を蓄積する。第1波成分用蓄積素子部211Aは、反射波の低周波成分のみの電荷を蓄積する(詳細については後述)。
第1波成分用蓄積素子部211Bは、電荷蓄積素子を有し、受光素子部201から分配部202を介して出力される電荷(電気信号)を蓄積する。第1波成分用蓄積素子部211Bは、反射波の低周波成分のみの電荷を蓄積する(詳細については後述)。
第2波成分用蓄積素子部221Aは、電荷蓄積素子を有し、受光素子部201から分配部202を介して出力される電荷(電気信号)を蓄積する。第2波成分用蓄積素子部221Aは、反射波の中周波成分のみの電荷を蓄積する(詳細については後述)。
第2波成分用蓄積素子部221Bは、電荷蓄積素子を有し、受光素子部201から分配部202を介して出力される電荷(電気信号)を蓄積する。第2波成分用蓄積素子部221Bは、反射波の中周波成分のみの電荷を蓄積する(詳細については後述)。
第3波成分用蓄積素子部231Aは、電荷蓄積素子を有し、受光素子部201から分配部202を介して出力される電荷(電気信号)を蓄積する。第3波成分用蓄積素子部231Aは、反射波の高周波成分のみの電荷を蓄積する(詳細については後述)。
第3波成分用蓄積素子部231Bは、電荷蓄積素子を有し、受光素子部201から分配部202を介して出力される電荷(電気信号)を蓄積する。第3波成分用蓄積素子部231Bは、反射波の高周波成分のみの電荷を蓄積する(詳細については後述)。
なお、電荷蓄積部200では、多重変調光の多重度が「3」(低周波、中周波、高周波の3つの光強度変調光を重畳(多重)。)であるため、3つの成分用の蓄積素子部(211A、211B、221A、221B、231A、231B)を備える構成となっている。多重度が「N」の場合は、電荷蓄積部200は、N個の成分用の蓄積素子部を備える構成(例えば、N×2個の蓄積素子部を備える構成)にすればよい。
また、受光素子部201と、分配部202と、蓄積素子部(211A、211B、221A、221B、231A、231B)と、の構成の一例(特許文献3図8記載)を、図4に示す。図4に示すように、フォトダイオードPD1およびPD2(受光素子部201の一部に相当。)に流れる電流I1およびI2を、分配部(一部)202Aを介して、蓄積素子部(図4では第1波成分用蓄積素子部211A)に流すことで、電荷蓄積処理を実行する。具体的には、制御部40からの分配制御信号に基づいて、分配部202Aの分配制御を切り替えることで、蓄積素子部(図4では第1波成分用蓄積素子部211A)のコンデンサに流れる電流の向きを変え、蓄積素子部(図4では第1波成分用蓄積素子部211A)のコンデンサに差分電荷を蓄積させる。
なお、図4に示す構成は、一例であり、この構成に限定されないことは言うまでもない。
電荷転送部210は、各画素に対応する電荷蓄積部200の蓄積素子部(211A、211B、221A、221B、231A、231B)から出力される蓄積電荷(蓄積電荷に対応する電気信号)を、入力とし、制御部40により指示される所定のタイミングで、距離算出部30に転送する。
距離算出部30は、受光部20の電荷転送部210からの出力を入力とし、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)に基づいて各画素についての距離値を算出し、各画素が距離値となる距離画像を生成して出力する。なお、距離算出部30は、アナログ信号のまま距離算出についての計算を行うものであってもよいし、A/D変換後にディジタル処理により距離算出についての計算を行うものであってもよい。
距離算出部30は、図3に示すように、第1波位相ずれ量算出部31と、第2波位相ずれ量算出部32と、第3波位相ずれ量算出部33と、距離値取得部34と、を備える。
第1波位相ずれ量算出部31は、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)を入力とし、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)に基づいて、低周波位相ずれ量を算出する。そして、第1波位相ずれ量算出部31は、算出した低周波位相ずれ量を距離値取得部34に出力する。
第2波位相ずれ量算出部32は、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)を入力とし、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)に基づいて、中周波位相ずれ量を算出する。そして、第2波位相ずれ量算出部32は、算出した低周波位相ずれ量を距離値取得部34に出力する。
第3波位相ずれ量算出部33は、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)を入力とし、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)に基づいて、高周波位相ずれ量を算出する。そして、第3波位相ずれ量算出部33は、算出した低周波位相ずれ量を距離値取得部34に出力する。
距離値取得部34は、第1波位相ずれ量算出部31により算出された低周波位相ずれ量、第2波位相ずれ量算出部32により算出された中周波位相ずれ量、および、第3波位相ずれ量算出部33により算出された高周波位相ずれ量を入力として、低周波位相ずれ量、中周波位相ずれ量および高周波位相ずれ量に基づいて、各画素について、距離(距離値)を算出する。そして、距離値取得部34は、各画素が算出した距離値となる距離画像を生成して、生成した距離画像を出力する。
<1.2:距離測定装置の動作>
以上のように構成された距離測定装置1の動作について、説明する。
照射部10により、「互いに偶数倍」の関係となる周波数を有する多重変調光(例:低周波f1=f、中周波f2=2・f、高周波f3=4・f、fは基準周波数)が、距離測定対象空間である撮像空間へ照射される。
受光部20では、撮像空間からの多重変調光の反射光を受光する。つまり、撮像空間からの多重変調光の反射光は、各画素に対応する電荷蓄積部200の受光素子部201で受光され、光電変換により、受光素子部201で受光した光量に応じた電荷を発生させる。そして、発生させた電荷(電気信号)は、分配部202に出力される。
分配部202では、受光素子部201により取得された電荷(電気信号)を、制御部40からの指令に基づいて、所定のタイミングで切り替えながら、蓄積素子部(211A、211B、221A、221B、231A、231B)に出力する。
蓄積素子部(211A、211B、221A、221B、231A、231B)では、分配部202から出力された電荷(電気信号)を蓄積する。
ここで、「所定のタイミング」は、図5に示すように、高周波の4分の1周期(T/16)ごとの時刻とする。t=jT/16(0≦j<16、jは整数)における反射波f(t)の値Ajは、低周波成分Bj、中周波成分Cj、高周波成分Dj、変数α、定数βを用いて、
Aj=α(Bj+Cj+Dj)+β
となる。なお、変数αは、照射部10の強度、被写体の反射率、反射角度、反射の種類(鏡面反射、拡散反射等)、被写体までの距離などに依存する変数である。また、定数βは、環境光の強度、被写体の反射率などに依存する変数である。
第1波成分用蓄積素子部211Aには、制御部40が分配部202に対して、分配制御を行うことで、
A8−A0=α(B8+C8+D8)−α(B0+C0+D0)
に相当する電荷を蓄積する。つまり、第1波成分用蓄積素子部211Aには、時刻t=8T/16における蓄積電荷量A8(所定のサンプリング期間によりサンプル値(サンプリングは、分配部202による分配制御により行う。))と時刻t=0における蓄積電荷量A0(所定のサンプリング期間によりサンプル値)との差分電荷を蓄積する。
上式では、定数β(定常成分)は減算により打ち消される。ここで、中周波および高周波の周波数は、低周波の偶数倍であるから、図5からも明らかなように、低周波の半周期後の時刻における中周波の値(C0、C8)および高周波の値(D0、D8)は同じ値となる。
したがって、
A8−A0=α(B8−B0)
となり、これに相当する電荷が第1波成分用蓄積素子部211Aに蓄積される。つまり、第1波成分用蓄積素子部211Aには、低周波成分のみの電荷が蓄積される。
同様にして、第1波成分用蓄積素子部211Bには、
A4−A12=α(B4−B12)
に相当する電荷が蓄積される。つまり、第1波成分用蓄積素子部211Bには、低周波成分のみの電荷が蓄積される。
第2波成分用蓄積素子部221Aには、制御部40が分配部202に対して、分配制御を行うことで、
(A4−A0)+(A12−A8)
に相当する電荷を蓄積する。すなわち、最低周波数f1の1周期Tの間、蓄積し続ける。ここで、高周波の周波数は、中周波の偶数倍であるから、
D4=D0、D12=D8
であり、高周波成分は減算により打ち消しあう。一方、中周波の周波数は、低周波の偶数倍であるから、
B8=−B0、B12=−B4
であり、低周波成分は加算により打ち消しあう。また、
C0=C8、C4=C12
である。よって、第2波成分用蓄積素子部221Aには、
(A4−A0)+(A12−A8)=2α(C4−C0)
が蓄積される。つまり、第2波成分用蓄積素子部221Aには、中周波成分のみの電荷が蓄積される。
同様にして、第2波成分用蓄積素子部221Bには、
(A2−A6)+(A10−A14)=2α(C2−C6)
が蓄積される。つまり、第2波成分用蓄積素子部221Bには、中周波成分のみの電荷が蓄積される。
第3波成分用蓄積素子部231Aには、制御部40が分配部202に対して、分配制御を行うことで、
(A2−A0)+(A6−A4)+(A10−A8)+(A14−A12)
に相当する電荷を蓄積する。すなわち、最低周波数f1の1周期Tの間、蓄積し続ける。同様に、図5より、
C4=−C0、C6=−C2、C12=−C8、C14=−C10
B8=−B0、B10=−B2、B12=−B4、B14=−B6
D0=D4=D8=D12、D2=D6=D10=D14
より、
(A2−A0)+(A6−A4)+(A10−A8)+(A14−A12)=4α(D2−D0)
となる。つまり、つまり、第3波成分用蓄積素子部231Aには、高周波成分のみの電荷が蓄積される。
同様にして、第3波成分用蓄積素子部231Bには、
(A1−A3)+(A5−A7)+(A9−A11)+(A13−A15)=4α(D1−D3)
が蓄積される。つまり、第3波成分用蓄積素子部231Bには、高周波成分のみの電荷が蓄積される。
距離測定装置1では、このようにして、分波処理が実行される。
≪分波原理について≫
次に、この分波原理(上記分波処理の原理)が一般的に成立することを証明する。
反射波(多重度N)を、
Figure 2010100846
とし、その第i周波数成分(i=1〜N)を、
Figure 2010100846
とする。
反射波f(t)から、第n周波数成分(1≦n≦N)を分波するために、時刻t=0およびTn/2における反射光の差分電荷を、第1周波数(=最低周波数)の1周期の間、積算処理(サンプリング時刻における離散値の加算処理)を実行し続け(波数kn)、上記第1波成分用の蓄積素子に第1差分積算信号
Figure 2010100846
を蓄積する。この際、βは減算により打ち消される。
ここで、任意のi>nに対して、各周波数が互いに偶数倍のとき、ωi/ωnが偶数であることを用いて、
Figure 2010100846
となるので、第n周波数を超える高周波成分は全て減算により打ち消しあう。よって、
Figure 2010100846
となる。ここで、上式を次のように変形しておく。
Figure 2010100846
一方、任意のi<nに対して、各周波数が互いに偶数倍のとき、kn/kiが偶数であることを用いて、
Figure 2010100846
となる。同様にして、
Figure 2010100846
となる。すなわち、第n周波数未満の低周波成分は全て加算により打ち消しあう。
以上より、
Figure 2010100846
となり、第n周波数成分のみが分波される。
また、時刻t=Tn/4および3Tn/4における反射光の差分電荷を、第1周波数(=最低周波数)の1周期の間、積算処理(サンプリング時刻における離散値の加算処理)を実行し続け(波数kn)、上記第2波成分用の蓄積素子に第2差分積算信号、
Figure 2010100846
を蓄積する。同様にして、
Figure 2010100846
となり、位相が90°ずれた、第n周波数成分のみが得られる。
なお、後述するが、第n周波数成分の位相ずれΔψnは、
Figure 2010100846
により算出される。
また、距離測定装置1において、図6に示すように、サンプリング値(上記の場合)ではなく積分値を用いて、位相ずれ量を算出するようにしてもよい。距離測定装置1において、積分値を用いて位相ずれ量を算出する場合、蓄積素子部に蓄積される電荷量が多くなり、S/N比を良くすることができる(距離測定に用いる電荷量に対するノイズ量の割合が低減される)ので、さらに、高精度の距離測定が可能となる。
なお、積分値を用いて、位相ずれ量を算出する場合の位相ずれ量は、t=jTN/4〜jTN/4+τ(0≦j<4ωN/ω1、jは整数)における反射波f(t)の積分値をAjとし、これに含まれる低周波成分をBj、中周波成分をCj、高周波成分をDjとし、上記と同様の計算を行うことで取得することができる。なお、図6の例では、N=3、TN=T3=T/4、ωN/ω1=ω3/ω1=4より、積分区間はt=jT/16〜(j+1)T/16(0≦j<16、jは整数)となる。
この場合、位相ずれ量Δψnは、
Figure 2010100846
となり、位相ずれ量Δψnのオフセット項((数式16)の「ωnτ/2」の部分)が生じる。なお、図6は、τ=Tn/4の場合の一例であるが、これ以外の期間であってもよい。また、分配制御切り替え時間εを考慮して、τ=Tn/4−εとしてもよい。
また、距離測定装置1において、積分値による位相ずれ量を算出する場合、制御部40が、分配部202に対する分配制御(分配タイミングおよび分配期間)を調整することで、蓄積素子部(211A、211B、221A、221B、231A、231B)に、所定の積分期間による積分値に相当する電荷を蓄積させることができる。
次に、電荷転送部210以降の処理について説明する。
電荷転送部210では、各画素に対応する蓄積素子部(211A、211B、221A、221B、231A、231B)の電荷を、制御部40からの指令により、所定のタイミングで、距離算出部30へ転送する。なお、「所定のタイミング」とは、蓄積素子部(211A、211B、221A、221B、231A、231B)の蓄積電荷(蓄積電荷に対応する電気信号)が、混同(混合)されることなく、距離算出部30に転送されるものであればよい。例えば、CCDデバイス等で用いられている蓄積電荷の転送方法に基づいた転送方式(例えば、順次転送方式)により、蓄積素子部(211A、211B、221A、221B、231A、231B)の蓄積電荷(蓄積電荷に対応する電気信号)を距離算出部30に転送するようにすればよい。
第1波位相ずれ量算出部31では、電荷転送部210から転送される各画素についての蓄積電荷量に基づいて、各画素についての低周波位相ずれ量が算出される。
具体的には、第1波位相ずれ量算出部31では、電荷転送部210から転送される、第1波成分用蓄積素子部211Aの蓄積電荷(α(B8−B0))および第1波成分用蓄積素子部211Bの蓄積電荷(α(B4−B12))に基づいて、低周波位相ずれΔψ1が、
Figure 2010100846
により算出される。
第2波位相ずれ量算出部32では、電荷転送部210から転送される各画素についての蓄積電荷量に基づいて、各画素についての中周波位相ずれ量が算出される。
具体的には、第2波位相ずれ量算出部32では、電荷転送部210から転送される、第2波成分用蓄積素子部221Aの蓄積電荷(2α(C4−C0))および第2波成分用蓄積素子部221Bの蓄積電荷(2α(C2−C6))に基づいて、低周波位相ずれ量Δψ2が、
Figure 2010100846
により算出される。
第3波位相ずれ量算出部33では、電荷転送部210から転送される各画素についての蓄積電荷量に基づいて、各画素についての高周波位相ずれ量が算出される。
具体的には、第3波位相ずれ量算出部33では、電荷転送部210から転送される、第3波成分用蓄積素子部231Aの蓄積電荷(4α(D2−D0))および第3波成分用蓄積素子部231Bの蓄積電荷(4α(D1−D3))に基づいて、高周波位相ずれ量Δψ3が、
Figure 2010100846
により算出される。
距離値取得部34では、第1波位相ずれ量算出部31により算出された低周波位相ずれ量、第2波位相ずれ量算出部32により算出された中周波位相ずれ量、および、第3波位相ずれ量算出部33により算出された高周波位相ずれ量、の3つの位相ずれ量に基づいて、各画素について、距離(距離値)が算出される。
具体的には、距離値取得部34は、各画素について、低周波位相ずれ量Δψ1、中周波位相ずれ量Δψ2および高周波位相ずれ量Δψ3に基づいて最終位相ずれ量Δψを決定し、これに基づき、各画素の距離値Lを算出する。
距離値取得部34では、例えば、低周波位相ずれ量Δψ1および高周波位相ずれ量Δψ3を用いて、最終位相ずれ量Δψが、
Figure 2010100846
により算出される。
なお、距離値取得部34は、Δψ1≦Δψ2≦π/2の場合、最終位相ずれ量Δψを、
Figure 2010100846
により算出する。すなわち、距離値取得部34は、中周波位相ずれ量がπ/2(検出可能位相ずれ限界)以下の場合、低周波位相ずれ量よりも高精度である中周波位相ずれ量を、低周波位相ずれ量の代わりに用いて、最終位相ずれ量Δψを算出する。
また、
Figure 2010100846
の分母の値が小さいときは、除算結果が発散し、高周波位相ずれ量Δψ3の信頼性が低いので、距離値取得部34は、最終位相ずれ量を、
Figure 2010100846
を用いて算出する(例えば、fi=f1、fj=f3として、最終位相ずれ量を算出する)。すなわち、距離値取得部34では、このように低周波位相ずれ量のみに基づいて距離を算出することで、距離測定不能な場合が発生することを回避することができる。
距離値取得部34では、以上により算出された最終位相ずれ量Δψに基づいて、各画素についての距離値Lを、
Figure 2010100846
により算出する。ここで、cは光速である。
(数式20)〜(数式24)に基づいて分かるように、距離測定装置1では、低周波f1により決定される最大測定可能距離範囲において、高周波f3により決定される高精度の距離測定が可能となる。
距離値取得部34は、画素ごとに、距離値Lを上記処理により取得し、取得(算出)した距離値Lを画素値とする距離画像を生成し、出力する。
以上のように、本実施形態に係る距離測定装置1では、「互いに偶数倍」の関係となる複数の周波数を多重化した多重変調光を用いて、分配制御のみによる分波が可能となる。また、距離測定装置1では、差分電荷を蓄積し続けるので、定常成分(環境光など)が減算により常に打ち消され、蓄積素子における蓄積電荷の飽和を抑えることができる。このため、距離測定装置1では、より強く変調光を距離測定対象である撮像空間(被写体)に照射することができ、距離測定精度を向上させることができる
したがって、本実施形態に係る距離測定装置1および距離測定方法により、分波回路規模を大幅に削減することができ、かつ、取得される距離画像の高解像度化、測定距離精度の高精度化、および、測定距離の長距離化を実現することができる。
なお、上記において、多重変調光の多重度は「3」(低周波、中周波、高周波)であるので、距離算出部30は、位相ずれ量を算出する機能部として、第1波位相ずれ量算出部31、第2波位相ずれ量算出部32、および、第3波位相ずれ量算出部33、の3つを備えているが、多重変調光の多重度は「N」の場合は、多重度に応じて、位相ずれ量を算出する機能部を設置し、上記同様の方法を、多重度「N」の場合に適用すればよい。このようにすることで、本実施形態に係る距離測定装置および距離測定方法を、多重変調光の多重度は「N」の場合においても、実現することができる。
≪変形例≫
次に、本実施形態に係る変形例について、説明する。
上記では、差分電荷を保存することで位相ずれ量を算出する場合について説明したが、蓄積素子部の電荷をそのまま(同符号のまま)蓄積した後、電荷転送部210を介して、位相ずれ量算出部(第1実施形態では、第1波位相ずれ量算出部31、第2波位相ずれ量算出部32、および、第3波位相ずれ量算出部33に相当。)に出力し、位相ずれ量算出部において減算することで、位相ずれ量を算出するようにしてもよい。この場合、蓄積素子部において、差分電荷を取得するための電流反転回路を不要にすることができる。
すなわち、第1周波数(=最低周波数)の1周期の間(波数kn)、時刻t=0における反射光の電荷の積算処理を行う。つまり、第1蓄積素子に、第0積算信号
Figure 2010100846
に相当する電荷を蓄積し、
第2蓄積素子に、第2積算信号
Figure 2010100846
に相当する電荷を蓄積する。
そして、第1蓄積素子および第2蓄積素子に蓄積した電荷を転送した後、
第1蓄積素子に、第1積算信号
Figure 2010100846
を蓄積し、
第2蓄積素子に、第3積算信号
Figure 2010100846
を蓄積する。
そして、位相ずれ量算出部において、
Figure 2010100846
に相当する減算処理を行い、各周波数成分の位相ずれのない周波数成分を抽出する。
また、位相ずれ量算出部において、
Figure 2010100846
に相当する減算処理を行い、各周波数成分の位相が90°ずれた周波数成分を抽出する。
そして、位相ずれ量算出部は、抽出した、各周波数成分の位相ずれのない周波数成分および位相が90°ずれた周波数成分に基づいて、各周波数成分の位相ずれ量を算出する。
そして、上記で説明したのと同様の方法により、最終位相ずれ量Δψを求め、最終位相ずれ量Δψに基づいて、画素ごとの距離値Lを算出する。
なお、上記処理のようにサンプリング値を用いるのでではなく、上記において、図6により説明したのと同様、積分値を用いて距離値Lを算出するようにしてもよい。サンプリング値の代わりに、積分値を用いて位相ずれ量Δψを求めることで、ノイズの影響を受けにくくすることができる。
以上により、本変形例では、電流反転回路を不要にできるので、距離測定装置において、画素ピッチサイズをさらに小さくすることができ、距離測定装置により取得される距離画像の解像度低下を低減できる。
したがって、本変形例に係る距離測定装置および距離測定方法により、分波回路規模を大幅に削減することができ、かつ、取得される距離画像の高解像度化、測定距離精度の高精度化、および、測定距離の長距離化を実現することができる。
[他の実施形態]
上記実施形態の距離測定装置では、多重波(多重変調光)を用いて距離測定を行う場合について説明したが、これに限定されることはなく、例えば、異なる周波数により光強度変調された、複数の光強度変調光を交互に繰り返して(時分割で)測定対象の被写体(撮像空間)に照射する構成にしてもよい。 また、チャープ信号を用いて周波数を連続的に切り替えることによって生成された光強度変調光を用いて距離測定を行うようにしてもよい。例えば、チャープ信号を用いて周波数を低周波側からスキャンし、全画素における位相ずれ量がπ/2を超えないような、最大の周波数付近に強度変調周波数を設定することで、距離測定対象空間における最遠点にあわせた強度変調周波数を設定することができる。
また、低周波と高周波を直交させた偏光(偏波)を用いて距離測定を行うようにしてもよい。例えば、受光側で、反射波をハーフミラーにより2つの経路に分け、低周波成分・高周波成分を偏光フィルタにより抽出し、各周波数の位相ずれ量を算出すればよい。
また、距離測定対象とする撮像空間において、距離測定装置から距離測定対象の被写体までの距離のばらつきが大きい場合は、遠くに存在する被写体ほど、長い波長(光強度変調周波数の低い)の光強度変調光を用いて距離測定するようにしてもよい。例えば、被写体Aが遠くに存在し、被写体Bが近く存在する場合、距離測定装置において、被写体Aに対しては、長い波長(光強度変調周波数の低い)の光強度変調光(これを「光強度変調光A」、その光強度変調周波数を「fA」とする。)を用いて多重変調光(多重化される光強度変調光の光強度変調周波数の最低周波数をfAとする。)を生成し、被写体Aに当該多重変調光を照射し、上記で説明した距離測定方法により、被写体Aまでの距離を測定する。一方、被写体Bに対しては、光強度変調光Aよりも波長の短い光強度変調光B(この光強度変調周波数を「fB」とする。)を用いて多重変調光(多重化される光強度変調光の光強度変調周波数の最低周波数をfBとする。)を生成し、被写体Bに当該多重変調光を照射し、上記で説明した距離測定方法により、被写体Bまでの距離を測定する。距離測定装置において、このようにして距離測定を行うようにしてもよい。
なお、上記実施形態で説明した距離測定装置において、各ブロックは、LSIなどの半導体装置により個別に1チップ化されてもよいし、一部または全部を含むように1チップ化されてもよい。
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサーで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現してもよい。なお、上記実施形態に係る距離測定装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のために、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
本発明に係る距離測定装置(特に距離画像センサ)、距離測定方法、プログラムおよび集積回路によれば、高解像度かつ高精度かつ長距離測定可能となるので、画像・映像分野(3D、任意焦点画像、オブジェクト検出・認識、3次元計測)、ロボットの目、交通安全(衝突検知)、セキュリティ分野、FA(Factory Automation)分野、ゲームのインターフェースなど、様々な分野において有用であり、当該分野において実施することができる。
1 距離測定装置
10 照射部
20 受光部
200 電荷蓄積部
201 受光素子部
202 分配部
211A、211B、221A、221B、231A、231B 蓄積素子部
210 電荷転送部
30 距離算出
31 第1波位相ずれ量算出部
32 第2波位相ずれ量算出部
33 第3波位相ずれ量算出部
34 距離値取得部
40 制御部

Claims (19)

  1. n+1=2kn・fn(nおよびknは、自然数)
    なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化して生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する照射部と、
    前記照射部から照射された前記多重変調光の前記距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する受光素子部と、
    前記受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する分配部と、
    前記分配部から出力される電荷を蓄積する蓄積素子部と、
    前記蓄積素子部により蓄積された電荷量に基づいて、前記距離測定対象までの距離を算出する距離算出部と、
    を備える距離測定装置。
  2. 前記蓄積素子部は、前記多重変調光に含まれる各周波数fn(1≦n≦N)に対して、少なくとも1つの蓄積素子を備える、
    請求項1に記載の距離測定装置。
  3. 前記多重変調光に含まれる各周波数fn(1≦n≦N、周期Tn)に対して、
    前記分配部は、
    所定の時刻t0と、前記時刻t0とは異なる時刻である時刻t1(≠t0)と、前記時刻t0からTn/2後の時刻である時刻t2(=t0+Tn/2)と、前記時刻t0からTn/2後の時刻である時刻t3(=t1+Tn/2)において出力先を切り替え、
    前記蓄積素子部は、
    少なくとも前記多重変調光における最長周期T1の間、電荷を蓄積し続ける、
    請求項1または2に記載の距離測定装置。
  4. 前記蓄積素子部は、
    前記時刻t0および前記時刻t2における電荷量の差分電荷量を、少なくとも前記最長周期T1の間蓄積して、第1差分積算信号を生成し、
    蓄積した電荷量を前記距離算出部に電荷転送した後、
    前記時刻t1および前記時刻t3における電荷量の差分電荷量を、少なくとも前記最長周期T1の間蓄積して、第2差分積算信号を生成する、
    請求項3に記載の距離測定装置。
  5. 前記蓄積素子部は、第1の蓄積素子部と、第2の蓄積素子部と、を有し、
    少なくとも前記最長周期T1の間、
    前記第1の蓄積素子部は、前記時刻t0および前記時刻t2における電荷量の差分電荷量を蓄積して、第1差分積算信号を生成し、
    前記第2の蓄積素子部は、前記時刻t1および前記時刻t3における電荷量の差分電荷量を蓄積して、第2差分積算信号を生成する、
    請求項3に記載の距離測定装置。
  6. 前記多重変調光の前記距離測定対象からの前記反射波をf(t)とし、前記多重変調光に含まれる第n周波数成分(nは自然数、1≦n≦N)の周期をTn、前記最長周期T1に含まれる波数をkn(=fn/f1)とするとき、
    前記蓄積素子部は、
    前記第1差分積算信号として、
    Figure 2010100846
    に相当する電荷を蓄積し、
    前記第2差分積算信号として、
    Figure 2010100846
    に相当する電荷を蓄積する、
    請求項4または5に記載の距離測定装置。
  7. 前記蓄積素子部は、
    前記時刻t0〜t3のうちの任意の1つの時刻において、少なくとも前記最長周期T1の間電荷量を蓄積し、蓄積した電荷量を前記距離算出部に電荷転送する処理を、前記時刻t0に対応する蓄積電荷量、前記時刻t1に対する蓄積電荷量、前記時刻t2に対する蓄積電荷量、および、前記時刻t3に対する蓄積電荷量の全てに対して順次行うことにより、前記各時刻t0〜t3に対応した電荷量を前記第0〜第3積算信号として前記距離算出部に電荷転送する、
    請求項3に記載の距離測定装置。
  8. 前記蓄積素子部は、第1の蓄積素子部と、第2の蓄積素子部と、を有し、
    前記第1の蓄積素子部および前記第2の蓄積素子部は、
    少なくとも前記最長周期T1の間、前記時刻t0〜t3のうち任意の2つの時刻における電荷量を蓄積し、蓄積した電荷量を前記距離算出部に電荷転送した後、
    少なくとも前記最長周期T1の間、残りの2つの時刻における電荷量を蓄積し、
    蓄積した電荷量を前記距離算出部に電荷転送することにより、
    前記各時刻t0〜t3に対応した電荷量を前記第0〜第3積算信号として前記距離算出部に電荷転送する、
    請求項3に記載の距離測定装置。
  9. 前記蓄積素子部は、第0の蓄積素子部と、第1の蓄積素子部と、第2の蓄積素子部と、第3の蓄積素子部と、を有し、
    少なくとも前記最長周期T1の間、
    前記第0の蓄積素子部は、前記時刻t0における電荷量を蓄積して、第0積算信号を生成し、
    前記第1の蓄積素子部は、前記時刻t1における電荷量を蓄積して、第1積算信号を生成し、
    前記第2の蓄積素子部は、前記時刻t2における電荷量を蓄積して、第2積算信号を生成し、
    前記第3の蓄積素子部は、前記時刻t3における電荷量を蓄積して、第3積算信号を生成する、
    請求項3に記載の距離測定装置。
  10. 前記多重変調光の前記距離対象からの前記反射波をf(t)とし、前記多重変調光に含まれる第n周波数(nは自然数、1≦n≦N)の周期をTn、前記最長周期T1に含まれる波数をkn(=fn/f1)とするとき、
    前記蓄積素子部は、
    前記第0積算信号として、
    Figure 2010100846
    に相当する電荷を蓄積し、
    前記第1積算信号として、
    Figure 2010100846
    に相当する電荷を蓄積し、
    前記第2積算信号として、
    Figure 2010100846
    に相当する電荷を蓄積し、
    前記第3積算信号として、
    Figure 2010100846
    に相当する電荷を蓄積する、
    請求項7から9のいずれかに記載の距離測定装置。
  11. 前記距離算出部は、
    前記多重変調光に含まれる各周波数の位相ずれ量を算出し、算出した位相ずれ量のうち、前記多重変調光に含まれる各周波数成分の中の任意の周波数成分の位相ずれ量である低周波位相ずれ量、および、前記多重変調光に含まれる各周波数成分の中に含まれ、前記低周波位相ずれ量に対応する周波数成分より高い周波数成分の位相ずれ量である高周波位相ずれ量に基づいて最終位相ずれ量を算出し、算出した前記最終位相ずれ量に基づいて前記距離を算出する、
    請求項1から10のいずれかに記載の距離測定装置。
  12. 前記低周波位相ずれ量をΔψi(周波数fi)とし、前記高周波位相ずれ量をΔψj(周波数fj)とし、光速をcとするとき、
    前記距離算出部は、
    前記多重変調光に含まれる各周波数の位相ずれ量Δψn、前記最終位相ずれ量Δψ、および、前記距離Lを、それぞれ、
    Figure 2010100846
    Figure 2010100846
    Figure 2010100846
    により算出する、
    請求項11に記載の距離測定装置。
  13. 前記距離算出部は、前記各時刻における電荷蓄積時間τを考慮して、前記多重変調光に含まれる各周波数の位相ずれ量Δψnを、
    Figure 2010100846
    により算出する、
    請求項12に記載の距離測定装置。
  14. 前記距離算出部は、
    前記多重変調光に含まれる各周波数の位相ずれ量ψnを添え字順(n=1、2、…)に並べ、初めてπ/2以上となる位相ずれ量の添え字をk(2≦k≦N)とするとき、位相ずれ量ψk-1を、前記低周波位相ずれ量として、距離を算出する、
    請求項11から13のいずれかに記載の距離測定装置。
  15. 前記第1差分積算信号の絶対値が小さいとき、または、前記第1積算信号と前記第3積算信号との差分絶対値が小さいとき、
    前記距離算出部は、
    前記最終位相ずれ量として、
    Figure 2010100846
    を用いる、
    請求項11から14のいずれかに記載の距離測定装置。
  16. 前記照射部は、前記多重変調光を、低周波成分ほど振幅を小さくして生成する、
    請求項1から15のいずれかに記載の距離測定装置。
  17. n+1=2kn・fn(nおよびknは、自然数)
    なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化して生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する照射部と、
    前記照射部から照射された前記多重変調光の前記距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する受光素子部と、
    前記受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する分配部と、
    前記分配部から出力される電荷を蓄積する蓄積素子部と、
    を備える距離測定装置に用いられる距離測定方法であって、
    前記分配部の出力先を、所定のタイミングで、所定の出力先に切り替えるように制御する分配制御ステップと、
    前記第1の蓄積素子部および前記第2の蓄積素子部により蓄積された電荷量に基づいて、前記距離測定対象までの距離を算出する距離算出ステップと、
    を備える距離測定方法。
  18. n+1=2kn・fn(nおよびknは、自然数)
    なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化して生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する照射部と、
    前記照射部から照射された前記多重変調光の前記距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する受光素子部と、
    前記受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する分配部と、
    前記分配部から出力される電荷を蓄積する蓄積素子部と、
    を備える距離測定装置に用いられる距離測定方法をコンピュータに実行させるプログラムであって、
    前記分配部の出力先を、所定のタイミングで、所定の出力先に切り替えるように制御する分配制御ステップと、
    前記第1の蓄積素子部および前記第2の蓄積素子部により蓄積された電荷量に基づいて、前記距離測定対象までの距離を算出する距離算出ステップと、
    を備える距離測定方法をコンピュータに実行させるプログラム。
  19. n+1=2kn・fn(nおよびknは、自然数)
    なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化して生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する照射部と、
    前記照射部から照射された前記多重変調光の前記距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する受光素子部と、
    前記受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する分配部と、
    前記分配部から出力される電荷を蓄積する蓄積素子部と、
    前記蓄積素子部により蓄積された電荷量に基づいて、前記距離測定対象までの距離を算出する距離算出部と、
    を備える集積回路。
JP2011502616A 2009-03-05 2010-02-18 距離測定装置、距離測定方法、プログラムおよび集積回路 Active JP5584196B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011502616A JP5584196B2 (ja) 2009-03-05 2010-02-18 距離測定装置、距離測定方法、プログラムおよび集積回路

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009052669 2009-03-05
JP2009052669 2009-03-05
PCT/JP2010/001023 WO2010100846A1 (ja) 2009-03-05 2010-02-18 距離測定装置、距離測定方法、プログラムおよび集積回路
JP2011502616A JP5584196B2 (ja) 2009-03-05 2010-02-18 距離測定装置、距離測定方法、プログラムおよび集積回路

Publications (2)

Publication Number Publication Date
JPWO2010100846A1 true JPWO2010100846A1 (ja) 2012-09-06
JP5584196B2 JP5584196B2 (ja) 2014-09-03

Family

ID=42709417

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011502616A Active JP5584196B2 (ja) 2009-03-05 2010-02-18 距離測定装置、距離測定方法、プログラムおよび集積回路

Country Status (4)

Country Link
US (1) US8531651B2 (ja)
JP (1) JP5584196B2 (ja)
CN (1) CN102016636B (ja)
WO (1) WO2010100846A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8988660B2 (en) * 2011-06-29 2015-03-24 Silicon Laboratories Inc. Optical detector
EP2729916A4 (en) * 2011-07-04 2015-04-08 Lee Vincent Streeter MOTION COMPENSATION IN A AREA IMAGING
CN104160243B (zh) * 2012-03-01 2017-03-01 日产自动车株式会社 距离测量装置和距离测量方法
CN104160295B (zh) * 2012-03-09 2017-09-15 株式会社半导体能源研究所 半导体装置的驱动方法
JP2013195117A (ja) * 2012-03-16 2013-09-30 Ricoh Co Ltd 測距装置
US20140139632A1 (en) * 2012-11-21 2014-05-22 Lsi Corporation Depth imaging method and apparatus with adaptive illumination of an object of interest
TWI454968B (zh) 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
DE102013112553A1 (de) * 2013-11-14 2015-06-03 Odos Imaging Ltd. Beleuchtungsvorrichtung und Verfahren zum Beleuchten eines Objekts
US10437033B2 (en) * 2014-01-18 2019-10-08 Daylight Solutions, Inc. Modulating spectroscopic imaging system using substantially coherent illumination
US11803044B2 (en) 2014-01-18 2023-10-31 Daylight Solutions, Inc. Low-noise spectroscopic imaging system with steerable substantially coherent illumination
WO2015109274A1 (en) * 2014-01-18 2015-07-23 Daylight Solutions, Inc. Low-noise spectroscopic imaging system
US9467227B2 (en) * 2014-03-13 2016-10-11 Luxtera, Inc. Method and system for an optical connection service interface
JP6290512B2 (ja) * 2015-06-09 2018-03-07 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
CN107533136B (zh) * 2015-06-24 2020-08-25 株式会社村田制作所 距离传感器
JP6747822B2 (ja) * 2016-02-23 2020-08-26 株式会社トプコン 距離測定装置、距離測定方法および距離測定用プログラム
JP2017201760A (ja) * 2016-05-06 2017-11-09 株式会社ニコン 撮像装置および測距装置
JP6922187B2 (ja) * 2016-11-08 2021-08-18 株式会社リコー 測距装置、監視カメラ、3次元計測装置、移動体、ロボット及び光源駆動条件設定方法
JP6848364B2 (ja) * 2016-11-10 2021-03-24 株式会社リコー 測距装置、移動体、ロボット、3次元計測装置、監視カメラ及び測距方法
CN108983249B (zh) * 2017-06-02 2020-11-06 比亚迪股份有限公司 飞行时间测距系统、方法、测距传感器和相机
JP6797329B2 (ja) 2018-06-12 2020-12-09 三菱電機株式会社 光測距装置及び加工装置
KR102469944B1 (ko) * 2018-08-07 2022-11-23 엘지이노텍 주식회사 카메라
JP6825164B1 (ja) * 2019-03-01 2021-02-03 株式会社ブルックマンテクノロジ 距離画像撮像装置および距離画像撮像装置による距離画像撮像方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5866880A (ja) * 1981-10-16 1983-04-21 Tohoku Richo Kk 光波測距計
JPH05264723A (ja) * 1992-03-23 1993-10-12 Mitsubishi Heavy Ind Ltd 測距装置
JPH109834A (ja) * 1996-06-19 1998-01-16 Olympus Optical Co Ltd 3次元画像入力装置
JPH11109034A (ja) * 1997-10-07 1999-04-23 Nissan Motor Co Ltd 測距レーダ
JPH11160065A (ja) * 1997-11-26 1999-06-18 Nikon Corp 光波測距儀
JPH11507155A (ja) * 1995-05-19 1999-06-22 リチャード,ジェンキン,エイ. 光学式送受信機
JP2002538418A (ja) * 1999-02-22 2002-11-12 ビジダイン インク レーザ変位測定装置
JP2004032682A (ja) * 2002-04-08 2004-01-29 Matsushita Electric Works Ltd 強度変調光を用いた空間情報の検出装置
JP2004527765A (ja) * 2001-05-30 2004-09-09 イーグル レイ コーポレーション 距離測定用光学センサー
JP2006003127A (ja) * 2004-06-15 2006-01-05 Hokuyo Automatic Co 光波測距装置
JP2006084430A (ja) * 2004-09-17 2006-03-30 Matsushita Electric Works Ltd 距離画像センサ
JP3840341B2 (ja) * 1998-10-15 2006-11-01 浜松ホトニクス株式会社 立体情報検出方法及び装置
JP2006349506A (ja) * 2005-06-16 2006-12-28 Sokkia Co Ltd 距離測定装置及びその方法
JP3906858B2 (ja) * 2004-09-17 2007-04-18 松下電工株式会社 距離画像センサ
JP2007121116A (ja) * 2005-10-28 2007-05-17 Sharp Corp 光学式測距装置
JP2007155660A (ja) * 2005-12-08 2007-06-21 Sokkia Co Ltd 光波距離計
JP2007526448A (ja) * 2003-06-17 2007-09-13 カネスタ インコーポレイテッド 三次元及び色彩検出における電荷管理のための方法及び装置
JP2008107286A (ja) * 2006-10-27 2008-05-08 Mitsui Eng & Shipbuild Co Ltd 画像情報取得装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446396A (en) * 1992-10-22 1995-08-29 Advanced Micro Devices, Inc. Voltage comparator with hysteresis
ATE392628T1 (de) 2004-09-17 2008-05-15 Matsushita Electric Works Ltd Reichweitenbildsensor
US7417718B2 (en) 2005-10-28 2008-08-26 Sharp Kabushiki Kaisha Optical distance measuring apparatus
JP2007132848A (ja) * 2005-11-11 2007-05-31 Sharp Corp 光学式測距装置
KR101387894B1 (ko) 2006-06-30 2014-04-25 이 아이 듀폰 디 네모아 앤드 캄파니 전도성 중합체 및 부분적으로 플루오르화된 산 중합체의 안정화된 조성물

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5866880A (ja) * 1981-10-16 1983-04-21 Tohoku Richo Kk 光波測距計
JPH05264723A (ja) * 1992-03-23 1993-10-12 Mitsubishi Heavy Ind Ltd 測距装置
JPH11507155A (ja) * 1995-05-19 1999-06-22 リチャード,ジェンキン,エイ. 光学式送受信機
JPH109834A (ja) * 1996-06-19 1998-01-16 Olympus Optical Co Ltd 3次元画像入力装置
JPH11109034A (ja) * 1997-10-07 1999-04-23 Nissan Motor Co Ltd 測距レーダ
JPH11160065A (ja) * 1997-11-26 1999-06-18 Nikon Corp 光波測距儀
JP3840341B2 (ja) * 1998-10-15 2006-11-01 浜松ホトニクス株式会社 立体情報検出方法及び装置
JP2002538418A (ja) * 1999-02-22 2002-11-12 ビジダイン インク レーザ変位測定装置
JP2004527765A (ja) * 2001-05-30 2004-09-09 イーグル レイ コーポレーション 距離測定用光学センサー
JP2004032682A (ja) * 2002-04-08 2004-01-29 Matsushita Electric Works Ltd 強度変調光を用いた空間情報の検出装置
JP2007526448A (ja) * 2003-06-17 2007-09-13 カネスタ インコーポレイテッド 三次元及び色彩検出における電荷管理のための方法及び装置
JP2006003127A (ja) * 2004-06-15 2006-01-05 Hokuyo Automatic Co 光波測距装置
JP2006084430A (ja) * 2004-09-17 2006-03-30 Matsushita Electric Works Ltd 距離画像センサ
JP3906858B2 (ja) * 2004-09-17 2007-04-18 松下電工株式会社 距離画像センサ
JP2006349506A (ja) * 2005-06-16 2006-12-28 Sokkia Co Ltd 距離測定装置及びその方法
JP2007121116A (ja) * 2005-10-28 2007-05-17 Sharp Corp 光学式測距装置
JP2007155660A (ja) * 2005-12-08 2007-06-21 Sokkia Co Ltd 光波距離計
JP2008107286A (ja) * 2006-10-27 2008-05-08 Mitsui Eng & Shipbuild Co Ltd 画像情報取得装置

Also Published As

Publication number Publication date
CN102016636B (zh) 2014-10-01
US8531651B2 (en) 2013-09-10
CN102016636A (zh) 2011-04-13
US20110051118A1 (en) 2011-03-03
WO2010100846A1 (ja) 2010-09-10
JP5584196B2 (ja) 2014-09-03

Similar Documents

Publication Publication Date Title
JP5584196B2 (ja) 距離測定装置、距離測定方法、プログラムおよび集積回路
JP6817387B2 (ja) Ladarシステム及び方法
JP7347942B2 (ja) 3次元映像装置
US20210118926A1 (en) Distance-measuring imaging device, distance measuring method of distance-measuring imaging device, and solid-state imaging device
US9857469B2 (en) System and method for multi TOF camera operation using phase hopping
EP3213114B1 (en) Time of flight camera
US10422879B2 (en) Time-of-flight distance measuring device
EP2594959B1 (en) System and method for multi TOF camera operation using phase hopping
JP4409331B2 (ja) 光画像計測装置
EP2521926B1 (en) Demodulation sensor with separate pixel and storage arrays
US20150041625A1 (en) Time to digital converter and applications thereof
WO2017022152A1 (ja) 測距撮像装置、及び、固体撮像装置
JP2018077143A (ja) 測距装置、移動体、ロボット、3次元計測装置、監視カメラ及び測距方法
US11991341B2 (en) Time-of-flight image sensor resolution enhancement and increased data robustness using a binning module
EP2264481A1 (en) Method and device for acquiring a range image
JP2016099233A (ja) 光飛行型測距装置
CN111798503A (zh) 利用飞行时间相机同时进行数据传输和深度图像记录
US20130176550A1 (en) Image sensor, image sensing method, and image photographing apparatus including the image sensor
JP7149941B2 (ja) 装置および方法
Yasutomi et al. A time-of-flight image sensor with sub-mm resolution using draining only modulation pixels
Hussmann et al. Systematic distance deviation error compensation for a ToF-camera in the close-up range
Hussmann et al. Real-time motion supression in tof range images
JP2018036144A (ja) 距離計測システム、および距離計測方法
US20230204727A1 (en) Distance measurement device and distance measurement method
Hussmann et al. Real-time image processing of TOF range images using a single shot image capture algorithm

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140318

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140717

R150 Certificate of patent or registration of utility model

Ref document number: 5584196

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250