JP7828371B2 - 測定装置 - Google Patents

測定装置

Info

Publication number
JP7828371B2
JP7828371B2 JP2023578391A JP2023578391A JP7828371B2 JP 7828371 B2 JP7828371 B2 JP 7828371B2 JP 2023578391 A JP2023578391 A JP 2023578391A JP 2023578391 A JP2023578391 A JP 2023578391A JP 7828371 B2 JP7828371 B2 JP 7828371B2
Authority
JP
Japan
Prior art keywords
exposure
sub
light
period
signal value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023578391A
Other languages
English (en)
Other versions
JPWO2023149060A1 (ja
Inventor
健一 星
晃志 伊多波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koito Manufacturing Co Ltd
Original Assignee
Koito Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koito Manufacturing Co Ltd filed Critical Koito Manufacturing Co Ltd
Publication of JPWO2023149060A1 publication Critical patent/JPWO2023149060A1/ja
Application granted granted Critical
Publication of JP7828371B2 publication Critical patent/JP7828371B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4868Controlling received signal intensity or exposure of sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894Three-dimensional [3D] imaging with simultaneous measurement of time-of-flight at a two-dimensional [2D] array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本開示は、測定装置に関する。
特許文献1は、レーザー光(パルス光)を照射し、反射して戻ってきた光を露光することに基づいて対象物までの距離を測定する間接ToF(Time of Flight)方式の測定装置を開示している。
日本国特開2021-25833号公報
特許文献1の測定装置では、出射光のパルス幅と同じ幅で露光している。なお、発光パルス幅と露光幅を共に長く設定することで、測定の対象とする領域の奥行を大きくでき、結果としてフレームレート(FPS)の高速化を行うことができる。しかしながら、光源装置の制約上、発光パルス幅は一定範囲に限られている場合が多く、その範囲を超えて露光期間を伸ばした場合、発光パルス幅<露光幅となってしまう。この場合でも測定対象領域の奥行を大きくでき、高速化が可能であるが、露光が一定の期間生じて(すなわち、不感帯が生じて)、間接ToFによる時間や距離の測定ができなくなる区間が生じてしまう。この為、発光パルス幅<露光幅となる条件下でのフレームレートの高速化は難しい。
本開示は、発光パルス幅<露光幅となる条件においてもフレームレートの高速化を図ることを目的とする。
上記目的を達成するための本開示の一態様に係る測定装置は、
パルス光を発光する発光部と、
画素ごとの露光量に応じた信号値を出力する撮像センサと、
測定対象となる領域に対応する露光期間を設定し、前記露光期間に前記撮像センサの前記画素に反射光を露光させるタイミング制御部と、
前記撮像センサの出力に基づいて、前記露光期間における前記画素の前記露光量に応じた信号値を取得する信号取得部とを備え、
前記タイミング制御部は、前記露光期間として、前記パルス光の幅よりも長い複数のサブ露光期間であって、前記パルス光の幅に相当する重複期間を持つように開始タイミングを異ならせた複数の前記サブ露光期間を設定し、それぞれの前記サブ露光期間に前記撮像センサの前記画素に前記反射光を露光させ、
前記信号取得部は、複数の前記サブ露光期間における前記画素の前記露光量の合計に相当する前記信号値を取得する。
本開示によれば、発光パルス幅<露光幅となる条件においてもフレームレートの高速化を図ることができる。
図1Aは、測定装置1の構成説明図である。 図1Bは、発光タイミングと露光タイミングの説明図である。 図2は、間接ToFによる距離画像作成の説明図である。 図3Aは、通常モードとについての説明図である。 図3Bは、高速モードについての説明図である。 図4Aは、通常モードにおける発光動作と露光動作の説明図であり、反射光の到達時間が、露光開始タイミング(遅延時間Tdelay)よりも早い場合の説明図である。 図4Bは、通常モードにおける発光動作と露光動作の説明図であり、反射光の到達時間が、露光開始タイミング(遅延時間Tdelay)と一致する場合の説明図である。 図4Cは、通常モードにおける発光動作と露光動作の説明図であり、反射光の到達時間が、露光開始タイミング(遅延時間Tdelay)よりも遅い場合の説明図である。 図5は、通常モードにおける対象物までの距離と露光量の関係の説明図である。 図6Aは、通常モードにおける発光動作と露光動作の関係の説明図である。 図6Bは、図6Aの露光動作A,Bのそれぞれの露光量と距離の関係を示す図である。 図7Aは、高速モードの処理の説明図であり、反射光の到達時間が、露光開始タイミング(遅延時間Tdelay)と一致する場合の説明図である。 図7Bは、高速モードの処理の説明図であり、反射光の到達時間が、露光開始タイミング(遅延時間Tdelay)よりも遅い場合の説明図である。 図8は、高速モードにおける対象物までの距離と露光量の関係の説明図である。 図9Aは、高速モードにおける発光動作と露光動作のタイミングチャートである。 図9Bは、対象物までの距離と露光量の関係の説明図である。 図10は、4タップの撮像センサ22の構成例を示す図である。 図11Aは、4タップの撮像センサ22を用いた場合における通常モードの発光動作と受光動作のタイミングチャートである。 図11Bは、対象物までの距離と露光量の関係の説明図である。 図12Aは、4タップの撮像センサ22を用いた場合における高速モードの発光動作と受光動作のタイミングチャートである。 図12Bは、対象物までの距離と露光量の関係の説明図である。 図13は、サブ露光動作(サブ露光期間)を交互に行うことを説明するための図である。 図14Aは、サブ露光動作が3つの場合の発光動作と露光動作のタイミングチャートである。 図14Bは、サブ露光動作が3つの場合の距離と露光量の関係の説明図である。
以下、本開示を実施するための形態について図面を参照しつつ説明する。
=====実施形態=====
<<測定装置の概略>>
図1Aは、測定装置1の構成説明図である。
図1Aに例示する測定装置1は、前方の物体との距離を測定するToF(Time of Flight)方式の装置である。本実施形態では、間接ToF方式のカメラが用いられている。このような測定装置1では、霧や雨の影響を除去可能であり、悪天候の場合でも撮影や測定が可能である。測定装置1は、例えば車両に設けられる。
図1Aに例示するように、測定装置1は、発光部10、撮像部20、及び制御部30を備えている。
発光部10は、撮影対象の空間に光を照射(投光)する。発光部10は、制御部30からの指示に従って、光を照射する。発光部10は、光源12と、光源12が発した光を照射する投光光学系(不図示)を有している。
光源12は、発光素子を有する光源である。光源12は、制御部30の制御によってパルス状のレーザー光を発光する。以下、このパルス状の光(パルス光)のことを発光パルスともいう。
撮像部20(間接ToFカメラ)は、距離測定の対象物によって反射された光を露光することに基づいて撮像を行う。撮像部20は、撮像センサ22と、入射(露光)した光を撮像センサ22に導く露光光学系(不図示)とを有している。
撮像センサ22は、制御部30の指示に応じて撮影対象の撮像を行うとともに、撮像により得られた画像データを、制御部30の画像取得部34に出力する。この画像データを構成する各画素の値(画素データ)は、露光量に応じた信号値を示す。なお、撮像センサ22については後述する。
制御部30は、測定装置1を制御する。制御部30は、例えばメモリやCPUなどの素子や回路などのハードウェア構成で実現される。制御部30は、メモリに記憶されたプログラムをCPUが実行することにより、所定の機能を実現する。なお、制御部30は、メモリとCPUとによるソフトウェア処理実行により実現されるものには限られない。例えば、ASIC、FPGA等のハードウェアにより実現されてもよい。図1Aには、制御部30によって実現される各種機能が示されている。制御部30は、タイミング制御部32、画像取得部34、時間算出部36、及び距離算出部38を備えている。
タイミング制御部32は、発光部10の発光タイミング、及び撮像部20の露光タイミングを制御する。発光タイミングや露光タイミングについては後述する。
画像取得部34は、撮像部20の撮像センサ22から画像データを取得する。また、画像取得部34は、取得した画像データを記憶するメモリ(不図示)を有している。なお、画像取得部34は、「信号取得部」に相当する。
時間算出部36は、発光部10が光を照射してから、撮像センサ22に反射光が到達するまでの到達時間(光の飛行時間:ToF)を算出する。本実施形態において、時間算出部36は、「算出部」に相当する。
距離算出部38は、光の到達時間に基づいて、距離を算出する。後述するように、測定装置1は、距離算出部38が画素ごとに距離を算出することによって、距離画像を取得することができる。
<<間接ToFについて>>
図1Bは、発光タイミングと露光タイミングの説明図である。また、図2は、間接ToFによる距離画像作成の説明図である。
図1Bに例示するように、制御部30(タイミング制御部32)は、発光部10から発光パルスを照射させる。この発光パルスの幅(以下、パルス幅)はLwである。
制御部30(タイミング制御部32)は、発光パルスの照射から時間Tdelay後に、撮
像部20の撮像センサ22に反射光を露光させる。露光期間は、遅延時間Tdelayと露光
幅Gwによって設定される。
遅延時間Tdelayは、発光パルスの照射から露光期間開始までの時間(遅延時間)であ
る。遅延時間Tdelayは、測定対象となる領域までの距離に応じて設定される。すなわち
、測定装置1は、発光部10が発光パルスを照射してから撮像センサ22で露光するまでの時間を短く設定すれば、近距離の領域の対象物(光を反射する物体)の画像を取得できる。逆に、測定装置1は、発光部10が発光パルスを照射してから撮像センサ22で露光するまでの時間を長く設定すれば、遠距離の領域の対象物の画像を取得できる。
露光幅Gwは、露光期間の幅(すなわち、露光開始から露光終了までの期間)である。露光期間の幅は、測定対象となる領域の測定方向の長さを規定する。よって、露光幅Gwが短いほど、距離分解能が高くなる。
本実施形態では、図2に例示するように、測定対象となる領域までの距離に応じて、異なる露光期間を設定する。なお、図2では、簡略化のため4つの領域が示されているが、実際には領域の数Nは4には限らない。
発光及び露光は、図1Bに例示する周期Tpで複数回繰り返される。これは、後述する撮像センサ22における電荷の蓄積のためである。また、測定対象の領域が遠いほど、繰り返し回数nが多く設定される。これは、領域が遠いほど、反射光が弱くなるためである。
領域ごとに得られる画像には、その領域に存在する対象物(光を反射した物体)が撮影されている。この領域ごとの画像のことを「レンジ画像」と呼ぶことがある。なお、画像を構成する各画素の値(画像データ)は、露光量に応じた信号値を示している。また、1回の撮影で得られる枚数(例えば4枚)のレンジ画像のことを「サブフレーム」と呼ぶことがある。また、1回の撮影で測定される複数の領域(例えば4つの領域)のことを「ゾーン」と呼ぶことがある。
本実施形態の測定装置1は、図2に例示するように、異なる距離の複数の領域の画像データを取得し、取得した複数の画像データに基づいて、対象物までの距離を示す距離画像を取得できる。レンジ画像が一部の距離を切り取った画像であるのに対し、これらを合算した画像は全距離の合成画像となる(一般的な撮影画像に相当)。一方、レンジ画像の画素値情報をもとに距離情報を算出し、これらを画素毎に並べた画像が距離画像となる。これらの画像が次々に流れてくることで動画となり、その時の時間軸を意識した呼び方が「フレーム」である。このため、ToFカメラでの「フレーム」には、全距離合成画像と距離画像が含まれる。
<<画像取得について>>
まず、制御部30(タイミング制御部32)は、発光部10を周期Tp(図1B参照)で発光させるととともに、発光タイミングに応じて、撮像部20の撮像センサ22の露光タイミングを制御し、露光を行わせる。ここでは、1回の撮影で1つの領域の画像が取得
されることとする。
最初に、制御部30は、領域1の画像を取得する。このとき、タイミング制御部32は、画像の各画素について、発光タイミングから遅延した露光期間にて撮像部20の撮像センサ22に露光を行わせる。
タイミング制御部32は、周期Tpごとに撮像部20の撮像センサ22に露光を繰り返し(n回)行わせ、撮像センサ22の蓄積部CS(後述)に電荷を蓄積させる。
画像取得部34は、撮像センサ22(蓄積部CS)に蓄積された電荷に応じた信号値を取得する。そして、取得した領域1の画像データを画像メモリに書き込む。
次に、同様にして、制御部30は、領域1の測定方向に隣接(連続)する領域2の画像を取得する。そして、制御部30は、領域2の画像データを画像取得部34の画像メモリに書き込む。なお、領域2における発光タイミングに対する遅延時間Tdelayは、領域1
の場合よりも長く設定される。また、前述したように、測定対象の領域が遠くなるほど、繰り返し回数(電荷の蓄積回数)が多くなるように設定される。
以上の動作を領域Nまで行うことにより、領域Nまでの画像(全領域の画像)が取得されることになる。
<<通常モードと高速モードについて>>
本実施形態の測定装置1は、通常モードと高速モードの2つのモードで測定可能である。
図3A及び図3Bは、通常モードと高速モードについての説明図である。なお、図3A及び図3Bにおいて、測定方向の長さは、測定装置1からの距離を示している。
通常モードは、通常の測定(間接ToFによる一般的な測定)を行うモードである。通常モードでは、発光パルスのパルス幅Lwと露光期間の幅Gwが等しく設定される(Lw=Gw)。例えば、発光パルスのパルス幅Lw=10nsec、露光期間の幅Gw=10nsecにすると、測定対象となる領域の奥行(測定方向の幅)は、1.5mに設定される。
高速モードは、通常モードよりも高速に測定を行うモードである。高速モードでは、露光期間の幅Gwが、発光パルスのパルス幅Lwよりも大きく設定される(Gw>Lw)。例えば、発光パルスのパルス幅10nsec、露光期間の幅Gw=100nsecにすると、測定対象となる領域の奥行(測定方向の幅)は、15mに設定される。この場合、高速モードの領域の奥行(測定方向の幅)は、通常モードの領域の奥行(測定方向の幅)の10倍になる。このように、高速モードでは、測定対象となる領域の奥行きが通常モードよりも広くなり、領域の数(距離画像を作成する際に取得する画像の数)を減らすことによって高速化できる。なお、以下では、露光期間の幅Gwが、発光パルスのパルス幅Lwの2倍(Gw=2Lw)として説明する。
<通常モードの処理について>
図4A~図4Cは、通常モードにおける発光動作と露光動作の説明図である。図4Aは、反射光の到達時間が、露光開始タイミング(遅延時間Tdelay)よりも早い場合の説明
図である。図4Bは、反射光の到達時間が、露光開始タイミング(遅延時間Tdelay)と
一致する場合の説明図である。図4Cは、反射光の到達時間が、露光開始タイミング(遅延時間Tdelay)よりも遅い場合の説明図である。なお、図4A~図4Cのタイミングチ
ャートの横軸は「時間」を示している。また、前述したように、通常モードの露光期間の幅Gwは、発光パルスのパルス幅Lwと等しい。さらに、反射光のパルス幅もLwとする。
図4Bにおいて、測定の対象物(車両)までの距離がL2のとき、反射光の到達時間は、遅延時間Tdelayと一致している。このとき、反射光の到達期間と撮像センサ22の露
光期間とが一致し、反射光を全て撮像センサ22に露光させることができるので、露光量がピークになる。図4Aのように対象物までの距離がL1(L1<L2)のときには、L1からL2(図4B参照)に近づくほど、反射光の到達期間と撮像センサ22の露光期間との重複が多くなり、露光量が徐々に多くなる。また、図4Cのように対象物までの距離がL3(L3>L2)のときには、L2からL3に遠ざかるほど、反射光の到達期間と撮像センサ22の露光期間との重複が少なくなり、露光量が徐々に少なくなる。
図5は、通常モードにおける対象物までの距離と露光量の関係の説明図である。なお、図5のグラフの横軸は「距離」を示しており、縦軸は「露光量(信号値)」を示しており、図4Aから図4Cにおける露光動作の斜線部面積にあたる。
通常モードでは、発光パルスのパルス幅Lwと露光期間の幅Gwが等しく設定されるため(Lw=Gw)、図4Bのように発光パルスの反射光を全て露光する距離L2のときに露光量は最大(ピーク)となる。また、距離L2から離れるほど、露光量は少なくなる。よって、通常モードにおける距離と露光量の関係を示すグラフは、所定距離(ここでは距離L2)で露光量がピークとなるような「三角形状」になる。
図6Aは、通常モードにおける発光動作と露光動作の関係の説明図である。図6Bは、図6Aの露光動作A,Bのそれぞれの露光量と距離の関係を示す図である。図6Aの横軸は時間を示し、図6Bの横軸は距離を示している。なお、図6Aの発光パルスの斜線部面積が「露光量」を表しており、この面積を縦軸として表示したのが図6Bの露光量-距離の関係図である。
図6Aにおいて、発光パルスのパルス幅はLwである。また、反射光のパルス幅もLwとする。ここでは、露光動作Aと露光動作Bが設定されている。
露光動作Aには、所定領域(以下、一方の領域ともいう)に対応する露光期間(露光期間A)が設定されている。発光パルスの発光開始(時間0)に対する露光期間Aの遅延時間は遅延時間Ta(図1BのTdelayに相当)である。また、露光動作Aにおける露光期
間の幅はGw(=Lw)である。なお、露光期間は、図6A中の露光動作のレベルがハイレベル(Hレベル)の期間である。
露光動作Bには、上記所定領域の測定方向に連続する領域(以下、他方の領域ともいう)に対応する露光期間(露光期間B)が設定されている。発光パルスの発光開始(時間0)に対する露光動作Bの遅延時間はTb(図1BのTdelayに相当:Tb=Ta+Lwに
相当)である。また、露光動作Bにおける露光期間の幅もGw(=Lw)である。
タイミング制御部32は、このような露光動作Aと露光動作Bを設定して、撮像センサ22の各画素に反射光を露光させる。そして、画像取得部34は、撮像センサ22から露光量に応じた信号値(ここでは図6Bに例示する信号値Sa,Sb)を取得する。なお、信号値Saは、対象物までの距離がLxのときの露光量Aに応じた信号値であり、一方の領域の画像データ(レンジ画像)を構成する画素の値(画素データ)に相当する。また、信号値Sbは、対象物までの距離がLxのときの露光量Bに応じた信号値であり、他方の領域の画像データ(レンジ画像)を構成する画素の値(画素データ)に相当する。
図6Aにおいて、Txは、光源12が光(発光パルス)を照射してから、撮像センサ22に反射光が到達するまでの到達時間(光の飛行時間:ToF)である。到達時間Txは、
Tx=Tb-Lw×{Sa/(Sa+Sb)}・・・・・(1)
で求められる。時間算出部36は、式(1)に従って到達時間Txを算出する。
また、対象物までの距離Lxは、到達時間Txに基づいて算出される。すなわち、光は、到達時間Txの間に、距離Lの2倍の距離を進むことになるので、光の速度をCoとすると、
Lx=(Co×Tx)/2・・・・・・・(2)
となる。距離算出部38は、到達時間Txを用いて式(2)に従って、距離Lxを画素ごとに算出する。
ここで、図6Bにおいて、距離Lx=La(図6Aにおいて、到達時間Tx=Ta)のときに露光量A(信号値Sa)はピークであり、露光量B(信号値Sb)はゼロである。以後、距離Lx(到達時間Tx)が大きくなるほど、露光量A(信号値Sa)は減少し、露光量B(信号値Sb)が増える。そして、距離Lx=Lb(到達時間Tx=Tb)のとき露光量A(信号値Sa)はゼロになり、露光量B(信号値Sb)がピークになる。つまり、距離Lx(到達時間Tx)の変化に応じて、全信号値(Sa+Sb)のうちの露光量Aに対応する信号値Saの割合が変化する。そして、この関係があることにより、信号値Saの割合を用いて式(1)が導かれることになる。すなわち、通常モードでの到達時間Txの算出は、距離と露光量との関係を示すグラフが三角形状になることを利用している。
なお、露光量Aがピークになる距離Laは、La=Co×Ta/2に相当する。また、露光量Bがピークになる距離Lbは、Lb=Co×Tb/2に相当する。
<高速モードの処理について>
図7A及び図7Bは、高速モードの処理の説明図である。図7Aは、反射光の到達時間が、露光開始タイミング(遅延時間Tdelay)と一致する場合の説明図である。図7Bは
、反射光の到達時間が、露光開始タイミング(遅延時間Tdelay)よりも遅い場合の説明
図である。図7Bでは、反射光の到達完了時間が、露光終了タイミングと一致している。なお、図7A及び図7Bのタイミングチャートの横軸は時間を示している。
高速モードでは、前述したように露光幅Gwは発光パルスのパルス幅Lwよりも大きく設定される(Gw>Lw:ここではGw=2Lw)。また、反射光のパルス幅はLwとする。
GwがLwより大きいことにより、対象物までの距離がL2の場合(図7A)も、対象物までの距離がL2’の場合(図7B)も、反射光の到達期間が撮像センサ22の露光期間に含まれているため、撮像センサ22は反射光を全て露光している。つまり、対象物までの距離がL2の場合も、対象物までの距離がL2’の場合も、露光量は同じになる。
図8は、高速モードにおける対象物までの距離と露光量の関係の説明図である。なお、図8のグラフの横軸は「距離」を示している。
図8に例示するように、距離がL2未満では、距離L2に近づくほど、露光量が多くなる。距離L2~L2’では、反射光は全て露光されるため、露光量は一定である。距離がL2’より大きくなると、距離L2’から遠ざかるほど、露光量が減少する。よって、高速モードでは、露光幅Gwが発光パルスのパルス幅Lwよりも大きく設定されるため(Gw>Lw)、図8のように所定の範囲(ここでは距離L2~L2’の範囲)で露光量が一定になり、距離と露光量との関係を示すグラフは、「台形状」になる。
すなわち、図7A及び図7Bに示す露光動作だけでは、距離L2~L2’で露光量は変化しない(すなわち、距離L2~L2’の範囲は不感帯となる)。よって、高速モードのために単に露光幅Gwを長く設定しただけでは、通常モードと同様な間接ToFによる到達時間Txや距離Lxの算出が出来ない。但し、光源の構造上及びコスト上の制約により出射光のパルス幅Lwを変更することは難しい。例えば、発光時に(時間軸で)局所的に発熱が集中するため、発光デューティや発光パルス幅の規定が必要であるため、発光パルス幅Lwを伸ばす(変更する)ことは困難である。
そこで、本実施形態では、高速モード時に次のような測定を行う。
図9Aは、高速モードにおける発光動作と露光動作のタイミングチャートである。図9Bは、対象物までの距離と露光量の関係の説明図である。なお、図9Aの横軸は「時間」を示し、図9Bの横軸は「距離」を示している。
図9Aに例示するように、本実施形態の制御部30のタイミング制御部32は、露光動作(露光期間)として、パルス幅Lwよりも長い複数(ここでは2つ)のサブ露光動作(サブ露光期間)を設定する。より具体的には、タイミング制御部32は、発光パルスのパルス幅Lwに相当する重複期間を持つように、開始タイミングを異ならせた2つのサブ露光動作(サブ露光期間)を設定する。例えば、露光動作Aの場合、タイミング制御部32は、サブ露光動作Aとサブ露光動作Aを設定する。サブ露光動作Aとサブ露光動作Aの露光幅は、ともにGw(=2Lw)である。なお、サブ露光動作Aとサブ露光動作Aの開始タイミングは、パルス幅Lwに相当する時間だけ異なっている。これにより、サブ露光動作Aの露光期間(サブ露光期間A)と、サブ露光動作Aの露光期間(サブ露光期間A)とには、発光パルスのパルス幅Lwに相当する重複期間が設けられている。
また、タイミング制御部32は、露光動作Bについても同様に、2つのサブ露光動作(サブ露光動作Bとサブ露光動作B)を設定する。サブ露光動作Bとサブ露光動作Bの露光幅は、ともにGw(=2Lw)である。なお、サブ露光動作Bとサブ露光動作Bの開始タイミングは、パルス幅Lwに相当する時間だけ異なっている。これにより、サブ露光動作Bの露光期間(サブ露光期間B)と、サブ露光動作Bの露光期間(サブ露光期間B)とには、発光パルスのパルス幅Lwに相当する重複期間が設けられている。
そして、タイミング制御部32は、撮像センサ22の各画素にそれぞれ2つのサブ露光動作を行わせ、反射光を露光させる。なお、2つのサブ露光動作は、後述するように、繰り返し行われる。撮像センサ22の各画素は、2つのサブ露光動作のそれぞれの露光期間における合計の露光量に相当する信号値を出力する。図9Bに例示するように、例えば、撮像センサ22の各画素は、露光動作Aによる信号値として、サブ露光期間Aにおける露光量Aとサブ露光期間Aにおける露光量Aとを合計した露光量A(=A+A)に相当する信号値Saを出力する。
なお、サブ露光動作Aにおける距離と露光量Aの関係は、図8と同様に台形状になり、サブ露光動作Aにおける距離と露光量Aの関係は、露光量AとはタイミングがLwずれた台形状になる。この露光量Aと露光量Aを加算した(露光量Aと露光量Aの合計の)露光量Aは、図9Bに例示するように三角形状になる。また、同様に、サブ露光動作Bにおける距離と露光量Bの関係は台形状になり、サブ露光動作Bにおける距離と露光量Bの関係は、露光量BとタイミングがLwずれた台形状になる。この露光量Bと露光量Bを加算した(露光量Bと露光量Bの合計の)露光量Bは、図9Bに例示するように露光量Aとはタイミングのずれた三角形状になる。
このように、露光動作A,Bとしてそれぞれ2つのサブ露光動作(サブ露光動作AとA,サブ露光動作BとB)を設けることで、露光量Aと露光量Bの関係が、図6Bと同様の関係になる。つまり、露光量Aの最大(ピーク)のときには露光量Bがゼロであり、距離Lxが大きくなるほど、露光量Aが減少し、露光量Bが増加する。そして、露光量Bがピークになると、露光量Aがゼロになる。なお、図9A及び図9Bに例示するように、幅Lwの反射光の到達時間(発光パルスの照射に対する遅延時間)がサブ露光動作Aの開始タイミングTa(重複期間の開始タイミング)の時、露光量A,Aが両方最大値になり、露光量Aがピークになる。また、幅Lwの反射光の到達時間(発光パルスの照射に対する遅延時間)がサブ露光動作Bの開始タイミングTb(重複期間の開始タイミング)の時、露光量B,Bが両方最大値になり、露光量Bがピークになる。
画像取得部34は、撮像センサ22の出力に基づいて、画素ごとに、各画素が露光期間に露光した露光量に相当する信号値をそれぞれ取得する。ここでは、画像取得部34は、画素ごとに、露光期間Aにおける露光量に相当する信号値として、サブ露光期間Aにおける露光量Aとサブ露光期間Aにおける露光量Aとを合計した露光量A(=A+A)に相当する信号値Saをそれぞれ取得することになる。また、画像取得部34は、画素ごとに、露光期間Bにおける露光量に相当する信号値として、サブ露光期間Bにおける露光量Bとサブ露光期間Bにおける露光量Bとを合計した露光量B(=B+B)に相当する信号値Sbをそれぞれ取得することになる。
時間算出部36は、この関係により、以下の式(3)に従って到達時間Txの算出を行なう。
Tx=Tb-Gw×{Sa/(Sa+Sb)}・・・・・・(3)
ここで、Gw:サブ受光期間の幅(ここではGw=2Lw)
Sa:一方の領域に対応する信号値
Sb:他方の領域に対応する信号値
Tb:発光パルスの発光から露光動作Bの重複期間の開始タイミングまでの時間
式(3)に示すように、時間算出部36は、2つの領域に対応する信号値の合計(Sa+Sb)に対する一方の領域に対応する信号値Saの割合と、他方の領域に対応する2つのサブ露光期間B,Bの重複期間の開始タイミングTbとに基づいて、到達時間Txを算出する。これにより、高速モードにおいても到達時間Txを算出することが可能になる。
また、距離算出部38は、通常モードと同様に、到達時間Txを用いて式(2)に従って距離Lxの算出を行う。なお、露光量Aがピークになる距離Laは、La=Co×Ta/2に相当する。また、露光量Bがピークになる距離Lbは、Lb=Co×Tb/2に相当する。
このように、本実施形態の制御部30(タイミング制御部32)は、高速モードの際に、開始タイミングが異なり、パルス幅Lwと同じ重複期間を有する2つのサブ露光動作(サブ露光期間)を設定する。これにより、露光幅Gwが発光パルスのパルス幅Lwより大きい高速モードにおいても、三角形状の露光量の波形を作ることができ、到達時間Txや距離Lxの算出を行うことができる。よってフレームレートの高速化を図ることができる。
<撮像センサ22について>
1回の発光に対して測定可能な領域が1つの場合、多数の領域の画像データの取得に時間がかかるため、測定時間が長くなる(FPSの高速化が難しい)。そこで、1回の発光に対して、複数(ここでは4つ)の露光期間を設定し、1回の発光に対して、複数(ここでは4つ)の領域を測定する。ここでは、撮像センサ22として、マルチタップ(4タップ)のCMOSイメージセンサを用いている。但し、撮像センサ22は、マルチタップのCMOSイメージセンサに限られるものではない。また、1回の発光に対して測定可能な領域が1つであっても良い。
図10は、4タップの撮像センサ22の構成例を示す図である。
図10に例示するように、撮像センサ22には複数の画素221が2次元配置(例えば640×480)されている。そして、それぞれの画素221の中に、1つの受光素子PDと、この1つの受光素子PDに対応する複数(ここでは4つ)の信号読み出し部RU1~RU4が設けられている。なお、信号読み出し部RU1~RU4はそれぞれ同じ構成である(構成要素の符号の数字のみ異なる)。以下の説明において、信号読み出し部については、主に信号読み出し部RU1を用いて説明する。
受光素子PDは、露光量に応じた電荷を発生する素子(例えばフォトダイオード)である。
信号読み出し部RU1は、蓄積部CS1、トランジスタG1、リセットトランジスタRT1、ソースフォロアトランジスタSF1、及び選択トランジスタSL1を有している。
蓄積部CS1は、受光素子PDで発生した電荷を蓄積するための蓄積容量C1で形成されており、一般にフローティングディフュージョン(FD)とも呼ばれる。
トランジスタG1は、受光素子PDと蓄積部CS1の間に設けられている。そしてトランジスタG1は、制御部30のタイミング制御部32の指示に基づいて所定の露光期間(例えば、後述する露光期間A)にオンになり、受光素子PDが発生した電荷を蓄積部CS1に供給する。同様に、トランジスタG2~G4は、それぞれ、タイミング制御部32の指示に基づいて、受光素子PDが発生した電荷を蓄積部CS2~CS4に供給する。すなわち、トランジスタG1~G4は、受光素子PDが発生した電荷を露光期間に応じて蓄積部CS1~CS4に振り分ける「駆動回路」に相当する。
このように、本実施形態の撮像センサ22は、4つの露光期間に発生した電荷を、それぞれ、露光期間ごとに対応する蓄積部(CS1~CS4)に分けて蓄積することができる。
なお、通常モードでは、各蓄積部には、それぞれ対応する露光期間に繰り返し電荷が蓄積される。各蓄積部に蓄積された電荷は、露光期間に受光素子PDが露光した露光量に相当する。そして、各蓄積部に蓄積された電荷に基づいて信号値が出力される。蓄積部に蓄積された電荷に基づく信号値は、それぞれの露光期間の露光量に応じた信号値となる。
一方、高速モードでは、各蓄積部には、それぞれ対応する2つのサブ露光期間に繰り返し電荷が蓄積される。各蓄積部に蓄積された電荷は、2つのサブ露光期間に受光素子PDが露光した露光量に相当する。そして、各蓄積部に蓄積された電荷に基づいて信号値が出力される。蓄積部に蓄積された電荷に基づく信号値は、それぞれの2つのサブ露光期間の露光量の合計に相当する信号値となる。なお、サブ露光(電荷の蓄積)を各蓄積部に行わせ、蓄積部の信号値を読み出した後に合算することも可能である。
このような撮像センサ22を用いることによって、1回の撮影で4つの領域を測定することができる。つまり、撮像センサ22を用いることで、1回の撮影で4つの領域(ゾーン)の撮影が可能となり、4枚のレンジ画像(サブフレーム)を得ることができる。
(通常モードの測定)
図11Aは、4タップの撮像センサ22を用いた場合における通常モードの発光動作と受光動作のタイミングチャートである。また、図11Bは、対象物までの距離と露光量の関係の説明図である。なお、図11Aの横軸は時間を示し、図11Bの横軸は距離を示している。
この例では、露光動作A~D(露光期間A~D)が設定されている。また、通常モードでは、前述したように、各露光期間の幅Gwは、発光パルスのパルス幅Lwと等しい(Gw=Lw)。なお、露光期間は、図11A中の露光(露光動作)のレベルがHレベルの期間である。また、露光動作A~DのH/Lレベルは、図10のトランジスタG1~G4のオン/オフを示している。例えば、露光動作AのHレベルの期間(露光期間A)にトランジスタG1がオンになり、受光素子PDで発生した電荷が蓄積部CS1の蓄積容量C1に蓄積される。また、露光動作BのHレベルの期間(露光期間B)にトランジスタG2がオンになり、受光素子PDで発生した電荷が蓄積部CS2の蓄積容量C2に蓄積される。同様に、露光期間Cでは、受光素子PDで発生した電荷が蓄積部CS3の蓄積容量C3に蓄積され、露光期間Dでは、受光素子PDで発生した電荷が蓄積部CS4の蓄積容量C4に蓄積される。
露光動作Aでは、発光パルスの発光開始に対する遅延時間(図1BのTdelay)、露光
幅Gw(=Lw)によって規定された領域(ここでは領域1とする)の測定が行われる。また、露光動作Bでは、領域1の次の領域(領域2)の測定が行われる。また、露光動作Cでは、領域2の次の領域(領域3)の測定が行われ、露光動作Dでは、領域3の次の領域(領域4)の測定が行われる。
また、図11Bに例示するように、露光動作(露光期間)A~Dに対応して、それぞれ、露光量A~Dが三角形状になっている。これは前述の図6Bと同じであるので説明を省略する。
なお、図11及び図11Bでは、説明のため、1回の露光に基づいて説明しているが、実際には、露光は、繰り返し回数nで繰り返し行われる。そして、撮像センサ22の各蓄積部(蓄積部CS1~CS4)には露光量に応じた電荷が繰り返し蓄積される。撮像センサ22の画素221の信号出力部SO1~SO4は、蓄積部CS1~CS4に蓄積された電荷に応じた信号値Sa~Sdをそれぞれ出力する。なお、信号値Sa~Sdは、それぞれ、領域1~4の画像(レンジ画像)の画像データを構成する画素の値(画素データ)に相当する。
制御部30の画像取得部34は、撮像センサ22から各画素221の信号値Sa~Sd(蓄積部CS1~CS4の電荷に応じた信号値)をそれぞれ取得する。これにより、画像取得部34は、領域1~4の画像データを取得する。なお、同様にして、画像取得部34は、領域Nまでの画像(全領域の画像)を取得する。
制御部30の時間算出部36は、反射光の到達時間Txを算出する。具体的には、まず、時間算出部36は、領域Nまでの信号値Sの中から反射光を露光した信号値Sを特定する。例えば、時間算出部36は、連続する2つの露光期間(換言すると連続する2つの領域)に対応する信号であって、露光量が最も高い信号値を特定する。例えば、反射光を露光開始した露光期間iに対応する信号値をSとしたとき、2つの信号値S、Si+1
が特定される。例えば、反射光が露光期間Bと露光期間Cで露光された場合、信号値Sb、Scが、反射光を露光した信号値S、Si+1に相当する。
時間算出部36は、信号値S、Si+1を用いて、次式(4)により光の飛行時間(
以下、到達時間ともいう)Txを算出する。
Tx=Ti+1-Lw×{S/(S+Si+1)} ・・・・・(4)
また、距離算出部38は、到達時間Txを用いて、前述した式(2)に従い対象物までの距離Lxを算出する。
(高速モードの測定)
図12Aは、4タップの撮像センサ22を用いた場合における高速モードの発光動作と受光動作のタイミングチャートである。また、図12Bは、対象物までの距離と露光量の関係の説明図である。なお、図12Aの横軸は時間を示し、図12Bの横軸は距離を示している。
この例では、露光動作A~Dが設けられており、さらに、それぞれの露光動作について、図9Aと同様に、開始タイミングの異なる2つのサブ露光動作(サブ露光期間)が設けられている。高速モードであるので、サブ露光期間の幅Gwは、発光パルスのパルス幅Lwより大きい(ここではGw=2Lw)。
また、それぞれの2つのサブ露光期間は、発光パルスのパルス幅Lwに相当する重複期間を持つように設けられている。この場合も、それぞれの露光動作(2つのサブ露光動作)において、距離と露光量の関係は、図12Bに示すように三角形状になる。なお、図12Bでは、一方のサブ露光期間(サブ露光期間A~D)に対応する露光量(露光量A~D)を一点鎖線で示し、他方のサブ露光期間(サブ露光期間A~D)に対応する露光量(露光量A~D)を破線で示し、2つサブ露光期間の露光量の合計(露光量A~D)を実線で示している。
図12A及び図12Bに示す例においても、各露光量(露光量A~D)が三角形状なので、図9A及び図9Bのときと同様に、到達時間Tx、及び、対象物までの距離Lxを算出することができる。つまり、時間算出部36は、連続する2つの露光期間に対応する信号値であって、露光量が最も高い信号値S、Si+1(例えば、Sa、Sb)を特定し
、その信号値と、サブ露光期間の重複期間の開始タイミング(Tb)を用いて式(3)に従って到達時間Txを求める。また、距離算出部36は、到達時間Txを用いて、式(2)に従って距離Lxを算出する。
上記の通り、4タップの撮像センサ22を用いた場合、1回の撮影で、4つの領域を測定できるので、さらにフレームレートの高速化を図ることができる。
なお、図12Aでは、説明のため、各露光動作に対する2つのサブ露光動作(例えば、サブ露光動作Aとサブ露光動作A)を並べて示しているが、実際には、2つのサブ露光動作は、交互に行われる。
図13は、サブ露光動作(サブ露光期間)を交互に行うことを説明するための図である。なお、図13の横軸は時間を示している。
タイミング制御部32は、図13に例示するように、光源12に発光動作を周期Tpで行わせるとともに、一方のサブ露光動作(サブ露光期間)A~Dと、他方のサブ露光動作(サブ露光期間)A~Dとを撮像センサ22に交互に行わせる。このようにタイミング制御部32は、2つのサブ露光期間を交互に繰り返し行わせ、撮像センサ22の各画素221の蓄積部CS1~CS4にそれぞれ電荷を蓄積させる。これにより、2つのサブ露光期間による電荷の蓄積回数を均等にできる。
そして、画像取得部34は、2つのサブ露光期間における画素221の露光量の合計(蓄積部CS1~CS4に蓄積された電荷の合計)に相当する信号値を取得する。
なお、ここでは、2つのサブ露光動作(サブ露光期間)を交互に行うこととしたが、これには限られない。例えば、一方のサブ露光動作を所定回数繰り返した後、他方のサブ露光動作を所定回数繰り返すようにしてよい。但し、一方のサブ露光動作(サブ露光期間)A~Dを複数回行った後に他方のサブ露光動作(サブ露光期間)A~Dを複数回行う場合と比べると、一方のサブ露光動作(サブ露光期間)A~Dと、他方のサブ露光動作(サブ露光期間)A~Dとを交互に複数行う方が、測定中における対象物までの距離の変動の影響を分散させることができるため、測定精度を向上させることができる。
<変形例>
本実施形態では、各露光動作に対して2つのサブ露光動作(サブ露光期間)を設けていたが、サブ露光動作(サブ露光期間)は、複数であればよく、2つには限られない。例えば、各露光動作に対して3つのサブ露光動作(サブ露光期間)を設けてもよい。
図14Aは、サブ露光動作が3つの場合の発光動作と露光動作のタイミングチャートである。図14Bは、サブ露光動作が3つの場合の距離と露光量の関係の説明図である。なお、図14Aの横軸は時間を示し、図14Bの横軸は距離を示している。
この例において、タイミング制御部32は、露光動作Aとして、開始タイミングを異ならせた3つのサブ露光動作(サブ露光期間)A~Aを設定する。図14Aに例示するように、それぞれの露光期間の幅Gwは、発光パルス幅Lwよりも長く(ここでは3倍)に設定される(Gw=3Lw)。また3つのサブ露光期間の開始タイミングは、パルス幅Lwに相当する時間異なっている。3つのサブ露光期間A~Aには発光パルスのパルス幅Lwに相当する重複期間が設けられている。
また、タイミング制御部32は、露光動作Bについても同様に3つのサブ露光動作(サブ露光期間)B~Bを設定する(説明については省略する)。
この場合、サブ露光動作A~Aにおける距離と露光量の関係は、図14Bに例示するように、タイミングがLwずれた台形状になる。そして、この露光量A~Aを加算した(露光量A~Aの合計の)露光量Aは、図14Bに例示するように三角形状になる。また、露光量B~Bを加算した(露光量B~Bの合計の)露光量Bは、露光量Aとはタイミングのずれた三角形状になり、露光量Aと露光量Bは、図9Bの関係と同じになる。
このように、サブ露光動作が3つの場合においても、発光パルスの発光から露光動作Bの重複期間の開始タイミングまでの時間をTbとしたとき、到達時間TxをTx=Tb-Gw×{Sa/(Sa+Sb)}として同様に算出できる。
また、距離Lxも式(2)により算出できる。
=====まとめ=====
以上、本実施形態の測定装置1について説明した。測定装置1は、発光パルス(パルス光)を発光する発光部10と、撮像センサ22と、タイミング制御部32と、画像取得部34を備えている。撮像センサ22は、画素ごとの露光量に応じた信号値を出力する。タイミング制御部32は、測定対象となる領域に対応する露光期間を設定し、この露光期間に撮像センサ22の画素に反射光を露光させる。画像取得部34は、撮像センサ22の出力に基づいて、露光期間における画素の露光量に応じた信号値を取得する。このような構成において、タイミング制御部32は、露光期間として、発光パルスのパルス幅Lwよりも長い複数(例えば2つ)のサブ露光期間を設定する。具体的には、発光パルスのパルス幅Lwに相当する重複期間を持つように開始タイミングを異ならせた複数のサブ露光期間を設定する。そして、タイミング制御部32は、それぞれのサブ露光期間に撮像センサ22の画素221に反射光を露光させる。また、画像取得部34は、複数のサブ露光期間における画素221の露光量の合計に相当する信号値を取得する。これにより、露光期間の幅Gwが発光パルスのパルス幅Lwよりも大きい高速モードにおいても、距離と露光量の関係を三角形状にすることができる。よって、測定装置1によれば、高速モードでも、反射光の到達時間や対象物までの距離の測定が可能となりフレームレートの高速化を図ることができる。
また、測定装置1は、連続する2つの領域に対応する信号値に基づいて、反射光の到達時間Txを算出する時間算出部36を更に備えている。これにより、到達時間Txを求めることができる。また、到達時間Txに基づいて、対象物までの距離Lxも求めることができる。
また、時間算出部36は、2つの領域に対応する信号値の合計(Sa+Sb)に対する、一方の領域に対応する信号値Saの割合と、他方の領域に対応する2つのサブ露光期間の重複期間の開始タイミングTbとに基づいて、到達時間Txを算出する。これにより、高速モードにおいても到達時間Txを求めることができる。
より具体的には、サブ露光期間の幅をGwとし、一方の領域に対応する信号値をSaとし、他方の領域に対応する信号値をSbとし、パルス光の発光から重複期間の開始タイミングまでの時間をTbとしたとき、時間算出部36は、到達時間Txを、
Tx=Tb-Gw×{Sa/(Sa+Sb)}
に従い算出する。これにより、到達時間Txを求めることができる。
また、サブ露光期間の幅Gwは、発光パルスのパルス幅Lwの整数倍である。これにより、サブ露光期間の開始タイミングをパルス幅Lwずつ異ならせることによって、パルス幅Lwに相当する重複期間を持つように複数のサブ露光期間を設定することができる(この結果、距離と露光量との関係を示すグラフが三角形状になる)。
また、撮像センサ22は、画素221ごとに、露光量に応じた電荷を発生する受光素子PDと、発生した電荷を蓄積する蓄積部CSとを有している。そして、撮像センサ22は、或るサブ露光期間(例えば、サブ露光期間A)に受光素子PDに発生した電荷と、開始タイミングの異なる別のサブ露光期間(例えば、サブ露光期間A)に受光素子PDに発生した電荷とを蓄積部CS(例えば蓄積部CS1)に蓄積させ、蓄積部CSに蓄積された電荷に応じた信号値(例えば、信号値Sa)を出力する。これにより、2つのサブ露光期間の露光量に応じた信号値を取得できる。
また、撮像センサ22は、或るサブ露光期間に受光素子PDに発生した電荷と、別のサブ露光期間に受光素子PDに発生した電荷と、を交互に繰り返し蓄積部CSに蓄積させる。そして、撮像センサ22は、蓄積部CSに蓄積された電荷に応じた信号値を出力する。これにより、測定中における対象物までの距離の変動の影響を分散させることができ、測定精度を向上させることができる。
また、撮像センサ22は、4つの蓄積部CS1~CS4を有するとともに、露光期間に応じて電荷をそれぞれの蓄積部CS1~CS4に振り分けて蓄積させるトランジスタG1~G4を有している。そして、1つの発光パルスによって発生した電荷を露光期間に応じてそれぞれの蓄積部CS1~CS4に振り分けて蓄積させる。これにより、さらにフレームレートの高速化を図ることができる。
上記の実施形態は、本開示の理解を容易にするためのものであり、本開示を限定して解釈するためのものではない。また、本開示は、その趣旨を逸脱することなく、変更や改良され得るとともに、本開示にはその等価物が含まれるのはいうまでもない。
以上説明したように、本明細書には次の事項が開示されている。
(1)パルス光を発光する発光部と、
画素ごとの露光量に応じた信号値を出力する撮像センサと、
測定対象となる領域に対応する露光期間を設定し、前記露光期間に前記撮像センサの前記画素に反射光を露光させるタイミング制御部と、
前記撮像センサの出力に基づいて、前記露光期間における前記画素の前記露光量に応じた信号値を取得する信号取得部とを備え、
前記タイミング制御部は、前記露光期間として、前記パルス光の幅よりも長い複数のサブ露光期間であって、前記パルス光の幅に相当する重複期間を持つように開始タイミングを異ならせた複数の前記サブ露光期間を設定し、それぞれの前記サブ露光期間に前記撮像センサの前記画素に前記反射光を露光させ、
前記信号取得部は、複数の前記サブ露光期間における前記画素の前記露光量の合計に相当する前記信号値を取得する、測定装置。
(2)連続する2つの前記領域に対応する前記信号値に基づいて、前記反射光の到達時間を算出する算出部を更に備える、(1)に記載の測定装置。
(3)前記算出部は、2つの前記領域に対応する前記信号値の合計に対する、一方の前記領域に対応する前記信号値の割合と、他方の前記領域に対応する複数の前記サブ露光期間の前記重複期間の開始タイミングとに基づいて、前記到達時間を算出する、(2)に記載の測定装置。
(4)前記サブ露光期間の幅をGwとし、
一方の前記領域に対応する前記信号値をSaとし、
他方の前記領域に対応する前記信号値をSbとし、
前記パルス光の発光から前記重複期間の前記開始タイミングまでの時間をTbとしたとき、
前記算出部は、前記到達時間Txを、
Tx=Tb-Gw×{Sa/(Sa+Sb)}
として算出する、(3)に記載の測定装置。
(5)前記サブ露光期間は、前記パルス光の幅の整数倍である、(1)から(4)のいずれか一つに記載の測定装置。
(6)前記撮像センサは、
前記画素ごとに、露光量に応じた電荷を発生する受光素子と、前記電荷を蓄積する蓄積部とを有し、
或るサブ露光期間に前記受光素子に発生した前記電荷と、前記開始タイミングの異なる別の前記サブ露光期間に前記受光素子に発生した前記電荷とを前記蓄積部に蓄積させ、前記蓄積部に蓄積された前記電荷に応じた信号値を出力する、(1)から(5)のいずれか一つに記載の測定装置。
(7)前記撮像センサは、
或るサブ露光期間に前記受光素子に発生した前記電荷と、前記開始タイミングの異なる別の前記サブ露光期間に前記受光素子に発生した前記電荷と、を交互に繰り返し前記蓄積部に蓄積させ、前記蓄積部に蓄積された前記電荷に応じた信号値を出力する、(6)に記載の測定装置。
(8)前記撮像センサは、
複数の前記蓄積部を有するとともに、
前記露光期間に応じて前記電荷をそれぞれの前記蓄積部に振り分けて蓄積させる駆動回路を有し、
1つの前記パルス光によって発生した前記電荷を前記露光期間に応じてそれぞれの前記蓄積部に振り分けて蓄積させる、(6)または(7)に記載の測定装置。
本出願は、2022年2月1日出願の日本国特許出願(特願2022-014089号)に基づくものであり、その内容はここに参照として取り込まれる。

Claims (8)

  1. パルス光を発光する発光部と、
    画素ごとの露光量に応じた信号値を出力する撮像センサと、
    測定対象となる領域に対応する露光期間を設定し、前記露光期間に前記撮像センサの前記画素に反射光を露光させるタイミング制御部と、
    前記撮像センサの出力に基づいて、前記露光期間における前記画素の前記露光量に応じた信号値を取得する信号取得部とを備え、
    前記タイミング制御部は、前記露光期間として、前記パルス光の幅よりも長い複数のサブ露光期間であって、前記パルス光の幅に相当する重複期間を持つように開始タイミングを異ならせた複数の前記サブ露光期間を設定し、それぞれの前記サブ露光期間に前記撮像センサの前記画素に前記反射光を露光させ、
    前記信号取得部は、複数の前記サブ露光期間における前記画素の前記露光量の合計に相当する前記信号値を取得する、測定装置。
  2. 連続する2つの前記領域に対応する前記信号値に基づいて、前記反射光の到達時間を算出する算出部を更に備える、請求項1に記載の測定装置。
  3. 前記算出部は、2つの前記領域に対応する前記信号値の合計に対する、一方の前記領域に対応する前記信号値の割合と、他方の前記領域に対応する複数の前記サブ露光期間の前記重複期間の開始タイミングとに基づいて、前記到達時間を算出する、請求項2に記載の測定装置。
  4. 前記サブ露光期間の幅をGwとし、
    一方の前記領域に対応する前記信号値をSaとし、
    他方の前記領域に対応する前記信号値をSbとし、
    前記パルス光の発光から前記重複期間の前記開始タイミングまでの時間をTbとしたとき、
    前記算出部は、前記到達時間Txを、
    Tx=Tb-Gw×{Sa/(Sa+Sb)}
    として算出する、請求項3に記載の測定装置。
  5. 前記サブ露光期間は、前記パルス光の幅の整数倍である、請求項1又は請求項2に記載の測定装置。
  6. 前記撮像センサは、
    前記画素ごとに、露光量に応じた電荷を発生する受光素子と、前記電荷を蓄積する蓄積部とを有し、
    或るサブ露光期間に前記受光素子に発生した前記電荷と、前記開始タイミングの異なる別の前記サブ露光期間に前記受光素子に発生した前記電荷とを前記蓄積部に蓄積させ、前記蓄積部に蓄積された前記電荷に応じた信号値を出力する、請求項1又は請求項2に記載の測定装置。
  7. 前記撮像センサは、
    或るサブ露光期間に前記受光素子に発生した前記電荷と、前記開始タイミングの異なる別の前記サブ露光期間に前記受光素子に発生した前記電荷と、を交互に繰り返し前記蓄積部に蓄積させ、前記蓄積部に蓄積された前記電荷に応じた信号値を出力する、請求項6に記載の測定装置。
  8. 前記撮像センサは、
    複数の前記蓄積部を有するとともに、
    前記露光期間に応じて前記電荷をそれぞれの前記蓄積部に振り分けて蓄積させる駆動回路を有し、
    1つの前記パルス光によって発生した前記電荷を前記露光期間に応じてそれぞれの前記蓄積部に振り分けて蓄積させる、請求項6に記載の測定装置。
JP2023578391A 2022-02-01 2022-11-24 測定装置 Active JP7828371B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2022014089 2022-02-01
JP2022014089 2022-02-01
PCT/JP2022/043371 WO2023149060A1 (ja) 2022-02-01 2022-11-24 測定装置

Publications (2)

Publication Number Publication Date
JPWO2023149060A1 JPWO2023149060A1 (ja) 2023-08-10
JP7828371B2 true JP7828371B2 (ja) 2026-03-11

Family

ID=87552047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023578391A Active JP7828371B2 (ja) 2022-02-01 2022-11-24 測定装置

Country Status (5)

Country Link
US (1) US20250123374A1 (ja)
EP (1) EP4474860A4 (ja)
JP (1) JP7828371B2 (ja)
CN (1) CN118647894A (ja)
WO (1) WO2023149060A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2025091560A (ja) * 2023-12-07 2025-06-19 キヤノン株式会社 信号生成装置、信号生成システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016095234A (ja) 2014-11-14 2016-05-26 株式会社デンソー 光飛行型測距装置
WO2017022152A1 (ja) 2015-07-31 2017-02-09 パナソニックIpマネジメント株式会社 測距撮像装置、及び、固体撮像装置
WO2021009997A1 (ja) 2019-07-12 2021-01-21 ソニーセミコンダクタソリューションズ株式会社 半導体装置
JP2021060246A (ja) 2019-10-04 2021-04-15 株式会社日立エルジーデータストレージ 測距装置および測距システム
US20210199781A1 (en) 2019-12-27 2021-07-01 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE INCLUDING LIGHT SOURCE AND ToF SENSOR, AND LIDAR SYSTEM

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3864432A4 (en) * 2018-11-20 2022-06-29 Sense Photonics, Inc. Methods and systems for spatially distributed strobing
JP7463671B2 (ja) 2019-08-01 2024-04-09 Toppanホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
JP2022014089A (ja) 2020-07-06 2022-01-19 崎永海運株式会社 移乗支援装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016095234A (ja) 2014-11-14 2016-05-26 株式会社デンソー 光飛行型測距装置
WO2017022152A1 (ja) 2015-07-31 2017-02-09 パナソニックIpマネジメント株式会社 測距撮像装置、及び、固体撮像装置
WO2021009997A1 (ja) 2019-07-12 2021-01-21 ソニーセミコンダクタソリューションズ株式会社 半導体装置
JP2021060246A (ja) 2019-10-04 2021-04-15 株式会社日立エルジーデータストレージ 測距装置および測距システム
US20210199781A1 (en) 2019-12-27 2021-07-01 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE INCLUDING LIGHT SOURCE AND ToF SENSOR, AND LIDAR SYSTEM

Also Published As

Publication number Publication date
JPWO2023149060A1 (ja) 2023-08-10
CN118647894A (zh) 2024-09-13
US20250123374A1 (en) 2025-04-17
EP4474860A4 (en) 2025-04-30
EP4474860A1 (en) 2024-12-11
WO2023149060A1 (ja) 2023-08-10

Similar Documents

Publication Publication Date Title
JP6676866B2 (ja) 測距撮像装置及び固体撮像素子
JP6296401B2 (ja) 距離測定装置および固体撮像素子
JP7463671B2 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP5675468B2 (ja) 測距システム
EP3615959B1 (en) A pixel structure
JP2021507218A (ja) 物体までの距離を測定するためのシステムおよび方法
JPWO2017150246A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
JP6435513B2 (ja) 測距撮像装置及びその測距方法、固体撮像素子
JPWO2017013857A1 (ja) 測距装置
WO2017141957A1 (ja) 距離測定装置
JP5675469B2 (ja) 測距システム
US11782155B2 (en) Distance measurement device and distance measurement system
JP2009192499A (ja) 距離画像生成装置
US20220206155A1 (en) Ranging apparatus and control method
JP7828371B2 (ja) 測定装置
CN116848435A (zh) 距离图像摄像装置以及距离图像摄像方法
CN116299343A (zh) 激光雷达设备、系统和方法
JP2005065233A (ja) 燐層内に記憶された情報を読み取るための方法
JP2021124332A (ja) 測距装置
WO2023120012A1 (ja) 測定装置
WO2023139916A1 (ja) 測定装置
US20230213627A1 (en) A method and active pixel array for a time of flight detection
WO2023135943A1 (ja) 測定装置
WO2023166988A1 (ja) 測定装置
JP3599239B2 (ja) 変位センサ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20250822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260227

R150 Certificate of patent or registration of utility model

Ref document number: 7828371

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150