JP7305535B2 - 測距装置、及び、測距方法 - Google Patents

測距装置、及び、測距方法 Download PDF

Info

Publication number
JP7305535B2
JP7305535B2 JP2019506197A JP2019506197A JP7305535B2 JP 7305535 B2 JP7305535 B2 JP 7305535B2 JP 2019506197 A JP2019506197 A JP 2019506197A JP 2019506197 A JP2019506197 A JP 2019506197A JP 7305535 B2 JP7305535 B2 JP 7305535B2
Authority
JP
Japan
Prior art keywords
light
unit
timing signal
light emission
emission timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019506197A
Other languages
English (en)
Other versions
JPWO2019044487A1 (ja
Inventor
慶太郎 天川
祐介 森山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2019044487A1 publication Critical patent/JPWO2019044487A1/ja
Application granted granted Critical
Publication of JP7305535B2 publication Critical patent/JP7305535B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本技術は、測距装置、及び、測距方法に関し、特に、例えば、測距の精度の向上を図ることができるようにする測距装置、及び、測距方法に関する。
例えば、特許文献1には、発光タイミングを補正する測距システムが記載されている。
特開2013-195307号公報
ToF(Time of Flight)方式の測距装置では、照射光が発光され、その照射光が物体(被写体)で反射されて戻ってくる反射光が受光されることで、照射光が発光されてから反射光が受光されるまでの時間に応じて、測距が行われる。そのため、照射光の発光を開始するタイミングや、反射光の受光を開始するタイミングが、理想(理論)的なタイミングからずれている場合、測距に誤差が生じ、測距の精度が低下する。さらに、発光や受光を開始するタイミングが、理想的なタイミングから具体的にどの程度ずれているのかがわからない場合、そのずれを適切に補正すること、すなわち、測距の誤差を補正することが困難となる。
測距により得られる距離と実際の距離とのずれが、どの程度になっているかを測定する特別な環境、例えば、ある一定の距離にある物体までの距離を測定することができる環境を用意することができる場合、反射光を受光して得られる反射光の受光量から、受光量の理論的な値とのずれを補正するための調整を行うことができる。
しかしながら、測距装置を、ユーザが日常で使用する環境、例えば、ユーザが自動車を運転する環境では、物体までの距離は常に変化するため、測距装置が、測距を行っている測距動作中に受光量の理論的な値とのずれを逐次測定し、補正することは困難である。
本技術は、このような状況に鑑みてなされたものであり、測距の精度の向上を図ることができるようにするものである。
本技術の第1の側面の測距装置は、光を発光する発光部から発光された照射光の、被写体からの反射光を受光する受光部と、前記発光部に、前記照射光を発光する発光動作を制御するための発光タイミング信号を供給することにより、前記発光動作を制御するとともに、前記受光部に、前記反射光を受光する受光動作を制御するための受光タイミング信号を供給することにより、前記受光動作を制御する制御部と、前記発光タイミング信号と、前記受光タイミング信号とを用いて、前記発光部が前記照射光を発光する発光タイミングと、前記受光部が前記反射光を受光する受光タイミングとのずれ時間を計測する計測部と、前記発光タイミング信号及び前記受光タイミング信号のうちの一方又は両方を、前記計測部により計測された前記ずれ時間に応じて補正し、前記制御部に対して補正データをフィードバックする補正部とを備え、前記制御部から前記発光部に前記発光タイミング信号を供給する配線の途中の位置であって、前記発光タイミング信号が前記位置から前記発光部に到着するタイミングと、前記発光タイミング信号が前記位置からフィードバックされて前記計測部に到着するタイミングとが略一致する前記位置から、前記発光タイミング信号が前記計測部にフィードバックされ、前記計測部は、そのフィードバックされる前記発光タイミング信号と、前記受光タイミング信号とを用いて、前記ずれ時間を計測する測距装置である。
本技術の第1の側面の測距方法は、光を発光する発光部から発光された照射光の、被写体からの反射光を受光する受光部と、前記発光部に、前記照射光を発光する発光動作を制御するための発光タイミング信号を供給することにより、前記発光動作を制御するとともに、前記受光部に、前記反射光を受光する受光動作を制御するための受光タイミング信号を供給することにより、前記受光動作を制御する制御部と、計測部と、補正部とを備える測距装置が、前記計測部において、前記発光タイミング信号と、前記受光タイミング信号とを用いて、前記発光部が前記照射光を発光する発光タイミングと、前記受光部が前記反射光を受光する受光タイミングとのずれ時間を計測することと、前記補正部において、前記発光タイミング信号及び前記受光タイミング信号のうちの一方又は両方を、前記ずれ時間に応じて補正し、前記制御部に対して補正データをフィードバックすることとを含み、前記制御部から前記発光部に前記発光タイミング信号を供給する配線の途中の位置であって、前記発光タイミング信号が前記位置から前記発光部に到着するタイミングと、前記発光タイミング信号が前記位置からフィードバックされて前記計測部に到着するタイミングとが略一致する前記位置から、前記発光タイミング信号が前記計測部にフィードバックされ、前記計測部において、そのフィードバックされる前記発光タイミング信号と、前記受光タイミング信号とを用いて、前記ずれ時間を計測する測距方法である。
本技術の第1の側面の測距装置及び測距方法においては、光を発光する発光部から発光れた照射光の、被写体からの反射光が受光される。また、前記発光部に、前記照射光を発光する発光動作を制御するための発光タイミング信号が供給されることにより、前記発光動作が制御されるとともに、前記受光部に、前記反射光を受光する受光動作を制御するための受光タイミング信号が供給されることにより、前記受光動作が制御され、前記発光タイミング信号と、前記受光タイミング信号とを用いて、前記発光部が前記照射光を発光する発光タイミングと、前記受光部が前記反射光を受光する受光タイミングとのずれ時間が計測され、前記発光タイミング信号及び前記受光タイミング信号のうちの一方又は両方が、前記ずれ時間に応じて補正され、補正データがフィードバックされる。さらに、前記制御部から前記発光部に前記発光タイミング信号を供給する配線の途中の位置であって、前記発光タイミング信号が前記位置から前記発光部に到着するタイミングと、前記発光タイミング信号が前記位置からフィードバックされて前記計測部に到着するタイミングとが略一致する前記位置から、前記発光タイミング信号が前記計測部にフィードバックされ、そのフィードバックされる前記発光タイミング信号と、前記受光タイミング信号とを用いて、前記ずれ時間が計測される。
本技術の第2の側面の測距装置は、第1の基板と第2の基板とを積層したチップと、発光部とを備え、前記第1の基板は、受光部を備え、前記第2の基板は、制御部、計測部、および補正部を備え、前記制御部は、前記発光部に発光タイミング信号を供給し、前記受光部に受光タイミング信号を供給し、前記計測部は、前記発光タイミング信号と、前記受光タイミング信号とを用いて、前記発光部が照射光を発光する発光タイミングと、前記受光部が被写体からの反射光を受光する受光タイミングとのずれ時間を計測し、前記補正部は、前記発光タイミング信号及び前記受光タイミング信号のうちの一方又は両方を、前記計測部により計測された前記ずれ時間に応じて補正し、前記制御部に対して補正データをフィードバックし、前記制御部から前記発光部に前記発光タイミング信号を供給する配線の途中の位置であって、前記発光タイミング信号が前記位置から前記発光部に到着するタイミングと、前記発光タイミング信号が前記位置からフィードバックされて前記計測部に到着するタイミングとが略一致する前記位置から、前記発光タイミング信号が前記計測部にフィードバックされ、前記計測部は、そのフィードバックされる前記発光タイミング信号と、前記受光タイミング信号とを用いて、前記ずれ時間を計測する
本技術の第2の側面の測距装置においては、受光部を備える第1の基板と、制御部、計測部、および補正部を備える第2の基板とがチップに積層されるとともに、発光部が備えられており、前記制御部から、前記発光部に発光タイミング信号が供給され、前記受光部に受光タイミング信号が供給され、前記発光タイミング信号と、前記受光タイミング信号とを用いて、前記発光部が照射光を発光する発光タイミングと、前記受光部が被写体からの反射光を受光する受光タイミングとのずれ時間が計測され、前記発光タイミング信号及び前記受光タイミング信号のうちの一方又は両方が、前記ずれ時間に応じて補正され、前記制御部に対して補正データがフィードバックされる。さらに、前記制御部から前記発光部に前記発光タイミング信号を供給する配線の途中の位置であって、前記発光タイミング信号が前記位置から前記発光部に到着するタイミングと、前記発光タイミング信号が前記位置からフィードバックされて前記計測部に到着するタイミングとが略一致する前記位置から、前記発光タイミング信号が前記計測部にフィードバックされ、そのフィードバックされる前記発光タイミング信号と、前記受光タイミング信号とを用いて、前記ずれ時間が計測される。
本技術によれば、測距の精度の向上を図ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した測距システムの第1の実施の形態の構成例を示すブロック図である。 複数枚の基板で構成されるToFセンサの構成例を説明する図である。 測距システムの動作の例を説明する図である。 測距システムの動作の他の例を説明する図である。 発光タイミングFB信号と受光タイミングFB信号との例を示すタイミングチャートである。 発光タイミングFB信号と受光タイミングFB信号との他の例を示すタイミングチャートである。 測距システムが行う補正処理を説明するフローチャートである。 本技術を適用した測距システムの第2の実施の形態の構成例を示すブロック図である。 本技術を適用した測距システムの第3の実施の形態の構成例を示すブロック図である。 本技術を適用した測距システムの第4の実施の形態の構成例を示すブロック図である。 本技術を適用したセンサモジュールの構成例を示すブロック図である。 反射時間Δtの算出方法の原理を説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
<1.測距システムの第1の実施の形態>
図1は、本技術を適用した測距システムの第1の実施の形態の構成例を示すブロック図である。
図1に示される測距システム10は、ToFセンサ20、発光部21、及び、補正部22を備えて構成される。
ToFセンサ20は、制御部31、計測部32、受光部33、A/D変換部34、及び、出力部35を備えて構成される。
(露光)制御部31には、補正部22から補正データが供給される。制御部31は、発光部21に照射光を発光する発光動作を制御するための発光タイミング信号を供給するとともに、受光部33に、照射光の被写体からの反射光を受光する受光(露光)動作を制御するための受光タイミング信号を供給する。また、制御部31は、補正部22からの補正データに応じて、発光タイミング信号及び受光タイミング信号の一方又は両方(のタイミング)を補正する。
計測部32には、制御部31から発光部21に発光タイミング信号を供給する配線の途中から、発光タイミング信号が、発光タイミングFB(FeedBack)信号としてフィードバックされる。
さらに、計測部32には、制御部31から受光部33に受光タイミング信号を供給する配線の途中から、受光タイミング信号が、受光タイミングFB信号としてフィードバックされる。
計測部32は、上述のように配線の途中からフィードバックされる発光タイミングFB信号と受光タイミングFB信号とを用いて、発光部21が照射光を発光する発光動作を行うタイミング(以下、発光タイミングと称する。)と、受光部33が反射光を受光する受光動作を行うタイミング(以下、受光タイミングと称する。)との時間的なずれ(以下、ずれ時間と称する。)を計測し、その計測結果により得られるずれ時間を、補正部22に供給する。
例えば、計測部32は、発光タイミングFB信号の、発光の開始を指示するタイミング(例えば、発光タイミングFB信号としてのパルスの立ち上がりエッジのタイミング)と、受光タイミングFB信号の、受光の開始を指示するタイミング(例えば、受光タイミングFB信号としてのパルスの立ち上がりエッジのタイミング)との時間差を、ずれ時間として計測する。
なお、受光部33は、制御部31とともに、ToFセンサ20に内蔵されるため、制御部31から受光部33に受光タイミング信号を供給する配線を短くすることができる。この場合、制御部31の、受光の開始を指示する受光タイミング信号(例えば、受光タイミング信号としてのパルスの立ち上がりエッジ)の出力タイミングと、受光部33が、その受光タイミング信号の供給を受けて実際に受光を開始するタイミングとの間には、それほど大きな遅延は生じない。
一方、発光部21は、制御部31を内蔵するToFセンサ20の外部に設けられているため、制御部31から発光部21に発光タイミング信号を供給する配線は長くなる。この場合、制御部31の、発光の開始を指示する発光タイミング信号(例えば、発光タイミング信号としてのパルスの立ち上がりエッジ)の出力タイミングと、発光部21が、その発光タイミング信号の供給を受けて実際に発光を開始するタイミングとの間には、無視することができない遅延が生じることがある。
そこで、発光タイミング信号を、発光タイミングFB信号として、計測部32にフィードバックする位置としては、ToFセンサ20と発光部21とを接続する配線のほぼ中点の位置を採用することができる。この場合、発光タイミング信号が、発光部21に到着するタイミングと、その発光タイミング信号が、発光タイミングFB信号として、計測部32に到着するタイミングとがほぼ一致し、発光タイミングFB信号を、発光部21の発光が開始されるタイミングを正確に表す信号として扱うことができる。
また、発光タイミング信号を、発光タイミングFB信号として、計測部32にフィードバックする位置は、状況に応じて可変であり、ToFセンサ20の内部又はToFセンサ20の外部のどちらに設けられてもよい。例えば、ToFセンサ20の構造上、ToFセンサ20に外部から供給される信号を受信する端子を設けることが難しい場合には、ToFセンサ20に、外部から供給される発光タイミングFB信号を入力することが難しいので、このような場合には、発光タイミング信号を、発光タイミングFB信号として、計測部32にフィードバックする位置は、ToFセンサ20の内部に設けられてもよい。
受光部33は、複数の画素(図示せず)が、2次元に配置されて構成される。受光部33は、制御部31から供給される受光タイミング信号に従って、画素において反射光を受光する受光動作を行い、その受光動作によって得られる反射光の光量(受光量)に対応する電荷を発生する。画素で発生された電荷に対応する電圧としての画素信号は、受光部33から読み出され、A/D変換部34に供給される。
A/D変換部34は、受光部33からの画素信号をA/D変換し、そのA/D変換の結果得られる画素データを、出力部35に供給する。
出力部35は、A/D変換部34から供給される画素データを、ToFセンサ20の外部に出力する。
発光部21は、ToFセンサ20の制御部31と配線で接続されており、その配線を介して、制御部31から供給される発光タイミング信号に従って、照射光を発光する発光動作を行う。
補正部22は、計測部32から供給されるずれ時間に応じて、発光タイミング信号及び受光タイミング信号の一方又は両方を補正する補正データを生成し、ToFセンサ20の制御部31に供給することで、制御部31での発光タイミング信号や受光タイミング信号の補正を制御する。
ここで、ToFセンサ20は、制御部31、計測部32、受光部33、A/D変換部34、及び、出力部35を、一枚の基板上に配置して構成することもできるし、複数枚の基板上に配置して、その複数枚の基板を積層して構成することもできる。
図2は、複数枚の基板を積層した積層構造のチップでToFセンサ20を構成する場合の、そのToFセンサ20の構成例を説明する図である。
図2において、ToFセンサ20は、複数の基板を積層したチップ41で構成される。
チップ41は、下側基板42及び上側基板43がその順で下から上に積層されて構成される。下側基板42には、制御部31、計測部32、A/D変換部34、及び、出力部35が形成され、上側基板43には、受光部33が形成されている。
以上のように、下側基板42と上側基板43を積層したチップ41で構成されるToFセンサ20では、下側基板42に形成された計測部32に、発光タイミングFB信号及び受光タイミングFB信号が供給され、その発光タイミングFB信号及び受光タイミングFB信号を用いて、ずれ時間が計測される。
図3は、測距システム10の動作の例を説明する図である。
図3では、測距システム10は、測距動作を行う。すなわち、測距システム10では、制御部31が、発光タイミング信号及び受光タイミング信号を出力する。発光部21は、制御部31が出力する発光タイミング信号に従って、照射光を発光する発光動作を行い、受光部33は、制御部31が出力する受光タイミング信号に従って、照射光の被写体からの反射光を受光する受光動作を行い、その反射光の光量に対応する電荷を発生する。
測距システム10では、以上の測距動作の後、受光部33で発生された電荷に対応する電気信号としての画素信号の読み出しが行われる。すなわち、受光部33で発生された電荷に対応する画素信号は、受光部33から読み出され、A/D変換部34に供給される。A/D変換部34は、受光部33から読み出された画素信号をA/D変換し、その結果得られる画素データを、出力部35に供給する。出力部35は、A/D変換部34からの画素データを出力する。
図3では、以上の測距動作と画素信号の読み出しとが繰り返し行われる。
さらに、図3では、測距動作と並列して、ずれ時間を計測する計測動作が行われる。すなわち、測距動作において、制御部31が出力する発光タイミング信号及び受光タイミング信号は、それぞれ、発光タイミングFB信号及び受光タイミングFB信号として、計測部32にフィードバックされる。計測部32は、発光タイミングFB信号と、受光タイミングFB信号との時間差を、ずれ時間として計測する。すなわち、例えば、計測部32は、発光タイミングFB信号の、発光の開始を指示するタイミングを基準として、そのタイミングから、受光タイミングFB信号の、受光の開始を指示するタイミングまでの時間を、ずれ時間として計測する。ずれ時間は、計測部32から、ToFセンサ20の外部に出力され、補正部22に供給される。
図3では、以上のような計測動作が、測距動作と並列して繰り返し行われる。
図3に示したように、計測動作が、測距動作と並列して行われる場合には、測距動作中に、その測距動作におけるずれ時間を把握することができる。
図4は、測距システム10の動作の他の例を説明する図である。
図3では、計測動作と測距動作とが並列に行われる場合を説明したが、計測動作と測距動作とは、必ずしも並列に行われなくてもよい。すなわち、計測動作と測距動作とは、図4に示すように、別のタイミングで行うことができる。
図4では、まず、計測動作が行われる。すなわち、測距システム10において、測距動作の場合と同様に、制御部31が、発光タイミング信号及び受光タイミング信号を出力する。制御部31が出力する発光タイミング信号及び受光タイミング信号は、それぞれ、発光タイミングFB信号及び受光タイミングFB信号として、計測部32にフィードバックされる。計測部32は、発光タイミングFB信号と、受光タイミングFB信号との時間差を、ずれ時間として計測する。
なお、図4の計測動作では、制御部31が出力する発光タイミング信号は、発光部21に供給されるため、発光部21では、発光動作が行われる。同様に、制御部31が出力する受光タイミング信号は、受光部33に供給されるため、受光部33では、受光動作が行われる。受光動作では、受光部33は、発光動作により発光された照射光の被写体からの反射光を受光し、その反射光の光量に対応する電荷を発生する。
図4では、測距動作を、計測動作とは別のタイミングで行うため、受光部33において、計測動作で発生した電荷は不要である。そのため、制御部31は、計測動作中は、受光部33の画素をリセット状態にし(例えば、画素を構成する図示せぬリセットトランジスタをオンにし)、計測動作で発生した電荷を排出する(捨てる)。
図4では、計測動作の後、図3の場合と同様に、測距動作と画素信号の読み出しとが行われる。
すなわち、制御部31が、発光タイミング信号及び受光タイミング信号を出力する。発光部21は、制御部31が出力する発光タイミング信号に従って、照射光を発光する発光動作を行い、受光部33は、制御部31が出力する受光タイミング信号に従って、照射光の被写体からの反射光を受光する受光動作を行い、その反射光の光量に対応する電荷を発生する。
受光部33では、以上の測距動作の後、A/D変換部34が、受光部33で発生された電荷に対する電気信号としての画素信号の読み出しを行い、その画素信号のA/D変換を行う。A/D変換部34は、A/D変換の結果得られる画素データを、出力部35に供給し、出力部35は、A/D変換部34からの画素データを出力する。
図4では、以上の計測動作、測距動作、及び、画素信号の読み出しが、繰り返し行われる。
以上のように、計測動作と測距動作とを、別のタイミングで行う場合には、計測動作で得られたずれ時間に応じて、その計測動作の直後に行われる測距動作で用いられる発光タイミング信号や受光タイミング信号の補正を行い、その測距動作で行われる測距の精度を向上させること(測距の誤差を改善すること)ができる。
図5は、発光タイミングFB信号と受光タイミングFB信号との例を示すタイミングチャートである。
なお、ここでは、発光タイミング信号は、パルス(信号)であることとし、そのパルスのH(High)レベルの期間が、照射光を発光する発光動作を行う期間を表すこととする。同様に、受光タイミング信号は、パルスであることとし、そのパルスのHレベルの期間が、反射光を受光(して反射光に対応する電荷を保持)する受光動作を行う期間を表すこととする。
また、発光タイミング信号や受光タイミング信号の出力とは、例えば、発光タイミング信号や受光タイミング信号としてのパルスの立ち上がりエッジの出力を意味することとする。
さらに、測距システム10では、発光タイミング信号を発光タイミングFB信号として、計測部32にフィードバックする位置が、ToFセンサ20と発光部21とを接続する配線のほぼ中点に位置しており、その結果、図1で説明したように、発光タイミング信号が発光部21に到着するタイミングと、発光タイミングFB信号が計測部32に到着するタイミングとがほぼ一致していることとする。すなわち、発光タイミングFB信号が表す発光タイミング(パルスがHになっている期間)と、発光タイミング(発光動作が行われるタイミング)とが、ほぼ一致していることとする。
いま、図5に示すように、制御部31が、時刻T11に、発光タイミング信号を出力し、その発光タイミング信号が、時刻T11から遅れた時刻T13に、発光タイミングFB信号として、計測部32に到着したとする。上述したように、発光タイミングFB信号(が表す発光のタイミング)と、発光タイミングとは、ほぼ一致する。
さらに、制御部31が、受光タイミング信号を出力し、その受光タイミング信号が、時刻T11より遅く、かつ、時刻T13より早い時刻T12に、受光タイミングFB信号として、計測部32に到着したとする。
図1で説明したように、制御部31の受光タイミング信号の出力のタイミングと、受光部33が、その受光タイミング信号の供給を受けて実際に受光を開始するタイミングとの間には、それほど大きな遅延は生じない。また、受光タイミング信号と受光タイミングFB信号との間に、それほど大きな遅延はない。以上から、受光タイミング信号、さらには、受光タイミングFB信号が表す受光のタイミング(パルスがHレベルになっている期間)と、受光タイミングとは、ほぼ一致する。すなわち、受光タイミング信号(が表す受光のタイミング)、受光タイミングFB信号(が表す受光のタイミング)、及び、受光タイミング(受光動作が行われるタイミング)は、ほぼ一致する。
図5では、発光タイミングFB信号が計測部32に到着した時刻T13と、受光タイミングFB信号が計測部32に到着した時刻T12との間の時間が、ずれ時間として計測される。
図6は、発光タイミングFB信号と受光タイミングFB信号との他の例を示すタイミングチャートである。
図6では、制御部31が、時刻T21に、発光タイミング信号を出力し、その発光タイミング信号が、時刻T21から遅れた時刻T22に、発光タイミングFB信号として、計測部32に到着している。
さらに、制御部31が、受光タイミング信号を出力し、その受光タイミング信号が、発光タイミングFB信号が計測部32に到着したのと同一の時刻T22に、受光タイミングFB信号として、計測部32に到着している。
図6では、発光タイミングFB信号が計測部32に到着した時刻T22と、受光タイミングFB信号が計測部32に到着した時刻T22とが一致しており、ずれ時間としては、0が計測される。
いま、図6に示したように、ずれ時間が0である場合が、測距の誤差のない理想的な場合であるとすると、補正部22では、ずれ時間が理想的な場合の0になるように、発光タイミング信号や受光タイミング信号を補正する補正データが生成される。
すなわち、例えば、図5に示したように、発光タイミングFB信号が計測部32に到着した時刻T13が、受光タイミングFB信号が計測部32に到着した時刻T12よりも遅い場合には、補正部22は、ずれ時間が理想的な場合の0になるように、発光タイミング信号(の出力)を早める補正データ、受光タイミング信号(の出力)を遅らせる補正データ、又は、発光タイミング信号を早めるとともに、受光タイミング信号を遅らせる補正データを生成する。
ここで、測距の誤差がない理想的な場合のずれ時間を、基準ずれ信号ともいう。ここでは、説明を簡単にするため、基準ずれ時間として0を採用したが、基準ずれ時間は、ToFセンサ20の出荷前等に、既知の距離にある被写体の測距を行うことにより求めておき、計測部32に記憶させることができる。この場合、計測部32から補正部22に、計測部32に記憶された基準ずれ時間を供給し、補正部22において、計測部32からの基準ずれ時間を用いて、補正データを生成することができる。
<2.測距装置の補正処理>
図7は、測距システム10が行う補正処理を説明するフローチャートである。
補正処理では、ずれ時間が計測され、そのずれ時間に応じて、発光タイミング信号及び受光タイミング信号の一方又は両方が補正される。
例えば、測距システム10が起動すると補正処理が開始され、ステップS11において、制御部31は、発光タイミング信号及び受光タイミング信号を出力し、処理は、ステップS12に進む。
制御部31が出力する発光タイミング信号は、発光部21に供給される。さらに、発光タイミング信号は、制御部31から発光部21までの配線の途中の位置から発光タイミングFB信号として、計測部32にフィードバックされる。
また、制御部31が出力する受光タイミング信号は、受光部33に供給される。さらに、受光タイミング信号は、制御部31から受光部33までの配線の途中の位置から受光タイミングFB信号として、計測部32にフィードバックされる。
ステップS12において、計測部32は、その計測部32にフィードバックされた発光タイミングFB信号と受光タイミングFB信号とから、発光タイミングと受光タイミングのずれ時間を計測し、補正部22に供給する。
補正部22は、計測部32からのずれ時間に基づいて、発光タイミング信号若しくは受光タイミング信号の一方、又は、発光タイミング信号及び受光タイミング信号の両方を補正する補正データを生成し、制御部31に供給して、処理は、ステップS12からステップS13に進む。
ステップS13において、制御部31は、補正部22からの補正データに従って、発光タイミング信号若しくは受光タイミング信号の一方、又は、発光タイミング信号及び受光タイミング信号の両方を補正する。これにより、次に行われるステップS11では、制御部31は、補正後の発光タイミング信号や受光タイミング信号を出力する。
以上のように、ToFセンサ20によれば、計測部32で行われる計測動作により、発光タイミングと受光タイミングとのずれ時間を容易に定量的に把握することができる。
さらに、ToFセンサ20によれば、ToFセンサ20から外部に出力される画素データから求められる距離と実際の距離との誤差を確認するのではなく、ずれ時間から、距離の誤差を確認することができる。
また、ToFセンサ20によれば、ToFセンサ20の実際の使用時や、製造後のToFセンサ20の検査時、設計後のToFセンサ20の動作確認時等に、ずれ時間を容易に確認することができる。例えば、電圧条件や温度条件等を変更しながら行うToFセンサ20の検査において、各電圧条件や各温度条件に対して、どの程度のずれ時間が発生するかを容易に確認することができる。
さらに、ToFセンサ20によれば、ToFセンサ20を使用している環境、例えば、温度や電圧の変動等を加味したずれ時間を計測し、かかるずれ時間に応じて、ToFセンサ20を使用している環境に適切な発光タイミング信号や受光タイミング信号の補正を行うことができる。
また、ToFセンサ20によれば、制御部31は、製造後のToFセンサ20単体や、測距システム10に組み込まれたToFセンサ20の発光タイミング信号や受光タイミング信号の個体ばらつきを、ずれ時間が基準ずれ時間になるように補正することができる。さらに、実際に測距動作を行ったときに発生する、ずれ時間の基準ずれ時間からの変動を動的に調整するように、発光タイミング信号や受光タイミング信号を補正することができる。
<3.測距システムの第2の実施の形態の構成例>
図8は、本技術を適用した測距システムの第2の実施の形態の構成例を示すブロック図である。
なお、図中、図1と対応する部分については同一の符号を付してあり、以下では、その説明については適宜する。
図8において、測距システム60は、ToFセンサ20、発光部21、及び、補正部22を有する。したがって、測距システム60は、図1の測距システム10と同様に構成される。
但し、図8の測距システム60は、発光タイミング信号を、発光タイミングFB信号としてフィードバックする位置が、ToFセンサ20の内部の位置である点で、発光タイミング信号を発光タイミングFB信号として計測部32にフィードバックする位置が、ToFセンサ20の外部の位置である測距システム10と相違する。
ToFセンサ20に外部からの信号を受信するための端子を設けることができる場合には、図1に示したように、ToFセンサ20の外部からフィードバックされる発光タイミングFB信号を、ToFセンサ20に入力することができる。しかしながら、設計上の理由等の制約から、ToFセンサ20に、外部からの信号を受信するための端子を設けることが難しい場合には、図8に示したように、ToFセンサ20は、発光タイミング信号のフィードバックを、ToFセンサ20の内部で行う構造をとることができる。
<4.測距システムの第3の実施の形態の構成例>
図9は、本技術を適用した測距システムの第3の実施の形態の構成例を示すブロック図である。
なお、図中、図1と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図9において、測距システム70は、発光部21、及び、ToFセンサ71で構成され、ToFセンサ71は、補正部22、制御部31、計測部32、受光部33、A/D変換部34、及び、出力部35を有する。
図1の測距システム10で、ToFセンサ20の外部に備えられた補正部22が、図9の測距システム70では、ToFセンサ71の内部に備えられた点で、測距システム70は、測距システム10と相違する。
以上のように、ToFセンサ71の内部に補正部22を備えることにより、ToFセンサ71の外部に補正部22を設ける必要がなくなり、測距システム70の実装が容易になる。
なお、測距システム70では、計測部32で計測されたずれ時間を、ToFセンサ71の外部で確認する場合には、ずれ時間を、ToFセンサ71の外部に出力する端子を、ToFセンサ71に設ける必要がある。
一方、図1の測距システム10では、計測部32で計測されたずれ時間は、ToFセンサ20の外部に設けられた補正部22に供給されるので、ずれ時間を、ToFセンサ20の外部で容易に把握することができる。そして、そのずれ時間から、ToFセンサ20の実際の使用時や、製造後のToFセンサ20の検査時、設計後のToFセンサ20の動作確認時等に、測距により得られる距離の誤差を認識することができる。
なお、図9の測距システム70では、制御部31から発光部21に供給される発光タイミング信号が発光タイミングFB信号としてフィードバックされる位置が、ToFセンサ71の外部にあるが、発光タイミング信号が発光タイミングFB信号としてフィードバックされる位置は、図8の場合と同様に、ToFセンサ71の内部にあってもよい。
<5.測距システムの第4の実施の形態の構成例>
図10は、本技術を適用した測距システムの第4の実施の形態の構成例を示すブロック図である。
なお、図中、図1と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図10において、測距システム80は、ToFセンサ20、発光部21、及び、補正部22を有する。したがって、測距システム80は、図1の測距システム10と同様に構成される。
但し、図10のToFセンサ20は、計測部32が出力するずれ時間を、ToFセンサ20の外部の補正部22に、直接供給するのではなく、ToFセンサ20の内部にある出力部35に供給し、さらに、出力部35から補正部22に供給する点で、計測部32からToFセンサ20の外部の補正部22に、ずれ時間を直接供給する図1の測距システム10と相違する。
以上のように、測距システム80では、計測部32が出力するずれ時間が、出力部35に供給される。そして、出力部35では、計測部32からのずれ時間が、ToFセンサ20の外部に出力される。ここで、出力部35からずれ時間を出力する場合、出力部35は、ずれ時間を、エンデベットデータとして、画素データに埋め込んで出力することができる。また、出力部35は、フレームの画素データの前又は後に、その画素データを得るときに計測されたずれ時間を多重化して出力することができる。このように、ずれ時間をフレームの画素データと多重化して出力する場合には、各フレームに対するずれ時間を把握し、そのフレームの画素データ、ひいては、その画素データから得られる被写体までの距離を、ずれ時間を用いて補正することができる。
図10の測距システム80では、出力部35は、計測部32からのずれ時間を、補正部22に供給する。補正部22は、出力部35から供給されるずれ時間に応じて、補正データを生成し、ToFセンサ20の制御部31に供給することで、制御部31での発光タイミング信号や受光タイミング信号の補正を制御する。
なお、図10の測距システム80では、制御部31から発光部21に供給される発光タイミング信号が発光タイミングFB信号としてフィードバックされる位置が、ToFセンサ20の外部にあるが、発光タイミング信号が、発光タイミングFB信号としてフィードバックされる位置は、図8の場合と同様に、ToFセンサ20の内部にあってもよい。
<6.測距システムを用いたセンサモジュール>
図11は、本技術を適用したセンサモジュールの構成例を示すブロック図である。
図11において、センサモジュール90は、ToFセンサ20、発光部21、及び、AP(Application Processor)91を有する。したがって、センサモジュール90は、図1のToFセンサ20及び発光部21を用いて構成される。
以上のように構成されるセンサモジュール90では、ToFセンサ20において、図3又は図4に説明したように、計測動作、測距動作、及び、画素信号の読み出しが行われる。そして、測距動作及び画素信号の読み出しの結果得られる画素データが、出力部35からAP91に供給され、計測動作の結果得られるずれ時間が、計測部32からAP91に供給される。
AP91は、ToFセンサ20からの画素データを用いて、被写体までの距離を表す距離情報を算出する。さらに、AP91は、ToFセンサ20からのずれ時間を用いて、補正データを生成し、ToFセンサ20に供給する。
ToFセンサ20では、制御部31において、AP91からの補正データを用いて、発光タイミング信号や受光タイミング信号が補正される。
なお、図11のセンサモジュール90は、図1に示されるToFセンサ20の他、図8のToFセンサ20又は図10のToFセンサ20を用いて構成することができる。
さらに、図11のセンサモジュール90は、ToFセンサ20に代えて、図9に示されるToFセンサ71を用いて構成することができる。但し、センサモジュール90を、図9のToFセンサ71を用いて構成する場合は、ずれ時間を用いた補正データの生成が、ToFセンサ71の内部に設けられた補正部22で行われるので、ToFセンサ71からAP91へのずれ時間の供給、及び、AP91からToFセンサ71への補正データの供給は不要になる。
以上説明した図1の測距システム10、図8の測距システム60ないし図10の測距システム80、及び、図11のセンサモジュール90では、ToF方式により測距が行われる。ToF方式の測距では、パルス光等の所定の変調光を照射光として、被写体に照射光が照射され、その照射光の被写体からの反射光を受光することで、照射光の発光から反射光の受光までの時間(以下、反射時間ともいう)Δtに基づいて、被写体までの距離Lが算出される。
すなわち、反射時間Δtは、照射光が発光され、被写体で反射されて戻ってくるまでの時間であり、光速をc[m/s]と表すこととすると、被写体までの距離Lは、式L=c×Δt/2に従って求めることができる。
したがって、被写体までの距離Lは、反射時間Δtを求めることにより得ることができる。なお、反射時間Δtは、照射光と反射光との位相差ともいうことができる。
図12は、反射時間Δtの算出方法の原理を説明する図である。
ここで、図12では、照射光として、例えば、所定のパルス幅Tpのパルス光が採用されている。また、照射光としてのパルス光と同一のパルス幅で、同一の位相のパルスを、第1の受光パルスというとともに、照射光としてのパルス光と同一のパルス幅で、パルス幅Tpだけ位相がずれたパルスを、第2の受光パルスということとする。
第1の受光パルス及び第2の受光パルスは、受光タイミング信号に相当し、ToFセンサ20やToFセンサ71では、第1の受光パルスの(H(High)レベルの)期間と、第2の受光パルスの期間とのそれぞれの期間において、反射光が受光される。
いま、第1の受光パルスの期間に受光された反射光の電荷量(受光量)を、Q1と表すとともに、第2の受光パルスの期間に受光された反射光の電荷量をQ2と表すこととする。
この場合、反射時間Δtは、式Δt=Tp×Q2/(Q1+Q2)に従って求めることができる。
電荷量Q1及びQ2は、画素データに相当する。したがって、画素データを用い、式Δt=Tp×Q2/(Q1+Q2)、及び、式L=c×Δt/2に従って、被写体までの距離Lを求めることができる。
<7.本技術を適用したコンピュータの説明>
次に、上述した制御部31や計測部32等の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。
そこで、図13は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
図13において、CPU(Central Processing Unit)101は、ROM(Read Only Memory)102に記憶されているプログラム、又は記憶部108からRAM(Random Access Memory)103にロードされたプログラムに従って各種の処理を実行する。RAM103にはまた、CPU101が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU101、ROM102、及びRAM103は、バス104を介して相互接続されている。このバス104にはまた、入出力インタフェース105も接続されている。
入出力インタフェース105には、キーボード、マウスなどによりなる入力部106、LCD(liquid crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部107、ハードディスクなどより構成される記憶部108、モデム、ターミナルアダプタなどより構成される通信部109が接続されている。通信部109は、例えばインターネットなどのネットワークを介しての通信処理を行う。
入出力インタフェース105にはまた、必要に応じてドライブ110が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア111が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部108にインストールされる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
<8.移動体への応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図14は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図14に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(Interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12030に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図14の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図15は、撮像部12031の設置位置の例を示す図である。
図15では、撮像部12031として、撮像部12101、12102、12103、12104、12105を有する。
撮像部12101、12102、12103、12104、12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図15には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031等に適用され得る。具体的には、図1の測距システム10、図8の測距システム60ないし図10の測距システム80、図11のセンサモジュール90は、撮像部12031に適用することができる。撮像部12031に本開示に係る技術を適用することにより、測距の精度の向上を図り、正確な距離を用いて適切な運転支援を行うことができる。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外に効果があってもよい。
<その他>
本技術は、以下のような構成もとることができる。
(1)
光を発光する発光部から発光された照射光の、被写体からの反射光を受光する受光部と、
前記発光部に、前記照射光を発光する発光動作を制御するための発光タイミング信号を供給することにより、前記発光動作を制御するとともに、前記受光部に、前記反射光を受光する受光動作を制御するための受光タイミング信号を供給することにより、前記受光動作を制御する制御部と、
前記発光タイミング信号と、前記受光タイミング信号とを用いて、前記発光部が前記照射光を発光する発光タイミングと、前記受光部が前記反射光を受光する受光タイミングとのずれ時間を計測する計測部と
を備える測距装置。
(2)
前記発光タイミング信号及び前記受光タイミング信号のうちの一方又は両方は、前記ずれ時間に応じて補正される
(1)に記載の測距装置。
(3)
前記発光タイミング信号及び前記受光タイミング信号のうちの一方又は両方を、前記ずれ時間に応じて補正する制御を行う補正部をさらに備える
(1)又は(2)に記載の測距装置。
(4)
前記計測部は、前記制御部から前記発光部に前記発光タイミング信号を供給する配線の途中からフィードバックされる前記発光タイミング信号と、前記受光タイミング信号とを用いて、前記ずれ時間を計測する
(1)ないし(3)のいずれかに記載の測距装置。
(5)
前記計測部は、前記発光部が前記照射光を発光し、前記受光部が前記反射光を受光して、前記反射光の光量に対応する電荷を発生する測距動作と並列して、前記ずれ時間を計測する
(1)ないし(4)のいずれかに記載の測距装置。
(6)
光を発光する発光部から発光された照射光の、被写体からの反射光を受光する受光部と、
前記発光部に、前記照射光を発光する発光動作を制御するための発光タイミング信号を供給することにより、前記発光動作を制御するとともに、前記受光部に、前記反射光を受光する受光動作を制御するための受光タイミング信号を供給することにより、前記受光動作を制御する制御部と
を備える測距装置が、
前記発光タイミング信号と、前記受光タイミング信号とを用いて、前記発光部が前記照射光を発光する発光タイミングと、前記受光部が前記反射光を受光する受光タイミングとのずれ時間を計測する
ことを含む測距方法。
(7)
第1の基板と第2の基板とを積層したチップと、
発光部と
を備え、
前記第1の基板は、受光部を備え、
前記第2の基板は、制御部を備え、
前記制御部は、前記発光部に発光タイミング信号を供給し、前記受光部に受光タイミング信号を供給する
測距装置。
(8)
前記第2の基板はさらに計測部を備え、
前記計測部は、前記発光タイミング信号と、前記受光タイミング信号とを用いて、前記発光部が照射光を発光する発光タイミングと、前記受光部が被写体からの反射光を受光する受光タイミングとのずれ時間を計測する
(7)に記載の測距装置。
(9)
前記発光タイミング信号及び前記受光タイミング信号のうちの一方又は両方は、前記ずれ時間に応じて補正される
(8)に記載の測距装置。
(10)
前記発光タイミング信号及び前記受光タイミング信号のうちの一方又は両方を、前記ずれ時間に応じて補正する制御を行う補正部をさらに備える
(9)に記載の測距装置。
(11)
前記計測部は、前記制御部から前記発光部に前記発光タイミング信号を供給する配線の途中からフィードバックされる前記発光タイミング信号と、前記受光タイミング信号とを用いて、前記ずれ時間を計測する
(8)ないし(10)のいずれかに記載の測距装置。
(12)
前記計測部は、前記発光部が前記照射光を発光し、前記受光部が被写体からの反射光を受光して、前記反射光の光量に対応する電荷を発生する測距動作と並列して、前記ずれ時間を計測する
(8)ないし(11)のいずれかに記載の測距装置。
10 測距システム, 20 ToFセンサ, 21 発光部, 22 補正部, 31 制御部, 32 計測部, 33 受光部, 34 A/D変換部, 35 出力部, 41 チップ, 42 下側基板, 43 上側基板, 60,70 測距システム, 71 ToFセンサ, 80 測距システム, 90 センサモジュール, 91 AP

Claims (11)

  1. 光を発光する発光部から発光された照射光の、被写体からの反射光を受光する受光部と、
    前記発光部に、前記照射光を発光する発光動作を制御するための発光タイミング信号を供給することにより、前記発光動作を制御するとともに、前記受光部に、前記反射光を受光する受光動作を制御するための受光タイミング信号を供給することにより、前記受光動作を制御する制御部と、
    前記発光タイミング信号と、前記受光タイミング信号とを用いて、前記発光部が前記照射光を発光する発光タイミングと、前記受光部が前記反射光を受光する受光タイミングとのずれ時間を計測する計測部と、
    前記発光タイミング信号及び前記受光タイミング信号のうちの一方又は両方を、前記計測部により計測された前記ずれ時間に応じて補正し、前記制御部に対して補正データをフィードバックする補正部と
    を備え
    前記制御部から前記発光部に前記発光タイミング信号を供給する配線の途中の位置であって、前記発光タイミング信号が前記位置から前記発光部に到着するタイミングと、前記発光タイミング信号が前記位置からフィードバックされて前記計測部に到着するタイミングとが略一致する前記位置から、前記発光タイミング信号が前記計測部にフィードバックされ、
    前記計測部は、そのフィードバックされる前記発光タイミング信号と、前記受光タイミング信号とを用いて、前記ずれ時間を計測する
    測距装置。
  2. 前記補正部は、前記ずれ時間が既知の距離にある被写体の測距を行うことにより事前に求められた基準ずれ信号になるように、前記補正データを生成する
    請求項1に記載の測距装置。
  3. 前記発光タイミング信号をフィードバックする前記位置は、前記測距装置と前記発光部とを接続する前記配線の略中点である
    請求項1に記載の測距装置。
  4. 前記計測部は、前記発光部が前記照射光を発光し、前記受光部が前記反射光を受光して、前記反射光の光量に対応する電荷を発生する測距動作と並列して、前記ずれ時間を計測する
    請求項1に記載の測距装置。
  5. 前記計測部が前記ずれ時間を計測する計測動作を行った後に、前記発光部が前記照射光を発光し、前記受光部が前記反射光を受光して、前記反射光の光量に対応する電荷を発生する測距動作を行う
    請求項1に記載の測距装置。
  6. 光を発光する発光部から発光された照射光の、被写体からの反射光を受光する受光部と、
    前記発光部に、前記照射光を発光する発光動作を制御するための発光タイミング信号を供給することにより、前記発光動作を制御するとともに、前記受光部に、前記反射光を受光する受光動作を制御するための受光タイミング信号を供給することにより、前記受光動作を制御する制御部と
    計測部と、
    補正部と
    を備える測距装置が、
    前記計測部において、前記発光タイミング信号と、前記受光タイミング信号とを用いて、前記発光部が前記照射光を発光する発光タイミングと、前記受光部が前記反射光を受光する受光タイミングとのずれ時間を計測することと、
    前記補正部において、前記発光タイミング信号及び前記受光タイミング信号のうちの一方又は両方を、前記ずれ時間に応じて補正し、前記制御部に対して補正データをフィードバックすることと
    を含み、
    前記制御部から前記発光部に前記発光タイミング信号を供給する配線の途中の位置であって、前記発光タイミング信号が前記位置から前記発光部に到着するタイミングと、前記発光タイミング信号が前記位置からフィードバックされて前記計測部に到着するタイミングとが略一致する前記位置から、前記発光タイミング信号が前記計測部にフィードバックされ、
    前記計測部において、そのフィードバックされる前記発光タイミング信号と、前記受光タイミング信号とを用いて、前記ずれ時間を計測する
    測距方法。
  7. 第1の基板と第2の基板とを積層したチップと、
    発光部と
    を備え、
    前記第1の基板は、受光部を備え、
    前記第2の基板は、制御部、計測部、および補正部を備え、
    前記制御部は、前記発光部に発光タイミング信号を供給し、前記受光部に受光タイミング信号を供給し、
    前記計測部は、前記発光タイミング信号と、前記受光タイミング信号とを用いて、前記発光部が照射光を発光する発光タイミングと、前記受光部が被写体からの反射光を受光する受光タイミングとのずれ時間を計測し、
    前記補正部は、前記発光タイミング信号及び前記受光タイミング信号のうちの一方又は両方を、前記計測部により計測された前記ずれ時間に応じて補正し、前記制御部に対して補正データをフィードバックし、
    前記制御部から前記発光部に前記発光タイミング信号を供給する配線の途中の位置であって、前記発光タイミング信号が前記位置から前記発光部に到着するタイミングと、前記発光タイミング信号が前記位置からフィードバックされて前記計測部に到着するタイミングとが略一致する前記位置から、前記発光タイミング信号が前記計測部にフィードバックされ、
    前記計測部は、そのフィードバックされる前記発光タイミング信号と、前記受光タイミング信号とを用いて、前記ずれ時間を計測する
    測距装置。
  8. 前記補正部は、前記ずれ時間が既知の距離にある被写体の測距を行うことにより事前に求められた基準ずれ信号になるように、前記補正データを生成する
    請求項7に記載の測距装置。
  9. 前記発光タイミング信号をフィードバックする前記位置は、前記測距装置と前記発光部とを接続する前記配線の略中点である
    請求項7に記載の測距装置。
  10. 前記計測部は、前記発光部が前記照射光を発光し、前記受光部が被写体からの反射光を受光して、前記反射光の光量に対応する電荷を発生する測距動作と並列して、前記ずれ時間を計測する
    請求項7に記載の測距装置。
  11. 前記計測部が前記ずれ時間を計測する計測動作を行った後に、前記発光部が前記照射光を発光し、前記受光部が前記反射光を受光して、前記反射光の光量に対応する電荷を発生する測距動作を行う
    請求項7に記載の測距装置。
JP2019506197A 2017-08-28 2018-08-14 測距装置、及び、測距方法 Active JP7305535B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017163304 2017-08-28
JP2017163304 2017-08-28
PCT/JP2018/030253 WO2019044487A1 (ja) 2017-08-28 2018-08-14 測距装置、及び、測距方法

Publications (2)

Publication Number Publication Date
JPWO2019044487A1 JPWO2019044487A1 (ja) 2020-08-06
JP7305535B2 true JP7305535B2 (ja) 2023-07-10

Family

ID=65525561

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019506197A Active JP7305535B2 (ja) 2017-08-28 2018-08-14 測距装置、及び、測距方法

Country Status (5)

Country Link
US (1) US11828882B2 (ja)
EP (1) EP3564704B1 (ja)
JP (1) JP7305535B2 (ja)
CN (1) CN109729723B (ja)
WO (1) WO2019044487A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI748588B (zh) * 2019-08-13 2021-12-01 日商索尼半導體解決方案公司 測定裝置及測距裝置
US20210255327A1 (en) * 2020-02-17 2021-08-19 Mediatek Inc. Emission And Reception Of Patterned Light Waves For Range Sensing
CN111307185A (zh) * 2020-03-18 2020-06-19 宁波飞芯电子科技有限公司 探测装置及探测方法
CN111638502B (zh) * 2020-04-29 2023-09-05 西南电子技术研究所(中国电子科技集团公司第十研究所) 测控通信地面站基于时基的发射单向零值测距系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001116516A (ja) 1999-08-11 2001-04-27 Asahi Optical Co Ltd 3次元画像検出装置
JP2008102000A (ja) 2006-10-18 2008-05-01 Matsushita Electric Works Ltd 強度変調光を用いた空間情報検出装置
JP2009236657A (ja) 2008-03-27 2009-10-15 Panasonic Electric Works Co Ltd 距離測定装置
JP2013195306A (ja) 2012-03-21 2013-09-30 Honda Motor Co Ltd 測距システム
JP2017125829A (ja) 2016-01-13 2017-07-20 株式会社リコー 距離測定装置、移動体装置及び距離測定方法
JP2017143491A (ja) 2016-02-12 2017-08-17 キヤノン株式会社 積層型撮像素子及び撮像装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08114444A (ja) * 1994-10-18 1996-05-07 Mitsubishi Automob Eng Co Ltd 並走車両に対する相対速度検出方法
JPH11142520A (ja) * 1997-11-06 1999-05-28 Omron Corp 測距装置の軸調整方法及び軸ずれ検出方法並びに測距装置
JP2000147122A (ja) * 1998-11-09 2000-05-26 Nikon Corp 光波測距装置
US7128266B2 (en) * 2003-11-13 2006-10-31 Metrologic Instruments. Inc. Hand-supportable digital imaging-based bar code symbol reader supporting narrow-area and wide-area modes of illumination and image capture
JP4161830B2 (ja) * 2003-07-14 2008-10-08 沖電気工業株式会社 通信システム
US7362419B2 (en) * 2004-09-17 2008-04-22 Matsushita Electric Works, Ltd. Range image sensor
JP4618082B2 (ja) * 2004-11-19 2011-01-26 パナソニック株式会社 送信装置、受信装置および通信システム
KR100957084B1 (ko) * 2006-10-18 2010-05-13 파나소닉 전공 주식회사 공간 정보 검출 장치
US7738083B2 (en) * 2008-02-05 2010-06-15 Asia Optical Co., Inc. Distant measurement method and distant measurement system
WO2010098454A1 (ja) * 2009-02-27 2010-09-02 パナソニック電工株式会社 距離測定装置
KR20130098040A (ko) * 2012-02-27 2013-09-04 삼성전자주식회사 깊이 이미지를 자동으로 캘리브레이션하는 이미지 시스템
JP5936401B2 (ja) 2012-03-21 2016-06-22 本田技研工業株式会社 測距システム
US9109888B2 (en) 2012-03-21 2015-08-18 Honda Motor Co., Ltd. Distance measuring system
JP5936405B2 (ja) * 2012-03-23 2016-06-22 本田技研工業株式会社 測距システム
KR102011443B1 (ko) * 2012-10-19 2019-08-19 삼성전자주식회사 위치 검출 장치 및 제어 방법
JP6045963B2 (ja) * 2013-04-05 2016-12-14 日立マクセル株式会社 光測距装置
US9529074B2 (en) * 2013-10-10 2016-12-27 Dizic Co., Ltd. Ranging method, ranging device, location device and location method
US9482740B2 (en) * 2014-07-09 2016-11-01 Deere & Company Determining location of a receiver with a multi-subcarrier signal
US9823352B2 (en) * 2014-10-31 2017-11-21 Rockwell Automation Safety Ag Absolute distance measurement for time-of-flight sensors
TWI565960B (zh) * 2014-11-21 2017-01-11 專家科技有限公司 測距方法、測距裝置、定位裝置與定位方法
US10139477B2 (en) * 2015-07-31 2018-11-27 Optex Co., Ltd. Erroneous detection restraining circuit for laser range finder
US10408934B2 (en) * 2015-08-19 2019-09-10 Canon Kabushiki Kaisha Object information acquiring apparatus
WO2017060943A1 (ja) * 2015-10-05 2017-04-13 日立マクセル株式会社 光測距装置及び映像投写装置
DE102015121724A1 (de) * 2015-12-14 2017-06-14 Symeo Gmbh System und Verfahren mit zumindest drei Signale empfangenden Stationen
US10596964B2 (en) * 2016-01-13 2020-03-24 Ricoh Company, Ltd. Distance measurement device, moveable device, and distance measuring method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001116516A (ja) 1999-08-11 2001-04-27 Asahi Optical Co Ltd 3次元画像検出装置
JP2008102000A (ja) 2006-10-18 2008-05-01 Matsushita Electric Works Ltd 強度変調光を用いた空間情報検出装置
JP2009236657A (ja) 2008-03-27 2009-10-15 Panasonic Electric Works Co Ltd 距離測定装置
JP2013195306A (ja) 2012-03-21 2013-09-30 Honda Motor Co Ltd 測距システム
JP2017125829A (ja) 2016-01-13 2017-07-20 株式会社リコー 距離測定装置、移動体装置及び距離測定方法
JP2017143491A (ja) 2016-02-12 2017-08-17 キヤノン株式会社 積層型撮像素子及び撮像装置

Also Published As

Publication number Publication date
EP3564704A4 (en) 2020-03-11
EP3564704B1 (en) 2023-01-18
CN109729723B (zh) 2024-02-20
US20200088854A1 (en) 2020-03-19
EP3564704A1 (en) 2019-11-06
CN109729723A (zh) 2019-05-07
WO2019044487A1 (ja) 2019-03-07
US11828882B2 (en) 2023-11-28
JPWO2019044487A1 (ja) 2020-08-06

Similar Documents

Publication Publication Date Title
JP7305535B2 (ja) 測距装置、及び、測距方法
JP7214363B2 (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
CN109804266B (zh) 测距装置及测距方法
US11513200B2 (en) Distance measuring device and distance measuring method
WO2017195459A1 (ja) 撮像装置、および撮像方法
WO2020184224A1 (ja) 距離測定装置及びスキュー補正方法
KR20190125171A (ko) 측거 처리 장치, 측거 모듈, 측거 처리 방법 및 프로그램
WO2021065494A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
US20220113410A1 (en) Distance measuring device, distance measuring method, and program
US20220381917A1 (en) Lighting device, method for controlling lighting device, and distance measurement module
WO2021106624A1 (ja) 測距センサ、測距システム、および、電子機器
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021145212A1 (ja) 測距センサ、測距システム、および、電子機器
WO2023281810A1 (ja) 測距装置及び測距方法
WO2022269995A1 (ja) 測距装置および方法、並びにプログラム
WO2020203331A1 (ja) 信号処理装置、信号処理方法、および、測距モジュール
JP7494200B2 (ja) 照明装置、照明装置の制御方法、および、測距モジュール
WO2021065495A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021106623A1 (ja) 測距センサ、測距システム、および、電子機器
WO2023079830A1 (ja) 測距装置、および、光検出素子

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230628

R150 Certificate of patent or registration of utility model

Ref document number: 7305535

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150