JP6675061B2 - 距離検出装置及び距離検出方法 - Google Patents

距離検出装置及び距離検出方法 Download PDF

Info

Publication number
JP6675061B2
JP6675061B2 JP2016558868A JP2016558868A JP6675061B2 JP 6675061 B2 JP6675061 B2 JP 6675061B2 JP 2016558868 A JP2016558868 A JP 2016558868A JP 2016558868 A JP2016558868 A JP 2016558868A JP 6675061 B2 JP6675061 B2 JP 6675061B2
Authority
JP
Japan
Prior art keywords
distance
measurement
range
measurement range
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016558868A
Other languages
English (en)
Other versions
JPWO2016075885A1 (ja
Inventor
友裕 松尾
友裕 松尾
義宣 河野
義宣 河野
伸 田淵
伸 田淵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2016075885A1 publication Critical patent/JPWO2016075885A1/ja
Application granted granted Critical
Publication of JP6675061B2 publication Critical patent/JP6675061B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4868Controlling received signal intensity or exposure of sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、TOF(Time of flight)方式により対象物の距離を示す距離画像を生成する距離検出装置及び距離検出方法に関する。
TOF(Time of flight)方式により対象物の距離を検出する方法が知られている。例えば、特許文献1には、光を照射して被写体の三次元形状を検出する装置が開示されている。この装置は、プリ測距を行い、その結果に基づいて自動で露光タイミングを調整する。
また、特許文献2には、複数の発光タイミングでそれぞれ強度変調された光を照射し、被写体からの反射光を、それぞれのタイミングで検出することで距離を演算する装置が開示されている。
特開2001−116516号公報 特開2008−241258号公報
距離検出装置は、光を照射する光源と、光源から照射された光が対象物で反射した反射光を受光することで検出信号を生成する光センサと、距離範囲が分割されることにより得られた複数の測定範囲のそれぞれの測定範囲において光源の光の照射タイミングに対する光センサの露光タイミングを制御する制御部とを備える。
この距離検出装置は、距離画像を用いた評価処理の処理量を低減できるとともに、距離画像のデータ量を低減できる。
図1は実施の形態に係る距離検出装置のブロック図である。 図2は実施の形態に係る距離検出装置の距離検出処理を説明するための図である。 図3は実施の形態に係る距離検出装置の距離画像の一例を示す図である。 図4は実施の形態に係る距離検出装置の距離範囲の分割例を示す図である。 図5は実施の形態に係る距離検出装置の距離検出処理のタイミングを示す図である。 図6は実施の形態に係る距離検出装置の測定処理のタイミングを示す図である。 図7は実施の形態に係る距離検出装置の遠距離測定処理のタイミングを示す図である。 図8は実施の形態に係る距離検出装置の中距離測定処理のタイミングを示す図である。 図9は実施の形態に係る距離検出装置の近距離測定処理のタイミングを示す図である。 図10Aは実施の形態に係る距離検出装置の距離検出処理のフローチャートである。 図10Bは実施の形態に係る距離検出装置の距離検出処理のフローチャートである。 図11は実施の形態に係る距離検出装置の近距離及び中距離測定における測定バラツキを示す図である。 図12は実施の形態に係る距離検出装置の各距離画像及び合成画像の一例を示す図である。 図13は実施の形態の他の距離検出装置のブロック図である。
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
図1は、本実施の形態に係る距離検出装置100のブロック図である。
図1に示す距離検出装置100は、TOF方式により測定対象の距離範囲内に位置する対象物の距離を示す距離画像124を生成する。この距離検出装置100は、例えば、三次元のイメージセンサに用いることができる。距離検出装置100は、光源101と、光センサ102と、制御部103と、演算部104と、記憶部105と、出力部106とを備える。
光源101は、照射光121を照射する。この光源101は、発光部111と、駆動部112とを備える。発光部111は、照射光121を発光する。発光部111は、例えば、LD(レーザダイオード)又はLED(発光ダイオード)等である。駆動部112は、発光部111に電力を供給することにより、発光部111による発光を制御する。
光センサ102は、照射光121が対象物で反射した反射光122を受光することで検出信号123を生成する。光センサ102は、レンズ113と、イメージセンサ114とを備える。レンズ113は、イメージセンサ114に反射光122を集光する。イメージセンサ114は、反射光122を受光し、受光した光の光量に応じた値を有する画像である検出信号123を生成する。例えば、イメージセンサ114は、CCD(Charge Coupled Device)イメージセンサ又はCMOS(Complementary metal−oxide−semiconductor)イメージセンサである。
制御部103は、光源101の照射タイミング及び光センサ102の受光タイミング(露光期間)を制御する。具体的には、制御部103は、測定対象の距離範囲が分割されることにより得られた測定範囲ごとに、光源101の光の照射タイミングに対する光センサ102の露光タイミングを制御する。つまり、制御部103は、上記測定範囲ごとに、光源101及び光センサ102を制御することで、当該測定範囲内の対象物の距離を示す距離画像(距離情報)を生成するための検出信号123を光センサ102に生成させる。
演算部104は、検出信号123を用いて距離画像124を生成する。具体的には、演算部104は、測定範囲ごとに、検出信号123に基づき当該測定範囲内の対象物の距離を演算することで距離情報を生成する。次に、演算部104は、生成された複数の測定範囲の複数の距離情報を用いて、全体の距離範囲内の対象物の距離を示す距離画像124を生成する。
例えば、制御部103及び演算部104は、FPGA(Field Programmable Gate Array)により実現される。なお、制御部103及び演算部104の少なくとも一方は、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサにより実現されてもよいし、専用のハードウェア(回路)により実現されてもよいし、CPU又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
記憶部105は、例えば、RAMであり、演算部104の演算に用いられるデータ及び中間データ等を格納する。
出力部106は、距離画像124を距離検出装置100の外部に出力ためのインターフェースであり、例えば、USBインターフェースである。例えば、出力部106は、外部のPC(パーソナルコンピュータ)等に距離画像124を出力する。なお、ここでは、距離検出装置100から外部への出力機能のみを記載しているが、外部のPC等から制御信号又はプログラム等が当該インターフェースを介して距離検出装置100に入力されてもよい。
次に、本実施の形態に係る距離検出装置100の動作を説明する。
図2は、測定対象の全体の距離範囲D100を複数の測定範囲D(1)〜D(3)に分割した例を示す図である。図3は、図2に示す例において得られる距離画像124の一例を示す図である。図4は、各測定範囲の条件等を示す図である。
なお、ここでは、距離範囲D100が3つの測定範囲D(1)〜D(3)に分割される例を述べるが、分割数は2以上であればよく、任意の分割数でよい。また、以下で示す測定範囲の例は一例であり、各範囲の数値等は任意に設定可能である。
この例では、測定対象の全体の距離範囲は0.5m〜12mである。また、実際に計測される距離範囲D100は、測定対象の距離範囲に測定バラツキ等を考慮してマージンが加えられており、0.4m〜12.3mである。
距離範囲D100は3つの測定範囲D(1)〜D(3)に分割される。近距離の測定範囲D(1)は0.4m〜2.2mであり、中距離の測定範囲D(2)は1.8m〜7.3mであり、遠距離の測定範囲D(3)は6.7m〜12.3mである。ここで、複数の測定範囲D(1)〜D(3)は、互いに隣接する測定範囲が重複するように距離の範囲が設定されている。具体的には、近距離の測定範囲D(1)と中距離の測定範囲D(2)では1.8m〜2.2mが重複しており、中距離の測定範囲D(2)と遠距離の測定範囲D(3)では6.7m〜7.3mが重複している。
このように、重複する範囲を設けることにより、測定範囲D(1)〜D(3)の境界付近では複数の距離検出結果が取得される。これにより、測定バラツキにより、境界付近の距離検出結果がいずれの測定範囲においても取得されない測定抜けの発生を抑制できる。
また、複数の測定範囲D(1)〜D(3)は、近い側の測定範囲ほど距離の範囲(図4の範囲長)が短く設定されている。ここで測定の精度は、距離の比に依存する。よって、近距離の測定範囲ほど、範囲長を短くすることで、各測定範囲における測定の精度のバラツキを低減できる。
なお、遠距離になるほどこの距離の比の影響は小さくなる。よって、例えば、複数の測定範囲D(1)〜D(3)のうち、距離検出装置100の光センサ102に最も近い測定範囲D(1)は、2番目に近い測定範囲D(2)より距離の範囲が短く設定され、3番目に近い及びそれより遠い測定範囲D(3)の距離の範囲は、近距離に隣接する測定範囲の距離の範囲と同じ又は当該距離の範囲より長く設定されてもよい。
また、各測定範囲の測定は、遠距離の測定範囲D(3)、中距離の測定範囲D(2)、近距離の測定範囲D(1)の順で行なわれる。
図3に示すように、距離画像124は、それぞれが距離画像124の画素である複数の空間領域P(1)〜P(N)よりなる。
図5は、距離検出処理のタイミングチャートである。ここで1フレームはある時刻の1つのシーンに対応する距離画像124を生成するための検出信号123を生成するために用いられる区間を意味する。
図5に示すように、1フレームにおいて、遠距離モードの測定範囲D(3)、中距離モードの測定範囲D(2)及び近距離モードの測定範囲D(1)がこの順で測定される。また、各モードの測定は、複数のサブ測定を含む。例えば、各測定には数百回程度のサブ測定が含まれる。そして複数のサブ測定の測定結果の平均値が最終的な測定結果として用いられる。なお、ここでは、測定精度を向上させるために、各測定に複数のサブ測定が含まれる例を述べるが、各測定において1回の測定のみが行なわれてもよい。
また、各サブ測定は、S0測定、S1測定及びBG測定を含む。
図6は、各サブ測定の詳細を示すタイミングチャートである。図6に示すように、パルスTOF方式では、光源101は、発光パルス幅T(s)で照射光121を照射する。照射光121が対象物で反射した反射光122は、距離検出装置100から対象物の距離に応じた時間Δt後に、光センサ102で受光される。
光センサ102は、発光パルスの照射に同期したタイミングで露光を行う。また、光センサ102は、S0測定、S1測定及びBG測定の3種類の測定で得た検出信号123を出力する。
S0測定では、露光期間は、発光パルスの立ち上がりエッジから時間Td遅れて開始される。ここで時間Tdは、測定範囲に応じて決定される。対象物が測定範囲内に存在する場合には、反射光122の全てが露光期間中に受光される。
S1測定では、露光期間は、発光パルスの立ち下がりエッジから遅延時間Td遅れて開始される。対象物が測定範囲内に存在する場合には、対象物の距離に応じて、反射光122の一部のみが露光期間中に受光される。
BG測定では、発光パルスは照射されず、露光のみが行なわれる。これにより、照射光121が照射されていない場合の環境光が受光される。
演算部104は、これらの測定で得られた信号から時間Δtを算出し、時間Δtを距離に変換する。具体的には、S0測定で得られた信号S0と、S1測定で得られた信号S1と、BG測定で得られた信号BGと、S0測定における発光パルスの立ち上がりエッジから露光開始までの時間Td(s)(S1測定における発光パルスの立ち下がりエッジから露光開始までの時間)と、光速c(=3×10 m/s)により、対象物までの距離Depthは数1で導出される。
Figure 0006675061
また、この演算は画像に含まれる複数の空間領域P(1)〜P(N)の各々に対して行なわれる。なお、以下では、1画素ごとに距離が算出される場合を説明するが、複数画素ごとに距離が算出されてもよい。
また、上述した時間Tdを調整することにより所望の測定範囲の対象物を検知することができる。以下、各モードの測定範囲D(1)〜D(3)における発光及び露光タイミングの一例を示す。図7、図8及び図9は、遠距離モードの測定範囲D(3)、中距離モードの測定範囲D(2)及び近距離モードの測定範囲D(1)の各々における発光及び露光タイミングの一例を示す図である。
図7から図9は、測定範囲D(1)〜D(3)のそれぞれの近端に位置する対象物からの反射光Ds(k)(k=1、2、3)を示し、測定範囲D(1)〜D(3)のそれぞれの遠端に位置する対象物からの反射光De(k)を示す。
各モードのS0測定における露光は、反射光Ds(k)の立ち上がりエッジから反射光De(k)の立ち下がりエッジまでの期間に行なわれる。なお、S0測定における露光期間はマージン等を得るために、図7〜図9に示す例より長くてもよい。
各モードのS1測定における露光は、反射光Ds(k)の立ち下がりエッジから開始する。なお、ここでは、反射光Ds(k)の立ち下がりエッジと反射光De(k)の立ち上がりエッジとが一致しているが、必ずしも一致している必要はない。
このように各モードの発光及び露光タイミングが制御されることにより、各モードの測定範囲に含まれる対象物の距離が検知される。
各サブ測定は、パルスTOF方式に替えて位相差TOF方式を用いてもよい。
次に、図10Aと図10Bを用いて、距離検出装置100の動作を説明する。図10Aと図10Bは、本実施の形態に係る距離検出処理のフローチャートである。
まず、制御部103は、遠距離モードの測定範囲D(3)で測定を行う。演算部104は、この測定で得られた検出信号123を用いて、各画素の距離(深さ)を演算することで、各画素の距離を示す距離情報を生成する(S101)。
次に、演算部104は、各画素の距離が有効であるかを判定する(S102〜S105)。ここで有効とは、距離が遠距離の測定範囲(6.7m〜12.3m)内であることである。なお、数1に示すように、対象物が測定している測定範囲D(3)に存在しない場合には、距離として6.7m〜12.3m以外の値又は異常値(不正な値)が算出される。
演算部104は、測定範囲D(3)内の有効な距離を有する画素に関しては、当該距離を当該画素の測定結果に決定する(S104)。また、演算部は、有効な距離を有さない画素を未決定画素に設定し、後続の処理を行う。
次に、制御部103は、中距離モードの測定範囲D(2)で測定を行う。演算部104は、この測定で得られた検出信号123を用いて、各未決定画素の距離を演算することで、各未決定画素の距離を示す距離情報を生成する(S106)。
次に、演算部104は、各画素の距離が有効であるかを判定する(S107〜S110)。ここで有効とは、距離が中距離の測定範囲D(2)内(1.8m〜7.3m)であることである。なお、数1に示すように、対象物が測定範囲D(2)に存在しない場合には、距離として1.8m〜7.3m以外の値又は異常値が算出される。
演算部104は、測定範囲D(2)内の有効な距離を有する画素に関しては、当該距離を当該画素の測定結果に決定する(S109)。また、演算部104は、有効な距離を有さない画素を未決定画素に設定し、後続の処理を行う。
次に、制御部103は、近距離モードの測定範囲D(1)で測定を行う。演算部104は、この測定で得られた検出信号123を用いて、各未決定画素の距離を演算することで、各未決定画素の距離を示す距離情報を生成する(S111)。
次に、演算部104は、各画素の距離が有効であるかを判定する(S112〜S116)。ここで有効とは、距離が近距離の測定範囲D(1)内(0.4m〜2.2m)であることである。なお、数1に示すように、対象物が測定範囲D(1)に存在しない場合には、距離として0.4m〜2.2m以外の値又は異常値が算出される。
演算部104は、測定範囲D(1)内の有効な距離を有する画素に関しては、当該距離を当該画素の測定結果に決定する(S114)。また、演算部104は、有効な距離を有さない画素の距離を異常値に設定する(S115)。
このように、距離情報及び距離画像124は、距離画像124に含まれる複数の画素すなわち複数の空間領域P(1)〜P(N)の各々の距離を示す。演算部104は、複数の画素の各々に対して、測定範囲D(1)〜D(3)のうちの第1測定範囲の距離情報で当該画素の距離が示され、かつ、第1測定範囲よりも遠いいずれの測定範囲の距離情報で当該画素の距離が示されない場合には、距離画像124で示される当該画素の距離として当該距離情報で示される距離を用いる。また、演算部104は、第1測定範囲の距離情報で当該画素の距離が示されず、かつ、測定範囲D(1)〜D(3)のうちの第1測定範囲より近い第2測定範囲の距離情報で当該画素の距離が示される場合には、距離画像124で示される当該画素の距離として第2測定範囲の距離情報で示される距離を用いる。また、当該画素において、対象物がいずれの測定範囲にも存在しない場合、すなわち対象物が距離範囲D100に存在しない場合は、いずれの測定範囲の距離情報においても当該画素の距離が示されない。また、例えば、第1測定範囲と第2測定範囲とは互いに隣接する測定範囲である。
ここで、ある距離の測定において、遠距離側の測定モードによる測定結果バラツキは、近距離側の測定モードによる測定バラツキより小さい。図11は、近距離モードの測定範囲D(1)及び中距離モードの距離範囲D(2)の境界(2m)付近における中央画素の測定バラツキを示す図である。
上述したように境界付近では、測定範囲D(1),D(2)が重複しているため、同じ距離にある物体に対し、近距離モードの測定範囲D(1)での測定結果と中距離モードの測定範囲D(2)での測定結果とが得られる。図11に示すように、中距離モードの測定範囲D(2)での測定結果の方が近距離モードの測定範囲D(1)の測定結果より測定バラツキが小さい。つまり、中距離モードの測定範囲D(2)測定結果の方が近距離モードの測定範囲D(1)での測定結果より信頼性が高い。なお、ここでは、近距離の測定範囲D(1)と中距離の測定範囲D(2)との境界における測定バラツキの例を示したが、中距離の測定範囲D(2)と遠距離の測定範囲D(3)との境界においても同様の傾向である。
よって、本実施の形態では、上述したように、遠距離の測定結果から順に測定結果を採用することで、測定範囲の重複する範囲においては遠距離の測定結果が採用される。これにより、重複する領域においてより信頼性の高い測定結果が採用される。
また、演算部104は、複数の画素の各々に対して、第1測定範囲の距離情報で当該画素の距離が示される場合には、第2測定範囲の距離情報を生成しない。これにより、演算部104は、遠距離で距離が得られた場合にはより近距離の演算を行わないので、演算量を削減できる。
図12は、測定範囲D(1)〜D(3)の測定結果(距離情報)と合成後の距離画像124との一例を示す図である。図12に示すように、測定範囲D(1)〜D(3)の測定結果には、設定された測定範囲内に位置する対象物の距離のみが含まれる。なお、図12では、測定範囲D(1)〜D(3)外の距離を有する画素は結果なし(白)で示されている。また、これらの3つの測定範囲D(1)〜D(3)の距離情報を合成することで、広い範囲の距離範囲D100の対象物の距離を示す1つの距離画像124が生成される。
なお、図10Aと図10Bに示すS101、S106及びS111において、測定(検出信号123の生成)と演算(距離情報の算出)とが連続して行なわれているが、測定処理は対応する演算処理の前に行われていればよく、任意のタイミングで行なわれてもよい。例えば、3つのモードの測定が先に行なわれ、測定結果がメモリに記憶され、その後、メモリに記憶されている測定結果を用いて、順次演算処理が行なわれてもよい。
また、上記説明では、距離検出装置100は、上記の測定処理と演算処理との両方を行なっているが、測定処理のみを行ってもよい。図13は、この場合の実施の形態に係る他の距離検出装置100Aのブロック図である。図13において、図1に示す距離検出装置100と同じ部分には同じ参照番号を付す。図13に示す距離検出装置100Aは、上述した演算部104及び記憶部105を備えない。また、出力部106Aは、光センサ102で得られた各モードの検出信号123を外部の機器に出力する。
例えば、外部の機器は、距離検出装置100Aで生成された検出信号123を用いて、上記演算部104と同様の処理を行うことにより距離画像124を生成する。
上述のように、実施の形態に係る距離検出装置100は、TOF(Time of flight)方式により測定対象の距離範囲D100内に位置する対象物の距離を示す距離画像124を生成する。光源101は光を照射する。光センサ102は、光源101から照射された光が対象物で反射した反射光を受光することで検出信号123を生成する。制御部103は、距離範囲D100が分割されることにより得られた複数の測定範囲D(1)〜D(3)において、光源101の光の照射タイミングに対する光センサ102の露光タイミングを制御する。演算部104は、複数の測定範囲D(1)〜D(3)のそれぞれの測定範囲において、検出信号123に基づきそれぞれの測定範囲内の対象物の距離を演算することで距離情報を生成するように構成されている。また、演算部104は、複数の測定範囲D(1)〜D(3)のそれぞれの測定範囲の距離情報を用いて距離範囲D100内の対象物の距離を示す距離画像124を生成するように構成されている。
この構成によれば、距離検出装置100は、広い距離範囲D100に対応した単一の距離画像124を生成できるので、距離画像124を用いた評価処理の処理量を低減できるとともに、距離画像124のデータ量を低減できる。
特許文献1と特許文献2に開示されている装置における計測方法では、被写体が広い距離計測範囲にわたって存在する場合、一度に全ての計測範囲を測定できないため、調整された距離範囲ごとに距離画像が出力される。これにより、広範囲の結果を評価する際に、1つの画像データではなく複数の画像データを評価する必要性が発生する。また、複数の画像データが存在するためにデータ量が大きくなる。
本実施の形態に係る距離検出装置100は、測定対象の距離範囲D100を複数の測定範囲D(1)〜D(3)に分割し、測定範囲D(1)〜D(3)の各々の測定結果に基づき、各測定範囲に対する距離画像を生成する。さらに、距離検出装置100は、各測定範囲D(1)〜D(3)に対する距離画像を合成することで、測定対象の距離範囲D100に対応する距離画像124を生成する。
これにより、距離検出装置100は、単一の距離画像124のみを出力できるので、距離画像124を用いた評価処理の処理量を低減できるとともに、距離画像124のデータ量を低減できる。
例えば、距離情報及び距離画像は、距離画像124に含まれる複数の空間領域P(1)〜P(N)のそれぞれの空間領域の距離を示す。複数の測定範囲D(1)〜D(3)は、第1測定範囲と、第1測定範囲より近い第2測定範囲とを含んでもよい。この場合に、演算部104は、複数の空間領域のそれぞれの空間領域に対して、第1測定範囲の距離情報でそれぞれの空間領域P(1)〜P(N)の距離が示される場合には、距離画像で示されるそれぞれの空間領域の距離としてそれぞれの距離情報で示される距離を用いて距離範囲内の対象物の距離を示す距離画像を生成するように構成されている。また、演算部104は、複数の空間領域P(1)〜P(N)のそれぞれの空間領域に対して、第1測定範囲の距離情報でそれぞれの空間領域の距離が示されない場合には、距離画像で示されるそれぞれの空間領域の距離として第2測定範囲の距離情報で示される距離を用いて距離範囲内の対象物の距離を示す距離画像を生成するように構成されている。
この構成によれば、距離検出装置100は、測定バラツキの小さい遠距離側の測定結果を優先的に用いるので、距離画像124の信頼度を向上できる。
例えば、演算部104は、複数の空間領域P(1)〜P(N)のそれぞれの空間領域に対して、第1測定範囲の距離情報でそれぞれの空間領域の距離が示される場合には、第2測定範囲の距離情報を生成しなくてもよい。
この構成によれば、距離検出装置100は、遠距離側で距離が得られた場合には近距離側の演算を行わないので演算量を削減できる。
例えば、複数の測定範囲D(1)〜D(3)のうち距離検出装置100に最も近い測定範囲D(1)は2番目に近い測定範囲D(2)より距離の範囲が短く設定されていてもよい。
この構成によれば、距離検出装置100は、各距離情報の精度のバラツキを低減できる。
例えば、複数の測定範囲D(1)〜D(3)の互いに隣接する測定範囲は重複していてもよい。
この構成によれば、距離検出装置100は、測定範囲D(1)〜D(3)の境界付近の測定抜けの発生を抑制できる。
また、実施の形態に係る距離検出方法では、TOF(Time of flight)方式により測定対象の距離範囲D100内に位置する対象物の距離を示す距離画像124を生成する。その距離検出方法では、距離範囲D100が分割されることにより得られた複数の測定範囲D(1)〜D(3)のそれぞれの測定範囲において、光源101の光の照射タイミングに対する光センサ102の露光タイミングを制御する。複数の測定範囲D(1)〜D(3)のそれぞれの測定範囲において、光源101から照射された光が対象物で反射した反射光を受光した光センサ102により出力された検出信号に基づきそれぞれの測定範囲内の対象物の距離を演算することでそれぞれの測定範囲内の距離情報を生成する。複数の測定範囲D(1)〜D(3)のそれぞれの測定範囲内の距離情報を用いて距離範囲内の対象物の距離を示す距離画像を生成する。
これによれば、当該距離検出方法は、広い距離範囲D100に対応した単一の距離画像124を生成できるので、距離画像を用いた評価処理の処理量を低減できるとともに、距離画像124のデータ量を低減できる。
例えば、距離情報及び距離画像は、距離画像に含まれる複数の空間領域P(1)〜P(N)の各々の距離を示してもよい。また、複数の測定範囲D(1)〜D(3)は、第1測定範囲と、第1測定範囲より近い第2測定範囲とを含む。複数の空間領域P(1)〜P(N)のそれぞれの空間領域に対して、第1測定範囲の距離情報でそれぞれの空間領域の距離が示される場合には、距離画像で示されるそれぞれの空間領域の距離としてそれぞれの距離情報で示される距離を用いて距離画像を生成してもよい。また、複数の空間領域P(1)〜P(N)のそれぞれの空間領域に対して、第1測定範囲の距離情報でそれぞれの空間領域の距離が示されない場合には、距離画像で示されるそれぞれの空間領域の距離として第2測定範囲の距離情報で示される距離を用いて距離画像を生成してもよい。
これによれば、当該距離検出方法は、測定バラツキの小さい遠距離側の測定結果を優先的に用いるので、距離画像の信頼度を向上できる。
また、実施の形態に係る他の距離検出装置100Aは、TOF(Time of flight)方式により測定対象の距離範囲D100内に位置する対象物の距離を示す距離画像124を生成するための検出信号を生成する。距離検出装置100Aは、光を照射する光源101と、光センサ102と、制御部103と、出力部106Aとを備える。光センサ102は、光源101から照射された光が対象物で反射した反射光を受光することで検出信号を生成する。制御部103は、距離範囲D100が分割されることにより得られた複数の測定範囲D(1)〜D(3)のそれぞれの測定範囲において、光源101の光の照射タイミングに対する光センサ102の露光タイミングを制御する。出力部106Aは、測定範囲のそれぞれの測定範囲において生成された検出信号を出力する。
この構成によれば、距離検出装置100Aは、広い距離範囲D100に対応した単一の距離画像124を生成するための検出信号を生成できるので、距離画像を用いた評価処理の処理量を低減できるとともに、距離画像のデータ量を低減できる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
以上、本実施の形態に係る距離検出装置100、100Aについて説明したが、本発明は、この実施の形態に限定されるものではない。
また、上記実施の形態に係る距離検出装置100、100Aに含まれる処理部の一部又は全ては典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
さらに、本実施の形態は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができる。
また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本実施の形態は例示された数字に制限されない。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、上記フローチャートで示されるステップが実行される順序は、本実施の形態を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
以上、実施の形態に係る距離検出装置100、100Aについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
本発明は、距離検出装置に適用できる。
100,100A 距離検出装置
101 光源
102 光センサ
103 制御部
104 演算部
105 記憶部
106,106A 出力部
111 発光部
112 駆動部
113 レンズ
114 イメージセンサ

Claims (5)

  1. TOF(Time of flight)方式により測定対象の距離範囲内に位置する対象物の距離を示す距離画像を生成する距離検出装置であって、
    光を照射する光源と、
    前記光源から照射された光が対象物で反射した反射光を受光することで検出信号を生成する光センサと、
    前記距離範囲が分割されることにより得られた複数の測定範囲のそれぞれの測定範囲において前記光源の光の照射タイミングに対する前記光センサの露光タイミングを制御する制御部と、
    前記複数の測定範囲の前記それぞれの測定範囲において、前記検出信号に基づき前記それぞれの測定範囲内の対象物の距離を演算することで距離情報を生成し、
    前記複数の測定範囲の前記それぞれの測定範囲の前記距離情報を用いて前記距離範囲内の対象物の距離を示す前記距離画像を生成する、
    ように構成された演算部と、
    を備え
    前記距離情報及び前記距離画像は、前記距離画像に含まれる複数の空間領域のそれぞれの空間領域の距離を示し、
    前記複数の測定範囲は、第1測定範囲と、前記第1測定範囲より近い第2測定範囲とを含み、
    前記演算部は、
    前記複数の空間領域の前記それぞれの空間領域に対して、前記第1測定範囲の距離情報で前記それぞれの空間領域の前記距離が示される場合には、前記距離画像で示される前記それぞれの空間領域の前記距離として前記第1測定範囲の距離情報で示される距離を用いて前記距離範囲内の前記対象物の前記距離を示す前記距離画像を生成し、
    前記複数の空間領域の前記それぞれの空間領域に対して、前記第1測定範囲の前記距離情報で前記それぞれの空間領域の距離が示されない場合には、前記距離画像で示される前記それぞれの空間領域の距離として前記第2測定範囲の距離情報で示される距離を用いて前記距離範囲内の前記対象物の前記距離を示す前記距離画像を生成する、
    ように構成されている、距離検出装置。
  2. 前記演算部は、前記複数の空間領域の前記それぞれの空間領域に対して、前記第1測定範囲の前記距離情報で前記それぞれの空間領域の前記距離が示される場合には、前記第2測定範囲の前記距離情報を生成しない、請求項1に記載の距離検出装置。
  3. 前記複数の測定範囲のうち前記距離検出装置に最も近い測定範囲は2番目に近い測定範囲より距離の範囲が短く設定されている、請求項1〜2のいずれか1項に記載の距離検出装置。
  4. 前記複数の測定範囲の互いに隣接する測定範囲が重複する、請求項1から3のいずれか1項に記載の距離検出装置。
  5. TOF(Time of flight)方式により測定対象の距離範囲内に位置する対象物の距離を示す距離画像を生成する距離検出方法であって、
    前記距離範囲が分割されることにより得られた複数の測定範囲のそれぞれの測定範囲において、光源の光の照射タイミングに対する光センサの露光タイミングを制御するステップと、
    前記複数の測定範囲の前記それぞれの測定範囲において、前記光源から照射された光が前記対象物で反射した反射光を受光した前記光センサにより出力された検出信号に基づき前記それぞれの測定範囲内の前記対象物の距離を演算することで前記それぞれの測定範囲内の距離情報を生成するステップと、
    前記複数の測定範囲の前記それぞれの測定範囲内の前記距離情報を用いて前記距離範囲内の前記対象物の前記距離を示す前記距離画像を生成するステップと、
    を含み、
    前記距離情報及び前記距離画像は、前記距離画像に含まれる複数の空間領域の各々の距離を示し、
    前記複数の測定範囲は、第1測定範囲と、前記第1測定範囲より近い第2測定範囲とを含み、
    前記距離画像を生成するステップは、
    前記複数の空間領域のそれぞれの空間領域に対して、前記第1測定範囲の距離情報で前記それぞれの空間領域の距離が示される場合には、前記距離画像で示される前記それぞれの空間領域の距離として前記第1測定範囲の距離情報で示される距離を用いて前記距離画像を生成するステップと、
    前記複数の空間領域の前記それぞれの空間領域に対して、前記第1測定範囲の距離情報で前記それぞれの空間領域の距離が示されない場合には、前記距離画像で示される前記それぞれの空間領域の距離として前記第2測定範囲の距離情報で示される距離を用いて前記距離画像を生成するステップと、
    を含む、距離検出方法。
JP2016558868A 2014-11-11 2015-10-29 距離検出装置及び距離検出方法 Active JP6675061B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462078228P 2014-11-11 2014-11-11
US62/078,228 2014-11-11
JP2015037210 2015-02-26
JP2015037210 2015-02-26
PCT/JP2015/005437 WO2016075885A1 (ja) 2014-11-11 2015-10-29 距離検出装置及び距離検出方法

Publications (2)

Publication Number Publication Date
JPWO2016075885A1 JPWO2016075885A1 (ja) 2017-08-17
JP6675061B2 true JP6675061B2 (ja) 2020-04-01

Family

ID=55953990

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016558868A Active JP6675061B2 (ja) 2014-11-11 2015-10-29 距離検出装置及び距離検出方法

Country Status (3)

Country Link
US (1) US10578741B2 (ja)
JP (1) JP6675061B2 (ja)
WO (1) WO2016075885A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6848364B2 (ja) * 2016-11-10 2021-03-24 株式会社リコー 測距装置、移動体、ロボット、3次元計測装置、監視カメラ及び測距方法
JP2018185179A (ja) * 2017-04-25 2018-11-22 株式会社リコー 測距装置、監視装置、3次元計測装置、移動体、ロボット及び測距方法
JP6990864B2 (ja) * 2017-10-20 2022-01-12 パナソニックIpマネジメント株式会社 距離測定装置
JP6927083B2 (ja) 2018-03-01 2021-08-25 オムロン株式会社 判定装置および判定装置の制御方法
JP2019152493A (ja) * 2018-03-01 2019-09-12 オムロン株式会社 判定装置および判定装置の制御方法
WO2019181518A1 (ja) * 2018-03-20 2019-09-26 パナソニックIpマネジメント株式会社 距離測定装置、距離測定システム、距離測定方法、及びプログラム
DE102018205378A1 (de) * 2018-04-10 2019-10-10 Ibeo Automotive Systems GmbH Verfahren zur Ansteuerung von Sensorelementen eines LIDAR Messsystems
CN110830729B (zh) * 2018-08-13 2023-06-20 张烂熳 一种让图像传感器提升夜晚和恶劣天气下图像感知性能的方法和系统
JP6912449B2 (ja) * 2018-12-19 2021-08-04 ファナック株式会社 測距装置を有する物体監視システム
WO2020157844A1 (ja) * 2019-01-30 2020-08-06 三菱電機株式会社 計測装置、計測方法及び計測プログラム
JP7257275B2 (ja) * 2019-07-05 2023-04-13 株式会社日立エルジーデータストレージ 3次元距離測定装置
JP7463671B2 (ja) * 2019-08-01 2024-04-09 Toppanホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
CN110460758B (zh) * 2019-08-28 2021-04-30 上海集成电路研发中心有限公司 一种基于激光测距点标识的成像装置及成像方法
JP2021099271A (ja) * 2019-12-23 2021-07-01 ソニーセミコンダクタソリューションズ株式会社 測距装置およびその制御方法、並びに、電子機器
WO2021248273A1 (zh) * 2020-06-08 2021-12-16 深圳市汇顶科技股份有限公司 基于飞行时间的测距方法和相关测距系统
CN114881894B (zh) * 2022-07-07 2022-09-30 武汉市聚芯微电子有限责任公司 一种像素修复方法、装置、设备以及计算机存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3682553A (en) * 1968-09-19 1972-08-08 Optics Technology Inc Apparatus for acquiring and laying real time 3-d information
JPH06317656A (ja) * 1993-05-10 1994-11-15 Mitsubishi Electric Corp 2次元受光回路素子及び光情報入力処理装置
EP0835460B1 (en) * 1995-06-22 2006-03-08 3DV Systems Ltd. Improved optical ranging camera
JP3820087B2 (ja) 1999-08-11 2006-09-13 ペンタックス株式会社 3次元画像検出装置
JP2003130953A (ja) * 2001-10-24 2003-05-08 Nikon Corp 測距装置
JP2004012338A (ja) 2002-06-07 2004-01-15 Nissan Motor Co Ltd 物体検知装置及び方法
JP4274028B2 (ja) 2004-04-07 2009-06-03 株式会社デンソー 車両用レーダ装置
JP5180502B2 (ja) 2007-03-23 2013-04-10 富士フイルム株式会社 測距装置及び測距方法
JP5760220B2 (ja) 2011-04-11 2015-08-05 オプテックス株式会社 距離画像カメラおよびこれを用いた対象物の面形状認識方法

Also Published As

Publication number Publication date
US10578741B2 (en) 2020-03-03
WO2016075885A1 (ja) 2016-05-19
JPWO2016075885A1 (ja) 2017-08-17
US20170242126A1 (en) 2017-08-24

Similar Documents

Publication Publication Date Title
JP6675061B2 (ja) 距離検出装置及び距離検出方法
JP6587185B2 (ja) 距離画像生成装置及び距離画像生成方法
JP7191921B2 (ja) Tofカメラシステムおよび該システムにより距離を測定するための方法
JP6304567B2 (ja) 測距装置及び測距方法
JP6241793B2 (ja) 3次元測定装置および3次元測定方法
US10928518B2 (en) Range image generation apparatus and range image generation method
US20170278260A1 (en) Image processing apparatus, image processing method, and non-transitory recording medium storing program
WO2016189808A1 (ja) 測距撮像装置、その測距方法及び固体撮像装置
KR101975971B1 (ko) 깊이 카메라, 다중 깊이 카메라 시스템, 그리고 그것의 동기 방법
JP6424338B2 (ja) 測距装置
WO2016208215A1 (ja) 距離センサ及びユーザインタフェース装置
EP3279691B1 (en) Rangefinder based on parallax calculation
KR102194237B1 (ko) 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
US20180172830A1 (en) Distance image processing device, distance image processing method, distance image processing program, and recording medium
JP2017181488A (ja) 距離画像生成装置、距離画像生成方法及びプログラム
JP6911825B2 (ja) 光測距装置
JP2023101522A (ja) 撮像装置、情報処理装置、撮像方法、およびプログラム
KR20170076477A (ko) 거리 정보를 획득하는 방법 및 디바이스
JP6776692B2 (ja) 視差演算システム、移動体及びプログラム
WO2020021914A1 (ja) 距離測定装置および信頼性判定方法
JP2020052001A (ja) 奥行取得装置、奥行取得方法およびプログラム
US20170212240A1 (en) Information processing device, information processing method, and program
JP7257275B2 (ja) 3次元距離測定装置
EP4141478A1 (en) Ranging apparatus and ranging system
JP6912449B2 (ja) 測距装置を有する物体監視システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170407

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181016

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200203

R151 Written notification of patent or utility model registration

Ref document number: 6675061

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151