JP6855746B2 - 測距装置、監視カメラ、３次元計測装置、移動体、ロボット及び測距方法 - Google Patents

測距装置、監視カメラ、３次元計測装置、移動体、ロボット及び測距方法 Download PDF

Info

Publication number
JP6855746B2
JP6855746B2 JP2016204433A JP2016204433A JP6855746B2 JP 6855746 B2 JP6855746 B2 JP 6855746B2 JP 2016204433 A JP2016204433 A JP 2016204433A JP 2016204433 A JP2016204433 A JP 2016204433A JP 6855746 B2 JP6855746 B2 JP 6855746B2
Authority
JP
Japan
Prior art keywords
distance
dynamic change
frame
moving average
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016204433A
Other languages
English (en)
Other versions
JP2018066609A (ja
Inventor
周 高橋
周 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2016204433A priority Critical patent/JP6855746B2/ja
Priority to US15/712,311 priority patent/US10684121B2/en
Publication of JP2018066609A publication Critical patent/JP2018066609A/ja
Application granted granted Critical
Publication of JP6855746B2 publication Critical patent/JP6855746B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/10—Wheel alignment
    • G01B2210/30—Reference markings, reflector, scale or other passive device
    • G01B2210/306—Mirror, prism or other reflector

Description

本発明は、測距装置、監視カメラ、３次元計測装置、移動体、ロボット及び測距方法に関する。
近年、物体までの距離を測定するための測距技術の開発が盛んに行われている。
例えば、特許文献１及び２には、光を投光してから、該光が物体で反射して戻ってくるまでの時間に基づいて物体までの距離を求める、いわゆるＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）演算方式を用いた測距技術が開示されている。
しかしながら、特許文献１及び２に開示されている測距技術では、物体の動的変化の有無によらず該物体までの距離を精度良く測定することに関して改善の余地があった。
本発明は、パルス光を投光する投光系と、前記投光系から投光され物体で反射された光を受光して光電変換し、その電気信号を複数の位相信号に振り分ける撮像素子と、前記複数の位相信号又は該複数の位相信号に基づく値を含む情報を保存するための記憶部と、現フレーム及び少なくとも１つの過去フレームの前記情報に基づいて、前記物体の動的変化の有無を判定する判定部と、前記判定部での判定結果に応じて、前記情報を用いて前記物体までの距離を算出する演算部と、を備え、前記演算部は、前記判定部で動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの前記情報を移動平均し、該移動平均の結果から前記距離を取得し、前記判定部で動的変化ありと判定された場合に、現フレームの直前のフレームを含む複数の過去フレームの前記情報を移動平均し、該移動平均の結果から前記距離を取得することを特徴とする測距装置である。
本発明によれば、物体の動的変化の有無によらず該物体までの距離を精度良く測定することができる。
本発明の一実施形態に係る距離センサを搭載した走行体の外観図である。 走行管理装置の構成を説明するためのブロック図である。 距離センサの構成を説明するための図である。 投光系を説明するための図である。 パルス制御信号を説明するための図である。 光源駆動信号を説明するための図である。 受光系を説明するための図である。 距離センサにおける信号の流れを示す図である。 音声・警報発生装置の構成を説明するためのブロック図である。 正弦波変調方式（４位相式）の１フレームを説明するためのタイミングチャートである。 矩形波変調方式（２位相式）の１フレームを説明するためのタイミングチャートである。 測距処理１について説明するためのフローチャートである。 測距処理２について説明するためのフローチャートである。 測距処理３について説明するためのフローチャートである。 測距処理４について説明するためのフローチャートである。 測距処理５について説明するためのフローチャートである。
以下、本発明の一実施形態を図面に基づいて説明する。図１には、一実施形態の測距装置としての距離センサ２０を搭載した走行体１の外観が示されている。この走行体１は、荷物を目的地に無人搬送するものである。なお、本明細書では、ＸＹＺ３次元直交座標系において、路面に直交する方向をＺ軸方向、走行体１の前進方向を＋Ｘ方向として説明する。
ここでは、距離センサ２０は、一例として、走行体１の前部に取り付けられ、走行体１の＋Ｘ側（前方）の３次元情報を求める。なお、距離センサ２０による測定可能な領域を測定領域ともいう。
走行体１の内部には、一例として図２に示されるように、表示装置３０、位置制御装置４０、メモリ５０、及び音声・警報発生装置６０などが備えられている。これらは、データの伝送が可能なバス７０を介して電気的に接続されている。
ここでは、距離センサ２０と、表示装置３０と、位置制御装置４０と、メモリ５０と、音声・警報発生装置６０とによって、走行管理装置１０が構成されている。すなわち、走行管理装置１０は、走行体１に搭載されている。また、走行管理装置１０は、走行体１のメインコントローラ８０と電気的に接続されている。
距離センサ２０は、一例として図３に示されるように、投光系２０１、受光系２０２、距離演算部２０３、バッファメモリ２０４、動的変化有無判定部２０５、同期制御部２０６などを有している。そして、これらは、筐体内に収納されている。この筐体は、投光系２０１から投光される光、及び物体で反射され、受光系２０２に向かう光が通過するための窓を有し、該窓にはガラスが取り付けられている。
投光系２０１は、受光系２０２の−Ｚ側に配置されている。この投光系２０１は、一例として図４に示されるように、光源２１及び光源駆動部２５などを有している。
光源２１は、光源駆動部２５によって点灯及び消灯される。ここでは、光源２１としてＬＥＤ（発光ダイオード）が用いられているが、これに限らず、例えば半導体レーザ（端面発光レーザや面発光レーザ）等の他の光源を用いても良い。光源２１は、＋Ｘ方向に光を射出するように配置されている。なお、以下では、光源駆動部２５で生成され、光源２１を駆動するための信号を「光源駆動信号」と呼ぶ。
光源駆動部２５は、同期制御部２０６からのパルス制御信号（パルス幅Ｔ０、パルス周期Ｔ１のパルス信号、図５参照）に基づいて、光源駆動信号（図６参照）を生成する。この光源駆動信号は、光源２１に送出される。なお、以下では、光源駆動信号を「駆動パルス」とも呼ぶ。
これにより、光源２１からは、同期制御部２０６から指示されたパルス幅、パルス周期のパルス光が射出される。なお、光源２１から射出されるパルス光は、デューティ（ｄｕｔｙ）が５０％以下となるように、同期制御部２０６において設定されている。また、以下では、光源２１から射出されるパルス光を「投光波」や「投光パルス」とも呼ぶ。
走行体１のメインコントローラ８０は、走行体１を走行させる際に、位置制御の開始要求を位置制御装置４０に送出する。そして、走行体１のメインコントローラ８０は、走行体１が目的位置に到達すると、位置制御の終了要求を位置制御装置４０に送出する。
位置制御装置４０は、位置制御の開始要求、及び位置制御の終了要求を受け取ると、距離演算部２０３に送出する。
距離センサ２０から射出され物体で反射された光の一部は、距離センサ２０に戻ってくる。以下では、便宜上、物体で反射され距離センサ２０に戻ってくる光を「物体からの反射光」ともいう。
受光系２０２は、物体からの反射光を検出する。受光系２０２は、一例として図７に示されるように、結像光学系２８及びイメージセンサ２９などを有している。
結像光学系２８は、物体からの反射光の光路上に配置され、該光を集光する。ここでは、結像光学系２８は１枚のレンズで構成されているが、２枚のレンズで構成されても良いし、３枚以上のレンズで構成されても良いし、ミラー光学系を用いても良い。
イメージセンサ２９は、結像光学系２８を介した物体からの反射光を受光する。ここでは、イメージセンサ２９として、複数の受光部（例えばフォトダイオードやフォトトランジスタ）が２次元配列されたエリアイメージセンサが用いられている。以下では、イメージセンサ２９で受光される物体からの反射光を「受光波」や「受光パルス」とも呼ぶ。イメージセンサ２９の「受光部」は「画素」とも呼ばれる。
イメージセンサ２９は、受光した光を画素毎に光電変換し、その電気信号（受光信号）を時間的に分割し、時間毎の複数の信号（位相信号）に振り分ける。
詳述すると、イメージセンサ２９は、受光部毎に２つの電荷蓄積部を有しており、ＴＸ１信号（図８参照）がハイレベルのときは、該受光部で光電変換された信号電荷が一方の電荷蓄積部に蓄積され、ＴＸ２信号（図８参照）がハイレベルのときは、該受光部で光電変換された信号電荷が他方の電荷蓄積部に蓄積される。また、イメージセンサ２９は、ＴＸＤ信号（図８参照）がハイレベルのときは、電荷の蓄積を行わず、リセット信号（図８参照）がハイレベルになると、２つの電荷蓄積部に蓄積されている電荷量を０にする。
バッファメモリ２０４には、イメージセンサ２９のフレーム毎の出力信号（複数の位相信号）が一時的に保存される。バッファメモリ２０４は、複数の記憶領域を有している。
動的変化有無判定部２０５は、イメージセンサ２９の現フレーム（最新のフレーム）の出力信号（複数の位相信号）と、バッファメモリ２０４に保存された、イメージセンサ２９の過去フレーム（現フレームよりも時間的に前のフレーム）の出力信号（複数の位相信号）に基づいて、物体の動的変化（移動や変形）の有無を画素毎に判定し、その判定結果を距離演算部２０３に出力する。ここで、「物体の動的変化の有無を画素毎に判定する」とは、イメージセンサ２９で撮像される少なくとも１つの物体の動的変化の有無を画素毎に判定することを意味する。
距離演算部２０３は、イメージセンサ２９の各画素について、動的変化有無判定部２０５での判定結果に応じて、イメージセンサ２９の出力信号（複数の位相信号）を用いて、光源２１の射出タイミング（投光波の出力タイミング）とイメージセンサ２９の受光タイミング（受光波の入力タイミング）の時間差（遅延時間）を求め、該時間差から物体までの距離を算出して少なくとも１つの物体の３次元情報である距離画像（デプスマップ）を生成し、位置制御装置４０に出力する。
同期制御部２０６は、図８に示されるように、距離演算部２０３から測定開始信号を受信すると、パルス制御信号を光源駆動部２５に出力するとともに、ＴＸ１信号、ＴＸ２信号、ＴＸＤ信号及びリセット信号をイメージセンサ２９に選択的に出力する。また、同期制御部２０６は、距離演算部２０３から測定終了信号を受信すると、上記各信号の出力を停止する。
図２に戻り、位置制御装置４０は、距離演算部２０３から距離画像を受け取ると、該距離画像を表示装置３０に表示する。また、位置制御装置４０は、距離画像に基づいて、走行体１の位置が所定の位置となるように、位置制御を行う。
音声・警報発生装置６０は、一例として図９に示されるように、音声合成装置６１、警報信号生成装置６２及びスピーカ６３などを有している。
音声合成装置６１は、複数の音声データを有しており、位置制御装置４０から危険有りの情報を受け取ると、対応する音声データを選択し、スピーカ６３に出力する。
警報信号生成装置６２は、位置制御装置４０から危険有りの情報を受け取ると、対応する警報信号を生成し、スピーカ６３に出力する。
ここで、本実施形態の距離センサ２０は、一例として「正弦波変調方式」と呼ばれるＴＯＦ法や「矩形波変調方式」と呼ばれるＴＯＦ法を用いて測距を行う。
「正弦波変調方式」では、受光波を時間的に３つ以上に分割して検出し、得られた各位相信号を用いて、投光波の出力タイミングに対する受光波の入力タイミングの遅延時間Ｔｄを位相差角の演算で取得する。
一例として４位相式の正弦波変調方式の位相差演算方法について図１０を用いて説明する。図１０では、パルス制御信号に基づく投光波とＴＸ１（０°）信号が同期して出力される。図１０に示される１フレーム構成によって、受光パルスを０°、９０°、１８０°、２７０°の４つの位相に分割した位相信号（Ａ０、Ａ９０、Ａ１８０、Ａ２７０）を取得し、次の（１）式を使って位相差角Φを求める。
Φ＝ａｒｃｔａｎ｛（Ａ９０−Ａ２７０）／（Ａ０−Ａ１８０）｝ ・・・（１）
遅延時間Ｔｄは、位相差角Φを用いて、次の（２）式から求めることができる。
Ｔｄ＝Φ／２π×T（Ｔ＝２Ｔ０、Ｔ０：駆動パルスのパルス幅） ・・・（２）
このような位相差の演算方法に対して測距性能を高めるための理想的な投光波形は正弦波形である。そこで、正弦波変調方式では、その名のとおり、光源を正弦波の変調信号（駆動パルス）を用いて駆動する。
一方、「矩形波変調方式」では、受光波を時間的に２つ以上に分割して検出し、得られた各位相信号を用いて、投光波の出力タイミングに対する受光波の入力タイミングの遅延時間Ｔｄ´を求める。
一例として２位相式の矩形波変調方式について図１１を用いて説明する。図１１でも、パルス制御信号に基づく投光波とＴＸ１（０°）信号が同期して出力される。図１１に示される１フレーム構成によって、受光パルスを０°、１８０°の２つの位相に分割した位相信号（Ｂ０、Ｂ１８０）を取得し、次の（３）式を用いて遅延時間Ｔｄ´を求めることができる。
Ｔｄ´＝｛Ｂ１８０／（Ｂ０＋Ｂ１８０）｝×Ｔ１(Ｔ１：駆動パルスのパルス幅)・・・（３）
このような位相差の演算方法に対して測距性能を高めるための理想的な投光波形は矩形である。そこで、矩形波変調方式では、その名のとおり、光源を矩形波の変調信号（駆動パルス）を用いて駆動する。
以下に、距離センサ２０を用いて実施される測距処理１を図１２のフローチャートを参照して説明する。測距処理１は、イメージセンサ２９の画素毎に同じ手順で行われる。
最初のステップＳ１では、カウンタｎに０をセットする。カウンタｎは撮影開始からのフレーム数を示している。
次のステップＳ２では、カウンタｎを更新する。
次のステップＳ３では、カウンタｉに１をセットする。カウンタｉは測定対象の画素についての移動平均回数を示している。なお、本明細書において、特に断りがない限り「移動平均」は「単純移動平均」を意味する。
次のステップＳ４では、ｎ（＝１）番目のフレーム（最初のフレーム）のｍ個の位相信号（Ｃ１＿ｎ、Ｃ２＿ｎ、・・・、Ｃｍ＿ｎ）を取得する。これらの位相信号はバッファメモリ２０４に格納される。
次のステップＳ５では、（ｎ＋１）番目のフレーム（現フレーム）のｍ個の位相信号（Ｃ１＿（ｎ＋１）、Ｃ２＿（ｎ＋２）、・・・、Ｃｍ＿（ｎ＋３））を取得する。これらの位相信号はバッファメモリ２０４に格納される。以下では、現フレームの直前のフレームを「直前フレーム」とも呼ぶ。
次のステップＳ６では、測定対象の画素について、ｎ番目のフレーム（直前フレーム）から（ｎ＋１）番目のフレーム（現フレーム）の間で動的変化があるか否かを判断する。すなわち、測定対象の画素に対応する物体の領域（以下では「物体領域」とも呼ぶ）の動的変化の有無を判定する。具体的には、ｎ番目のフレームで取得した位相信号Ｃｋ＿ｎ（１≦ｋ≦ｍ）と、（ｎ＋１）番目のフレームで取得した位相信号Ｃｋ＿（ｎ＋１）（１≦ｋ≦ｍ）の信号量（電荷量）を比較する。詳述すると、少なくとも１つのｋについてＣｋ＿ｎとＣｋ＿（ｎ＋１）の信号量の差が予め設定された閾値よりも大きい場合に「動的変化あり」と判定し、閾値以下である場合に「動的変化なし」と判定する。ステップＳ６での判断が否定されるとステップＳ７に移行し、肯定されるとステップＳ９に移行する。
ステップＳ７では、物体領域について、現フレームまでの（ｉ＋１）個のフレームの対応する位相信号に対して移動平均処理を行って得られた移動平均データと、上記（１）式及び（２）式を用いて又は上記（３）式を用いてデプス値（距離値）を算出し、取得する。例えば正弦波変調方式を用いる場合には、現フレームまでの（ｉ＋１）個のフレームの位相信号Ａ０、Ａ９０、Ａ１８０、Ａ２７０に対してそれぞれ移動平均処理を行って得られた移動平均データＭＡＤＡ０、ＭＡＤＡ９０、ＭＡＤＡ１８０、ＭＡＤＡ２７０と、上記（１）式及び（２）式を用いてデプス値を算出する。この際、上記（１）式及び（２）式において、各位相信号を対応する移動平均データで置き換える。例えば矩形波変調方式を用いる場合には、現フレームまでの（ｉ＋１）個のフレームの位相信号Ｂ０、Ｂ１８０に対してそれぞれ移動平均処理を行って得られた移動平均データＭＡＤＢ０、ＭＡＤＢ１８０と、上記（３）式を用いてデプス値を算出する。この際、上記（３）式において、各位相信号を対応する移動平均データで置き換える。
次のステップＳ８では、カウンタｉ、ｎを更新する。ステップＳ８が実行されるとステップＳ５に戻る。
ステップＳ９では、物体領域について、現フレームの直前のフレームまでのｉ個のフレームの対応する位相信号に対して移動平均処理を行って得られた移動平均データと上記（１）式、（２）式を用いて又は上記（３）式を用いてデプス値（距離値）を算出し、取得する。この場合、１フレーム分のレイテンシが発生するが、物体に対する測距を継続することができる。その理由は後述する。例えば正弦波変調方式を用いる場合には、現フレームの直前のフレームまでのｉ個のフレームの位相信号Ａ０、Ａ９０、Ａ１８０、Ａ２７０に対してそれぞれ移動平均処理を行って得られた移動平均データＭＡＤＡ０´、ＭＡＤＡ９０´、ＭＡＤＡ１８０´、ＭＡＤＡ２７０´と、上記（１）式及び（２）式を用いてデプス値を算出する。この際、上記（１）式及び（２）式において、各位相信号を対応する移動平均データで置き換える。例えば矩形波変調方式を用いる場合には、現フレームの直前のフレームまでのｉ個のフレームの位相信号Ｂ０、Ｂ１８０に対してそれぞれ移動平均処理を行って得られた移動平均データＭＡＤＢ０´、ＭＡＤＢ１８０´と、上記（３）式を用いてデプス値を算出する。この際、上記（３）式において、各位相信号を対応する移動平均データで置き換える。
次のステップＳ１０では、カウンタｉを初期化し、カウンタｎを更新する。ステップＳ１０が実行されるとステップＳ５に戻る。
以上説明した図１２の一連の処理は、測定終了まで（距離演算部２０３から測定終了信号が同期制御部２０６に出力されるまで）、継続的に行われる。測定終了は、図１２のフローチャートのどのタイミングで行われても良い。
なお、上記ステップＳ６において、例えば過半数のｋについて、Ｃｋ＿ｎとＣｋ＿（ｎ＋１）の信号量の差が閾値よりも大きい場合に「動的変化あり」と判定し、閾値以下である場合に「動的変化なし」と判定しても良い。
また、上記ステップＳ６において、例えば現フレームで取得された複数の位相信号から得られるデプス値（距離値）と、直前フレームで取得された複数の位相信号から得られるデプス値（距離値）の差分を、予め設定された閾値と比較することで動的変化の有無を判定しても良い。
また、上記ステップＳ７において、移動平均処理の対象となるフレームは、必ずしも現フレームを含まなくても良く、要は、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームであれば良い。
また、上記ステップＳ９において、移動平均処理の対象となるフレームは、必ずしも直前フレームを含まなくても良く、要は、複数の過去フレームであれば良い。
以下に、ステップＳ９において、１フレーム分のレイテンシが発生するが物体に対する測距を継続することができる理由について説明する。
物体が動き出したタイミングをＴ０としたときに、ｎ番目のフレーム（直前フレーム）の位相信号の取得タイミング（ステップＳ４のタイミング)と（ｎ＋１）番目のフレーム（現フレーム）の位相信号の取得タイミング(ステップＳ５のタイミング)の間にＴ０があるとする。すると、「動的変化あり」と判定された画素に対してはｎ番目のフレーム（物体が動き出す直前のフレーム）までの位相信号に基づく距離を物体までの距離として取得する(ステップＳ９)ので、該物体までの距離に最新の（ｎ＋１）番目のフレーム（物体が動き出した直後のフレーム）の位相信号は反映されず、１フレーム分のレイテンシが発生するが、移動平均によりノイズを低減できるため該物体までの距離を精度良く取得できる。なお、「動的変化あり」と判定された画素に対して物体が動き出す直前の距離を算出するので距離測定誤差はほとんど生じない。
さらに、上記に続いて同一画素で連続的に動的変化の有無を判定した場合を考える。例えばステップＳ７にてループ前のステップＳ５で取得した（ｎ＋１）番目のフレームの位相信号を、先のステップＳ４にてｎ番目のフレームの位相信号が格納されたバッファメモリ２０４に格納し、これらとループ後のステップＳ５で取得した（ｎ＋１）番目のフレームの位相信号を用いて動的変化の有無の判定をステップＳ６で行う。このステップＳ６でｎ番目のフレームと（ｎ＋１）番目のフレームの間で「動的変化あり」の判定がなされるとステップＳ９の処理に移り、ループ前のステップＳ５で取得した位相信号のみを用いて距離を算出し、取得する。
次に、距離センサ２０を用いて実施される測距処理２を図１３のフローチャートを参照して説明する。測距処理２は、イメージセンサ２９の画素毎に同様の手順で行われる。
図１３において、ステップＴ１〜Ｔ６、Ｔ１１、Ｔ１２は、それぞれ図１２のステップＳ１〜Ｓ６、Ｓ９、Ｓ１０と同じである。そこで、図１３における、図１２とは異なるステップＴ７〜Ｔ１０について説明する。
ステップＴ７では、物体領域について、現フレームまでの（ｉ＋１）個のフレームの対応する位相信号に対して移動平均処理を行って得られた移動平均データを取得する。なお、ステップＴ７の前に直前フレームまでのｉ個のフレームの対応する位相信号に対して移動平均処理が行われている場合には、その結果と現フレームの対応する位相信号を用いて移動平均データを更新しても良い。
ステップＴ８では、ｉ＋１＞Ｕであるか否かを判断する。すなわち、現フレームまでの対応する位相信号の移動平均回数（ｉ＋１）と予め設定された移動平均回数判定値Ｕ（Ｕ≧１）の大小関係を判定する。ステップＴ８での判断が肯定されるとステップＴ９に移行し、否定されるとステップＴ１０に移行する。
ステップＴ９では、ステップＴ７で得られた移動平均データと、上記（１）式、（２）式を用いて又は上記（３）式を用いてデプス値（距離値）を算出し、取得する。
次のステップＴ１０では、カウンタｉ、ｎをそれぞれ更新する。ステップＴ１０が実行されるとステップＴ５に戻る。
以上のようにステップＴ７〜Ｔ１０によって、投光範囲（検出範囲）にある物体に対して、該物体に動的変化がない限り、十分な回数（移動平均回数（Ｕ））の移動平均処理によって得られた移動平均データのみがデプス値として取得されるため、高精度な測距を行うことができる。
以上説明した図１３の一連の処理は、測定終了まで（距離演算部２０３から測定終了信号が同期制御部２０６に出力されるまで）、継続的に行われる。測定終了は、図１３のフローチャートのどのタイミングで行われても良い。
なお、上記ステップＴ６において、例えば過半数のｋについて、現フレームと直前フレームの対応する位相信号の信号量の差が閾値よりも大きい場合に「動的変化あり」と判定し、閾値以下である場合に「動的変化なし」と判定しても良い。
また、上記ステップＴ６において、例えば現フレームで取得された複数の位相信号から得られるデプス値（距離値）と、現フレームの直前のフレームで取得された複数の位相信号から得られるデプス値（距離値）の差分を、予め設定された閾値と比較することで動的変化の有無を判定しても良い。
また、上記ステップＴ９において、移動平均処理の対象となるフレームは、必ずしも現フレームを含まなくても良く、要は、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームであれば良い。
また、上記ステップＴ１１において、移動平均処理の対象となるフレームは、必ずしも現フレームの直前のフレームを含まなくても良く、要は、複数の過去フレームであれば良い。
また、図１３において、上記ステップＴ６とステップＴ１１の間に、ステップＴ８と同様のステップを挿入しても良い。
次に、距離センサ２０を用いて実施される測距処理３を図１４のフローチャートを参照して説明する。測距処理３は、イメージセンサ２９の画素毎に同様の手順で行われる。
ステップＵ１〜Ｕ３は、それぞれ図１２のステップＳ１〜Ｓ３と同じである。
ステップＵ４では、イメージセンサ２９のｎ（＝１）番目のフレーム（最初のフレーム）の測定対象の画素の出力信号を、実効周波数ｆ０で決まる１周期（２π）を、時間的にｍ個に分割して位相信号Cｋ＿ｎ（１≦ｋ≦ｍ）を取得する。例えばｍ＝４であれば、光源２１の発光タイミングを基準として、Ｃ１＿ｎが０°、Ｃ２＿ｎが９０°、Ｃ３＿ｎが１８０°、Ｃ４＿ｎが２７０°の位相信号となる。ただし、ここでｍ≧３である。
ステップＵ５では、ステップＵ４で取得した位相信号と次の（４）式を用いて、発光タイミングから受光タイミングまでの位相差をｓｉｎ成分（Ａ）とｃｏｓ成分（Ｂ）として導出し、それぞれバッファメモリ２０４の記憶領域ＭＡＡ、ＭＡＢに格納する。
Figure 0006855746
次のステップＵ６では、イメージセンサ２９の（ｎ＋１）番目のフレーム（現フレーム）の測定対象の画素の出力信号を、実効周波数ｆ０で決まる１周期（２π）を、時間的にｍ個に分割して位相信号Cｋ＿ｎ＋１（１≦ｋ≦ｍ）を取得する。例えばｍ＝４であれば、光源２１の発光タイミングを基準として、Ｃ１＿ｎ＋１が０°、Ｃ２＿ｎ＋１が９０°、Ｃ３＿ｎ＋１、が１８０°、Ｃ４＿ｎ＋１が２７０°の位相信号となる。ただし、ここでｍ≧３である。
次のステップＵ７では、ステップＵ６で取得した位相信号と上記（４）式のｎを（ｎ＋１）に置き換えた式を用いて、発光タイミングから受光タイミングまでの位相差をｓｉｎ成分（Ａ（ｉ））とｃｏｓ成分（Ｂ（ｉ））として導出する。以下では、ｓｉｎ成分（Ａ）、ｃｏｓ成分（Ｂ）、ｓｉｎ成分Ａ（ｉ）、ｃｏｓ成分Ｂ（ｉ）を適宜「位相差成分」と総称する。
次のステップＵ８では、測定対象の画素に対応する物体領域に動的変化があるか否かを判定する。具体的には、現フレームのｓｉｎ成分Ａ（ｉ）とｃｏｓ成分Ｂ（ｉ）と、現フレームの直前のフレームまでのｓｉｎ成分、ｃｏｓ成分の平均値（Ａ／ｉ、Ｂ／ｉ）の差分の絶対値（｜Ａ／ｉ−Ａ（ｉ）｜、｜Ｂ／ｉ−Ｂ（ｉ）｜）と、予め設定された閾値（ａ、ｂ）をそれぞれ比較する。そして、これらの差分の絶対値の少なくとも一方が閾値を超えた場合、ステップＵ８での判断が肯定され、ステップＵ１３に移行する。一方、これらの差分の絶対値のいずれも閾値以下の場合、ステップＵ８での判断が否定され、ステップＵ９に移行する。なお、閾値（ａ、ｂ）は、ユーザが指定しても良いし、距離センサ２０の製造時における調整工程にてセンサの特性値に基づいて自動的に設定されてもよい。閾値（ａ、ｂ）の決め方としては、例えば、ショットノイズのゆらぎと区別するため、予め取得したセンサのショットノイズ特性から信号量に応じた近似関数により決定する方法がある。
ステップＵ９では、バッファメモリ２０４の記憶領域ＭＡＡ、ＭＡＢに、現フレームのｓｉｎ成分（Ａ（ｉ））、ｃｏｓ成分（Ｂ（ｉ））をそれぞれ加え、カウンタｉを更新する。
ステップＵ１０では、ｉ＞Ｕであるか否かを判断する。すなわち、現フレームまでの対応する位相信号の移動平均回数（ｉ）と予め設定された移動平均回数判定値Ｕ（Ｕ≧１）の大小関係を判定する。ステップＵ１０での判断が肯定されるとステップＵ１１に移行し、否定されるとステップＵ１２に移行する。
ステップＵ１１では、現フレームまでのｓｉｎ成分の移動平均データとｃｏｓ成分の移動平均データと、次の（５）式を用いてデプス値を取得する。すなわち、「動的変化なし」と判定された現フレームまでの情報を使った距離（デプス）演算がなされる。
Ｄｅｐｔｈ［ｍ］＝ａｒｃｔａｎ（Ａ／Ｂ）／２π×（ｃ／２）・・・（５）
ここで「ｃ」は光速（≒3e8[m/s]）を示す。
ここでは、上記（５）式におけるＡ／Ｂは、現フレームまでのｓｉｎ成分の移動平均データとｃｏｓ成分の移動平均データの比を表す。
ステップＵ１３では、現フレームの直前のフレームまでのｓｉｎ成分の移動平均データとｃｏｓ成分の移動平均データと、上記（５）式を用いてデプス値を取得する。すなわち、ここでは、「動的変化あり」と判定された現フレームの直前のフレームまでの情報を使った距離（デプス）演算がなされる（そのため１フレーム分のレイテンシが発生する）。
ここで「ｃ」は光速（≒3e8[m/s]）を示す。
ここでは、上記（５）式におけるＡ／Ｂは、現フレームの直前のフレームまでのｓｉｎ成分の移動平均データとｃｏｓ成分の移動平均データの比を表す。
ステップＵ１４では、バッファメモリ２０４の記憶領域ＭＡＡ、ＭＡＢを、その時点の最新のフレーム（（ｎ＋1）番目のフレーム）のみの情報（Ａ´＝Ａ（ｉ）、Ｂ´＝Ｂ（ｉ））に更新し、カウンタｉを初期化し、カウンタｎを更新する。ステップＵ１４が実行されると、ステップＵ６に戻る。
なお、図１４のステップＵ８では、動的変化の有無を、現フレームよりも前の複数のフレーム（複数の過去フレーム）の位相差成分の平均値と、現フレームの位相差成分との差分をとることにより判定しているが、これに限られない。例えば、相前後するフレームの位相差成分の差分により判定しても良いし、差分以外に位相差成分の変化の微分値（傾き）や該微分値の変化を用いるなど、具体的な指標は複数存在する。
以上説明した図１４の一連の処理は、測定終了まで（距離演算部２０３から測定終了信号が同期制御部２０６に出力されるまで）、継続的に行われる。測定終了は、図１４のフローチャートのどのタイミングで行われても良い。
なお、上記ステップＵ８とステップＵ１３の間に、ステップＵ１０と同様のステップを挿入しても良い。
次に、距離センサ２０を用いて実施される測距処理４を図１５のフローチャートを参照して説明する。測距処理４は、イメージセンサ２９の画素毎に同様の手順で行われる。
ステップＶ１〜Ｖ３は、それぞれ図１２のステップＳ１〜Ｓ３と同じである。
ステップＶ４は、イメージセンサ２９のｎ（＝１）番目のフレーム（最初のフレーム）で、環境光強度（Ｄ＿ｎ）を取得するとともに、測定対象の画素の出力信号の実効周波数ｆ０で決まる１周期（２π)を時間的に分割してｍ個の位相信号(Cｋ＿ｎ)（１≦ｋ≦ｍ）を取得する。ここで、環境光強度（Ｄ＿ｎ）は、投光系２０１からのパルス光による光信号以外の成分であり、例えば太陽光や暗電流を意味しており、例えば光源２１が発光していないときのイメージセンサ２９の出力信号から取得できる。
ステップＶ５では、ｍ個の位相信号（Ｃｋ＿ｎ）と環境光強度（Ｄ＿ｎ）との差分（Ｑ＿ｋ）を取得し（但し、１≦ｋ≦ｍ）、バッファメモリ２０４の記憶領域ＭＡＱに格納する。
次のステップＶ６では、（ｎ＋１）番目のフレーム（現フレーム）で、環境光強度（Ｄ＿（ｎ＋１））を取得するとともに、測定対象の画素の出力信号の実効周波数ｆ０で決まる１周期（２π)を時間的に分割してｍ個の位相信号（Ｃｋ＿（ｎ＋１））（１≦ｋ≦ｍ）を取得する。
次のステップＶ７では、ｍ個の位相信号（Ｃｋ＿（ｎ＋１））と環境光強度（Ｄ＿（ｎ＋１））の差分（Ｑｉ＿ｋ）を取得する（但し、１≦ｋ≦ｍ）。
次のステップＶ８では、測定対象の画素に対応する物体領域の動的変化があるか否かを判断する。具体的には、（Ｑ＿ｋ）／ｉと（Ｑｉ＿ｋ）を比較し、これらの差分が閾値を超える場合には「動的変化あり」と判定し、閾値以下の場合には「動的変化なし」と判定する。ステップＶ８での判断が肯定されるとステップＶ１３に移行し、否定されるとステップＶ９に移行する。
ステップＶ９では、バッファメモリ２０４の記憶領域ＭＡＱに現フレームの値（Ｑｉ＿ｋ）を加えて、カウンタｉを更新する。
次のステップＶ１０では、ｉ＞Ｕであるか否かを判断する。すなわち、現フレームまでのＱ＿ｋの移動平均回数（ｉ）と予め設定された移動平均回数判定値Ｕ（Ｕ≧１）の大小関係を判定する。ステップＶ１０での判断が肯定されるとステップＶ１１に移行し、否定されるとステップＶ１２に移行する。
ステップＶ１１では、現フレームまでのＱ＿ｋの移動平均データと、上記（１）式、（２）式を用いて又は上記（３）式を用いてデプス値（距離値）を算出し、取得する。この際、上記（１）式、（２）式、（３）式において、各位相信号Ｃｋを対応するＱ＿ｋの移動平均データで置き換える（但し、１≦ｋ≦ｍ）。
ステップＶ１２では、カウンタｎを更新する。ステップＶ１２が実行されるとステップＶ６に戻る。
ステップＶ１３では、現フレームの直前のフレームまでのＱ＿ｋの移動平均データと、上記（１）式、（２）式を用いて又は上記（３）式を用いてデプス値（距離値）を算出し、取得する（そのため１フレーム分のレイテンシが発生する）。この際、上記（１）式、（２）式、（３）式において、各位相信号Ｃｋを対応するＱ＿ｋの移動平均データで置き換える（但し、１≦ｋ≦ｍ）。
次のステップＶ１４では、カウンタｉを初期化し、カウンタｎを更新する。ステップＶ１４が実行されると、ステップＶ６に戻る。
図１５のステップＶ８では、現フレームの値Ｑｉ＿ｋと比較する値として直前フレームまでの平均値（Ｑ＿ｋ）／ｉを用いているが、例えば、現フレームの値と直前フレームの値を比較しても良く、またそれらの差分値以外にも、微分値や該微分値の変化など、現フレームの値と過去フレーム（例えば直前フレーム）の値を比較する具体的指標は複数存在する。
なお、図１５において、上記ステップＶ８とステップＶ１３の間に、ステップＶ１０と同様のステップを挿入しても良い。
以上説明した図１５の一連の処理は、測定終了まで（距離演算部２０３から測定終了信号が同期制御部２０６に出力されるまで）、継続的に行われる。測定終了は、図１５のフローチャートのどのタイミングで行われても良い。
次に、距離センサ２０を用いて実施される測距処理５を図１６のフローチャートを参照して説明する。測距処理５は、イメージセンサ２９の画素毎に同様の手順で行われる。
ステップＷ１〜Ｗ３は、それぞれ図１２のステップＳ１〜Ｓ３と同じである。
ステップＷ４では、距離センサ２０のフレーム毎のアウトプット値（該フレームの複数の位相信号から得られる距離値）であるデプス値Ｚｎと、デプス値の演算に必要な位相信号から取得可能な輝度値Ｙｎを、ｎ（＝１）番目のフレーム（最初のフレーム）で取得し、Ｚｎ、Ｙｎをそれぞれバッファメモリ２０４の記憶領域ＭＡＺ、ＭＡＹに格納する。
次のステップＷ５では、ステップＷ４と同様にして、（ｎ＋１）番目のフレーム（現フレーム）におけるデプス値Ｚ（ｎ＋１）と輝度値Ｙ（ｎ＋１）を取得する。
次のステップＷ６では、物体領域の動的変化があるか否かを輝度値により判定する。具体的には、ｎ番目のフレーム（直前フレーム）の輝度値Ｙｎと、（ｎ＋１）番目フレーム（現フレーム）の輝度値Ｙ（ｎ＋１）の差の絶対値が予め設定された閾値ｅよりも大きければ「移動あり」と判定し、閾値ｅ以下であれば「移動なし」と判定する。ステップＷ６での判断が肯定されるとステップＷ１３に移行し、否定されるとステップＷ７に移行する。
ステップＷ７では、物体領域の動的変化があるか否かをデプス値により判定する。具体的には、ｎ番目のフレーム（直前フレーム）までのデプス値（Ｚｎ）の平均と、ｎ＋１番目のフレーム（現フレーム）のデプス値Ｚ（ｎ＋１）の差の絶対値が予め設定された閾値ｃよりも大きければ「移動あり」と判定し、閾値ｃ以下であれば「移動なし」と判定する。ここで、閾値ｃはユーザが指定しても良いし、製造における調整工程にてセンサの特性値に基づいて自動的に設定されてもよい。ステップＷ７での判断が肯定されるとステップＷ８に移行し、否定されるとステップＷ９に移行する。
ステップＷ８では、（ｎ＋１）番目のフレーム（現フレーム）の輝度値Ｙ（ｎ＋１）と予め設定された閾値ｆとの大小関係により、物体領域の動的変化があるか否かを判断する。輝度値Ｙ（ｎ＋１）が閾値ｆよりも大きければ「動的変化あり」として判定し、閾値ｆ以下であれば「動的変化なし」と判定する。なお、閾値ｆはユーザが指定しても良いし、製造における調整工程にてセンサの特性値に基づいて自動的に設定されてもよい。ステップＷ８での判断が肯定されるとステップＷ１３に移行し、否定されるとステップＷ９に移行する。
ステップＷ８が必要な第１の理由は、フレーム間の輝度値の差が小さい場合（ステップＷ６でＮＯ）に、現フレームの輝度値Ｙ（ｎ＋１）が極めて小さいとノイズの影響でフレーム間のデプス値のばらつき（差）が大きくなり（ステップＷ７でＹＥＳ）、実際に動的変化がなくても「動的変化あり」と判断され現フレームのデプス値Ｚ（ｎ＋１）が移動平均の対象から除外されるのを防ぐためである。
ステップＷ８が必要な第２の理由は、以下の条件が揃った場合に、実際に動的変化があっても輝度値の差が小さくなる場合があり、この場合に「動的変化なし」と判断され現フレームのデプス値Ｚ（ｎ＋１）が移動平均の対象となるのを防ぐためである。輝度は距離の二乗に反比例する。例えば前フレームは距離１で反射率２５％の物体を捉えていたとし、次フレームは距離２で反射率１００％の物体を捉えたとすると、フレーム間の輝度値の関係は、輝度が距離の二乗に反比例する関係により、（１/２）２＝１／４と、反射率の関係で４倍が相殺関係になり、実際に動的変化があっても輝度値の差が小さくなる。
ステップＷ９では、バッファメモリ２０４の記憶領域ＭＡＹ、ＭＡＺにそれぞれ現フレームの輝度値Ｙ（ｎ＋１）、デプス値Ｚ（ｎ＋１）を加えて、カウンタｉを更新する。
次のステップＷ１０では、ｉ＞Ｕであるか否かを判断する。すなわち、現フレームまでのデプス値Ｚの移動平均回数（ｉ）と予め設定された移動平均回数判定値Ｕ（Ｕ≧１）の大小関係を判定する。ステップＷ１０での判断が肯定されるとステップＷ１１に移行し、否定されるとステップＷ１２に移行する。
ステップＷ１１では、現フレームまでのデプス値Ｚに対して移動平均化処理を行い、その結果（Ｚ／ｉ）を最終的なデプス値（距離値）として取得する。すなわち、現フレームの輝度値が低ければ低輝度によるノイズと判定して、現フレームを含めたフレーム平均処理を行う。なお、このような低輝度領域において物体の動的変化があったとしても、ノイズに埋もれているために動的変化の影響よりも、現フレームを含めたフレーム平均処理を行うメリットの方が大きい。
ステップＷ１２では、カウンタｎを更新する。ステップＷ１２が実行されるとステップＷ５に戻る。
ステップＷ１３では、現フレームの直前のフレームまでのデプス値Ｚに対して移動平均化処理を行い、その結果（Ｚ／ｉ）を最終的なデプス値（距離値）として取得する（そのため１フレーム分のレイテンシが発生する）。
次のステップＷ１４では、カウンタｉを初期化し、カウンタｎを更新する。ステップＷ１４が実行されると、ステップＷ５に戻る。
なお、図１６において、上記ステップＷ６とステップＷ１３の間や、上記ステップＷ８とステップＷ１３の間に、ステップＷ１０と同様のステップを挿入しても良い。
以上説明した測距処理１〜５は、測距処理間で一部のステップを相互に入れ替えることが可能である。
以上説明した本実施形態の距離センサ２０（測距装置）は、パルス光を投光する投光系２０１と、該投光系２０１から投光され物体で反射された光を受光して画素毎に光電変換し、その電気信号を複数の位相信号に振り分けるイメージセンサ２９（撮像素子）と、複数の位相信号又は該複数の位相信号に基づく値を含む情報を保存するためのバッファメモリ（記憶部）と、現フレーム及び少なくとも１つの過去フレームの上記情報に基づいて、物体の動的変化の有無を画素毎に判定する動的変化有無判定部２０５（判定部）と、動的変化有無判定部２０５での判定結果に応じて、上記情報を用いて物体までの距離を画素毎に算出する距離演算部２０３と、を備え、距離演算部２０３は、イメージセンサ２９の各画素について、動的変化有無判定部２０５で動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの上記情報を移動平均し、該移動平均の結果から距離を取得し、動的変化有無判定部２０５で動的変化ありと判定された場合に、複数の過去フレームの上記情報を移動平均し、該移動平均の結果から距離を取得する。
この場合、各画素について、動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの情報を移動平均した結果から物体までの距離が取得されるため、該物体までの距離を精度良く測定することができる。また、各画素について、動的変化ありと判定された場合に、複数の過去フレームの情報を移動平均した結果から物体までの距離が取得されるため（距離算出用の情報の候補から現フレームの情報が除外されるため）、動的変化ありと判定される前の該物体までの距離を精度良く測定することができる。この際、少なくとも１フレーム分のレイテンシが発生するが、物体の動的変化の直前の距離を算出するので距離測定誤差はほとんど発生せず、寧ろノイズを低減できる点で効果が大きい。
この結果、物体の動的変化の有無によらず該物体までの距離を精度良く測定することができる。
なお、距離演算部２０３は、イメージセンサ２９の各画素について、動的変化有無判定部２０５で動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの上記情報を移動平均し、該移動平均の結果から物体までの距離を取得し、動的変化有無判定部２０５で動的変化ありと判定された場合に、現フレーム又は未来フレーム（現フレームよりも時間的に後のフレーム）の上記情報（複数の位相信号や該複数の位相信号に基づく値）から物体までの距離を取得しても良い。
この場合、各画素について、動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの情報を移動平均した結果から物体までの距離が取得されるため、該物体までの距離を精度良く測定することができる。また、各画素について、動的変化ありと判定された場合に、現フレーム又は未来フレーム（例えば現フレームや、現フレームの直後のフレームや、現フレームから数フレーム後のフレーム）の情報から物体までの距離が取得されるため、動的変化ありと判定された後の物体までの距離を精度良く測定することができる。この際、ノイズ低減効果は期待できないが、動的変化ありと判定された画素について物体までの最新の距離を測定できる点で有効である。
この結果、物体の動的変化の有無によらず該物体までの距離を精度良く測定することができる。
また、距離演算部２０３は、各画素について、動的変化有無判定部２０５で動的変化ありと判定された場合に、複数の過去フレームの対応する位相信号を移動平均した結果を用いて物体までの距離を算出しても良い。
この場合、動的変化ありと判定された画素について、物体までの距離を安定して精度良く測定することができる。
また、距離演算部２０３は、各画素について、動的変化有無判定部２０５で動的変化ありと判定された場合に、複数の過去フレームの複数の位相信号に基づく値を移動平均した結果を用いて物体までの距離を算出しても良い。
この場合、動的変化ありと判定された画素について、物体までの距離を安定して精度良く測定することができる。
また、距離演算部２０３は、各画素について、動的変化有無判定部２０５で動的変化ありと判定された場合に、複数の過去フレームの複数の位相信号に基づくデプス値（距離値）を移動平均した結果を物体までの距離として出力しても良い。
この場合、動的変化ありと判定された画素について、物体までの距離を安定して精度良く測定することができる。
また、距離演算部２０３は、各画素について、動的変化有無判定部２０５で動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの対応する位相信号を移動平均した結果を用いて物体までの距離を算出しても良い。
この場合、動的変化なしと判定された画素について、物体までの距離を安定して精度良く測定することができる。
また、距離演算部２０３は、各画素について、動的変化有無判定部２０５で動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの複数の位相信号に基づく値を移動平均した結果を用いて物体までの距離を算出しても良い。
この場合、動的変化なしと判定された画素について、物体までの距離を安定して精度良く測定することができる。
また、距離演算部２０３は、各画素について、動的変化有無判定部２０５で動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの複数の位相信号に基づく距離値を移動平均した結果を物体までの距離として出力しても良い。
この場合、動的変化なしと判定された画素について、物体までの距離を安定して精度良く測定することができる。
また、距離演算部２０３は、移動平均の対象となる画素について、所定回数以上の移動平均によって得られた結果を用いて距離を算出又は該結果を距離として出力することが好ましい。
この場合、物体の動的変化の有無によらず該物体までの距離を更に精度良く測定することができる。
また、動的変化有無判定部２０５は、パルス光のパルス周期をｍ（≧３）個に分割する位相信号Ｃｋ（ｋ＝１、２、…、Ｍ）に対して、
Figure 0006855746
 で得られる位相差の正弦成分Ａ及び余弦成分Ｂのフレーム間の変化量を、それぞれ予め設定された閾値ａ、ｂと比較することにより、物体の動的変化の有無を画素毎に判定しても良い。
また、動的変化有無判定部２０５は、投光系２０１から投光されるパルス光のパルス周期をｍ（≧２）個に分割する位相信号Ｃｋ（ｋ＝１、２、…、Ｍ）に対して、イメージセンサ２９を用いて取得される環境光強度と位相信号との差分のフレーム間の変化量を、予め設定された閾値と比較することにより、物体の動的変化の有無を画素毎に判定しても良い。
また、投光系２０１から投光されるパルス光のパルス幅をＴ０とすると、該パルス光のパルス周期は２Ｔ０以上であることが好ましい。すなわち、投光系２０１から投光されるパルス光のデューティ（ｄｕｔｙ）は、５０％以下であることが好ましい。
また、動的変化有無判定部２０５は、フレーム毎に検出されるデプス値（距離値）のフレーム間の変化量を、予め設定された閾値ｃと比較することにより、物体の動的変化の有無を画素毎に判定しても良い。
さらに、動的変化有無判定部２０５は、フレーム毎に検出される輝度値のフレーム間の変化量を、予め設定された閾値ｅと比較することにより、物体の動的変化の有無を画素毎に判定しても良い。
また、走行体１は、距離センサ２０を有しているため、信頼性に優れた走行ができる。
また、本実施形態の測距方法は、パルス光を投光する工程と、投光され物体で反射された光を受光し、画素毎に光電変換し、その電気信号を複数の位相信号に振り分ける工程と、複数の位相信号又は該複数の位相信号に基づく値を含む情報を保存する工程と、現フレーム及び少なくとも１つの過去フレームの位相信号に基づいて、物体の動的変化の有無を画素毎に判定する工程と、判定する工程での判定結果に応じて、上記情報を用いて物体までの距離を画素毎に算出する工程と、を備え、算出する工程では、各画素について、判定する工程で動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの上記情報を移動平均し、該移動平均の結果から距離を取得し、判定する工程で動的変化ありと判定された場合に、複数の過去フレームの上記情報を移動平均し、該移動平均の結果から距離を取得する。
この場合、各画素について、動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの情報を移動平均した結果から物体までの距離が取得されるため、該物体までの距離を精度良く測定することができる。また、各画素について、動的変化ありと判定された場合に、複数の過去フレームの情報を移動平均した結果から物体までの距離が取得されるため（距離算出用の位相信号の候補から現フレームの位相信号が除外されるため）、動的変化ありと判定される前の該物体までの距離を精度良く測定することができる。この際、少なくとも１フレーム分のレイテンシが発生するが、物体の動的変化の直前の距離を算出するので距離測定誤差はほとんど発生せず、寧ろノイズを低減できる点で効果が大きい。
この結果、物体の動的変化の有無によらず該物体までの距離を精度良く測定することができる。
なお、上記算出する工程では、各画素について、上記判定する工程で動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの上記情報を移動平均し、該移動平均の結果から距離を取得し、上記判定する工程で動的変化ありと判定された場合に、現フレーム又は未来フレーム（現フレームよりも時間的に後のフレーム）の上記情報（例えば複数の位相信号や該複数の位相信号に基づく値）に基づいて距離を算出しても良い。
この場合、各画素について、動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの情報を移動平均した結果から物体までの距離が取得されるため、該物体までの距離を精度良く測定することができる。また、各画素について、動的変化ありと判定された場合に、現フレーム又は未来フレーム（例えば現フレームや、現フレームの直後のフレームや、現フレームから数フレーム後のフレーム）の情報から物体までの距離が取得されるため、動的変化ありと判定された後の物体までの距離を精度良く測定することができる。この際、ノイズ低減効果は期待できないが、動的変化ありと判定された画素について物体までの最新の距離を測定できる点で有効である。
この結果、物体の動的変化の有無によらず該物体までの距離を精度良く測定することができる。
なお、上記実施形態では、投光系が非走査型であるが、光偏向器（例えばポリゴンミラー、ガルバノミラー、ＭＥＭＳミラー等）を含む走査型であっても良い。この場合、例えば、一方向に配列された複数の発光部（ライン光源）からそれぞれ射出された複数の光を、発光部の配列方向に非平行な方向（例えば垂直な方向）に走査して、複数の発光部に対応して該配列方向に平行に配列された複数の受光部（ラインイメージセンサ）で受光し、距離画像を生成しても良い。また、単一の発光部からの光を光偏向手段で２次元走査して、物体からの反射光をエリアイメージセンサで受光し、距離画像を生成しても良い。
また、上記実施形態では、本発明の測距装置の一例である距離センサ２０を走行体１に用いられる場合について説明したが、これに限定されるものではない。例えば、距離センサ２０を、走行体１以外の移動体（例えば乗用車、船舶、航空機等）、監視カメラ、物体の３次元形状を計測する３次元計測装置、距離センサ２０が自身の位置を確認しながら自律的に移動するロボット等に用いても良い。
距離センサ２０を有する監視カメラによれば、監視対象物の動的変化の有無によらず高品質なモニタ画像を得ることができる。
距離センサ２０を有する３次元計測装置によれば、計測対象物の動的変化の有無によらず該物体の３次元情報を精度良く計測することができる。
距離センサ２０を有するロボットによれば、周囲の物体の動的変化の有無によらず該物体に対する適切な自律移動（接近動作や離間動作や平行移動）を可能とすることができる。
上記実施形態では、単一のＬＥＤ（発光部）をパルス発光させ、物体からの反射光をエリアイメージセンサで受光する場合について説明したが、これに限定されるものではない。
例えば、２次元配列された複数の発光部を順次パルス点灯させ、各発光部から射出され物体で反射された光を単一の受光部で順次受光して距離画像を生成しても良い。
例えば、２次元配列された複数の発光部を同時にパルス発光させ、複数の発光部から射出され物体で反射された複数の光を２次元配列された複数の受光部でそれぞれ同時に受光して距離画像を生成しても良い。
また、例えば、物体の３次元情報（距離画像）ではなく、単にある物体までの距離を測定する場合には、投光系の発光部及び受光系の受光部は、いずれも単数であっても良い。
また、上記実施形態では、位相信号を保存するための記憶部として、バッファメモリが用いられているが、これに限らず、他のメモリ（例えばフラッシュメモリ、ＲＯＭ、ＲＡＭ）や、ハードディスクを用いても良い。
また、上記実施形態において、距離演算部２０３での処理の一部を位置制御装置４０が行っても良いし、位置制御装置４０での処理の一部を距離演算部２０３が行っても良い。
また、上記実施形態では、走行管理装置１０が１つの距離センサ２０を備える場合について説明したが、これに限定されるものではない。走行体の大きさ、測定領域などに応じて、複数の距離センサ２０を備えても良い。
また、上記実施形態では、距離センサ２０が走行体の進行方向を監視する走行管理装置１０に用いられる場合について説明したが、これに限定されるものではない。例えば、走行体の後方や側面を監視する装置に用いられても良い。
以上の説明から分かるように、本発明の測距装置及び測距方法は、ＴＯＦ（タイム オブ フライト）を利用した測距技術全般に広く適用することが可能である。
すなわち、本発明の測距装置及び測距方法は、物体の２次元情報の取得や、物体の有無の検出にも用いることができる。
また、上記実施形態の説明で用いた数値、形状等は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
以下に、発明者らが上記実施形態を発案するに至った思考プロセスを説明する。
３次元センサの一つに、強度変調した参照光を投射し、被写体で反射してセンサに戻ってくるまでの時間を検出して距離を求める、いわゆる“TOF(Time of Flight)センサ”が既に知られており、その他３次元センシング方式の中でもそのレスポンス性の原理的優位性から、昨今さまざま用途への開発が進められている。
例えば、ジェスチャー認識であったり、ロボットや自動車などの移動体の位置制御などへの応用が期待されている。
ＴＯＦ法には、直接その時間差を検出する直接ＴＯＦ法と、受光信号量を用いた演算によりその時間差を検出する間接ＴＯＦ法があり、一般的に直接ＴＯＦ法は長距離に、間接ＴＯＦ法は近距離測定に有利であると言われている。
間接ＴＯＦ法を用いるＴＯＦセンサは、受光信号量を用いた演算により距離を導出するものであるが、その際ショットノイズや暗時ノイズの影響により、測定値が時間的にばらつくことがわかっている。この問題に対し、特許文献１のような技術が提案されている。
特許文献１では、ＴＯＦセンサのノイズ対策の従来手法として、移動平均手法が述べられている。詳述すると、特許文献１では、単純な移動平均を用いた場合に、動的な被写体が存在すると、その動的な被写体と背景の信号が移動平均によって混ざった出力になり、本来得たい距離値が得られない問題を解決課題とし、以下の内容が発明のベースになっている。
複数フレームのデプス値を用いて深さ値（デプス値）を算出する映像処理装置で、元画像の第一フレームと第二フレームを取得する時間差に基づいて重み付け値を決定し、複数フレームのデプスで補正された補正後デプス画像を生成する。下位フレームでは重み付けのやり方について複数述べられている。
そして、特許文献１では、元画像のフレーム取得の時間差に基づいて、移動平均の重み付けを行うことを述べている。しかし、この手法では、重みを大きくすれば、重みの強いフレームのばらつきの影響が強く残り、そもそもの移動平均の狙いであるノイズ低減効果が小さくなる。逆に重みを小さくすれば、これもこの技術の狙いである動的な被写体に対する影響が残り易くなってしまう。また、被写体が瞬間的に急に移動するような場合が生じると、この手法ではその影響の回避が難しい。
一方、特許文献２では、反射信号の位相をπ／２毎に検出して位相差を演算する、4位相式ＴＯＦ法に関わる内容である。これらの位相信号をQ0,Q90,Q180,Q270と表記すると、それぞれが同じ距離の同じ物体を観測しているとすれば、Q0+Q180≒Q90+Q270の関係が原理的に成り立つ。
Q0〜Q270の具体的な取得方法としては、空間的に分割された異なる画素でそれぞれ取得する方法と、同一の画素で時間的に分割して取得する方法があり、いずれについてもクレームで述べられている。
ここで、Q0+Q180とQ90+Q270の差が大きい場合、上記原理的な関係に対して、これらは空間的または時間的に異なった物体からの信号であることになり、これら信号を使ったデプスは異常値になる。
そこで、Q0+Q180とQ90+Q270の差が予め決めた閾値を超えた場合は、正しいデプスを得ることが出来ないと判定し距離演算を行わない（不定画素にする）こととしている。
しかしながら、特許文献２では、４つの位相信号が同一被写体を観測しているかどうかの判定を行い、非該当であれば距離演算を行わないので、被写体の動的変化の有無等によって距離測定が行われない場合が生じる。
また、通常、ＴｏＦセンサからは距離情報と輝度情報が取得できるが、例えば前後フレームの情報にのみ基づいて移動平均処理判定を行う場合、反射率の低い被写体であったり、被写体が遠方にある場合はそのＳ／Ｎが低下して測定距離のばらつきが非常に大きくなる場合がある。すると、測定距離のばらつきと被写体の動的変化の切り分けが困難となり、そのような測定距離のばらつきが大きい領域において、十分なノイズ低減効果を得られない。
次に、輝度情報のみに基づいて移動平均処理判定を行う場合、被写体の反射率を特定しておくことはできず、被写体と背景の反射率と距離関係によって、被写体が動的に変化した場合であっても輝度値の変化が小さい状態が生じることがあり、そのような場合に動的な被写体の影響を発生させてしまうことがある。
すなわち、特許文献１、２等の従来技術では、物体の動的変化の有無によらず該物体までの距離を精度良く測定することに関して改善の余地があった。
そこで、発明者は、このような課題を解決すべく、上記実施形態を発案するに至った。
具体的には、上記実施形態では、例えば、撮像素子の現フレーム及び過去フレームの取得信号を用いて、画素毎に捉えている被写体の動的変化（移動や変形など）の有無を判定し、動的変化がなければ（小さければ）移動平均処理の対象に現フレームの情報（取得信号や該取得信号に基づく値）を加え、動的変化があれば複数の過去フレームの情報（取得信号や該取得信号に基づく値）に対して移動平均処理を行う。そのため、生成されるデプス画像（距離画像）には動的な影響が含まれないので動的な被写体への対応が可能であり、かつ静的な被写体に対しては高いノイズ低減効果が得られる。
要するに、上記実施形態では、現フレームと過去フレーム（例えば現フレームの直前のフレーム）の画素毎の検出信号の差や該検出信号を用いた所定演算結果の差から、被写体の動的変化（移動や変形など）の有無を画素毎に判定し、動的変化があれば現フレームの情報を移動平均の対象に含めず複数の過去フレームの情報のみを移動平均の対象とし、動的変化が無ければ現フレーム及び少なくとも１つの過去フレームの情報を移動平均の対象とする。
１…走行体（移動体）、２０…距離センサ（測距装置）、２１…光源（投光系の一部）、２５…光源駆動部（投光系の一部）、２８…結像光学系（受光系の一部）、２９…イメージセンサ（撮像素子、受光系の一部）、２０１…投光系、２０２…受光系、２０３…距離演算部（演算部）、２０４…バッファメモリ（記憶部）、２０５…動的変化有無判定部（判定部）。
特許５６７９７０２号公報 特許４８９５３０４号公報

Claims (12)

  1. パルス光を投光する投光系と、
    前記投光系から投光され物体で反射された光を受光して光電変換し、その電気信号を複数の位相信号に振り分ける撮像素子と、
    前記複数の位相信号又は該複数の位相信号に基づく値を含む情報を保存するための記憶部と、
    現フレーム及び少なくとも１つの過去フレームの前記情報に基づいて、前記物体の動的変化の有無を判定する判定部と、
    前記判定部での判定結果に応じて、前記情報を用いて前記物体までの距離を算出する演算部と、を備え、
    前記演算部は、
    前記判定部で動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの前記情報を移動平均し、該移動平均の結果から前記距離を取得し、
    前記判定部で動的変化ありと判定された場合に、現フレームの直前のフレームを含む複数の過去フレームの前記情報を移動平均し、該移動平均の結果から前記距離を取得することを特徴とする測距装置
  2. 前記演算部は、前記判定部で動的変化ありと判定された場合に、前記複数の過去フレームの対応する前記位相信号を移動平均した結果を用いて前記距離を算出することを特徴とする請求項１に記載の測距装置。
  3. 前記演算部は、前記判定部で動的変化ありと判定された場合に、前記複数の過去フレームの前記複数の位相信号に基づく値を移動平均した結果を用いて前記距離を算出することを特徴とする請求項１に記載の測距装置。
  4. 前記演算部は、前記判定部で動的変化ありと判定された場合に、前記複数の過去フレームの前記複数の位相信号に基づく距離値を移動平均した結果を前記距離として出力することを特徴とする請求項１に記載の測距装置。
  5. 前記判定部は、
    前記パルス光のパルス周期をｍ（≧３）個に分割する位相信号Ｃｋ（ｋ＝１、２、…、Ｍ）に対して、
    Figure 0006855746
     で得られる位相差の正弦成分Ａ及び余弦成分Ｂのフレーム間の変化量を、それぞれ予め設定された閾値と比較することにより、前記物体の動的変化の有無を判定することを特徴とする請求項１〜４のいずれか一項に記載の測距装置。
  6. 前記判定部は、
    前記パルス光のパルス周期をｍ（≧２）個に分割する位相信号Ｃｋ（ｋ＝１、２、…、Ｍ）に対して、
    前記撮像素子を用いて取得される環境光強度と前記位相信号との差分のフレーム間の変化量を、予め設定された閾値と比較することにより、前記物体の動的変化の有無を判定することを特徴とする請求項５に記載の測距装置。
  7. 前記判定部は、フレーム毎に検出される距離値のフレーム間の変化量を、予め設定された閾値と比較することにより、前記物体の動的変化の有無を判定することを特徴とする請求項１〜６のいずれか一項に記載の測距装置。
  8. 請求項１〜７のいずれか一項に記載の測距装置を有する監視カメラ。
  9. 請求項１〜８のいずれか一項に記載の測距装置を有する３次元計測装置。
  10. 請求項１〜９のいずれか一項に記載の測距装置を有する移動体。
  11. 請求項１〜１０のいずれか一項に記載の測距装置を有するロボット。
  12. パルス光を投光する工程と、
    投光され物体で反射された光を受光して光電変換し、その電気信号を複数の位相信号に振り分ける工程と、
    前記複数の位相信号又は該複数の位相信号に基づく値を含む情報を保存する工程と、
    現フレーム及び少なくとも１つの過去フレームの前記情報に基づいて、前記物体の動的変化の有無を判定する工程と、
    前記判定する工程での判定結果に応じて、前記情報を用いて前記物体までの距離を算出する工程と、を備え、
    前記算出する工程では、
    前記判定する工程で動的変化なしと判定された場合に、現フレーム及び少なくとも１つの過去フレームを含む複数のフレームのうち少なくとも２つのフレームの前記情報を移動平均し、該移動平均の結果から前記距離を取得し、
    前記判定する工程で動的変化ありと判定された場合に、現フレームの直前のフレームを含む複数の過去フレームの前記情報を移動平均し、該移動平均の結果から前記距離を取得することを特徴とする測距方法。
JP2016204433A 2016-10-18 2016-10-18 測距装置、監視カメラ、３次元計測装置、移動体、ロボット及び測距方法 Active JP6855746B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016204433A JP6855746B2 (ja) 2016-10-18 2016-10-18 測距装置、監視カメラ、３次元計測装置、移動体、ロボット及び測距方法
US15/712,311 US10684121B2 (en) 2016-10-18 2017-09-22 Distance-measuring apparatus which uses different calculations depending on whether the object is dynamically changing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016204433A JP6855746B2 (ja) 2016-10-18 2016-10-18 測距装置、監視カメラ、３次元計測装置、移動体、ロボット及び測距方法

Publications (2)

Publication Number Publication Date
JP2018066609A JP2018066609A (ja) 2018-04-26
JP6855746B2 true JP6855746B2 (ja) 2021-04-07

Family

ID=61904343

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016204433A Active JP6855746B2 (ja) 2016-10-18 2016-10-18 測距装置、監視カメラ、３次元計測装置、移動体、ロボット及び測距方法

Country Status (2)

Country Link
US (1) US10684121B2 (ja)
JP (1) JP6855746B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7167708B2 (ja) * 2018-12-28 2022-11-09 株式会社アイシン 距離情報生成装置
CN112415487B (zh) * 2019-08-23 2024-04-16 光宝电子(广州)有限公司 基于飞行时间测距的运算装置、感测装置及处理方法
JP6804619B1 (ja) * 2019-10-31 2020-12-23 三菱電機株式会社 レーザ距離測定装置
CN112987020A (zh) * 2019-11-29 2021-06-18 Oppo广东移动通信有限公司 拍摄方法、拍摄装置、电子设备和存储介质
EP4014066A4 (en) 2019-12-11 2023-01-25 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND ASSOCIATED CONTROL METHOD
CN112697113A (zh) * 2020-12-10 2021-04-23 四川长虹电器股份有限公司 海量传感器地灾数据变化情况展示方法
DE102020134605A1 (de) 2020-12-22 2022-06-23 Pepperl+Fuchs Se VERFAHREN UND VORRICHTUNG ZUM BESTIMMEN EINER ZEITVERÄNDERLICHEN KONTINUIERLICHEN MESSGRÖßE UND FAHRZEUG
CN113050119B (zh) * 2021-03-18 2024-05-07 陕西周源光子科技有限公司 一种适用于光学flash三维成像雷达干扰的判决方法
CN113534169B (zh) * 2021-07-20 2022-10-18 上海鸿知梦电子科技有限责任公司 基于单点tof测距的人流计算方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006153772A (ja) * 2004-11-30 2006-06-15 Matsushita Electric Works Ltd 測量装置
JP4673674B2 (ja) 2005-06-06 2011-04-20 株式会社リコー 形状測定装置
JP4895304B2 (ja) 2007-09-26 2012-03-14 富士フイルム株式会社 測距方法および装置
KR101590767B1 (ko) 2009-06-09 2016-02-03 삼성전자주식회사 영상 처리 장치 및 방법
JP2011027707A (ja) * 2009-06-25 2011-02-10 Sharp Corp 人物動作検出装置、遊具装置、人物動作検出方法、ゲーム方法、制御プログラムおよび可読記録媒体
JP5452200B2 (ja) * 2009-12-10 2014-03-26 スタンレー電気株式会社 距離画像生成装置および距離画像生成方法
ITMI20131966A1 (it) * 2013-11-26 2015-05-27 Datalogic IP Tech Srl Sensore di distanza senza contatto e metodo per effettuare una misura di distanza senza contatto
JP2016008875A (ja) 2014-06-24 2016-01-18 株式会社リコー 距離測定装置
JP6498429B2 (ja) * 2014-12-16 2019-04-10 スタンレー電気株式会社 距離画像生成装置、距離画像生成方法およびプログラム
JP2017009339A (ja) 2015-06-18 2017-01-12 株式会社リコー センサ、センシング装置及び距離計測方法
JP2017015611A (ja) 2015-07-03 2017-01-19 株式会社リコー 距離測定装置
JP6733100B2 (ja) 2015-12-22 2020-07-29 株式会社リコー 距離センサ、走行体、ロボット及び３次元計測装置
US10596964B2 (en) 2016-01-13 2020-03-24 Ricoh Company, Ltd. Distance measurement device, moveable device, and distance measuring method
JP6805504B2 (ja) 2016-01-13 2020-12-23 株式会社リコー 距離測定装置、移動体装置及び距離測定方法
JP2017133853A (ja) 2016-01-25 2017-08-03 株式会社リコー 測距装置

Also Published As

Publication number Publication date
JP2018066609A (ja) 2018-04-26
US20180106599A1 (en) 2018-04-19
US10684121B2 (en) 2020-06-16

Similar Documents

Publication Publication Date Title
JP6855746B2 (ja) 測距装置、監視カメラ、３次元計測装置、移動体、ロボット及び測距方法
JP6922187B2 (ja) 測距装置、監視カメラ、３次元計測装置、移動体、ロボット及び光源駆動条件設定方法
US10775502B2 (en) Distance-measuring apparatus, mobile object, robot, three-dimensional measuring device, surveillance camera, and distance-measuring method
JP6852416B2 (ja) 距離測定装置、移動体、ロボット、装置及び３次元計測方法
JP6528447B2 (ja) 視差演算システム及び距離測定装置
US10082564B2 (en) Object detection device, sensing device, movable body device, and object detection method
CN111521161B (zh) 确定到目标的方向的方法、勘测装置和机器可读载体
US7952690B2 (en) Method and system for acquiring a 3-D image of a scene
EP2815251B1 (en) Time of flight camera with stripe illumination
Stiller et al. Multisensor obstacle detection and tracking
EP2517044B1 (en) Stray light compensation method and system for time of flight camera systems
JP4691701B2 (ja) 人数検出装置及び方法
US20110149071A1 (en) Stray Light Compensation Method and System for Time of Flight Camera Systems
JP2020003236A (ja) 測距装置、移動体、測距方法、測距システム
JP6834211B2 (ja) 測距装置、移動体、ロボット、３次元計測装置及び測距方法
US9606232B2 (en) Method for determining and/or compensating range offset of a range sensor
US10481263B2 (en) Range finding apparatus, moveable apparatus, robot, three dimensional measurement apparatus, method of measuring three dimensional information, and storage medium
KR20190074769A (ko) 라이다 장치
JP2017009339A (ja) センサ、センシング装置及び距離計測方法
EP3279691B1 (en) Rangefinder based on parallax calculation
JP2017156306A (ja) 距離センサ、走行体、ロボット及び３次元計測装置
JP2022528644A (ja) レーダ電力制御方法および装置
US20230221437A1 (en) Application specific integrated circuits for lidar sensor and multi-type sensor systems
JP2023515267A (ja) ライダー計測においてブルーミングを認識するための方法及び装置
US20220214434A1 (en) Gating camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190716

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210301

R151 Written notification of patent or utility model registration

Ref document number: 6855746

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151