JPWO2020026512A1 - Laser radar device and frame data correction system - Google Patents
Laser radar device and frame data correction system Download PDFInfo
- Publication number
- JPWO2020026512A1 JPWO2020026512A1 JP2020534050A JP2020534050A JPWO2020026512A1 JP WO2020026512 A1 JPWO2020026512 A1 JP WO2020026512A1 JP 2020534050 A JP2020534050 A JP 2020534050A JP 2020534050 A JP2020534050 A JP 2020534050A JP WO2020026512 A1 JPWO2020026512 A1 JP WO2020026512A1
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pixels
- unit
- correction
- frame data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 59
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 238000005259 measurement Methods 0.000 claims description 27
- 230000001133 acceleration Effects 0.000 claims description 18
- 238000006073 displacement reaction Methods 0.000 claims description 11
- 230000007812 deficiency Effects 0.000 claims description 6
- 239000013589 supplement Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 5
- 230000035939 shock Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 206010048232 Yawning Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
Abstract
レーザーレーダー装置1は、所定の対象領域9に対して、所定のタイミングで発光するレーザー光を偏向走査して、その反射光を受光する投受光部10と、投受光部がレーザー光を発光して、その反射光を受光するまでの時間から前記照射方向の対象までの距離値を算出する距離算出部22と、距離算出部により算出された距離値の一つ一つを、偏向走査に対応した2次元配列に画素として割り当てた距離画像のフレームデータを生成するフレームデータ生成部23と、外乱による投受光部の動きを検知する運動検知部24と、一の画素の距離値を取得するための投受光部による投受光と同期して運動検知部にて検知された検知結果を当該一の画素に関連付ける関連付けを、フレームデータの各画素について行う関連付部25とを備える。The laser radar device 1 deflects and scans a laser beam that emits light at a predetermined timing with respect to a predetermined target area 9, and the light emitting / receiving unit 10 that receives the reflected light and the light emitting / receiving unit emit the laser light. The distance calculation unit 22 that calculates the distance value from the time until the reflected light is received to the target in the irradiation direction, and each of the distance values calculated by the distance calculation unit correspond to deflection scanning. To acquire the distance value of one pixel, the frame data generation unit 23 that generates the frame data of the distance image assigned as pixels to the two-dimensional array, the motion detection unit 24 that detects the movement of the light emitting / receiving unit due to disturbance, and the motion detection unit 24. It is provided with an association unit 25 that associates the detection result detected by the motion detection unit with the one pixel in synchronization with the light emission / reception unit of the frame data for each pixel of the frame data.
Description
本発明は、レーザーレーダー装置及びフレームデータの補正システムに関する。 The present invention relates to a laser radar device and a frame data correction system.
近年、対象にパルス発光するレーザー光を投光し対象からの反射光を受光して対象までの距離等を検出するレーザーレーダー(ライダー(LIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging))装置が利用されている。レーザー光を2次元面に走査することで、1フレームの距離画像データが得られる。 In recent years, a laser radar (LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging)) device that projects a laser beam that emits pulsed light onto a target and receives reflected light from the target to detect the distance to the target. Is used. By scanning the laser beam on a two-dimensional surface, one frame of distance image data can be obtained.
特許文献1に記載の発明は、測定対象物を含む範囲の画像を取得する撮像部と、画像取得に同期して所定範囲を2次元スキャンし測定する測距部と、チルトセンサと加速度センサから構成される姿勢検出ユニットとを備え、取得画像上で対応付けられるスキャン軌跡の各画素に測定結果(測距値)と姿勢検出ユニットの検出結果を関連付ける。
The invention described in
レーザーレーダー装置は、TOF(Time Of Flight)の原理を用いる、すなわち、照射した光線が対象に当たり、反射光が戻るまでにかかる時間から対象までの距離を算出する。
したがって、距離測定の対象はレーザー照射角によって異なる。
レーザーレーダー装置は、レーザー照射角がわずかに異なるだけでも長距離になればなるほど、そのズレ量は大きくなる。対象までの距離を精度よく検出するためには、高い精度でレーザー照射角を制御する必要があるが、外部からの振動や衝撃などの外乱によりレーザー照射角がずれた場合、本来の対象とは大きく異なる対象を測定してしまうことになる。レーザー照射角が測距予定に対してずれた場合、測距予定だった方向と実際に測距した方向とは異なるが、測距予定だった方向に対応した座標に距離値を配置するという、距離値の座標ずれが生じる。
またレーザーレーダー装置は、周知のようにレーザー光を偏向走査して距離値を時分割に取得する。そのため、レーザーレーダー装置に振動や衝撃が加えられた場合の力のベクトルはフレーム内の各画素で異なる上、各画素の距離値と正確に同期がとれて検出されていないと適切な補正ができないという課題がある。
特許文献1に記載の発明にあっては、各画素に関連付けられた姿勢検出ユニットの検出結果は、水平距離と高さ情報を算出して画素に付加するのみであって、距離画像の補正は行われない。また、レーザーレーダー装置による各画素の測距時に同期して姿勢検出ユニットの検出結果を得るかが不明であり、上記課題を解決できない。The laser radar device uses the principle of TOF (Time Of Flight), that is, calculates the distance from the object from the time it takes for the irradiated light beam to hit the object and the reflected light to return.
Therefore, the object of distance measurement differs depending on the laser irradiation angle.
The amount of deviation of the laser radar device increases as the distance increases even if the laser irradiation angle is slightly different. In order to accurately detect the distance to the target, it is necessary to control the laser irradiation angle with high accuracy, but if the laser irradiation angle shifts due to disturbance such as external vibration or impact, the original target is not. You end up measuring very different objects. When the laser irradiation angle deviates from the planned distance measurement, the distance value is placed at the coordinates corresponding to the planned distance measurement direction, although the direction in which the distance measurement was planned is different from the actual distance measurement direction. Coordinate deviation of the distance value occurs.
Further, as is well known, the laser radar device deflects and scans the laser beam and acquires the distance value in a time division manner. Therefore, the force vector when vibration or shock is applied to the laser radar device is different for each pixel in the frame, and appropriate correction cannot be made unless it is detected in accurate synchronization with the distance value of each pixel. There is a problem.
In the invention described in
本発明は以上の従来技術における問題に鑑みてなされたものであって、外乱により距離値の座標ずれが生じても、距離値の座標ずれが低減された、より正確な距離画像のフレームデータを生成可能にすることを課題とする。 The present invention has been made in view of the above problems in the prior art, and even if the coordinate deviation of the distance value occurs due to the disturbance, the coordinate deviation of the distance value is reduced, and more accurate frame data of the distance image can be obtained. The challenge is to make it feasible.
以上の課題を解決するための請求項1記載の発明は、所定の対象領域に対して、所定のタイミングで発光するレーザー光を偏向走査して、その反射光を受光する投受光部と、
前記投受光部がレーザー光を発光して、その反射光を受光するまでの時間から前記照射方向の対象までの距離値を算出する距離算出部と、
前記距離算出部により算出された距離値の一つ一つを、前記偏向走査に対応した2次元配列に画素として割り当てた距離画像のフレームデータを生成するフレームデータ生成部と、
外乱による前記投受光部の動きを検知する運動検知部と、
一の画素の距離値を取得するための前記投受光部による投受光と同期して前記運動検知部にて検知された検知結果を当該一の画素に関連付ける関連付けを、前記フレームデータの各画素について行う関連付部と、を備えるレーザーレーダー装置である。The invention according to
A distance calculation unit that calculates a distance value from the time until the light emitting / receiving unit emits laser light and receives the reflected light to the target in the irradiation direction.
A frame data generation unit that generates frame data of a distance image in which each of the distance values calculated by the distance calculation unit is assigned as pixels to a two-dimensional array corresponding to the deflection scanning.
A motion detection unit that detects the movement of the light emitting / receiving unit due to disturbance,
For each pixel of the frame data, an association is made to associate the detection result detected by the motion detection unit with the one pixel in synchronization with the light emission / reception by the light emitting / receiving unit for acquiring the distance value of one pixel. It is a laser radar device including an association part to perform.
請求項2記載の発明は、前記運動検知部は少なくとも加速度センサ、ジャイロセンサを含む請求項1に記載のレーザーレーダー装置である。
The invention according to
請求項3記載の発明は、前記関連付部は、前記投受光部による同時の発光タイミングにより取得される画素群に対して一つの前記検知結果を関連付ける請求項1又は請求項2に記載のレーザーレーダー装置である。
The laser according to
請求項4記載の発明は、前記関連付部は、一の画素の距離値を取得するための前記投受光部によるレーザー光の発光タイミングと同期して前記運動検知部にて検知された検知結果を当該一の画素に関連付ける請求項1から請求項3のうちいずれか一に記載のレーザーレーダー装置である。
In the invention according to claim 4, the related portion has a detection result detected by the motion detection unit in synchronization with the emission timing of the laser beam by the light emitting / receiving unit for acquiring the distance value of one pixel. The laser radar device according to any one of
請求項5記載の発明は、前記関連付部は、一の画素の距離値を取得するための前記投受光部による測定期間内において、前記運動検知部にて複数回に亘り検知された検知結果の平均値を当該一の画素に関連付ける請求項1から請求項3のうちいずれか一に記載のレーザーレーダー装置である。
According to the fifth aspect of the present invention, the related portion is detected by the motion detection unit a plurality of times within the measurement period by the light emitting / receiving unit for acquiring the distance value of one pixel. The laser radar device according to any one of
請求項6記載の発明は、前記関連付部は 一の画素の距離値を取得するための前記投受光部による測定期間内において、前記運動検知部にて検知された検知結果から算出した前記投受光部の変位量を当該一の画素に関連付ける請求項1から請求項3のうちいずれか一に記載のレーザーレーダー装置である。
According to the sixth aspect of the present invention, the related portion calculates the throwing result from the detection result detected by the motion detecting unit within the measurement period by the light emitting / receiving unit for acquiring the distance value of one pixel. The laser radar device according to any one of
請求項7記載の発明は、前記フレームデータの各画素の配置の前記外乱によるずれを、前記関連付部で関連付けられた前記検知結果に基づいて補正する補正部をさらに備える請求項1から請求項6のうちいずれか一に記載のレーザーレーダー装置である。 The invention according to claim 7 further includes a correction unit that corrects a deviation due to the disturbance of the arrangement of each pixel of the frame data based on the detection result associated with the association unit. The laser radar apparatus according to any one of 6.
請求項8記載の発明は、前記補正部は、補正したフレームデータのうち規定の有効画素範囲外に位置する画素を破棄する請求項7に記載のレーザーレーダー装置である。 The invention according to claim 8 is the laser radar device according to claim 7, wherein the correction unit discards pixels located outside the specified effective pixel range in the corrected frame data.
請求項9記載の発明は、前記補正部は、画素の配置の補正により複数の画素が同一位置に競合する場合には、前記複数の画素から最も補正量の少ない画素を有効画素として選択し、それ以外の画素を破棄する請求項7又は請求項8に記載のレーザーレーダー装置である。
In the invention according to
請求項10記載の発明は、前記補正部は、画素の配置の補正により複数の画素が同一位置に競合する場合には、当該位置の画素を含む前記投受光部による同時の発光タイミングにより取得される画素群の画素数がより多くなるように、前記複数の画素から有効画素を選択し、それ以外の画素を破棄する請求項8に記載のレーザーレーダー装置である。
According to the invention of
請求項11記載の発明は、前記補正部は、画素の配置の補正により、規定の有効画素範囲内に画素欠が生じる場合には、画素欠のまま又は直前のフレームデータに基づき画素を補完する請求項7から請求項10のうちいずれか一に記載のレーザーレーダー装置である。
According to the invention of
請求項12記載の発明は、請求項1から請求項6のうちいずれか一に記載のレーザーレーダー装置により出力される前記フレームデータの各画素の配置の前記外乱によるずれを、前記関連付部で関連付けられた前記検知結果に基づいて補正する補正部を備えるフレームデータの補正システムである。
According to a twelfth aspect of the present invention, a deviation due to the disturbance of the arrangement of each pixel of the frame data output by the laser radar device according to any one of
請求項13記載の発明は、前記補正部は、補正したフレームデータのうち規定の有効画素範囲外に位置する画素を破棄する請求項12に記載のフレームデータの補正システムである。
The invention according to
請求項14記載の発明は、前記補正部は、画素の配置の補正により複数の画素が同一位置に競合する場合には、前記複数の画素から最も補正量の少ない画素を有効画素として選択し、それ以外の画素を破棄する請求項12又は請求項13に記載のフレームデータの補正システムである。
According to the invention of claim 14, when a plurality of pixels compete with each other at the same position due to the correction of the pixel arrangement, the correction unit selects the pixel having the smallest correction amount from the plurality of pixels as an effective pixel. The frame data correction system according to
請求項15記載の発明は、前記補正部は、画素の配置の補正により複数の画素が同一位置に競合する場合には、当該位置の画素を含む前記投受光部による同時の発光タイミングにより取得される画素群の画素数がより多くなるように、前記複数の画素から有効画素を選択し、それ以外の画素を破棄する請求項13に記載のフレームデータの補正システムである。
According to the fifteenth aspect of the present invention, when a plurality of pixels compete with each other at the same position due to the correction of the pixel arrangement, the correction unit is acquired by the simultaneous light emission timing by the light emitting / receiving unit including the pixel at the position. The frame data correction system according to
請求項16記載の発明は、前記補正部は、画素の配置の補正により、規定の有効画素範囲内に画素欠が生じる場合には、画素欠のまま又は直前のフレームデータに基づき画素を補完する請求項12から請求項15のうちいずれか一に記載のフレームデータの補正システムである。 In the invention according to claim 16, when the correction of the pixel arrangement causes a pixel deficiency within the specified effective pixel range, the correction unit supplements the pixel with the pixel deficiency or based on the immediately preceding frame data. The frame data correction system according to any one of claims 12 to 15.
本発明によれば、外乱により距離値の座標ずれが生じても、距離値の座標ずれが低減された、より正確な距離画像のフレームデータを生成することができる。 According to the present invention, even if the coordinate deviation of the distance value occurs due to the disturbance, it is possible to generate more accurate frame data of the distance image in which the coordinate deviation of the distance value is reduced.
以下に本発明の一実施形態につき図面を参照して説明する。以下は本発明の一実施形態であって本発明を限定するものではない。 An embodiment of the present invention will be described below with reference to the drawings. The following is an embodiment of the present invention and does not limit the present invention.
図1に示すように本実施形態のレーザーレーダー装置1は、投受光部10と、タイミング制御部21と、距離算出部22と、フレームデータ生成部23と、運動検知部24と、関連付部25と、補正部26とを備える。
投受光部10は、発光部11と、受光部12と、走査部13とを備える。発光部11はレーザー光源を有する。タイミング制御部21は、走査部13の偏向ミラーの動作に応答した所定のタイミング信号を発光部11及び距離算出部22に与える。発光部11がタイミング制御部21からのタイミング信号に応じてパルス発光する。発光部11からのレーザー光を走査部13で偏向走査して、所定の対象領域9に対して照射する。対象領域9にある物体に反射したレーザー光の反射光を受光部12が受光する。
距離算出部22は、投受光部10がレーザー光を発光して、その反射光を受光するまでの時間から照射方向の対象までの距離値を算出する。
フレームデータ生成部23は、距離算出部22により算出された距離値の一つ一つを、投受光部10の偏向走査に対応した2次元配列に画素として割り当てた距離画像のフレームデータを生成する。As shown in FIG. 1, the
The light emitting / receiving
The
The frame
本実施形態で例とする偏向走査及びフレームデータの仕様は以下の通りである。
発光部11による同時発光のレーザー光を縦10画素とし、走査部13の偏向ミラーを周囲5面(回転中心に対する倒れ角が異なる)のポリゴンミラーとし、1のミラー面での走査期間に1000回パルス発光する。そのため、図2に示すようにフレームデータFAは、縦50画素×横1000画素からなる距離画像を構成する。各画素には、距離算出部22により算出された距離値が割り当てられている。1のミラー面での走査で取得される縦10画素×横1000画素からなるデータを、帯データと呼ぶこととする。フレームデータFAは、ミラーの第1面での走査で取得される帯データF1、ミラーの第2面での走査で取得される帯データF2、ミラーの第3面での走査で取得される帯データF3、ミラーの第4面での走査で取得される帯データF4、ミラーの第5面での走査で取得される帯データF5、を縦に並べた構成である。
図3に示すようにポリゴンミラーの1回転期間が100msで、その5千分の1の20μsが、一の画素の距離値を取得するための投受光部10による測定期間T1であり、発光パルスP1の発光開始から次の発光パルスP2の発光直前までに相当する。測定期間T1に縦10画素分の受光信号S1−S10を10の受光チャンネルCh1−10で並行受光し、それぞれ距離値が算出される。The specifications of the deflection scan and the frame data as an example in this embodiment are as follows.
The laser beam emitted simultaneously by the
As shown in FIG. 3, one rotation period of the polygon mirror is 100 ms, and 20 μs, which is 1 / 5,000 of the polygon mirror, is the measurement period T1 by the light emitting / receiving
運動検知部24は、振動、衝撃等の外乱による投受光部10の動きを検知する。運動検知部24は、加速度センサ、ジャイロセンサを含む。図4に、投受光部10による発光受光信号と、これと同時間軸上のものとしての3軸XYZ方向の各加速度値の時間変化例を示す。
関連付部25は、一の画素の距離値を取得するための投受光部10による投受光と同期して運動検知部24にて検知された検知結果を当該一の画素に関連付ける関連付けを行う。関連付部25は、フレームデータFAの各画素について関連付けを行う。本例では、同時発光分の縦10画素については一つの検知結果を関連付ける。すなわち、関連付部25は、投受光部10による同時の発光タイミングにより取得される画素群(本例で縦10画素)に対して運動検知部24による一つの検知結果を関連付ける。
運動検知部24による検知結果の関連付けを含めたデータ構造の例を図5に示す。
図5において「画素1:1」は縦1番目、横1番目の画素、「画素1:2」は縦1番目、横2番目の画素、「画素50:1000」は縦50番目、横1000番目の画素を示す。それぞれの画素に対応して、それぞれの距離値(d1#1〜d5-#1000)が格納される。
加速度センサによる3軸方向それぞれの加速度値(X1#1,Y1#1,Z1#1・・・)が同時発光分の縦10画素に対応して格納される。図5では、代表して同時発光分の縦10画素のうち最も上の位置の画素に対応して加速度値が格納される。もちろん各画素のそれぞれに加速度値を格納してもよい。本例のようにすることでデータサイズを小さく抑えることができる。The
The
FIG. 5 shows an example of a data structure including the association of the detection results by the
In FIG. 5, "pixel 1: 1" is the first vertical and first horizontal pixel, "pixel 1: 2" is the first vertical and second horizontal pixel, and "pixel 50: 1000" is the 50th vertical and 1000 horizontal. Indicates the second pixel. Each distance value (
Accelerometer values (
図4に示すように加速度センサによって取得されるXYZ方向の力(振動または衝撃)は一般的には低周波であるため、1画素の測定期間T1内で著しく変化はしない。本例では、レーザー発光のタイミングt1で加速度値を取得する。すなわち、関連付部25は、一の画素の距離値を取得するための投受光部10によるレーザー光の発光タイミングt1と同期して運動検知部24にて検知された検知結果を当該一の画素に関連付ける。また、関連付部25は、測定期間T1内において、例えばタイミングt1,t2,t3,t4,t5のように運動検知部24にて複数回に亘り検知された検知結果の平均値を当該一の画素に関連付けることとしてもよい。
本例に拘わらず、複数のタイミングで加速度値を取得し、その演算結果を用いて補正を行なっても良い。例えば、加速度値は、ある瞬間の力の大きさ・方向の情報であるため、加速度値の時間変化を2回積分することで算出された変位量(移動量)を補正値として用いることができる。すなわち、関連付部25は 測定期間T1内において運動検知部24にて検知された検知結果(期間T1中の時間変化)から算出した投受光部10の変位量を当該一の画素に関連付けることとしてもよい。また、力の大きさと方向から、予め作成された変換テーブルを用いて補正値を算出しても良い。As shown in FIG. 4, since the force (vibration or shock) in the XYZ direction acquired by the acceleration sensor is generally low frequency, it does not change significantly within the measurement period T1 of one pixel. In this example, the acceleration value is acquired at the timing t1 of the laser emission. That is, the
Regardless of this example, acceleration values may be acquired at a plurality of timings and correction may be performed using the calculation results. For example, since the acceleration value is information on the magnitude and direction of the force at a certain moment, the displacement amount (movement amount) calculated by integrating the time change of the acceleration value twice can be used as the correction value. .. That is, the
レーザーレーダー装置1に振動、衝撃等の外乱が加えられると、図6に示すようにフレームデータFAに対応する本来の対象領域FAaに対し、実際の測定領域FAbがずれる。このように本来の対象領域FAaとは異なる領域FAbにレーザー光を照射して測定していることになる。
しかし、フレームデータ生成部23は、実際の測定による距離値を、予定していた対象領域FAaに対応した配列に画素に当てはめる。
その結果、図7Aに示す本来の対象に対して、図7Bに示すようにずれの生じた不正確な距離画像のフレームデータを生成してしまう。When a disturbance such as vibration or shock is applied to the
However, the frame
As a result, frame data of an inaccurate distance image with a deviation as shown in FIG. 7B is generated with respect to the original object shown in FIG. 7A.
補正部26は、フレームデータ生成部23が生成した予定どおりの当てはめによるフレームデータを、各画素と関連付けられた運動検知部24の検知結果に基づき補正(画素データの再構成)する。すなわち、補正部26は、フレームデータの各画素の配置の外乱によるずれを、関連付部25で関連付けられた検知結果に基づいて補正する。
そして補正部26は、本来の対象領域FAaに相当する有効画素範囲のフレームデータとして生成する。補正部26による補正処理はレーザーレーダー装置1内のCPUでのソフトウェア処理や、ASICやFPGAといわれるロジック回路で実施しても良いし、レーザーレーダー装置1とは異なる、レーザーレーダー装置1からフレームデータを受け取ったシステム(フレームデータの補正システム)側で実施しても良い。The
Then, the
本補正処理としては、(1)基準位置からのXYZそれぞれの変位量(変位距離)、(2)ミラー面の角度ズレ量θ を求め、その結果を基に補正を行なう。
まず、上記(1)の算出方法について説明する。レーザーレーダー装置1が静止した状態とみなした、あるタイミングを起点として加速度センサから出力されるX方向、Y方向、Z方向の加速度情報を一定周期でサンプリングする。それぞれの加速度情報を2回積分して変位量を算出・保持し、それを絶えず更新していく。
∬x/y/z = x/y/x変位量
この計算によって求められた変位量を最終的に上記(2)の補正が行われた後のデータに対して適用する。X/Y方向は水平移動であるため、単純に画素の移動量として扱う。Z方向は、レーザーレーダー装置1で測定される各画素が保持する距離値に対して補正を行なう。
現実的には変位量は力の加わり方によって異なるため、レーザーレーダー装置1内に搭載した複数の加速度センサの検出値を用いて算出しても良いし、レーザーレーダー装置1の機構的形状や重心位置から変換テーブルを予め作成し、単一のセンサ値から変位量を求めても良い。In this correction process, (1) the amount of displacement (displacement distance) of each XYZ from the reference position and (2) the amount of angular deviation θ of the mirror surface are obtained, and correction is performed based on the results.
First, the calculation method of (1) above will be described. Accelerometer information in the X, Y, and Z directions output from the acceleration sensor is sampled at regular intervals starting from a certain timing, which is regarded as a stationary state of the
∬ x / y / z = x / y / x Displacement amount The displacement amount obtained by this calculation is finally applied to the data after the correction in (2) above is performed. Since the X / Y direction is horizontal movement, it is simply treated as the amount of movement of pixels. The Z direction is corrected for the distance value held by each pixel measured by the
In reality, the amount of displacement differs depending on how the force is applied, so it may be calculated using the detection values of a plurality of acceleration sensors mounted in the
続いて上記(2)について説明する。予めミラーの機構的特定から、XYZ方向の加速度量からミラー面の角度ズレ量θを算出するためのテーブルを作成しておく。角度ズレ量θは水平成分のθhと垂直成分のθvの2つから成る。
垂直方向のみ角度がずれたケースを、図8を参照して説明する。
期待の角度θveは予め画素ごとに規定されている。また実際に測定されたターゲット40までの距離dはフレームデータ生成部23までの機能で測定できている。位置41が期待の角度θveと実測定距離dから、フレームデータ生成部23までの機能で誤認識しているターゲット40の位置となる。この位置41を矢印42のように補正することが目的である。フレームデータ生成部23までの機能で誤認識している位置41と実際に測定されたターゲット40はレーザーレーダー装置1を中心とした円周上に存在するため、補正量は垂直成分だけではないが、ターゲット40までの距離が長い場合は垂直成分のみとして近似することができる。本例では計算が容易な近似で算出する方法を説明する。
距離d × sin(期待角θve + ずれ角θv) で"a"を、
距離d × sin(期待角θve) で"b"を計算し、"a" - "b"を補正量とし補正する。
水平成分についても同様の考え方で水平成分の補正量を算出し補正する。Subsequently, the above (2) will be described. From the mechanical identification of the mirror, a table for calculating the angle deviation amount θ of the mirror surface from the acceleration amount in the XYZ direction is created in advance. The amount of angular deviation θ consists of two components, θh, which is a horizontal component, and θv, which is a vertical component.
A case in which the angle is deviated only in the vertical direction will be described with reference to FIG.
The expected angle θve is predetermined for each pixel. Further, the actually measured distance d to the
The distance d x sin (expected angle θve + deviation angle θv) gives "a",
Calculate "b" with the distance d x sin (expected angle θve), and correct with "a"-"b" as the correction amount.
For the horizontal component, the correction amount of the horizontal component is calculated and corrected in the same way.
まず、レーザーレーダー装置1のフレームデータ生成部23までの機能として測定されたフレームデータに上記(2)の考え方で求められた補正量を適用して補正すると、後述の画素の移動やデータの取捨選択が行われる。その結果に上記(1)のXYZ方向の補正を適用することですべての補正処理は完了となる。
First, when the frame data measured as a function up to the frame
図9に各画素に対して算出された補正値を各画素に対して適用した場合のイメージを図に示す。図9のAが補正前であってフレームデータ生成部23が出力するフレームデータに基づくイメージ図である。図9のBが補正後であって補正部26が出力するフレームデータに基づくイメージ図である。各画素を補正値に基づいてX方向に[i]画素、Y方向に[j]画素移動させる。Z方向への補正は当該画素の距離値に対して適用される。
FIG. 9 shows an image when the correction value calculated for each pixel is applied to each pixel. FIG. 9A is an image diagram based on the frame data output by the frame
補正部26は、すべての画素に対して配置の補正を行った後、トリミングして図10に示すような本来の対象領域FAa内のフレームデータを作成する。すなわち、補正部26は、補正したフレームデータのうち規定の有効画素範囲(FAa)外に位置する画素を破棄する
このとき、一点鎖線で囲まれた領域(画素)45,46,47は複数の画素が同一位置に競合するため、複数の画素から取捨選択を行う。例えば補正部26は、画素の配置の補正により複数の画素が同一位置に競合する場合には、複数の画素から最も補正量の少ない画素を有効画素として選択し、それ以外の画素を破棄する。
また他の方法として補正部26は、画素の配置の補正により複数の画素が同一位置に競合する場合には、当該位置の画素を含む投受光部10による同時の発光タイミングにより取得される画素群の画素数がより多くなるように、複数の画素から有効画素を選択し、それ以外の画素を破棄する、例えば図11に示すように、ミラーの第[n]面で同時発光により取得された画素群50と、ミラーの第[n+1]面で同時発光により取得された画素群51とが領域52で重なったとする。領域52が、複数の画素が同一位置に競合する領域である。領域52にある画素として、画素群51が選択されると、画素群51のうち領域53にある画素は有効画素範囲(FAa)外にあるから、領域52にある画素と同時発光により取得した画素数は少なくなる。また、画素群50のうち領域54にある画素と同時発光により取得した画素数が少なくなってしまう。これに対し、領域52にある画素として、画素群50が選択されると、領域52と領域54にある画素は同時発光により取得した画素群50であるから、同時の発光タイミングにより取得される画素群の画素数がより多くなる。このように、同時の発光タイミングにより取得される画素群は、その構成画素同士でのずれがないため、できるだけ保全することで正確なフレームデータを生成できる。The
As another method, when a plurality of pixels compete with each other at the same position due to the correction of the pixel arrangement, the
さらに配置の補正後のフレームデータでは、図12のグレイで塗られた領域60,61のように、距離値が存在しない画素配置枠が存在する、すなわち、画素欠が生じている。この場合、補正部26は、直前のフレームデータとの連続性を考慮して、直前のデータで補完しても良いし、そのまま画素欠のあるフレームデータとして出力しても良い。
Further, in the frame data after the arrangement is corrected, there is a pixel arrangement frame in which the distance value does not exist as in the
以上説明したように本実施形態のレーザーレーダー装置によれば、外乱により距離値の座標ずれが生じても、距離値の座標ずれが低減された、より正確な距離画像のフレームデータを生成することができる。 As described above, according to the laser radar apparatus of the present embodiment, even if the coordinate deviation of the distance value occurs due to the disturbance, the frame data of the distance image in which the coordinate deviation of the distance value is reduced is generated. Can be done.
本発明は、レーザーレーダー(ライダー(LIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging))装置に利用することができる。 The present invention can be used in a laser radar (LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging)) device.
1 レーザーレーダー装置
9 対象領域
10 投受光部
11 発光部
12 受光部
13 走査部
21 タイミング制御部
22 距離算出部
23 フレームデータ生成部
24 運動検知部
25 関連付部
26 補正部
50 画素群
51 画素群
FA フレームデータ
FAa 本来の対象領域
FAb 実際の測定領域
T1 測定期間1
Claims (16)
前記投受光部がレーザー光を発光して、その反射光を受光するまでの時間から前記照射方向の対象までの距離値を算出する距離算出部と、
前記距離算出部により算出された距離値の一つ一つを、前記偏向走査に対応した2次元配列に画素として割り当てた距離画像のフレームデータを生成するフレームデータ生成部と、
外乱による前記投受光部の動きを検知する運動検知部と、
一の画素の距離値を取得するための前記投受光部による投受光と同期して前記運動検知部にて検知された検知結果を当該一の画素に関連付ける関連付けを、前記フレームデータの各画素について行う関連付部と、を備えるレーザーレーダー装置。A light emitting / receiving unit that deflects and scans a laser beam that emits light at a predetermined timing with respect to a predetermined target area and receives the reflected light.
A distance calculation unit that calculates a distance value from the time until the light emitting / receiving unit emits laser light and receives the reflected light to the target in the irradiation direction.
A frame data generation unit that generates frame data of a distance image in which each of the distance values calculated by the distance calculation unit is assigned as pixels to a two-dimensional array corresponding to the deflection scanning.
A motion detection unit that detects the movement of the light emitting / receiving unit due to disturbance,
For each pixel of the frame data, an association is made to associate the detection result detected by the motion detection unit with the one pixel in synchronization with the light emission / reception by the light emitting / receiving unit for acquiring the distance value of one pixel. A laser radar device with associated parts to perform.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018142026 | 2018-07-30 | ||
JP2018142026 | 2018-07-30 | ||
PCT/JP2019/011338 WO2020026512A1 (en) | 2018-07-30 | 2019-03-19 | Laser radar device and frame data correction system |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020026512A1 true JPWO2020026512A1 (en) | 2021-08-02 |
JP7264167B2 JP7264167B2 (en) | 2023-04-25 |
Family
ID=69230593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020534050A Active JP7264167B2 (en) | 2018-07-30 | 2019-03-19 | Laser radar device and frame data correction system |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7264167B2 (en) |
WO (1) | WO2020026512A1 (en) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002090456A (en) * | 2000-09-21 | 2002-03-27 | Kokusai Kogyo Co Ltd | Topographic measuring apparatus |
JP2003156330A (en) * | 2001-11-22 | 2003-05-30 | Nec Corp | Airborne topography-measuring apparatus and method |
JP2004523772A (en) * | 2001-04-12 | 2004-08-05 | ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング | How to detect vehicle lane change |
JP2011203122A (en) * | 2010-03-25 | 2011-10-13 | Nippon Soken Inc | Optical radar apparatus |
JP2013253910A (en) * | 2012-06-08 | 2013-12-19 | Mitsubishi Electric Corp | Wind measuring apparatus |
JP2016180624A (en) * | 2015-03-23 | 2016-10-13 | 三菱重工業株式会社 | Laser radar apparatus and travel body |
US20170102451A1 (en) * | 2015-10-12 | 2017-04-13 | Companion Bike Seat | Methods and systems for providing a personal and portable ranging system |
WO2018100648A1 (en) * | 2016-11-29 | 2018-06-07 | マクセル株式会社 | Optical scanning device and optical rangefinder |
-
2019
- 2019-03-19 JP JP2020534050A patent/JP7264167B2/en active Active
- 2019-03-19 WO PCT/JP2019/011338 patent/WO2020026512A1/en active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002090456A (en) * | 2000-09-21 | 2002-03-27 | Kokusai Kogyo Co Ltd | Topographic measuring apparatus |
JP2004523772A (en) * | 2001-04-12 | 2004-08-05 | ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング | How to detect vehicle lane change |
JP2003156330A (en) * | 2001-11-22 | 2003-05-30 | Nec Corp | Airborne topography-measuring apparatus and method |
JP2011203122A (en) * | 2010-03-25 | 2011-10-13 | Nippon Soken Inc | Optical radar apparatus |
JP2013253910A (en) * | 2012-06-08 | 2013-12-19 | Mitsubishi Electric Corp | Wind measuring apparatus |
JP2016180624A (en) * | 2015-03-23 | 2016-10-13 | 三菱重工業株式会社 | Laser radar apparatus and travel body |
US20170102451A1 (en) * | 2015-10-12 | 2017-04-13 | Companion Bike Seat | Methods and systems for providing a personal and portable ranging system |
WO2018100648A1 (en) * | 2016-11-29 | 2018-06-07 | マクセル株式会社 | Optical scanning device and optical rangefinder |
Also Published As
Publication number | Publication date |
---|---|
JP7264167B2 (en) | 2023-04-25 |
WO2020026512A1 (en) | 2020-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11977156B2 (en) | Optical distance measuring device | |
JP7114728B2 (en) | Multipulse LIDAR system for multidimensional acquisition of objects | |
US10634496B2 (en) | Surveying system | |
US10767991B2 (en) | Laser scanner | |
US11460561B2 (en) | Surveying device, and calibration method and calibration program for surveying device | |
US9046599B2 (en) | Object detection apparatus and method | |
US11402506B2 (en) | Laser measuring method and laser measuring instrument | |
CN111085775B (en) | Calibration method of laser processing robot | |
US11169247B2 (en) | Distance measuring apparatus, distance measuring method, and non-transitory computer-readable storage medium for storing distance measuring program | |
US11204424B2 (en) | Method for capturing a 3D scene by means of a LIDAR system and a LIDAR system for this purpose | |
US20140098223A1 (en) | Size measurement apparatus and size measurement method | |
US10705195B2 (en) | Distance measuring apparatus and distance measuring method | |
JP5781018B2 (en) | Wind measuring device | |
US20170038581A1 (en) | Optical monitoring of scan parameters | |
JP5875492B2 (en) | Wind measuring device | |
JP2017062398A (en) | Rotation angle detector and laser radar device | |
US20210311193A1 (en) | Lidar sensor for optically detecting a field of vision, working device or vehicle including a lidar sensor, and method for optically detecting a field of vision | |
US11656340B2 (en) | LIDAR device | |
JP7264167B2 (en) | Laser radar device and frame data correction system | |
EP3255455A1 (en) | Single pulse lidar correction to stereo imaging | |
JP2010270947A (en) | Guidance device and target determining device | |
WO2022259594A1 (en) | Distance measurement device and distance measurement method | |
JPH06331744A (en) | Optical distance measuring equipment | |
US20230033565A1 (en) | Surveying instrument | |
JP6996961B2 (en) | Surveying device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230314 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230327 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7264167 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |