KR20230105834A - Lidar apparatus and operating method for the same - Google Patents
Lidar apparatus and operating method for the same Download PDFInfo
- Publication number
- KR20230105834A KR20230105834A KR1020220001349A KR20220001349A KR20230105834A KR 20230105834 A KR20230105834 A KR 20230105834A KR 1020220001349 A KR1020220001349 A KR 1020220001349A KR 20220001349 A KR20220001349 A KR 20220001349A KR 20230105834 A KR20230105834 A KR 20230105834A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- unit
- value
- lidar
- difference
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/487—Extracting wanted echo signals, e.g. pulse detection
- G01S7/4876—Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
- G01S7/4913—Circuits for detection, sampling, integration or read-out
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/493—Extracting wanted echo signals
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
본 발명은 라이다 장치 및 그 동작방법에 관한 것으로, 광 민감도가 높은 SPAD를 적용한 라이다 센서를 이용하여 외부 광에 의한 노이즈를 보정하고 노이즈로 인한 데이터의 왜곡을 감소시켜 검출 거리가 증가하고 객체에 대한 감지 성능을 향상시키며, 노이즈로 인한 왜곡을 감소시켜 외부환경에서도 사용할 수 있고, 측정 거리의 정확성을 향상시키는 효과가 있다. The present invention relates to a lidar device and an operating method thereof, and by using a lidar sensor to which a SPAD with high light sensitivity is applied, noise caused by external light is corrected and distortion of data due to noise is reduced to increase the detection distance and increase the object detection distance. It improves the sensing performance for , reduces distortion due to noise, can be used in an external environment, and has an effect of improving the accuracy of the measurement distance.
Description
본 발명은 광 민감도가 높은 라이다 센서를 이용하여 노이즈를 감소시키면서 감지 성능을 향상시키는 라이다 장치 및 그 동작방법에 관한 것이다. The present invention relates to a lidar device that improves sensing performance while reducing noise by using a lidar sensor having high light sensitivity and an operating method thereof.
라이다(Lidar) 센서는 빛을 조사하고 조사된 빛이 물체로부터 반사된 신호를 수신하여 물체를 감지하고, 송신 신호 및 수신 신호 간의 시간을 측정하여 물체까지의 거리를 계산한다.A lidar sensor detects an object by irradiating light and receiving a signal of the irradiated light reflected from an object, and calculates the distance to the object by measuring the time between a transmission signal and a reception signal.
이러한 라이다 센서는 최근, 자동차, 드론, 로봇청소기 등 다양한 기기에 적용되는 추세이다. These lidar sensors have recently been applied to various devices such as automobiles, drones, and robot vacuum cleaners.
라이다 센서는, 레이저 빛을 조사하는 송신부와 반사되는 빛을 수신하는 수신부가, 2차원의 배열을 형성한다. 라이다 센서는 빛을 송수신하는 송신부와 수신부가 배열 전체를 사용하여 지속적으로 동작하므로, 감지하고자 하는 대상에 관계없이 불필요하게 전력을 소모하게 된다. In the lidar sensor, a transmitter for irradiating laser light and a receiver for receiving reflected light form a two-dimensional array. Since the lidar sensor continuously operates using the entire array of the transmitter and the receiver that transmit and receive light, power is consumed unnecessarily regardless of the object to be sensed.
라이다 센서는 송수신부를 구성하는 배열 전체를 지속적으로 사용함에 따라 열이 발생하는 문제가 있다. The lidar sensor has a problem in that heat is generated as the entire array constituting the transceiver is continuously used.
라이다 센서는 배열 전체가 지속적으로 동작하는 상태가 지속되는 경우, 라이다 센서 자체의 열화가 가속화되고 노이즈가 발생하는 등의 문제가 발생할 수 있다. When the lidar sensor continues to continuously operate the entire array, problems such as acceleration of deterioration of the lidar sensor itself and generation of noise may occur.
또한, 2차원 배열을 구성하는 2D 라이다 센서(LIDAR)는 SPAD를 이용하여 객체 감지 및 거리 산출에 효과적이나, 광 민감도가 높아서 내부 노이즈 및 야외 광에 대한 노이즈 간섭이 심하다는 문제가 있다. In addition, a 2D lidar sensor (LIDAR) constituting a two-dimensional array is effective in object detection and distance calculation using SPAD, but has a problem in that noise interference with internal noise and outdoor light is severe due to high light sensitivity.
이러한 문제를 해소하기 위하여 수신되는 데이터를 수십 내지 수백회 측정하여 히스토그램을 생성한 후 피크값을 검출하여 유효값을 판단하는 방안이 제시되고 있다. In order to solve this problem, a method of measuring received data dozens or hundreds of times to generate a histogram and then detecting a peak value to determine an effective value has been proposed.
그러나 S PAD로 구성되는 라이다 센서는 송신부에서 송출된 빛이 수신부에 도달하기 전에 외부 광이 입사됨에 따라 외부 광인지 송출된 빛인지 구분할 수 없는 문제가 있어, 제시된 방안을 이용하더라도 유효값을 산출할 수 없는 문제가 있다. However, the lidar sensor composed of SPAD has a problem in that it cannot distinguish whether it is external light or emitted light as external light is incident before the light emitted from the transmitter reaches the receiver, so even if the proposed method is used, an effective value is calculated. There is a problem you can't do.
또한, 히스토그램을 이용한 유효값 선정에 있어서 처리해야 하는 데이터량의 증가로 연산부하가 증가하고, 소규모 장치에는 적용하기 어려운 문제가 있다. In addition, the calculation load increases due to the increase in the amount of data to be processed in selecting valid values using the histogram, and there is a problem that it is difficult to apply to small-scale devices.
대한민국 등록특허 제10-1877388호에는 라이다 장치의 동작과 관련된 기술이 설명되어 있다. Republic of Korea Patent Registration No. 10-1877388 describes a technique related to the operation of the LIDAR device.
본 발명은 광 민감도가 높은 SPAD를 적용한 라이다 센서를 이용하여 데이터량을 용이하게 처리하고 외부 광에 의한 노이즈를 보정하고 노이즈로 인한 데이터의 왜곡을 감소시켜 객체 감지 성능을 개선하는 라이다 장치 및 그 동작방법을 제공하는 데 그 목적이 있다. The present invention is a lidar device that improves object detection performance by easily processing the amount of data, correcting noise caused by external light, and reducing distortion of data due to noise by using a lidar sensor to which a SPAD with high light sensitivity is applied, and Its purpose is to provide the operation method.
상기한 목적을 달성하기 위하여 본 발명에 따른 라이다 장치는, 빛을 조사하여 감지 대상인 객체를 감지하고 상기 객체와의 거리를 측정하는 라이다 센서(LIDAR); 상기 라이다 센서의 수신신호를 분석하여 유효값을 검출하고 입사되는 외부 광에 의한 노이즈를 감쇄하는 학습부; 상기 학습부에 의해 검출된 유효값에 대응하여, 신호의 송신시간과 수신시간의 차이를 측정하는 신호변환부; 및 상기 신호변환부에서 측정된 차이를 바탕으로 상기 객체와의 거리를 산출하는 제어부; 를 포함하고, 상기 학습부는, 상기 라이다 센서의 수신신호를 선형화하여 데이터 연산량을 감소시키고, 선형화된 데이터의 예측값과 실제값의 차이를 기반으로 가중치를 최적화하여 상기 유효값을 산출하는 것을 특징으로 한다. LiDAR device according to the present invention in order to achieve the above object, a lidar sensor (LIDAR) for detecting an object to be sensed by irradiating light and measuring a distance to the object; a learning unit that analyzes the received signal of the lidar sensor to detect a valid value and attenuates noise caused by incident external light; a signal conversion unit measuring a difference between a transmission time and a reception time of a signal in response to the valid value detected by the learning unit; and a control unit calculating a distance to the object based on the difference measured by the signal conversion unit. The learning unit linearizes the received signal of the lidar sensor to reduce the amount of data operation, and calculates the effective value by optimizing a weight based on a difference between a predicted value and an actual value of the linearized data. do.
상기 학습부는, 상기 라이다 센서의 수신 신호를 기반으로 생성된 지수데이터를 선형데이터로 변환하는 선형화부; 상기 선형화부의 선형데이터의 예측값과 실제값의 차이를 연산하여 함수를 생성하는 차이값연산부; 및 상기 함수의 기울기 변화율에 대응하여 상기 가중치와 편향성을 학습하고, 상기 가중치를 최적화하는 최적화부; 를 포함한다. The learning unit may include: a linearization unit converting index data generated based on the received signal of the lidar sensor into linear data; a difference calculation unit generating a function by calculating a difference between a predicted value and an actual value of the linear data of the linearization unit; and an optimization unit that learns the weights and biases in response to the gradient change rate of the function and optimizes the weights. includes
상기 학습부는 상기 라이다 센서의 수신 신호를 히스토그램으로 생성하는 데이터처리부; 상기 가중치를 기반으로, 상기 선형데이터를 지수데이터로 변환하는 디코딩부; 및 상기 지수데이터를 바탕으로, 노이즈가 제거된 히스토그램의 피크값을 검출하여 상기 유효값을 산출하는 연산부; 를 더 포함한다. The learning unit data processing unit for generating a histogram of the received signal of the lidar sensor; a decoding unit that converts the linear data into exponential data based on the weight; and a calculation unit configured to calculate the valid value by detecting a peak value of the histogram from which noise is removed based on the index data. more includes
상기 선형화부는 히스토그램의 상기 지수데이터를 로그화하여 선형데이터로 변환하는 것을 특징으로 한다. The linearizer may log the exponential data of the histogram and convert it into linear data.
상기 선형화부는 예측함수를 이용하여 히스토그램의 카운트값에 로그함수를 적용하여 선형화하는 것을 특징으로 한다. The linearizer is characterized in that the linearization is performed by applying a logarithmic function to the count values of the histogram using a prediction function.
상기 차이값연산부는 예측값과 실제값의 차이를 최소 평균 제곱(LMS, Least Mean Square) 으로 연산하고, 평균 제곱 오차(MSE, Mean Square Error)를 통해 함수화하는 것을 특징으로 한다. The difference calculation unit is characterized in that the difference between the predicted value and the actual value is calculated as a least mean square (LMS) and functionalized through a mean square error (MSE).
상기 최적화부는 상기 함수의 기울기 변화율을 산출하여 가중치와 편향성을 학습하고, 상기 차이가 설정값 미만이 되기까지 학습을 반복하여 기울기를 최적화하는 것을 특징으로 한다. The optimization unit calculates a gradient change rate of the function to learn weights and biases, and optimizes the gradient by repeating learning until the difference becomes less than a set value.
상기 디코딩부는 상기 최적화부에서 학습된 가중치와 편향성을 이용하여 상기 함수의 데이터를 산출하고, 산출된 데이터에 근거하여 선형데이터를 지수데이터로 재함수화하는 것을 특징으로 한다. The decoding unit calculates data of the function using the weights and biases learned in the optimization unit, and refunctionalizes linear data into exponential data based on the calculated data.
상기 연산부는 재함수화된 데이터의 피크값을 검출하고, 상기 피크값에 대응하는 상기 신호변환부의 데이터를 상기 유효값으로 하는 것을 특징으로 한다.The operation unit detects a peak value of the refunctionalized data, and sets data of the signal conversion unit corresponding to the peak value as the effective value.
본 발명에 따른 라이다 장치의 동작방법은, 라이다 센서(LIDAR)가 동작하여 빛을 조사하는 단계; 상기 라이다 센서의 수신신호를 선형화하여 데이터 연산량을 감소시키는 단계; 선형화된 데이터의 예측값과 실제값의 차이를 기반으로 가중치를 최적화하여 상기 라이다 센서의 수신신호 중 유효값을 검출하는 단계; 상기 유효값을 기반으로 상기 라이다 센서의 수신신호 중 외부 광에 의한 노이즈를 감쇄하는 단계; 상기 유효값에 대응하는 신호의 송신시간과 수신시간의 차이를 측정하는 단계; 및 상기 송신시간과 수신시간의 차이를 바탕으로 객체와의 거리를 산출하는 단계; 를 포함한다. A method of operating a lidar device according to the present invention includes irradiating light by operating a lidar sensor (LIDAR); Linearizing the received signal of the lidar sensor to reduce the amount of data calculation; Detecting a valid value among the received signals of the lidar sensor by optimizing a weight based on a difference between a predicted value and an actual value of the linearized data; Attenuating noise caused by external light among the received signals of the lidar sensor based on the effective value; measuring a difference between a transmission time and a reception time of a signal corresponding to the effective value; and calculating a distance to the object based on the difference between the transmission time and the reception time. includes
상기 라이다 센서의 수신신호를 선형화하는 경우, 상기 라이다 센서의 수신 신호를 기반으로 생성된 히스토그램의 지수데이터를 로그화하여 선형데이터로 변환하는 것을 특징으로 한다. In the case of linearizing the received signal of the lidar sensor, it is characterized in that the index data of the histogram generated based on the received signal of the lidar sensor is logarithmic and converted into linear data.
상기 라이다 센서의 수신신호를 선형화하는 경우, 예측함수를 이용하여 상기 히스토그램의 카운트값에 로그함수를 적용하여 선형화하는 것을 특징으로 한다. In the case of linearizing the received signal of the lidar sensor, it is characterized in that the linearization is performed by applying a logarithmic function to the count value of the histogram using a prediction function.
상기 유효값을 검출하는 단계는, 상기 선형화된 데이터의 예측값과 실제값의 차이를 연산하는 단계; 상기 차이에 대응하는 함수를 생성하는 단계; 및 상기 함수의 기울기 변화율에 대응하여 가중치와 편향성을 학습하는 단계; 를 포함한다. The detecting of the effective value may include calculating a difference between a predicted value and an actual value of the linearized data; generating a function corresponding to the difference; and learning weights and biases in response to the gradient change rate of the function. includes
상기 유효값을 검출하는 단계는, 기계 학습을 통해 상기 차이를 연산하는 단계 내지 상기 학습하는 단계를 상기 차이가 설정값 미만이 되기까지 반복하여, 상기 가중치를 최적화하는 단계; 를 더 포함한다. The step of detecting the valid value may include: optimizing the weight by repeating the step of calculating the difference through machine learning to the step of learning until the difference becomes less than a set value; more includes
상기 유효값을 검출하는 단계는, 상기 가중치를 기반으로, 선형데이터를 지수데이터로 변환하여 재함수화하는 단계; 및 상기 지수데이터를 바탕으로, 노이즈가 제거된 히스토그램의 피크값을 검출하여 상기 유효값을 산출하는 단계를 포함한다. The detecting of the effective value may include re-functionalizing linear data by converting the linear data into exponential data based on the weight; and calculating the effective value by detecting a peak value of the histogram from which noise is removed based on the index data.
일 측면에 따르면, 본 발명의 라이다 장치 및 그 동작방법은 광 민감도가 높은 SPAD를 적용한 라이다 센서를 이용하여 검출 거리가 증가하고 객체에 대한 감지 성능을 향상시키는 효과가 있다. According to one aspect, the lidar device and its operating method of the present invention have the effect of increasing the detection distance and improving the sensing performance for an object by using a lidar sensor to which a SPAD with high light sensitivity is applied.
본 발명의 일 측면에 따르면, 높은 광 민감도로 인하여 발생하는 노이즈를 감쇄하고 노이즈로 인한 왜곡을 감소시켜 외부환경에서도 사용할 수 있고, 측정 거리의 정확성을 향상시키는 효과가 있다. According to one aspect of the present invention, it can be used in an external environment by attenuating noise generated due to high light sensitivity and reducing distortion due to noise, and has an effect of improving accuracy of measurement distance.
본 발명은 히스토그램 처리로 인한 다량의 데이터를 학습을 통해 감소시켜 연산 부하가 감소하고 빠른 처리를 통해 효율성을 향상시키는 효과가 있다. The present invention has an effect of reducing a large amount of data due to histogram processing through learning to reduce computational load and improving efficiency through fast processing.
도 1 은 본 발명의 일 실시예에 따른 라이다 장치의 구성이 도시된 도이다.
도 2 는 도 1 의 학습부의 구성이 도시된 블럭도이다.
도 3 은 본 발명의 일 실시예에 따른 라이다 장치의 데이터 처리에 따른 흐름이 도시된 흐름도이다.
도 4 는 본 발명의 일 실시예에 따른 라이다 장치의 데이터 시뮬레이션을 설명하는 데 참조되는 도이다.
도 5 는 본 발명의 일 실시예에 따른 라이다 장치의 예측함수를 이용한 차이값 산출방법을 설명하는 데 참조되는 도이다.
도 6 은 본 발명의 일 실시예에 따른 라이다 장치의 가중치 최적화 방법을 설명하는데 데 참조되는 도이다.
도 7 은 본 발명의 일 실시예에 따른 라이다 장치의 예측함수에 대한 디코딩 방법을 설명하는 데 참조되는 도이다.
도 8 은 본 발명의 일 실시예에 따른 라이다 장치의 노이즈 데이터 시뮬레이션을 설명하는 데 참조되는 도이다.
도 9 는 본 발명의 일 실시예에 따른 라이다 장치의 노이즈 데이터 시뮬레이션 결과가 도시된 도이다.
도 10 은 본 발명의 일 실시예에 따른 라이다 장치의 동작방법을 설명하는 데 참조되는 도이다. 1 is a diagram showing the configuration of a lidar device according to an embodiment of the present invention.
2 is a block diagram showing the configuration of the learning unit of FIG. 1;
3 is a flowchart illustrating a flow according to data processing of a lidar device according to an embodiment of the present invention.
4 is a diagram referenced to explain data simulation of a lidar device according to an embodiment of the present invention.
5 is a diagram referenced to explain a method for calculating a difference value using a predictive function of a lidar device according to an embodiment of the present invention.
6 is a diagram referenced to explain a weight optimization method of a lidar device according to an embodiment of the present invention.
7 is a reference diagram for explaining a decoding method for a predictive function of a LIDAR device according to an embodiment of the present invention.
8 is a reference diagram for explaining noise data simulation of a lidar device according to an embodiment of the present invention.
9 is a diagram illustrating simulation results of noise data of a lidar device according to an embodiment of the present invention.
10 is a reference diagram for explaining a method of operating a lidar device according to an embodiment of the present invention.
이하, 첨부된 도면들을 참조하여 본 발명을 설명하도록 한다.Hereinafter, the present invention will be described with reference to the accompanying drawings.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로써 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In this process, the thickness of lines or the size of components shown in the drawings may be exaggerated for clarity and convenience of explanation. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of a user or operator. Therefore, definitions of these terms will have to be made based on the content throughout this specification.
도 1 은 본 발명의 일 실시예에 따른 라이다 장치의 구성이 도시된 도이다. 1 is a diagram showing the configuration of a lidar device according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 라이다 장치는, 라이다 센서(140), 구동부(120), 신호변환부(130), 학습부(150), 센서부(160), 데이터부(180), 및 제어부(110)를 포함한다. As shown in FIG. 1, the lidar device includes a
라이다 센서(Light Detection And Ranging, LIDAR)(140)는, 감지 대상인 객체(50)에 빛을 조사하여 객체(50)의 유무를 감지하고, 객체와의 거리를 측정한다. The LIDAR sensor (Light Detection And Ranging) 140 irradiates light to the
라이다 센서(LIDAR)(140)는 송신부(141)와 수신부(142)로 구성되어, 송신부(141)를 통해 빛을 송출하고, 객체(50)에 반사되는 빛이 수신부(142)로 입사되면, 이를 이용하여 객체(50)의 유무를 감지하고, 빛이 반사되어 되돌아 오는 시간을 이용하여 거리를 측정하도록 구성된다. The lidar sensor (LIDAR) 140 is composed of a
라이다 센서(LIDAR)(140)는 SPAD(Single Photon Avalanche Diode)로 구성되는 2D 라이다(LIDAR)이다. The lidar sensor (LIDAR) 140 is a 2D lidar (LIDAR) composed of SPAD (Single Photon Avalanche Diode).
송신부(141) 및 수신부(142)는 각각 NxM의 배열 구조로 형성된다. The transmitting
구동부(120)는 제어부(110)의 제어명령에 대응하여 라이다 센서(140)의 송신부(141) 및 수신부(142)의 구동을 제어한다. 구동부(120)는 라이다 센서(140)의 송신부(141) 및 수신부(142)의 어레이의 일부 또는 전체가 동작하도록 한다. The
구동부(120)는 제어부(110)에 의해 라이다 센서(140)의 동작모드가 설정되면, 그에 대응하여 라이다 센서(140)의 송신부(141) 및 수신부(142)의 어레이가 동작하도록 제어한다. When the operation mode of the
구동부(120)는 송신부(141)의 복수의 광원과 수신부(142)의 복수의 포토다이오드에 대한 동작을 제어한다. The
경우에 따라 구동부(120)는 송신부(141)의 복수의 광원과 수신부(142)의 복수의 포토다이오드의 적어도 일부가 동작하도록 제어할 수 있다. In some cases, the
신호변환부(130)는 TDC(Time to Digital Converter) 방식으로 신호를 변환하고 또한 ADC(Analog to Digital Converter) 방식으로 신호를 변환할 수 있다. TDC는 송신시간과 수신시간의 차이를 측정하는 것이고, ADC는 신호의 강도를 측정하는 방식이다.The signal conversion unit 130 may convert a signal in a Time to Digital Converter (TDC) method and also convert a signal in an Analog to Digital Converter (ADC) method. TDC measures the difference between transmission time and reception time, and ADC measures the signal strength.
신호변환부(130)는 TDC 및 ADC 중 어느 하나의 방식을 적용하여 신호를 변환한다. The signal conversion unit 130 converts the signal by applying any one of TDC and ADC.
학습부(150)는 머신 러닝(Machine Learning)기반으로 데이터를 처리하여 학습을 수행한다. The
학습부(150)는 라이다 센서(140)로부터 출력되는 신호를 처리하여 신호변환부(130)로 인가한다.The
학습부(150)는 라이다 센서의 신호를 선형화하고 실제값과의 차이를 산출하여 최적화하는 것을 반복하여 재함수화(디코딩, decoding)한다. The
학습부(150)는 SPAD를 이용하는 라이다 센서의 데이터를 머신러닝 기반으로 처리하여 외부 광에 의한 노이즈를 감쇄하고 데이터량을 감소시켜 신호변환부(130)로 인가한다. The
데이터부(180)는 라이다 센서(LIDAR)(140)의 데이터, 학습부(150)의 머신 러닝 기반 데이터 처리에 따른 학습데이터, 동작제어를 위한 데이터를 저장한다. The
데이터부(180)는 플래시 메모리를 포함하는 적어도 하나의 저장수단을 포함하고, 경우에 따라 라이다 장치의 데이터를 저장하는 메인 메모리(미도시)와, 학습부(150)의 데이터를 저장하는 서브 메모리(미도시)를 포함할 수 있다. The
센서부(160)는 조도센서를 포함한다. 센서부(160)는 복수의 센서를 포함하여 온도, 습도, 전압 및 전류를 감지할 수 있다.The
조도센서는 주변의 밝기를 감지하여 신호를 입력한다. 조도센서는 외부 광을 감지하여 신호를 입력한다. The illuminance sensor detects ambient brightness and inputs a signal. The illuminance sensor detects external light and inputs a signal.
제어부(110)는 라이다 센서(140)에 대한 동작모드를 설정하여 구동부(120)로 제어명령을 인가하고, 신호변환부(130)로부터 입력되는 데이터를 바탕으로 객체의 유무 및 객체까지의 거리를 산출한다. The
제어부(110)는 SPAD가 적용된 라이다 센서(LIDAR)(140)의 데이터 및 데이터의 노이즈를 감쇄시키는 과정에서 학습된 학습부(150)의 데이터를 데이터부(180)에 저장한다. The
제어부(110)는 센서부(160)에 의해 입력되는 데이터를 학습부(150)로 인가하여, 주변 환경에 대한 정보를 제공한다. The
제어부(110)는 신호변환부(130)로부터 송신시간과 수신시간 사이의 차이(Δt), 즉 소요시간이 입력되면, 이를 바탕으로 객체와의 거리를 산출한다. When the difference (Δt) between the transmission time and the reception time, that is, the required time is input from the signal conversion unit 130, the
제어부(110)는 라이다 장치 또는 객체의 이동에 대응하여 일정시간 주기로 거리를 반복하여 산출하고 그에 대한 데이터를 출력할 수 있다. The
예를 들어, 제어부(110)는, 라이다 장치가 자동차에 설치되는 경우, 자동차의 메인제어부로 객체와의 거리에 대한 정보를 전송할 수 있다. For example, when a lidar device is installed in a vehicle, the
도 2 는 도 1 의 학습부의 구성이 도시된 블럭도이다.2 is a block diagram showing the configuration of the learning unit of FIG. 1;
도 2에 도시된 바와 같이, 학습부(150)는 데이터처리부(151), 선형화부(152), 차이값연산부(153), 최적화부(154), 연산부(155) 및 디코딩부(156)를 포함한다. As shown in FIG. 2, the
데이터처리부(151)는 제어부(110)의 제어명령에 따라 라이다 센서(LIDAR)(140)의 데이터를 처리한다. The
데이터처리부(151)는 라이다 센서(LIDAR)(140)의 수신신호를 기반으로 히스토그램을 생성하고 데이터를 후처리 한다. The
데이터처리부(151)는 라이다 센서(LIDAR)(140)의 데이터 외, 센서부(160)의 조도센서로부터 외부광 감지신호가 입력되면 이를 입력받아 처리한다. When an external light detection signal is input from the illuminance sensor of the
데이터처리부(151)는 라이다 센서(LIDAR)(140)의 데이터를 지수데이터로 변환하여 히스토그램을 생성한다. The
선형화부(152)는 기계 학습(machine learning)을 위하여 지수데이터(Exponential data)를 선형데이터(Linear data)로 변환한다. The
선형화부(152)는 지수데이터를 로그화 하여 선형데이터로 변환한다. 선형화부(152)는 예측함수와의 피팅(Fitting)을 위하여, 히스토그램 카운트값(count)인 y값에 ln을 취하여 선형데이터로 변환한다. The
차이값연산부(153)는 예측값과 실제값의 차이를 연산한다. 차이값연산부(153)는 예측값과 실제값의 차이에 대한 코스트함수를 생성한다. The
차이값연산부(153)는 예측함수를 기반으로 실제 데이터와의 차이를 산출하고 평균 제곱 오차(MSE, Mean Square Error)를 통해 함수화를 수행한다. The
최적화부(154)는 차이값연산부(153)에서 산출된 코스트함수에 대하여, 함수의 기울기 변화율을 산출하여 가중치와 편향성을 학습한다. The
최적화부(154)는 산출되는 가중치와 편향성을 차이값연산부(153)로 피드백하여 차이값연산부(153)에서 산출되는 실제값과 예측값의 차이가 일정값 미만으로 감소할 때까지, 차이값 연산 및 가중치와 편향성에 대한 학습을 반복한다. The
최적화부(154)는 가중치와 편향성을 반복 학습함으로써, 가중치를 최적화한다.The
디코딩부(156)는 최적화부(154)에서 학습된 가중치(W)와 편향성(b)을 통해, 기존의 예측함수의 값을 도출한다. The
디코딩부(156)는 후술하는 수학식 1의 예측함수에서 j, k 값을 도출한다. The
연산부(155)는 라이다 센서(LIDAR)(140)의 신호 중 외부광에 의한 노이즈와 센서신호를 구분한다. The
연산부(155)는 히스토그램 데이터와 예측값의 차이를 연산하고, 그에 대한 피크값을 검출한다. 연산부(155)는 검출되는 피크값에 해당하는 신호변환부(130)의 데이터값을 유효값으로 판단한다. The
연산부(155)는 신호변환부(130)의 송신시간, 수신시간 및 그 차이에 대하여, 피크값에 대응하는 송신시간, 수신시간 및 그 차이를 유효값으로 판단함으로써, 외부광과 센서신호를 구분할 수 있다. The
연산부(155)는 외부광에 의한 신호를 필터링하여 히스토그램 데이터로부터 노이즈를 제거한다. The
데이터처리부(151)는 노이즈가 제거된 데이터를 신호변환부(130)로 인가한다. The
도 3 은 본 발명의 일 실시예에 따른 라이다 장치의 데이터 처리에 따른 흐름이 도시된 흐름도이다. 3 is a flowchart illustrating a flow according to data processing of a lidar device according to an embodiment of the present invention.
도 3에 도시된 바와 같이, 제어부(110)로부터 라이다 센서(LIDAR)(140)가 동작하도록 제어명령이 인가되면(S110), 구동부(120)는 라이다 센서(LIDAR)(140)를 구동시킨다(S120). As shown in FIG. 3, when a control command is applied from the
라이다 센서(LIDAR)(140)는 송신부(141)에 구비되는 광원을 통해 빛을 조사하며, 조사된 빛은 객체에 반사되어 수신부(142)로 입사된다.The lidar sensor (LIDAR) 140 irradiates light through a light source provided in the
학습부(150)는 라이다 센서(LIDAR)(140)의 신호를 수신하여 히스토그램을 생성하고, 기계 학습 기반으로 선형화 및 최적화를 수행하여 노이즈를 제거한다. The
라이다 센서(LIDAR)(140)의 수신부(142)에는 송신부(141)로부터 송출된 신호(빛) 외에도 외부 광이 입사되므로, 학습부(150)는 외부 광에 의한 노이즈를 제거한다. Since external light in addition to the signal (light) transmitted from the
학습부(150)의 데이터처리부(151)는 라이다 센서(LIDAR)(140)의 데이터를 기반으로 히스토그램을 생성하고(S130), 데이터를 후처리 한다(S150). The
데이터처리부(151)는 센서부(160)의 조도센서로부터 외부 광이 감지되면, 이를 반영하여 데이터 후처리를 수행한다. When external light is detected by the illuminance sensor of the
데이터처리부(151)는 인터럽트 발생시(S160), 데이터를 선형화부(152)로 인가한다. The
선형화부(152)는 히스토그램 데이터를 선형화한다(S170). 선형화부(152)는 히스토그램의 지수데이터를 로그화하여 선형데이터로 변환하여 선형화한다. 선형화부(152)는 예측함수와 피팅을 위하여 히스토그램의 카운트값인 y값에 로그화를 하여 선형데이터로 변환한다. The
선형화부(152)는 데이터의 선형화 과정에서 필터를 통해 데이터를 필터링한다(S180).The
차이값연산부(153)는 선형화부(152)의 선형데이터를 입력받아 최소 평균 제곱(LMS, Least Mean Square)연산을 수행한다(S190). 차이값연산부(153)는 최소 평균제곱연산을 통해, 예측값과 실제값의 차이에 대하여 차이의 제곱합을 최소화하는 값을 선택함으로써 차이를 감소시킨다. The
차이값연산부(153)는 예측값과 실제값의 차이를 연산하고, MSE(Mean Square Error)를 통해 함수화를 수행하여 코스트함수를 생성한다.The
최적화부(154)는 차이값연산부(153)에서 산출된 코스트함수에 대하여, 함수의 기울기 변화율을 산출하여 가중치와 편향성을 학습하여 기울기를 최적화한다(S200). The
최적화부(154)는 산출되는 가중치와 편향성을 차이값연산부(153)로 피드백하여 차이값연산부(153)에서 산출되는 실제값과 예측값의 차이가 설정값 미만으로 감소할 때까지, 차이값 연산 및 가중치와 편향성에 대한 학습을 반복한다.The
디코딩부(156)는 최적화부(154)에서 학습된 가중치(W)와 편향성(b)을 통해, 기존의 예측함수의 값을 도출하여 재함수화 한다(S210). The
연산부(155)는 데이터 필터링을 수행하여(S220), 노이즈를 제거한다(S230). The
연산부(155)는 노이즈가 제거된 히스토그램에서, 최빈값을 산출하고(S240), 최빈값에 대응하는 라이다 센서의 송신시간, 수신시간 및 차이를 검출하여 신호변환부(130)로 인가한다(S250). 연산부(155)는 라이다 센서(LIDAR)(140)의 신호 중 외부광에 의한 노이즈와 센서신호를 구분하여 외부광에 의한 노이즈를 제거한다. The
신호변환부(130)는 연산부(155)에 의해 검출된 최빈값에 대응하는 데이터를 신호변환하고 제어부(110)는 신호변환부(130)의 데이터를 바탕으로 객체와의 거리를 산출한다. The signal conversion unit 130 converts the data corresponding to the most frequent value detected by the
도 4 는 본 발명의 일 실시예에 따른 라이다 장치의 데이터 시뮬레이션을 설명하는 데 참조되는 도이다. 4 is a diagram referenced to explain data simulation of a lidar device according to an embodiment of the present invention.
선형화부(152)는 최적화부(154)에서 기계 학습을 수행하기 전, 지수데이터를 선형데이터로 변환한다. The
선형화부(152)는 도 4의 (a)에 도시된 바와 같이, 히스토그램 데이터의 지수데이터를 로그화 하여 선형데이터로 변환하며, 예측함수와 피팅(Fitting)을 위하여, 히스토그램의 카운트값(count)인 y값에 ln을 취하여 선형데이터로 변환한다.As shown in (a) of FIG. 4, the
선형화부(152)는 도 4의 (b)에 도시된 바와 같이, 지수데이터를 선형데이터로 변환한다. As shown in (b) of FIG. 4, the
예측함수는 다음 수학식 1과 같다. The prediction function is as shown in
도 5 는 본 발명의 일 실시예에 따른 라이다 장치의 예측함수를 이용한 차이값 산출방법을 설명하는 데 참조되는 도이다. 5 is a diagram referenced to explain a method for calculating a difference value using a predictive function of a lidar device according to an embodiment of the present invention.
도 5에 도시된 바와 같이, 차이값연산부(153)는 앞서 설명한 예측함수를 기반으로 실제 데이터와의 차이를 산출하고 MSE(Mean Square Error)를 통해 함수화를 수행한다. As shown in FIG. 5 , the
차이값연산부(153)는 다음 수학식 2와 같이 실제 데이터와의 차이를 함수화 하여 코스트함수를 산출한다. The
W는 가중치이고, b는 편향성(bias)이다. W is the weight and b is the bias.
코스트함수는 w1을 시작포인트(P1)으로 하여, 각 구간을 리터레이션(Literatuin)하고(L3, L4), 마지막 값(wn)의 수렴값을 갖는다. The cost function uses w1 as the starting point (P1), literates each section (L3, L4), and has a convergence value of the final value (wn).
도 6 은 본 발명의 일 실시예에 따른 라이다 장치의 가중치 최적화 방법을 설명하는데 데 참조되는 도이다. 6 is a diagram referenced to explain a weight optimization method of a lidar device according to an embodiment of the present invention.
최적화부(154)는 차이값연산부(153)에서 산출된 코스트함수에 대하여, 함수의 기울기 변화율을 산출하여 가중치와 편향성을 학습한다. The
최적화부(154)는 수학식 3과 같이 가중치와 편향성을 학습한다. The
W는 가중치이고, b는 편향성(bias)이다. W is the weight and b is the bias.
도 6에 도시된 바와 같이, 최적화부(154)는 가중치와 편향성을 반복 학습함으로써, 가중치를 최적화 한다.As shown in FIG. 6 , the
초기에 분산되어 있던 가중치 값은, 기계 학습을 통해 하나의 수치로 최적화된다. The initially distributed weight values are optimized to a single value through machine learning.
최적화부(154)는 코스트함수의 기울기 변화율을 산출하고, 기울기 변화율에 대응하여 변곡점을 향한 가중치와 편향성을 학습한다. 최적화부(154)는 2차계수가 양수인 2차 함수의 경우 기울기 변화율의 최소값을 변곡점(C1)으로 설정하여 가중치와 편향성을 학습한다. The
도 7 은 본 발명의 일 실시예에 따른 라이다 장치의 예측함수에 대한 디코딩 방법을 설명하는 데 참조되는 도이다. 7 is a reference diagram for explaining a decoding method for a predictive function of a LIDAR device according to an embodiment of the present invention.
디코딩부(156)는 최적화부(154)에서 학습된 가중치(W)와 편향성(b)을 통해, 기존의 예측함수의 값을 도출한다. The
도 7의 (a)에 도시된 바와 같이, 디코딩부(156)는 x와 ln(y)의 함수에 최적화부(154)에서 최적화된 가중치와 편향성을 적용하여 수학식 1의 예측함수에서 j, k 값을 도출한다. As shown in (a) of FIG. 7, the
디코딩부(156)는 도 7에 (b)에 도시된 바와 같이, 선형화된 데이터를 지수데이터로 변환하여 재함수화 한다. As shown in (b) of FIG. 7, the
도 8 은 본 발명의 일 실시예에 따른 라이다 장치의 노이즈 데이터 시뮬레이션을 설명하는 데 참조되는 도이다. 8 is a reference diagram for explaining noise data simulation of a lidar device according to an embodiment of the present invention.
도 8의 (a)에 도시된 바와 같이, 외부광 등에 의한 노이즈로 인하여 왜곡된 데이터(L11)가 히스토그램에 포함된다. As shown in (a) of FIG. 8 , data L11 distorted due to noise caused by external light or the like is included in the histogram.
선형화부(152)는 히스토그램의 지수데이터를 로그화하여 도 8의 (b)에 도시된 바와 같이, 선형데이터로 변환한다. The
선형화부(152)에서 선형데이터로 변환함으로써, 데이터 연산량이 감소한다. By converting into linear data in the
차이값연산부(153)는 실제값과 예측값의 차이를 연산하고, 최적화부(154)는 차이값을 기반으로 가중치 및 편향성 학습하여 앞서 설명한 도 6과 같이 가중치를 최적화한다. The
도 9 는 본 발명의 일 실시예에 따른 라이다 장치의 노이즈 데이터 시뮬레이션 결과가 도시된 도이다. 9 is a diagram illustrating simulation results of noise data of a lidar device according to an embodiment of the present invention.
도 9의 (a)에 도시된 바와 같이, 최적화부(154)에 의해 가중치가 최적화되면, 디코딩부(156)는 이를 예측함수에 적용하여 예측함수의 데이터를 산출한다. As shown in (a) of FIG. 9 , when the weights are optimized by the
디코딩부(156)는 예측함수의 데이터를 바탕으로, 선형화된 데이터를 다시 지수데이터로 변환한다. The
디코딩부(156)는 가중치 최적화를 통해 노이즈가 제거된 히스토그램을 출력한다. The
연산부(155)는 도 9의 (b)에 도시된 바와 같이, 히스토그램 데이터에서 피크값을 검출하여, 피크값에 해당하는 TCD값을 유효한 값으로 판단한다. 그에 따라 연산부(155)는 라이다 센서의 신호 중 외부광에 의한 노이즈와 센서의 신호를 구분하여 노이즈를 제거함으로써, 센서 데이터를 보정한다(L12, L13).As shown in (b) of FIG. 9 , the
연산부(155)는 외부광에 의한 신호를 필터링하여 히스토그램 데이터로부터 노이즈를 제거한다. The
도 10 은 본 발명의 일 실시예에 따른 라이다 장치의 동작방법을 설명하는 데 참조되는 도이다.10 is a reference diagram for explaining a method of operating a lidar device according to an embodiment of the present invention.
도 10에 도시된 바와 같이, 라이다 센서(LIDAR)(140)가 동작하며, 송신부(141)의 복수의 광원이 빛을 조사한다(S310). 조사된 빛은 객체에 반사되고, 반사된 빛이 라이다 센서(LIDAR)(140)의 수신부(142)로 입사된다. 이때 라이다 센서(LIDAR)(140)의 수신부(142)는 송신된 빛뿐 아니라 외부 광이 입사되어 노이즈로 작용할 수 있다. As shown in FIG. 10, the lidar sensor (LIDAR) 140 operates, and a plurality of light sources of the
학습부(150)는 라이다 센서(LIDAR)(140)의 수신 데이터를 기계 학습 기반으로 처리하여 외부광과 신호를 구분하고 노이즈를 제거한다. The
학습부(150)의 데이터처리부(151)는 라이다 센서(LIDAR)(140)의 데이터를 히스토그램으로 생성하고(S320), 데이터를 후처리 한다(S330). The
선형화부(152)는 히스토그램의 지수데이터를 로그화하여 선형데이터로 변환한다(S340). 선형화부(152)는 예측함수를 이용하여 히스토그램의 카운트값에 로그함수를 적용하여 선형화 한다. The
차이값연산부(153)는 선형데이터에 대하여, 예측함수에서의 예측값과 실제값의 차이를 연산한다. 차이값연산부(153)는 최소 평균 제곱(LMS, Least Mean Square)연산으로 차이값을 연산한다(S350). The
최적화부(154)는 차이값연산부(153)에서 산출되는 코스트함수를 이용하여 가중치와 편향성을 반복 학습하여 최적화한다(S360). The
최적화부(154)는 산출되는 가중치와 편향성을 피드백하고, 차이값연산부(153)는 차이값이 설정값보다 작은 값이 산출되기 까지 연산을 반복한다(S370). The
디코딩부(156)는 최적화부(154)에서 학습된 가중치(W)와 편향성(b)을 통해, 기존의 예측함수의 값을 도출하여, 선형데이터를 로그데이터로 변환한다(S380). The
연산부(155)는 필터링을 통해 변환된 노이즈를 제거하고, 노이즈가 제거된 히스토그램 데이터를 분석하여 피크값을 검출한다. 연산부(155)는 피크값에 대응되는 라이다 센서의 데이터를 유효값으로 판단한다(S400). The
신호변환부(130)는 연산부(1550)에서 검출된 데이터를 변환하여 제어부(110)로 인가하고, 제어부(110)는 인가되는 데이터의 송신시간과 수신시간의 차이에 대응하여 객체와의 거리를 산출한다(S420). The signal conversion unit 130 converts the data detected by the operation unit 1550 and applies it to the
그에 따라 본 발명은 거리에 따라 라이다 센서(LIDAR)(140)의 해상도를 가변제어하여 객체에 대한 인식 성능을 향상시키면서 라이다 센서(LIDAR)(140)의 동작을 최적화하고 발열 및 노이즈에 따른 문제를 해소할 수 있다. Accordingly, the present invention variably controls the resolution of the lidar sensor (LIDAR) 140 according to the distance to improve object recognition performance while optimizing the operation of the lidar sensor (LIDAR) 140 and reducing heat and noise. can solve the problem.
본 발명은 광 민감도가 높은 SPAD를 적용하여 객체를 감지하되, 선형화를 통해 데이터 연산량을 감소시키고, 예측값과 실제값의 차이에 대하여 반복 연산하고, 가중치를 최적화함으로써, 외부광과 센서의 신호를 구분하여 외부광에 의한 노이즈를 감쇄하여, 정확하게 객체를 감지하고 그 거리를 산출할 수 있다. The present invention detects an object by applying a SPAD with high light sensitivity, reduces the amount of data calculation through linearization, performs iterative calculation on the difference between the predicted value and the actual value, and optimizes the weight to distinguish external light from the signal of the sensor. Thus, noise caused by external light can be attenuated, and the object can be accurately detected and the distance can be calculated.
도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야할 것이다.Although described with reference to the embodiment shown in the drawings, this is only exemplary, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention should be defined by the claims below.
110: 제어부 120: 구동부
130: 신호변환부 140: 라이다 센서
141: 송신부 142: 수신부
150: 학습부 152: 선형화부
153: 차이값연산부 154: 최적화부
155: 연산부 156: 디코딩부
160: 센서부 180: 데이터부110: control unit 120: driving unit
130: signal conversion unit 140: lidar sensor
141: transmitter 142: receiver
150: learning unit 152: linearization unit
153: difference calculation unit 154: optimization unit
155: calculation unit 156: decoding unit
160: sensor unit 180: data unit
Claims (15)
상기 라이다 센서의 수신신호를 분석하여 유효값을 검출하고 입사되는 외부 광에 의한 노이즈를 감쇄하는 학습부;
상기 학습부에 의해 검출된 유효값에 대응하여, 신호의 송신시간과 수신시간의 차이를 측정하는 신호변환부; 및
상기 신호변환부에서 측정된 차이를 바탕으로 상기 객체와의 거리를 산출하는 제어부; 를 포함하고,
상기 학습부는, 상기 라이다 센서의 수신신호를 선형화하여 데이터 연산량을 감소시키고, 선형화된 데이터의 예측값과 실제값의 차이를 기반으로 가중치를 최적화하여 상기 유효값을 산출하는 것을 특징으로 하는 라이다 장치. A lidar sensor (LIDAR) for detecting an object to be sensed by irradiating light and measuring a distance to the object;
a learning unit that analyzes the received signal of the lidar sensor to detect a valid value and attenuates noise caused by incident external light;
a signal conversion unit measuring a difference between a transmission time and a reception time of a signal in response to the valid value detected by the learning unit; and
a control unit for calculating a distance to the object based on the difference measured by the signal conversion unit; including,
The learning unit linearizes the received signal of the lidar sensor to reduce the amount of data operation, and calculates the effective value by optimizing a weight based on a difference between a predicted value and an actual value of the linearized data. .
상기 학습부는,
상기 라이다 센서의 수신 신호를 기반으로 생성된 지수데이터를 선형데이터로 변환하는 선형화부;
상기 선형화부의 선형데이터의 예측값과 실제값의 차이를 연산하여 함수를 생성하는 차이값연산부; 및
상기 함수의 기울기 변화율에 대응하여 상기 가중치와 편향성을 학습하고, 상기 가중치를 최적화하는 최적화부; 를 포함하는 라이다 장치.According to claim 1,
The learning unit,
A linearization unit for converting index data generated based on the received signal of the lidar sensor into linear data;
a difference calculation unit generating a function by calculating a difference between a predicted value and an actual value of the linear data of the linearization unit; and
an optimization unit that learns the weights and biases in response to the gradient change rate of the function and optimizes the weights; Lidar device comprising a.
상기 학습부는
상기 라이다 센서의 수신 신호를 히스토그램으로 생성하는 데이터처리부;
상기 가중치를 기반으로, 상기 선형데이터를 지수데이터로 변환하는 디코딩부; 및
상기 지수데이터를 바탕으로, 노이즈가 제거된 히스토그램의 피크값을 검출하여 상기 유효값을 산출하는 연산부; 를 더 포함하는 라이다 장치. According to claim 2,
The learning department
A data processing unit for generating a histogram of the received signal of the lidar sensor;
a decoding unit that converts the linear data into exponential data based on the weight; and
a calculator configured to calculate the effective value by detecting a peak value of a histogram from which noise is removed based on the exponential data; A lidar device further comprising a.
상기 선형화부는 히스토그램의 상기 지수데이터를 로그화하여 선형데이터로 변환하는 것을 특징으로 하는 라이다 장치.According to claim 2,
LiDAR device, characterized in that the linearization unit converts the logarithmic data of the histogram into linear data.
상기 선형화부는 예측함수를 이용하여 히스토그램의 카운트값에 로그함수를 적용하여 선형화하는 것을 특징으로 하는 라이다 장치.According to claim 4,
LiDAR device, characterized in that the linearization unit linearizes by applying a logarithmic function to the count value of the histogram using a prediction function.
상기 차이값연산부는 예측값과 실제값의 차이를 최소 평균 제곱(LMS, Least Mean Square) 으로 연산하고, 평균 제곱 오차(MSE, Mean Square Error)를 통해 함수화하는 것을 특징으로 하는 라이다 장치. According to claim 2,
LiDAR device, characterized in that the difference value calculation unit calculates the difference between the predicted value and the actual value as a least mean square (LMS), and functions through a mean square error (MSE).
상기 최적화부는 상기 함수의 기울기 변화율을 산출하여 가중치와 편향성을 학습하고, 상기 차이가 설정값 미만이 되기까지 학습을 반복하여 기울기를 최적화하는 것을 특징으로 하는 라이다 장치.According to claim 2,
The optimization unit calculates the gradient change rate of the function to learn weights and biases, and optimizes the gradient by repeating the learning until the difference is less than the set value.
상기 디코딩부는 상기 최적화부에서 학습된 가중치와 편향성을 이용하여 상기 함수의 데이터를 산출하고, 산출된 데이터에 근거하여 선형데이터를 지수데이터로 재함수화하는 것을 특징으로 하는 라이다 장치. According to claim 3,
LiDAR device, characterized in that the decoding unit calculates the data of the function using the weights and biases learned in the optimization unit, and re-functions linear data into exponential data based on the calculated data.
상기 연산부는 재함수화된 데이터의 피크값을 검출하고, 상기 피크값에 대응하는 상기 신호변환부의 데이터를 상기 유효값으로 하는 것을 특징으로 하는 라이다 장치. According to claim 3,
LiDAR device, characterized in that the calculation unit detects the peak value of the refunctionalized data, and the data of the signal conversion unit corresponding to the peak value as the effective value.
상기 라이다 센서의 수신신호를 선형화하여 데이터 연산량을 감소시키는 단계;
선형화된 데이터의 예측값과 실제값의 차이를 기반으로 가중치를 최적화하여 상기 라이다 센서의 수신신호 중 유효값을 검출하는 단계;
상기 유효값을 기반으로 상기 라이다 센서의 수신신호 중 외부 광에 의한 노이즈를 감쇄하는 단계;
상기 유효값에 대응하는 신호의 송신시간과 수신시간의 차이를 측정하는 단계; 및
상기 송신시간과 수신시간의 차이를 바탕으로 객체와의 거리를 산출하는 단계; 를 포함하는 라이다 장치의 동작방법.A lidar sensor (LIDAR) operating to irradiate light;
Linearizing the received signal of the lidar sensor to reduce the amount of data calculation;
Detecting a valid value among the received signals of the lidar sensor by optimizing a weight based on a difference between a predicted value and an actual value of the linearized data;
Attenuating noise caused by external light among the received signals of the lidar sensor based on the effective value;
measuring a difference between a transmission time and a reception time of a signal corresponding to the effective value; and
calculating a distance to an object based on a difference between the transmission time and the reception time; Method of operating a lidar device comprising a.
상기 라이다 센서의 수신신호를 선형화하는 경우,
상기 라이다 센서의 수신 신호를 기반으로 생성된 히스토그램의 지수데이터를 로그화하여 선형데이터로 변환하는 것을 특징으로 하는 라이다 장치의 동작방법.According to claim 10,
When linearizing the received signal of the lidar sensor,
Method of operating a lidar device, characterized in that for converting the index data of the histogram generated on the basis of the received signal of the lidar sensor into linear data.
상기 라이다 센서의 수신신호를 선형화하는 경우,
예측함수를 이용하여 상기 히스토그램의 카운트값에 로그함수를 적용하여 선형화하는 것을 특징으로 하는 라이다 장치의 동작방법. According to claim 11,
When linearizing the received signal of the lidar sensor,
Method of operating a lidar device, characterized in that for linearization by applying a log function to the count value of the histogram using a prediction function.
상기 유효값을 검출하는 단계는,
상기 선형화된 데이터의 예측값과 실제값의 차이를 연산하는 단계;
상기 차이에 대응하는 함수를 생성하는 단계; 및
상기 함수의 기울기 변화율에 대응하여 가중치와 편향성을 학습하는 단계; 를 포함하는 라이다 장치의 동작방법.According to claim 10,
In the step of detecting the valid value,
calculating a difference between a predicted value and an actual value of the linearized data;
generating a function corresponding to the difference; and
learning weights and biases in response to the gradient change rate of the function; Method of operating a lidar device comprising a.
상기 유효값을 검출하는 단계는,
기계 학습을 통해 상기 차이를 연산하는 단계 내지 상기 학습하는 단계를 상기 차이가 설정값 미만이 되기까지 반복하여, 상기 가중치를 최적화하는 단계; 를 더 포함하는 라이다 장치의 동작방법. According to claim 13,
In the step of detecting the valid value,
optimizing the weight by repeating the step of calculating the difference through machine learning until the step of learning is less than the set value; Method of operating a lidar device further comprising a.
상기 유효값을 검출하는 단계는,
상기 가중치를 기반으로, 선형데이터를 지수데이터로 변환하여 재함수화하는 단계; 및
상기 지수데이터를 바탕으로, 노이즈가 제거된 히스토그램의 피크값을 검출하여 상기 유효값을 산출하는 단계를 포함하는 라이다 장치의 동작방법. According to claim 13,
In the step of detecting the valid value,
Based on the weight, converting linear data into exponential data and re-functionalizing it; and
Based on the index data, a method of operating a lidar device comprising the step of calculating the effective value by detecting the peak value of the histogram from which noise is removed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220001349A KR20230105834A (en) | 2022-01-05 | 2022-01-05 | Lidar apparatus and operating method for the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220001349A KR20230105834A (en) | 2022-01-05 | 2022-01-05 | Lidar apparatus and operating method for the same |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230105834A true KR20230105834A (en) | 2023-07-12 |
Family
ID=87163609
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220001349A KR20230105834A (en) | 2022-01-05 | 2022-01-05 | Lidar apparatus and operating method for the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20230105834A (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101877388B1 (en) | 2016-07-21 | 2018-07-11 | 엘지전자 주식회사 | Lidar apparatus for Vehicle |
-
2022
- 2022-01-05 KR KR1020220001349A patent/KR20230105834A/en unknown
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101877388B1 (en) | 2016-07-21 | 2018-07-11 | 엘지전자 주식회사 | Lidar apparatus for Vehicle |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10775507B2 (en) | Adaptive transmission power control for a LIDAR | |
US8692807B2 (en) | Touch surface with a compensated signal profile | |
KR102134688B1 (en) | Optical distance measuring method and optical distance measuring device | |
JP4694484B2 (en) | Method and apparatus for optically detecting the position of an object by measuring light reflected by the object | |
US10845471B2 (en) | Extrinsic static noise characterization and removal | |
CN108303697B (en) | Ultrasonic detection method, device and system for obstacles | |
CN110456369B (en) | Flight time sensing system and distance measuring method thereof | |
CN111208490B (en) | Interference detection and mitigation for LIDAR systems | |
Jiang et al. | Glass confidence maps building based on neural networks using laser range-finders for mobile robots | |
WO2017221909A1 (en) | Distance measuring device | |
US20140355006A1 (en) | Measuring device | |
RU2016105528A (en) | Car reflex optical sensor | |
US20200041651A1 (en) | System and method for improving range resolution in a lidar system | |
JP6804949B2 (en) | Controls, measuring devices, and computer programs | |
KR20230105834A (en) | Lidar apparatus and operating method for the same | |
WO2020178701A1 (en) | System and methods for ranging operations using modulated signals | |
JP5894987B2 (en) | Apparatus, method, and computer program for measuring distance | |
CN112255637A (en) | Distance measuring system and method | |
JP6121488B2 (en) | Distance measuring sensor for object recognition and distance measurement | |
KR20230113154A (en) | Measurement device and measurement method | |
JP2016170076A (en) | Object detector, method for detecting object, and object detection program | |
KR101323196B1 (en) | Multi-touch on touch screen apparatus | |
JP2023528646A (en) | Method and apparatus for identifying contamination on protective screens of lidar sensors | |
US20150260846A1 (en) | Sensing circuit for recognizing movement and movement recognizing method thereof | |
CN113614566A (en) | Distance measurement method, distance measurement device, and program |