KR20230105834A - Lidar apparatus and operating method for the same - Google Patents

Lidar apparatus and operating method for the same Download PDF

Info

Publication number
KR20230105834A
KR20230105834A KR1020220001349A KR20220001349A KR20230105834A KR 20230105834 A KR20230105834 A KR 20230105834A KR 1020220001349 A KR1020220001349 A KR 1020220001349A KR 20220001349 A KR20220001349 A KR 20220001349A KR 20230105834 A KR20230105834 A KR 20230105834A
Authority
KR
South Korea
Prior art keywords
data
unit
value
lidar
difference
Prior art date
Application number
KR1020220001349A
Other languages
Korean (ko)
Inventor
도지훈
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020220001349A priority Critical patent/KR20230105834A/en
Publication of KR20230105834A publication Critical patent/KR20230105834A/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4913Circuits for detection, sampling, integration or read-out
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/493Extracting wanted echo signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명은 라이다 장치 및 그 동작방법에 관한 것으로, 광 민감도가 높은 SPAD를 적용한 라이다 센서를 이용하여 외부 광에 의한 노이즈를 보정하고 노이즈로 인한 데이터의 왜곡을 감소시켜 검출 거리가 증가하고 객체에 대한 감지 성능을 향상시키며, 노이즈로 인한 왜곡을 감소시켜 외부환경에서도 사용할 수 있고, 측정 거리의 정확성을 향상시키는 효과가 있다. The present invention relates to a lidar device and an operating method thereof, and by using a lidar sensor to which a SPAD with high light sensitivity is applied, noise caused by external light is corrected and distortion of data due to noise is reduced to increase the detection distance and increase the object detection distance. It improves the sensing performance for , reduces distortion due to noise, can be used in an external environment, and has an effect of improving the accuracy of the measurement distance.

Description

라이다 장치 및 그 동작방법{LIDAR APPARATUS AND OPERATING METHOD FOR THE SAME} LIDAR device and its operating method {LIDAR APPARATUS AND OPERATING METHOD FOR THE SAME}

본 발명은 광 민감도가 높은 라이다 센서를 이용하여 노이즈를 감소시키면서 감지 성능을 향상시키는 라이다 장치 및 그 동작방법에 관한 것이다. The present invention relates to a lidar device that improves sensing performance while reducing noise by using a lidar sensor having high light sensitivity and an operating method thereof.

라이다(Lidar) 센서는 빛을 조사하고 조사된 빛이 물체로부터 반사된 신호를 수신하여 물체를 감지하고, 송신 신호 및 수신 신호 간의 시간을 측정하여 물체까지의 거리를 계산한다.A lidar sensor detects an object by irradiating light and receiving a signal of the irradiated light reflected from an object, and calculates the distance to the object by measuring the time between a transmission signal and a reception signal.

이러한 라이다 센서는 최근, 자동차, 드론, 로봇청소기 등 다양한 기기에 적용되는 추세이다. These lidar sensors have recently been applied to various devices such as automobiles, drones, and robot vacuum cleaners.

라이다 센서는, 레이저 빛을 조사하는 송신부와 반사되는 빛을 수신하는 수신부가, 2차원의 배열을 형성한다. 라이다 센서는 빛을 송수신하는 송신부와 수신부가 배열 전체를 사용하여 지속적으로 동작하므로, 감지하고자 하는 대상에 관계없이 불필요하게 전력을 소모하게 된다. In the lidar sensor, a transmitter for irradiating laser light and a receiver for receiving reflected light form a two-dimensional array. Since the lidar sensor continuously operates using the entire array of the transmitter and the receiver that transmit and receive light, power is consumed unnecessarily regardless of the object to be sensed.

라이다 센서는 송수신부를 구성하는 배열 전체를 지속적으로 사용함에 따라 열이 발생하는 문제가 있다. The lidar sensor has a problem in that heat is generated as the entire array constituting the transceiver is continuously used.

라이다 센서는 배열 전체가 지속적으로 동작하는 상태가 지속되는 경우, 라이다 센서 자체의 열화가 가속화되고 노이즈가 발생하는 등의 문제가 발생할 수 있다. When the lidar sensor continues to continuously operate the entire array, problems such as acceleration of deterioration of the lidar sensor itself and generation of noise may occur.

또한, 2차원 배열을 구성하는 2D 라이다 센서(LIDAR)는 SPAD를 이용하여 객체 감지 및 거리 산출에 효과적이나, 광 민감도가 높아서 내부 노이즈 및 야외 광에 대한 노이즈 간섭이 심하다는 문제가 있다. In addition, a 2D lidar sensor (LIDAR) constituting a two-dimensional array is effective in object detection and distance calculation using SPAD, but has a problem in that noise interference with internal noise and outdoor light is severe due to high light sensitivity.

이러한 문제를 해소하기 위하여 수신되는 데이터를 수십 내지 수백회 측정하여 히스토그램을 생성한 후 피크값을 검출하여 유효값을 판단하는 방안이 제시되고 있다. In order to solve this problem, a method of measuring received data dozens or hundreds of times to generate a histogram and then detecting a peak value to determine an effective value has been proposed.

그러나 S PAD로 구성되는 라이다 센서는 송신부에서 송출된 빛이 수신부에 도달하기 전에 외부 광이 입사됨에 따라 외부 광인지 송출된 빛인지 구분할 수 없는 문제가 있어, 제시된 방안을 이용하더라도 유효값을 산출할 수 없는 문제가 있다. However, the lidar sensor composed of SPAD has a problem in that it cannot distinguish whether it is external light or emitted light as external light is incident before the light emitted from the transmitter reaches the receiver, so even if the proposed method is used, an effective value is calculated. There is a problem you can't do.

또한, 히스토그램을 이용한 유효값 선정에 있어서 처리해야 하는 데이터량의 증가로 연산부하가 증가하고, 소규모 장치에는 적용하기 어려운 문제가 있다. In addition, the calculation load increases due to the increase in the amount of data to be processed in selecting valid values using the histogram, and there is a problem that it is difficult to apply to small-scale devices.

대한민국 등록특허 제10-1877388호에는 라이다 장치의 동작과 관련된 기술이 설명되어 있다. Republic of Korea Patent Registration No. 10-1877388 describes a technique related to the operation of the LIDAR device.

대한민국 공개특허 제10-1877388호Republic of Korea Patent Publication No. 10-1877388

본 발명은 광 민감도가 높은 SPAD를 적용한 라이다 센서를 이용하여 데이터량을 용이하게 처리하고 외부 광에 의한 노이즈를 보정하고 노이즈로 인한 데이터의 왜곡을 감소시켜 객체 감지 성능을 개선하는 라이다 장치 및 그 동작방법을 제공하는 데 그 목적이 있다. The present invention is a lidar device that improves object detection performance by easily processing the amount of data, correcting noise caused by external light, and reducing distortion of data due to noise by using a lidar sensor to which a SPAD with high light sensitivity is applied, and Its purpose is to provide the operation method.

상기한 목적을 달성하기 위하여 본 발명에 따른 라이다 장치는, 빛을 조사하여 감지 대상인 객체를 감지하고 상기 객체와의 거리를 측정하는 라이다 센서(LIDAR); 상기 라이다 센서의 수신신호를 분석하여 유효값을 검출하고 입사되는 외부 광에 의한 노이즈를 감쇄하는 학습부; 상기 학습부에 의해 검출된 유효값에 대응하여, 신호의 송신시간과 수신시간의 차이를 측정하는 신호변환부; 및 상기 신호변환부에서 측정된 차이를 바탕으로 상기 객체와의 거리를 산출하는 제어부; 를 포함하고, 상기 학습부는, 상기 라이다 센서의 수신신호를 선형화하여 데이터 연산량을 감소시키고, 선형화된 데이터의 예측값과 실제값의 차이를 기반으로 가중치를 최적화하여 상기 유효값을 산출하는 것을 특징으로 한다. LiDAR device according to the present invention in order to achieve the above object, a lidar sensor (LIDAR) for detecting an object to be sensed by irradiating light and measuring a distance to the object; a learning unit that analyzes the received signal of the lidar sensor to detect a valid value and attenuates noise caused by incident external light; a signal conversion unit measuring a difference between a transmission time and a reception time of a signal in response to the valid value detected by the learning unit; and a control unit calculating a distance to the object based on the difference measured by the signal conversion unit. The learning unit linearizes the received signal of the lidar sensor to reduce the amount of data operation, and calculates the effective value by optimizing a weight based on a difference between a predicted value and an actual value of the linearized data. do.

상기 학습부는, 상기 라이다 센서의 수신 신호를 기반으로 생성된 지수데이터를 선형데이터로 변환하는 선형화부; 상기 선형화부의 선형데이터의 예측값과 실제값의 차이를 연산하여 함수를 생성하는 차이값연산부; 및 상기 함수의 기울기 변화율에 대응하여 상기 가중치와 편향성을 학습하고, 상기 가중치를 최적화하는 최적화부; 를 포함한다. The learning unit may include: a linearization unit converting index data generated based on the received signal of the lidar sensor into linear data; a difference calculation unit generating a function by calculating a difference between a predicted value and an actual value of the linear data of the linearization unit; and an optimization unit that learns the weights and biases in response to the gradient change rate of the function and optimizes the weights. includes

상기 학습부는 상기 라이다 센서의 수신 신호를 히스토그램으로 생성하는 데이터처리부; 상기 가중치를 기반으로, 상기 선형데이터를 지수데이터로 변환하는 디코딩부; 및 상기 지수데이터를 바탕으로, 노이즈가 제거된 히스토그램의 피크값을 검출하여 상기 유효값을 산출하는 연산부; 를 더 포함한다. The learning unit data processing unit for generating a histogram of the received signal of the lidar sensor; a decoding unit that converts the linear data into exponential data based on the weight; and a calculation unit configured to calculate the valid value by detecting a peak value of the histogram from which noise is removed based on the index data. more includes

상기 선형화부는 히스토그램의 상기 지수데이터를 로그화하여 선형데이터로 변환하는 것을 특징으로 한다. The linearizer may log the exponential data of the histogram and convert it into linear data.

상기 선형화부는 예측함수를 이용하여 히스토그램의 카운트값에 로그함수를 적용하여 선형화하는 것을 특징으로 한다. The linearizer is characterized in that the linearization is performed by applying a logarithmic function to the count values of the histogram using a prediction function.

상기 차이값연산부는 예측값과 실제값의 차이를 최소 평균 제곱(LMS, Least Mean Square) 으로 연산하고, 평균 제곱 오차(MSE, Mean Square Error)를 통해 함수화하는 것을 특징으로 한다. The difference calculation unit is characterized in that the difference between the predicted value and the actual value is calculated as a least mean square (LMS) and functionalized through a mean square error (MSE).

상기 최적화부는 상기 함수의 기울기 변화율을 산출하여 가중치와 편향성을 학습하고, 상기 차이가 설정값 미만이 되기까지 학습을 반복하여 기울기를 최적화하는 것을 특징으로 한다. The optimization unit calculates a gradient change rate of the function to learn weights and biases, and optimizes the gradient by repeating learning until the difference becomes less than a set value.

상기 디코딩부는 상기 최적화부에서 학습된 가중치와 편향성을 이용하여 상기 함수의 데이터를 산출하고, 산출된 데이터에 근거하여 선형데이터를 지수데이터로 재함수화하는 것을 특징으로 한다. The decoding unit calculates data of the function using the weights and biases learned in the optimization unit, and refunctionalizes linear data into exponential data based on the calculated data.

상기 연산부는 재함수화된 데이터의 피크값을 검출하고, 상기 피크값에 대응하는 상기 신호변환부의 데이터를 상기 유효값으로 하는 것을 특징으로 한다.The operation unit detects a peak value of the refunctionalized data, and sets data of the signal conversion unit corresponding to the peak value as the effective value.

본 발명에 따른 라이다 장치의 동작방법은, 라이다 센서(LIDAR)가 동작하여 빛을 조사하는 단계; 상기 라이다 센서의 수신신호를 선형화하여 데이터 연산량을 감소시키는 단계; 선형화된 데이터의 예측값과 실제값의 차이를 기반으로 가중치를 최적화하여 상기 라이다 센서의 수신신호 중 유효값을 검출하는 단계; 상기 유효값을 기반으로 상기 라이다 센서의 수신신호 중 외부 광에 의한 노이즈를 감쇄하는 단계; 상기 유효값에 대응하는 신호의 송신시간과 수신시간의 차이를 측정하는 단계; 및 상기 송신시간과 수신시간의 차이를 바탕으로 객체와의 거리를 산출하는 단계; 를 포함한다. A method of operating a lidar device according to the present invention includes irradiating light by operating a lidar sensor (LIDAR); Linearizing the received signal of the lidar sensor to reduce the amount of data calculation; Detecting a valid value among the received signals of the lidar sensor by optimizing a weight based on a difference between a predicted value and an actual value of the linearized data; Attenuating noise caused by external light among the received signals of the lidar sensor based on the effective value; measuring a difference between a transmission time and a reception time of a signal corresponding to the effective value; and calculating a distance to the object based on the difference between the transmission time and the reception time. includes

상기 라이다 센서의 수신신호를 선형화하는 경우, 상기 라이다 센서의 수신 신호를 기반으로 생성된 히스토그램의 지수데이터를 로그화하여 선형데이터로 변환하는 것을 특징으로 한다. In the case of linearizing the received signal of the lidar sensor, it is characterized in that the index data of the histogram generated based on the received signal of the lidar sensor is logarithmic and converted into linear data.

상기 라이다 센서의 수신신호를 선형화하는 경우, 예측함수를 이용하여 상기 히스토그램의 카운트값에 로그함수를 적용하여 선형화하는 것을 특징으로 한다. In the case of linearizing the received signal of the lidar sensor, it is characterized in that the linearization is performed by applying a logarithmic function to the count value of the histogram using a prediction function.

상기 유효값을 검출하는 단계는, 상기 선형화된 데이터의 예측값과 실제값의 차이를 연산하는 단계; 상기 차이에 대응하는 함수를 생성하는 단계; 및 상기 함수의 기울기 변화율에 대응하여 가중치와 편향성을 학습하는 단계; 를 포함한다. The detecting of the effective value may include calculating a difference between a predicted value and an actual value of the linearized data; generating a function corresponding to the difference; and learning weights and biases in response to the gradient change rate of the function. includes

상기 유효값을 검출하는 단계는, 기계 학습을 통해 상기 차이를 연산하는 단계 내지 상기 학습하는 단계를 상기 차이가 설정값 미만이 되기까지 반복하여, 상기 가중치를 최적화하는 단계; 를 더 포함한다. The step of detecting the valid value may include: optimizing the weight by repeating the step of calculating the difference through machine learning to the step of learning until the difference becomes less than a set value; more includes

상기 유효값을 검출하는 단계는, 상기 가중치를 기반으로, 선형데이터를 지수데이터로 변환하여 재함수화하는 단계; 및 상기 지수데이터를 바탕으로, 노이즈가 제거된 히스토그램의 피크값을 검출하여 상기 유효값을 산출하는 단계를 포함한다. The detecting of the effective value may include re-functionalizing linear data by converting the linear data into exponential data based on the weight; and calculating the effective value by detecting a peak value of the histogram from which noise is removed based on the index data.

일 측면에 따르면, 본 발명의 라이다 장치 및 그 동작방법은 광 민감도가 높은 SPAD를 적용한 라이다 센서를 이용하여 검출 거리가 증가하고 객체에 대한 감지 성능을 향상시키는 효과가 있다. According to one aspect, the lidar device and its operating method of the present invention have the effect of increasing the detection distance and improving the sensing performance for an object by using a lidar sensor to which a SPAD with high light sensitivity is applied.

본 발명의 일 측면에 따르면, 높은 광 민감도로 인하여 발생하는 노이즈를 감쇄하고 노이즈로 인한 왜곡을 감소시켜 외부환경에서도 사용할 수 있고, 측정 거리의 정확성을 향상시키는 효과가 있다. According to one aspect of the present invention, it can be used in an external environment by attenuating noise generated due to high light sensitivity and reducing distortion due to noise, and has an effect of improving accuracy of measurement distance.

본 발명은 히스토그램 처리로 인한 다량의 데이터를 학습을 통해 감소시켜 연산 부하가 감소하고 빠른 처리를 통해 효율성을 향상시키는 효과가 있다. The present invention has an effect of reducing a large amount of data due to histogram processing through learning to reduce computational load and improving efficiency through fast processing.

도 1 은 본 발명의 일 실시예에 따른 라이다 장치의 구성이 도시된 도이다.
도 2 는 도 1 의 학습부의 구성이 도시된 블럭도이다.
도 3 은 본 발명의 일 실시예에 따른 라이다 장치의 데이터 처리에 따른 흐름이 도시된 흐름도이다.
도 4 는 본 발명의 일 실시예에 따른 라이다 장치의 데이터 시뮬레이션을 설명하는 데 참조되는 도이다.
도 5 는 본 발명의 일 실시예에 따른 라이다 장치의 예측함수를 이용한 차이값 산출방법을 설명하는 데 참조되는 도이다.
도 6 은 본 발명의 일 실시예에 따른 라이다 장치의 가중치 최적화 방법을 설명하는데 데 참조되는 도이다.
도 7 은 본 발명의 일 실시예에 따른 라이다 장치의 예측함수에 대한 디코딩 방법을 설명하는 데 참조되는 도이다.
도 8 은 본 발명의 일 실시예에 따른 라이다 장치의 노이즈 데이터 시뮬레이션을 설명하는 데 참조되는 도이다.
도 9 는 본 발명의 일 실시예에 따른 라이다 장치의 노이즈 데이터 시뮬레이션 결과가 도시된 도이다.
도 10 은 본 발명의 일 실시예에 따른 라이다 장치의 동작방법을 설명하는 데 참조되는 도이다.
1 is a diagram showing the configuration of a lidar device according to an embodiment of the present invention.
2 is a block diagram showing the configuration of the learning unit of FIG. 1;
3 is a flowchart illustrating a flow according to data processing of a lidar device according to an embodiment of the present invention.
4 is a diagram referenced to explain data simulation of a lidar device according to an embodiment of the present invention.
5 is a diagram referenced to explain a method for calculating a difference value using a predictive function of a lidar device according to an embodiment of the present invention.
6 is a diagram referenced to explain a weight optimization method of a lidar device according to an embodiment of the present invention.
7 is a reference diagram for explaining a decoding method for a predictive function of a LIDAR device according to an embodiment of the present invention.
8 is a reference diagram for explaining noise data simulation of a lidar device according to an embodiment of the present invention.
9 is a diagram illustrating simulation results of noise data of a lidar device according to an embodiment of the present invention.
10 is a reference diagram for explaining a method of operating a lidar device according to an embodiment of the present invention.

이하, 첨부된 도면들을 참조하여 본 발명을 설명하도록 한다.Hereinafter, the present invention will be described with reference to the accompanying drawings.

이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로써 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In this process, the thickness of lines or the size of components shown in the drawings may be exaggerated for clarity and convenience of explanation. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of a user or operator. Therefore, definitions of these terms will have to be made based on the content throughout this specification.

도 1 은 본 발명의 일 실시예에 따른 라이다 장치의 구성이 도시된 도이다. 1 is a diagram showing the configuration of a lidar device according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 라이다 장치는, 라이다 센서(140), 구동부(120), 신호변환부(130), 학습부(150), 센서부(160), 데이터부(180), 및 제어부(110)를 포함한다. As shown in FIG. 1, the lidar device includes a lidar sensor 140, a driving unit 120, a signal conversion unit 130, a learning unit 150, a sensor unit 160, a data unit 180, and a control unit 110.

라이다 센서(Light Detection And Ranging, LIDAR)(140)는, 감지 대상인 객체(50)에 빛을 조사하여 객체(50)의 유무를 감지하고, 객체와의 거리를 측정한다. The LIDAR sensor (Light Detection And Ranging) 140 irradiates light to the object 50 to be sensed, detects the presence or absence of the object 50, and measures a distance to the object.

라이다 센서(LIDAR)(140)는 송신부(141)와 수신부(142)로 구성되어, 송신부(141)를 통해 빛을 송출하고, 객체(50)에 반사되는 빛이 수신부(142)로 입사되면, 이를 이용하여 객체(50)의 유무를 감지하고, 빛이 반사되어 되돌아 오는 시간을 이용하여 거리를 측정하도록 구성된다. The lidar sensor (LIDAR) 140 is composed of a transmitter 141 and a receiver 142, transmits light through the transmitter 141, and when the light reflected by the object 50 is incident to the receiver 142 , It is configured to detect the presence or absence of the object 50 using this, and to measure the distance using the time when light is reflected and returned.

라이다 센서(LIDAR)(140)는 SPAD(Single Photon Avalanche Diode)로 구성되는 2D 라이다(LIDAR)이다. The lidar sensor (LIDAR) 140 is a 2D lidar (LIDAR) composed of SPAD (Single Photon Avalanche Diode).

송신부(141) 및 수신부(142)는 각각 NxM의 배열 구조로 형성된다. The transmitting unit 141 and the receiving unit 142 are each formed in an NxM array structure.

구동부(120)는 제어부(110)의 제어명령에 대응하여 라이다 센서(140)의 송신부(141) 및 수신부(142)의 구동을 제어한다. 구동부(120)는 라이다 센서(140)의 송신부(141) 및 수신부(142)의 어레이의 일부 또는 전체가 동작하도록 한다. The driving unit 120 controls driving of the transmitting unit 141 and the receiving unit 142 of the lidar sensor 140 in response to a control command of the control unit 110 . The driving unit 120 causes some or all of the arrays of the transmitting unit 141 and the receiving unit 142 of the lidar sensor 140 to operate.

구동부(120)는 제어부(110)에 의해 라이다 센서(140)의 동작모드가 설정되면, 그에 대응하여 라이다 센서(140)의 송신부(141) 및 수신부(142)의 어레이가 동작하도록 제어한다. When the operation mode of the lidar sensor 140 is set by the control unit 110, the driving unit 120 controls the array of the transmitting unit 141 and the receiving unit 142 of the lidar sensor 140 to operate in response thereto. .

구동부(120)는 송신부(141)의 복수의 광원과 수신부(142)의 복수의 포토다이오드에 대한 동작을 제어한다. The driver 120 controls operations of a plurality of light sources of the transmitter 141 and a plurality of photodiodes of the receiver 142 .

경우에 따라 구동부(120)는 송신부(141)의 복수의 광원과 수신부(142)의 복수의 포토다이오드의 적어도 일부가 동작하도록 제어할 수 있다. In some cases, the driver 120 may control at least some of the plurality of light sources of the transmitter 141 and the plurality of photodiodes of the receiver 142 to operate.

신호변환부(130)는 TDC(Time to Digital Converter) 방식으로 신호를 변환하고 또한 ADC(Analog to Digital Converter) 방식으로 신호를 변환할 수 있다. TDC는 송신시간과 수신시간의 차이를 측정하는 것이고, ADC는 신호의 강도를 측정하는 방식이다.The signal conversion unit 130 may convert a signal in a Time to Digital Converter (TDC) method and also convert a signal in an Analog to Digital Converter (ADC) method. TDC measures the difference between transmission time and reception time, and ADC measures the signal strength.

신호변환부(130)는 TDC 및 ADC 중 어느 하나의 방식을 적용하여 신호를 변환한다. The signal conversion unit 130 converts the signal by applying any one of TDC and ADC.

학습부(150)는 머신 러닝(Machine Learning)기반으로 데이터를 처리하여 학습을 수행한다. The learning unit 150 performs learning by processing data based on machine learning.

학습부(150)는 라이다 센서(140)로부터 출력되는 신호를 처리하여 신호변환부(130)로 인가한다.The learning unit 150 processes the signal output from the lidar sensor 140 and applies it to the signal conversion unit 130 .

학습부(150)는 라이다 센서의 신호를 선형화하고 실제값과의 차이를 산출하여 최적화하는 것을 반복하여 재함수화(디코딩, decoding)한다. The learning unit 150 linearizes the signal of the lidar sensor, calculates the difference from the actual value, and repeats optimization to re-function (decode).

학습부(150)는 SPAD를 이용하는 라이다 센서의 데이터를 머신러닝 기반으로 처리하여 외부 광에 의한 노이즈를 감쇄하고 데이터량을 감소시켜 신호변환부(130)로 인가한다. The learning unit 150 processes the data of the lidar sensor using the SPAD based on machine learning to attenuate noise caused by external light and reduces the amount of data, and applies the data to the signal conversion unit 130.

데이터부(180)는 라이다 센서(LIDAR)(140)의 데이터, 학습부(150)의 머신 러닝 기반 데이터 처리에 따른 학습데이터, 동작제어를 위한 데이터를 저장한다. The data unit 180 stores data of the lidar sensor (LIDAR) 140, learning data according to machine learning-based data processing of the learning unit 150, and data for motion control.

데이터부(180)는 플래시 메모리를 포함하는 적어도 하나의 저장수단을 포함하고, 경우에 따라 라이다 장치의 데이터를 저장하는 메인 메모리(미도시)와, 학습부(150)의 데이터를 저장하는 서브 메모리(미도시)를 포함할 수 있다. The data unit 180 includes at least one storage unit including a flash memory, and in some cases, a main memory (not shown) for storing the data of the lidar device and a sub-store for storing the data of the learning unit 150. A memory (not shown) may be included.

센서부(160)는 조도센서를 포함한다. 센서부(160)는 복수의 센서를 포함하여 온도, 습도, 전압 및 전류를 감지할 수 있다.The sensor unit 160 includes an illuminance sensor. The sensor unit 160 may include a plurality of sensors to sense temperature, humidity, voltage, and current.

조도센서는 주변의 밝기를 감지하여 신호를 입력한다. 조도센서는 외부 광을 감지하여 신호를 입력한다. The illuminance sensor detects ambient brightness and inputs a signal. The illuminance sensor detects external light and inputs a signal.

제어부(110)는 라이다 센서(140)에 대한 동작모드를 설정하여 구동부(120)로 제어명령을 인가하고, 신호변환부(130)로부터 입력되는 데이터를 바탕으로 객체의 유무 및 객체까지의 거리를 산출한다. The control unit 110 sets an operation mode for the lidar sensor 140, applies a control command to the driving unit 120, and based on the data input from the signal conversion unit 130, the presence or absence of an object and the distance to the object. yields

제어부(110)는 SPAD가 적용된 라이다 센서(LIDAR)(140)의 데이터 및 데이터의 노이즈를 감쇄시키는 과정에서 학습된 학습부(150)의 데이터를 데이터부(180)에 저장한다. The control unit 110 stores the data of the LIDAR sensor 140 to which the SPAD is applied and the data of the learning unit 150 learned in the process of attenuating the noise of the data in the data unit 180.

제어부(110)는 센서부(160)에 의해 입력되는 데이터를 학습부(150)로 인가하여, 주변 환경에 대한 정보를 제공한다. The control unit 110 applies data input by the sensor unit 160 to the learning unit 150 to provide information about the surrounding environment.

제어부(110)는 신호변환부(130)로부터 송신시간과 수신시간 사이의 차이(Δt), 즉 소요시간이 입력되면, 이를 바탕으로 객체와의 거리를 산출한다. When the difference (Δt) between the transmission time and the reception time, that is, the required time is input from the signal conversion unit 130, the control unit 110 calculates the distance to the object based on this.

제어부(110)는 라이다 장치 또는 객체의 이동에 대응하여 일정시간 주기로 거리를 반복하여 산출하고 그에 대한 데이터를 출력할 수 있다. The control unit 110 may repeatedly calculate the distance at regular time intervals corresponding to the movement of the lidar device or object, and output data therefor.

예를 들어, 제어부(110)는, 라이다 장치가 자동차에 설치되는 경우, 자동차의 메인제어부로 객체와의 거리에 대한 정보를 전송할 수 있다. For example, when a lidar device is installed in a vehicle, the controller 110 may transmit information about the distance to the object to the main controller of the vehicle.

도 2 는 도 1 의 학습부의 구성이 도시된 블럭도이다.2 is a block diagram showing the configuration of the learning unit of FIG. 1;

도 2에 도시된 바와 같이, 학습부(150)는 데이터처리부(151), 선형화부(152), 차이값연산부(153), 최적화부(154), 연산부(155) 및 디코딩부(156)를 포함한다. As shown in FIG. 2, the learning unit 150 includes a data processing unit 151, a linearization unit 152, a difference calculation unit 153, an optimization unit 154, a calculation unit 155, and a decoding unit 156. include

데이터처리부(151)는 제어부(110)의 제어명령에 따라 라이다 센서(LIDAR)(140)의 데이터를 처리한다. The data processing unit 151 processes data of the lidar sensor (LIDAR) 140 according to the control command of the control unit 110.

데이터처리부(151)는 라이다 센서(LIDAR)(140)의 수신신호를 기반으로 히스토그램을 생성하고 데이터를 후처리 한다. The data processing unit 151 generates a histogram based on the received signal of the lidar sensor (LIDAR) 140 and post-processes the data.

데이터처리부(151)는 라이다 센서(LIDAR)(140)의 데이터 외, 센서부(160)의 조도센서로부터 외부광 감지신호가 입력되면 이를 입력받아 처리한다. When an external light detection signal is input from the illuminance sensor of the sensor unit 160 in addition to the data of the LIDAR sensor 140, the data processing unit 151 receives and processes it.

데이터처리부(151)는 라이다 센서(LIDAR)(140)의 데이터를 지수데이터로 변환하여 히스토그램을 생성한다. The data processing unit 151 converts the data of the lidar sensor (LIDAR) 140 into exponential data to generate a histogram.

선형화부(152)는 기계 학습(machine learning)을 위하여 지수데이터(Exponential data)를 선형데이터(Linear data)로 변환한다. The linearizer 152 converts exponential data into linear data for machine learning.

선형화부(152)는 지수데이터를 로그화 하여 선형데이터로 변환한다. 선형화부(152)는 예측함수와의 피팅(Fitting)을 위하여, 히스토그램 카운트값(count)인 y값에 ln을 취하여 선형데이터로 변환한다. The linearization unit 152 transforms the exponential data into logarithmic data. The linearization unit 152 converts ln into linear data for the y value that is the histogram count value (count) for fitting with the predictive function.

차이값연산부(153)는 예측값과 실제값의 차이를 연산한다. 차이값연산부(153)는 예측값과 실제값의 차이에 대한 코스트함수를 생성한다. The difference calculation unit 153 calculates the difference between the predicted value and the actual value. The difference calculation unit 153 generates a cost function for the difference between the predicted value and the actual value.

차이값연산부(153)는 예측함수를 기반으로 실제 데이터와의 차이를 산출하고 평균 제곱 오차(MSE, Mean Square Error)를 통해 함수화를 수행한다. The difference calculation unit 153 calculates the difference from the actual data based on the prediction function and performs functionalization through mean square error (MSE).

최적화부(154)는 차이값연산부(153)에서 산출된 코스트함수에 대하여, 함수의 기울기 변화율을 산출하여 가중치와 편향성을 학습한다. The optimizer 154 calculates a gradient change rate of the function with respect to the cost function calculated by the difference value calculator 153 and learns weights and biases.

최적화부(154)는 산출되는 가중치와 편향성을 차이값연산부(153)로 피드백하여 차이값연산부(153)에서 산출되는 실제값과 예측값의 차이가 일정값 미만으로 감소할 때까지, 차이값 연산 및 가중치와 편향성에 대한 학습을 반복한다. The optimization unit 154 feeds back the calculated weight and bias to the difference value calculation unit 153, and calculates the difference value until the difference between the actual value and the predicted value calculated by the difference value calculation unit 153 is reduced to less than a certain value. Repeat learning about weights and biases.

최적화부(154)는 가중치와 편향성을 반복 학습함으로써, 가중치를 최적화한다.The optimizer 154 optimizes weights by iteratively learning weights and biases.

디코딩부(156)는 최적화부(154)에서 학습된 가중치(W)와 편향성(b)을 통해, 기존의 예측함수의 값을 도출한다. The decoding unit 156 derives a value of an existing prediction function through the weight (W) and the bias (b) learned in the optimization unit 154.

디코딩부(156)는 후술하는 수학식 1의 예측함수에서 j, k 값을 도출한다. The decoding unit 156 derives j and k values from the predictive function of Equation 1 described later.

연산부(155)는 라이다 센서(LIDAR)(140)의 신호 중 외부광에 의한 노이즈와 센서신호를 구분한다. The calculation unit 155 distinguishes between noise caused by external light and a sensor signal among signals of the LIDAR sensor 140 .

연산부(155)는 히스토그램 데이터와 예측값의 차이를 연산하고, 그에 대한 피크값을 검출한다. 연산부(155)는 검출되는 피크값에 해당하는 신호변환부(130)의 데이터값을 유효값으로 판단한다. The calculator 155 calculates the difference between the histogram data and the predicted value, and detects a peak value for the difference. The calculation unit 155 determines the data value of the signal conversion unit 130 corresponding to the detected peak value as a valid value.

연산부(155)는 신호변환부(130)의 송신시간, 수신시간 및 그 차이에 대하여, 피크값에 대응하는 송신시간, 수신시간 및 그 차이를 유효값으로 판단함으로써, 외부광과 센서신호를 구분할 수 있다. The operation unit 155 determines the transmission time and reception time corresponding to the peak value and the difference between the transmission time and the reception time of the signal conversion unit 130 as effective values, thereby distinguishing external light from the sensor signal. can

연산부(155)는 외부광에 의한 신호를 필터링하여 히스토그램 데이터로부터 노이즈를 제거한다. The calculation unit 155 removes noise from histogram data by filtering a signal caused by external light.

데이터처리부(151)는 노이즈가 제거된 데이터를 신호변환부(130)로 인가한다. The data processing unit 151 applies the noise-removed data to the signal conversion unit 130 .

도 3 은 본 발명의 일 실시예에 따른 라이다 장치의 데이터 처리에 따른 흐름이 도시된 흐름도이다. 3 is a flowchart illustrating a flow according to data processing of a lidar device according to an embodiment of the present invention.

도 3에 도시된 바와 같이, 제어부(110)로부터 라이다 센서(LIDAR)(140)가 동작하도록 제어명령이 인가되면(S110), 구동부(120)는 라이다 센서(LIDAR)(140)를 구동시킨다(S120). As shown in FIG. 3, when a control command is applied from the control unit 110 to operate the lidar sensor (LIDAR) 140 (S110), the driving unit 120 drives the lidar sensor (LIDAR) 140. It does (S120).

라이다 센서(LIDAR)(140)는 송신부(141)에 구비되는 광원을 통해 빛을 조사하며, 조사된 빛은 객체에 반사되어 수신부(142)로 입사된다.The lidar sensor (LIDAR) 140 irradiates light through a light source provided in the transmitter 141, and the irradiated light is reflected on an object and incident to the receiver 142.

학습부(150)는 라이다 센서(LIDAR)(140)의 신호를 수신하여 히스토그램을 생성하고, 기계 학습 기반으로 선형화 및 최적화를 수행하여 노이즈를 제거한다. The learning unit 150 receives the signal of the lidar sensor (LIDAR) 140, generates a histogram, and removes noise by performing linearization and optimization based on machine learning.

라이다 센서(LIDAR)(140)의 수신부(142)에는 송신부(141)로부터 송출된 신호(빛) 외에도 외부 광이 입사되므로, 학습부(150)는 외부 광에 의한 노이즈를 제거한다. Since external light in addition to the signal (light) transmitted from the transmitter 141 is incident on the receiver 142 of the LIDAR sensor 140, the learning unit 150 removes noise caused by the external light.

학습부(150)의 데이터처리부(151)는 라이다 센서(LIDAR)(140)의 데이터를 기반으로 히스토그램을 생성하고(S130), 데이터를 후처리 한다(S150). The data processing unit 151 of the learning unit 150 generates a histogram based on the data of the LIDAR sensor 140 (S130) and post-processes the data (S150).

데이터처리부(151)는 센서부(160)의 조도센서로부터 외부 광이 감지되면, 이를 반영하여 데이터 후처리를 수행한다. When external light is detected by the illuminance sensor of the sensor unit 160, the data processing unit 151 reflects the external light and performs data post-processing.

데이터처리부(151)는 인터럽트 발생시(S160), 데이터를 선형화부(152)로 인가한다. The data processing unit 151 applies data to the linearization unit 152 when an interrupt occurs (S160).

선형화부(152)는 히스토그램 데이터를 선형화한다(S170). 선형화부(152)는 히스토그램의 지수데이터를 로그화하여 선형데이터로 변환하여 선형화한다. 선형화부(152)는 예측함수와 피팅을 위하여 히스토그램의 카운트값인 y값에 로그화를 하여 선형데이터로 변환한다. The linearizer 152 linearizes the histogram data (S170). The linearization unit 152 converts the histogram exponential data into logarithmic data and linearizes it. The linearization unit 152 converts the y value, which is the count value of the histogram, into logarithmic data for fitting with the predictive function.

선형화부(152)는 데이터의 선형화 과정에서 필터를 통해 데이터를 필터링한다(S180).The linearizer 152 filters the data through a filter in the process of linearizing the data (S180).

차이값연산부(153)는 선형화부(152)의 선형데이터를 입력받아 최소 평균 제곱(LMS, Least Mean Square)연산을 수행한다(S190). 차이값연산부(153)는 최소 평균제곱연산을 통해, 예측값과 실제값의 차이에 대하여 차이의 제곱합을 최소화하는 값을 선택함으로써 차이를 감소시킨다. The difference calculation unit 153 receives the linear data of the linearization unit 152 and performs a least mean square (LMS) operation (S190). The difference value calculation unit 153 reduces the difference by selecting a value that minimizes the sum of squares of the difference between the predicted value and the actual value through least mean square operation.

차이값연산부(153)는 예측값과 실제값의 차이를 연산하고, MSE(Mean Square Error)를 통해 함수화를 수행하여 코스트함수를 생성한다.The difference calculation unit 153 calculates the difference between the predicted value and the actual value, and performs functionalization through mean square error (MSE) to generate a cost function.

최적화부(154)는 차이값연산부(153)에서 산출된 코스트함수에 대하여, 함수의 기울기 변화율을 산출하여 가중치와 편향성을 학습하여 기울기를 최적화한다(S200). The optimization unit 154 optimizes the gradient by learning weights and biases by calculating a gradient change rate of the function with respect to the cost function calculated by the difference calculation unit 153 (S200).

최적화부(154)는 산출되는 가중치와 편향성을 차이값연산부(153)로 피드백하여 차이값연산부(153)에서 산출되는 실제값과 예측값의 차이가 설정값 미만으로 감소할 때까지, 차이값 연산 및 가중치와 편향성에 대한 학습을 반복한다.The optimization unit 154 feeds back the calculated weight and bias to the difference value calculation unit 153, and calculates the difference value until the difference between the actual value and the predicted value calculated by the difference value calculation unit 153 decreases to less than the set value. Repeat learning about weights and biases.

디코딩부(156)는 최적화부(154)에서 학습된 가중치(W)와 편향성(b)을 통해, 기존의 예측함수의 값을 도출하여 재함수화 한다(S210). The decoding unit 156 derives a value of an existing prediction function through the weight (W) and the bias (b) learned in the optimization unit 154 and re-functions it (S210).

연산부(155)는 데이터 필터링을 수행하여(S220), 노이즈를 제거한다(S230). The calculation unit 155 performs data filtering (S220) and removes noise (S230).

연산부(155)는 노이즈가 제거된 히스토그램에서, 최빈값을 산출하고(S240), 최빈값에 대응하는 라이다 센서의 송신시간, 수신시간 및 차이를 검출하여 신호변환부(130)로 인가한다(S250). 연산부(155)는 라이다 센서(LIDAR)(140)의 신호 중 외부광에 의한 노이즈와 센서신호를 구분하여 외부광에 의한 노이즈를 제거한다. The operation unit 155 calculates the mode value from the noise-removed histogram (S240), detects the transmission time, reception time, and difference of the LIDAR sensor corresponding to the mode and applies them to the signal conversion unit 130 (S250). . The arithmetic unit 155 distinguishes between noise caused by external light and a sensor signal among signals of the LIDAR sensor 140 to remove noise caused by external light.

신호변환부(130)는 연산부(155)에 의해 검출된 최빈값에 대응하는 데이터를 신호변환하고 제어부(110)는 신호변환부(130)의 데이터를 바탕으로 객체와의 거리를 산출한다. The signal conversion unit 130 converts the data corresponding to the most frequent value detected by the operation unit 155 into a signal, and the control unit 110 calculates the distance to the object based on the data of the signal conversion unit 130 .

도 4 는 본 발명의 일 실시예에 따른 라이다 장치의 데이터 시뮬레이션을 설명하는 데 참조되는 도이다. 4 is a diagram referenced to explain data simulation of a lidar device according to an embodiment of the present invention.

선형화부(152)는 최적화부(154)에서 기계 학습을 수행하기 전, 지수데이터를 선형데이터로 변환한다. The linearization unit 152 converts the exponential data into linear data before the optimization unit 154 performs machine learning.

선형화부(152)는 도 4의 (a)에 도시된 바와 같이, 히스토그램 데이터의 지수데이터를 로그화 하여 선형데이터로 변환하며, 예측함수와 피팅(Fitting)을 위하여, 히스토그램의 카운트값(count)인 y값에 ln을 취하여 선형데이터로 변환한다.As shown in (a) of FIG. 4, the linearization unit 152 converts the exponential data of the histogram data into log data and converts it into linear data, and for fitting with the prediction function, the histogram count value (count) Take ln to the y value and convert it to linear data.

선형화부(152)는 도 4의 (b)에 도시된 바와 같이, 지수데이터를 선형데이터로 변환한다. As shown in (b) of FIG. 4, the linearization unit 152 converts exponential data into linear data.

예측함수는 다음 수학식 1과 같다. The prediction function is as shown in Equation 1 below.

Figure pat00001
Figure pat00001

도 5 는 본 발명의 일 실시예에 따른 라이다 장치의 예측함수를 이용한 차이값 산출방법을 설명하는 데 참조되는 도이다. 5 is a diagram referenced to explain a method for calculating a difference value using a predictive function of a lidar device according to an embodiment of the present invention.

도 5에 도시된 바와 같이, 차이값연산부(153)는 앞서 설명한 예측함수를 기반으로 실제 데이터와의 차이를 산출하고 MSE(Mean Square Error)를 통해 함수화를 수행한다. As shown in FIG. 5 , the difference calculation unit 153 calculates the difference from actual data based on the prediction function described above and performs functionalization through mean square error (MSE).

차이값연산부(153)는 다음 수학식 2와 같이 실제 데이터와의 차이를 함수화 하여 코스트함수를 산출한다. The difference calculation unit 153 calculates a cost function by functionalizing the difference from actual data as shown in Equation 2 below.

Figure pat00002
Figure pat00002

W는 가중치이고, b는 편향성(bias)이다. W is the weight and b is the bias.

코스트함수는 w1을 시작포인트(P1)으로 하여, 각 구간을 리터레이션(Literatuin)하고(L3, L4), 마지막 값(wn)의 수렴값을 갖는다. The cost function uses w1 as the starting point (P1), literates each section (L3, L4), and has a convergence value of the final value (wn).

도 6 은 본 발명의 일 실시예에 따른 라이다 장치의 가중치 최적화 방법을 설명하는데 데 참조되는 도이다. 6 is a diagram referenced to explain a weight optimization method of a lidar device according to an embodiment of the present invention.

최적화부(154)는 차이값연산부(153)에서 산출된 코스트함수에 대하여, 함수의 기울기 변화율을 산출하여 가중치와 편향성을 학습한다. The optimizer 154 calculates a gradient change rate of the function with respect to the cost function calculated by the difference value calculator 153 and learns weights and biases.

최적화부(154)는 수학식 3과 같이 가중치와 편향성을 학습한다. The optimizer 154 learns weights and biases as shown in Equation 3.

Figure pat00003
Figure pat00003

W는 가중치이고, b는 편향성(bias)이다. W is the weight and b is the bias.

도 6에 도시된 바와 같이, 최적화부(154)는 가중치와 편향성을 반복 학습함으로써, 가중치를 최적화 한다.As shown in FIG. 6 , the optimizer 154 optimizes weights by iteratively learning weights and biases.

초기에 분산되어 있던 가중치 값은, 기계 학습을 통해 하나의 수치로 최적화된다. The initially distributed weight values are optimized to a single value through machine learning.

최적화부(154)는 코스트함수의 기울기 변화율을 산출하고, 기울기 변화율에 대응하여 변곡점을 향한 가중치와 편향성을 학습한다. 최적화부(154)는 2차계수가 양수인 2차 함수의 경우 기울기 변화율의 최소값을 변곡점(C1)으로 설정하여 가중치와 편향성을 학습한다. The optimizer 154 calculates the gradient change rate of the cost function, and learns the weight and bias towards the inflection point in response to the gradient change rate. In the case of a quadratic function having a positive quadratic coefficient, the optimizer 154 sets the minimum value of the slope change rate as the inflection point C1 to learn weight and bias.

도 7 은 본 발명의 일 실시예에 따른 라이다 장치의 예측함수에 대한 디코딩 방법을 설명하는 데 참조되는 도이다. 7 is a reference diagram for explaining a decoding method for a predictive function of a LIDAR device according to an embodiment of the present invention.

디코딩부(156)는 최적화부(154)에서 학습된 가중치(W)와 편향성(b)을 통해, 기존의 예측함수의 값을 도출한다. The decoding unit 156 derives a value of an existing prediction function through the weight (W) and the bias (b) learned in the optimization unit 154.

도 7의 (a)에 도시된 바와 같이, 디코딩부(156)는 x와 ln(y)의 함수에 최적화부(154)에서 최적화된 가중치와 편향성을 적용하여 수학식 1의 예측함수에서 j, k 값을 도출한다. As shown in (a) of FIG. 7, the decoding unit 156 applies the weight and bias optimized by the optimization unit 154 to the function of x and ln(y) to obtain j in the prediction function of Equation 1, Derive k value.

디코딩부(156)는 도 7에 (b)에 도시된 바와 같이, 선형화된 데이터를 지수데이터로 변환하여 재함수화 한다. As shown in (b) of FIG. 7, the decoding unit 156 converts the linearized data into exponential data and re-functions it.

도 8 은 본 발명의 일 실시예에 따른 라이다 장치의 노이즈 데이터 시뮬레이션을 설명하는 데 참조되는 도이다. 8 is a reference diagram for explaining noise data simulation of a lidar device according to an embodiment of the present invention.

도 8의 (a)에 도시된 바와 같이, 외부광 등에 의한 노이즈로 인하여 왜곡된 데이터(L11)가 히스토그램에 포함된다. As shown in (a) of FIG. 8 , data L11 distorted due to noise caused by external light or the like is included in the histogram.

선형화부(152)는 히스토그램의 지수데이터를 로그화하여 도 8의 (b)에 도시된 바와 같이, 선형데이터로 변환한다. The linearization unit 152 converts the histogram exponential data into log data and converts it into linear data as shown in FIG. 8(b).

선형화부(152)에서 선형데이터로 변환함으로써, 데이터 연산량이 감소한다. By converting into linear data in the linearization unit 152, the amount of data calculation is reduced.

차이값연산부(153)는 실제값과 예측값의 차이를 연산하고, 최적화부(154)는 차이값을 기반으로 가중치 및 편향성 학습하여 앞서 설명한 도 6과 같이 가중치를 최적화한다. The difference calculation unit 153 calculates the difference between the actual value and the predicted value, and the optimization unit 154 optimizes the weights as shown in FIG. 6 by learning weights and biases based on the difference values.

도 9 는 본 발명의 일 실시예에 따른 라이다 장치의 노이즈 데이터 시뮬레이션 결과가 도시된 도이다. 9 is a diagram illustrating simulation results of noise data of a lidar device according to an embodiment of the present invention.

도 9의 (a)에 도시된 바와 같이, 최적화부(154)에 의해 가중치가 최적화되면, 디코딩부(156)는 이를 예측함수에 적용하여 예측함수의 데이터를 산출한다. As shown in (a) of FIG. 9 , when the weights are optimized by the optimization unit 154, the decoding unit 156 applies them to the prediction function to calculate data of the prediction function.

디코딩부(156)는 예측함수의 데이터를 바탕으로, 선형화된 데이터를 다시 지수데이터로 변환한다. The decoding unit 156 converts the linearized data back into exponential data based on the data of the prediction function.

디코딩부(156)는 가중치 최적화를 통해 노이즈가 제거된 히스토그램을 출력한다. The decoding unit 156 outputs a histogram from which noise is removed through weight optimization.

연산부(155)는 도 9의 (b)에 도시된 바와 같이, 히스토그램 데이터에서 피크값을 검출하여, 피크값에 해당하는 TCD값을 유효한 값으로 판단한다. 그에 따라 연산부(155)는 라이다 센서의 신호 중 외부광에 의한 노이즈와 센서의 신호를 구분하여 노이즈를 제거함으로써, 센서 데이터를 보정한다(L12, L13).As shown in (b) of FIG. 9 , the calculation unit 155 detects a peak value from the histogram data and determines a TCD value corresponding to the peak value as a valid value. Accordingly, the arithmetic unit 155 corrects the sensor data by separating the noise caused by external light and the signal of the sensor among the signals of the LIDAR sensor and removing the noise (L12, L13).

연산부(155)는 외부광에 의한 신호를 필터링하여 히스토그램 데이터로부터 노이즈를 제거한다. The calculation unit 155 removes noise from histogram data by filtering a signal caused by external light.

도 10 은 본 발명의 일 실시예에 따른 라이다 장치의 동작방법을 설명하는 데 참조되는 도이다.10 is a reference diagram for explaining a method of operating a lidar device according to an embodiment of the present invention.

도 10에 도시된 바와 같이, 라이다 센서(LIDAR)(140)가 동작하며, 송신부(141)의 복수의 광원이 빛을 조사한다(S310). 조사된 빛은 객체에 반사되고, 반사된 빛이 라이다 센서(LIDAR)(140)의 수신부(142)로 입사된다. 이때 라이다 센서(LIDAR)(140)의 수신부(142)는 송신된 빛뿐 아니라 외부 광이 입사되어 노이즈로 작용할 수 있다. As shown in FIG. 10, the lidar sensor (LIDAR) 140 operates, and a plurality of light sources of the transmitter 141 emit light (S310). The irradiated light is reflected on the object, and the reflected light is incident to the receiver 142 of the LIDAR sensor 140. At this time, external light as well as the transmitted light may be incident to the receiving unit 142 of the LIDAR sensor 140 and act as noise.

학습부(150)는 라이다 센서(LIDAR)(140)의 수신 데이터를 기계 학습 기반으로 처리하여 외부광과 신호를 구분하고 노이즈를 제거한다. The learning unit 150 processes the received data of the lidar sensor (LIDAR) 140 based on machine learning to distinguish external light from a signal and remove noise.

학습부(150)의 데이터처리부(151)는 라이다 센서(LIDAR)(140)의 데이터를 히스토그램으로 생성하고(S320), 데이터를 후처리 한다(S330). The data processing unit 151 of the learning unit 150 generates the data of the lidar sensor (LIDAR) 140 as a histogram (S320) and post-processes the data (S330).

선형화부(152)는 히스토그램의 지수데이터를 로그화하여 선형데이터로 변환한다(S340). 선형화부(152)는 예측함수를 이용하여 히스토그램의 카운트값에 로그함수를 적용하여 선형화 한다. The linearization unit 152 converts the histogram index data into linear data by logarithmic data (S340). The linearization unit 152 linearizes the count values of the histogram by applying a logarithmic function using the prediction function.

차이값연산부(153)는 선형데이터에 대하여, 예측함수에서의 예측값과 실제값의 차이를 연산한다. 차이값연산부(153)는 최소 평균 제곱(LMS, Least Mean Square)연산으로 차이값을 연산한다(S350). The difference calculation unit 153 calculates the difference between the predicted value and the actual value in the predictive function with respect to the linear data. The difference value calculation unit 153 calculates the difference value through least mean square (LMS) operation (S350).

최적화부(154)는 차이값연산부(153)에서 산출되는 코스트함수를 이용하여 가중치와 편향성을 반복 학습하여 최적화한다(S360). The optimization unit 154 repeatedly learns and optimizes weights and biases using the cost function calculated by the difference calculation unit 153 (S360).

최적화부(154)는 산출되는 가중치와 편향성을 피드백하고, 차이값연산부(153)는 차이값이 설정값보다 작은 값이 산출되기 까지 연산을 반복한다(S370). The optimization unit 154 feeds back the calculated weight and bias, and the difference calculation unit 153 repeats the calculation until a difference value smaller than the set value is calculated (S370).

디코딩부(156)는 최적화부(154)에서 학습된 가중치(W)와 편향성(b)을 통해, 기존의 예측함수의 값을 도출하여, 선형데이터를 로그데이터로 변환한다(S380). The decoding unit 156 derives a value of an existing prediction function through the weight (W) and the bias (b) learned in the optimization unit 154, and converts the linear data into log data (S380).

연산부(155)는 필터링을 통해 변환된 노이즈를 제거하고, 노이즈가 제거된 히스토그램 데이터를 분석하여 피크값을 검출한다. 연산부(155)는 피크값에 대응되는 라이다 센서의 데이터를 유효값으로 판단한다(S400). The operation unit 155 removes the noise converted through filtering and analyzes the histogram data from which the noise has been removed to detect a peak value. The calculation unit 155 determines the data of the lidar sensor corresponding to the peak value as a valid value (S400).

신호변환부(130)는 연산부(1550)에서 검출된 데이터를 변환하여 제어부(110)로 인가하고, 제어부(110)는 인가되는 데이터의 송신시간과 수신시간의 차이에 대응하여 객체와의 거리를 산출한다(S420). The signal conversion unit 130 converts the data detected by the operation unit 1550 and applies it to the control unit 110, and the control unit 110 determines the distance to the object in response to the difference between the transmission time and the reception time of the applied data. It is calculated (S420).

그에 따라 본 발명은 거리에 따라 라이다 센서(LIDAR)(140)의 해상도를 가변제어하여 객체에 대한 인식 성능을 향상시키면서 라이다 센서(LIDAR)(140)의 동작을 최적화하고 발열 및 노이즈에 따른 문제를 해소할 수 있다. Accordingly, the present invention variably controls the resolution of the lidar sensor (LIDAR) 140 according to the distance to improve object recognition performance while optimizing the operation of the lidar sensor (LIDAR) 140 and reducing heat and noise. can solve the problem.

본 발명은 광 민감도가 높은 SPAD를 적용하여 객체를 감지하되, 선형화를 통해 데이터 연산량을 감소시키고, 예측값과 실제값의 차이에 대하여 반복 연산하고, 가중치를 최적화함으로써, 외부광과 센서의 신호를 구분하여 외부광에 의한 노이즈를 감쇄하여, 정확하게 객체를 감지하고 그 거리를 산출할 수 있다. The present invention detects an object by applying a SPAD with high light sensitivity, reduces the amount of data calculation through linearization, performs iterative calculation on the difference between the predicted value and the actual value, and optimizes the weight to distinguish external light from the signal of the sensor. Thus, noise caused by external light can be attenuated, and the object can be accurately detected and the distance can be calculated.

도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야할 것이다.Although described with reference to the embodiment shown in the drawings, this is only exemplary, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention should be defined by the claims below.

110: 제어부 120: 구동부
130: 신호변환부 140: 라이다 센서
141: 송신부 142: 수신부
150: 학습부 152: 선형화부
153: 차이값연산부 154: 최적화부
155: 연산부 156: 디코딩부
160: 센서부 180: 데이터부
110: control unit 120: driving unit
130: signal conversion unit 140: lidar sensor
141: transmitter 142: receiver
150: learning unit 152: linearization unit
153: difference calculation unit 154: optimization unit
155: calculation unit 156: decoding unit
160: sensor unit 180: data unit

Claims (15)

빛을 조사하여 감지 대상인 객체를 감지하고 상기 객체와의 거리를 측정하는 라이다 센서(LIDAR);
상기 라이다 센서의 수신신호를 분석하여 유효값을 검출하고 입사되는 외부 광에 의한 노이즈를 감쇄하는 학습부;
상기 학습부에 의해 검출된 유효값에 대응하여, 신호의 송신시간과 수신시간의 차이를 측정하는 신호변환부; 및
상기 신호변환부에서 측정된 차이를 바탕으로 상기 객체와의 거리를 산출하는 제어부; 를 포함하고,
상기 학습부는, 상기 라이다 센서의 수신신호를 선형화하여 데이터 연산량을 감소시키고, 선형화된 데이터의 예측값과 실제값의 차이를 기반으로 가중치를 최적화하여 상기 유효값을 산출하는 것을 특징으로 하는 라이다 장치.
A lidar sensor (LIDAR) for detecting an object to be sensed by irradiating light and measuring a distance to the object;
a learning unit that analyzes the received signal of the lidar sensor to detect a valid value and attenuates noise caused by incident external light;
a signal conversion unit measuring a difference between a transmission time and a reception time of a signal in response to the valid value detected by the learning unit; and
a control unit for calculating a distance to the object based on the difference measured by the signal conversion unit; including,
The learning unit linearizes the received signal of the lidar sensor to reduce the amount of data operation, and calculates the effective value by optimizing a weight based on a difference between a predicted value and an actual value of the linearized data. .
제 1 항에 있어서,
상기 학습부는,
상기 라이다 센서의 수신 신호를 기반으로 생성된 지수데이터를 선형데이터로 변환하는 선형화부;
상기 선형화부의 선형데이터의 예측값과 실제값의 차이를 연산하여 함수를 생성하는 차이값연산부; 및
상기 함수의 기울기 변화율에 대응하여 상기 가중치와 편향성을 학습하고, 상기 가중치를 최적화하는 최적화부; 를 포함하는 라이다 장치.
According to claim 1,
The learning unit,
A linearization unit for converting index data generated based on the received signal of the lidar sensor into linear data;
a difference calculation unit generating a function by calculating a difference between a predicted value and an actual value of the linear data of the linearization unit; and
an optimization unit that learns the weights and biases in response to the gradient change rate of the function and optimizes the weights; Lidar device comprising a.
제 2 항에 있어서,
상기 학습부는
상기 라이다 센서의 수신 신호를 히스토그램으로 생성하는 데이터처리부;
상기 가중치를 기반으로, 상기 선형데이터를 지수데이터로 변환하는 디코딩부; 및
상기 지수데이터를 바탕으로, 노이즈가 제거된 히스토그램의 피크값을 검출하여 상기 유효값을 산출하는 연산부; 를 더 포함하는 라이다 장치.
According to claim 2,
The learning department
A data processing unit for generating a histogram of the received signal of the lidar sensor;
a decoding unit that converts the linear data into exponential data based on the weight; and
a calculator configured to calculate the effective value by detecting a peak value of a histogram from which noise is removed based on the exponential data; A lidar device further comprising a.
제 2 항에 있어서,
상기 선형화부는 히스토그램의 상기 지수데이터를 로그화하여 선형데이터로 변환하는 것을 특징으로 하는 라이다 장치.
According to claim 2,
LiDAR device, characterized in that the linearization unit converts the logarithmic data of the histogram into linear data.
제 4 항에 있어서,
상기 선형화부는 예측함수를 이용하여 히스토그램의 카운트값에 로그함수를 적용하여 선형화하는 것을 특징으로 하는 라이다 장치.
According to claim 4,
LiDAR device, characterized in that the linearization unit linearizes by applying a logarithmic function to the count value of the histogram using a prediction function.
제 2 항에 있어서,
상기 차이값연산부는 예측값과 실제값의 차이를 최소 평균 제곱(LMS, Least Mean Square) 으로 연산하고, 평균 제곱 오차(MSE, Mean Square Error)를 통해 함수화하는 것을 특징으로 하는 라이다 장치.
According to claim 2,
LiDAR device, characterized in that the difference value calculation unit calculates the difference between the predicted value and the actual value as a least mean square (LMS), and functions through a mean square error (MSE).
제 2 항에 있어서,
상기 최적화부는 상기 함수의 기울기 변화율을 산출하여 가중치와 편향성을 학습하고, 상기 차이가 설정값 미만이 되기까지 학습을 반복하여 기울기를 최적화하는 것을 특징으로 하는 라이다 장치.
According to claim 2,
The optimization unit calculates the gradient change rate of the function to learn weights and biases, and optimizes the gradient by repeating the learning until the difference is less than the set value.
제 3 항에 있어서,
상기 디코딩부는 상기 최적화부에서 학습된 가중치와 편향성을 이용하여 상기 함수의 데이터를 산출하고, 산출된 데이터에 근거하여 선형데이터를 지수데이터로 재함수화하는 것을 특징으로 하는 라이다 장치.
According to claim 3,
LiDAR device, characterized in that the decoding unit calculates the data of the function using the weights and biases learned in the optimization unit, and re-functions linear data into exponential data based on the calculated data.
제 3 항에 있어서,
상기 연산부는 재함수화된 데이터의 피크값을 검출하고, 상기 피크값에 대응하는 상기 신호변환부의 데이터를 상기 유효값으로 하는 것을 특징으로 하는 라이다 장치.
According to claim 3,
LiDAR device, characterized in that the calculation unit detects the peak value of the refunctionalized data, and the data of the signal conversion unit corresponding to the peak value as the effective value.
라이다 센서(LIDAR)가 동작하여 빛을 조사하는 단계;
상기 라이다 센서의 수신신호를 선형화하여 데이터 연산량을 감소시키는 단계;
선형화된 데이터의 예측값과 실제값의 차이를 기반으로 가중치를 최적화하여 상기 라이다 센서의 수신신호 중 유효값을 검출하는 단계;
상기 유효값을 기반으로 상기 라이다 센서의 수신신호 중 외부 광에 의한 노이즈를 감쇄하는 단계;
상기 유효값에 대응하는 신호의 송신시간과 수신시간의 차이를 측정하는 단계; 및
상기 송신시간과 수신시간의 차이를 바탕으로 객체와의 거리를 산출하는 단계; 를 포함하는 라이다 장치의 동작방법.
A lidar sensor (LIDAR) operating to irradiate light;
Linearizing the received signal of the lidar sensor to reduce the amount of data calculation;
Detecting a valid value among the received signals of the lidar sensor by optimizing a weight based on a difference between a predicted value and an actual value of the linearized data;
Attenuating noise caused by external light among the received signals of the lidar sensor based on the effective value;
measuring a difference between a transmission time and a reception time of a signal corresponding to the effective value; and
calculating a distance to an object based on a difference between the transmission time and the reception time; Method of operating a lidar device comprising a.
제 10 항에 있어서,
상기 라이다 센서의 수신신호를 선형화하는 경우,
상기 라이다 센서의 수신 신호를 기반으로 생성된 히스토그램의 지수데이터를 로그화하여 선형데이터로 변환하는 것을 특징으로 하는 라이다 장치의 동작방법.
According to claim 10,
When linearizing the received signal of the lidar sensor,
Method of operating a lidar device, characterized in that for converting the index data of the histogram generated on the basis of the received signal of the lidar sensor into linear data.
제 11 항에 있어서,
상기 라이다 센서의 수신신호를 선형화하는 경우,
예측함수를 이용하여 상기 히스토그램의 카운트값에 로그함수를 적용하여 선형화하는 것을 특징으로 하는 라이다 장치의 동작방법.
According to claim 11,
When linearizing the received signal of the lidar sensor,
Method of operating a lidar device, characterized in that for linearization by applying a log function to the count value of the histogram using a prediction function.
제 10 항에 있어서,
상기 유효값을 검출하는 단계는,
상기 선형화된 데이터의 예측값과 실제값의 차이를 연산하는 단계;
상기 차이에 대응하는 함수를 생성하는 단계; 및
상기 함수의 기울기 변화율에 대응하여 가중치와 편향성을 학습하는 단계; 를 포함하는 라이다 장치의 동작방법.
According to claim 10,
In the step of detecting the valid value,
calculating a difference between a predicted value and an actual value of the linearized data;
generating a function corresponding to the difference; and
learning weights and biases in response to the gradient change rate of the function; Method of operating a lidar device comprising a.
제 13 항에 있어서,
상기 유효값을 검출하는 단계는,
기계 학습을 통해 상기 차이를 연산하는 단계 내지 상기 학습하는 단계를 상기 차이가 설정값 미만이 되기까지 반복하여, 상기 가중치를 최적화하는 단계; 를 더 포함하는 라이다 장치의 동작방법.
According to claim 13,
In the step of detecting the valid value,
optimizing the weight by repeating the step of calculating the difference through machine learning until the step of learning is less than the set value; Method of operating a lidar device further comprising a.
제 13 항에 있어서,
상기 유효값을 검출하는 단계는,
상기 가중치를 기반으로, 선형데이터를 지수데이터로 변환하여 재함수화하는 단계; 및
상기 지수데이터를 바탕으로, 노이즈가 제거된 히스토그램의 피크값을 검출하여 상기 유효값을 산출하는 단계를 포함하는 라이다 장치의 동작방법.
According to claim 13,
In the step of detecting the valid value,
Based on the weight, converting linear data into exponential data and re-functionalizing it; and
Based on the index data, a method of operating a lidar device comprising the step of calculating the effective value by detecting the peak value of the histogram from which noise is removed.
KR1020220001349A 2022-01-05 2022-01-05 Lidar apparatus and operating method for the same KR20230105834A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220001349A KR20230105834A (en) 2022-01-05 2022-01-05 Lidar apparatus and operating method for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220001349A KR20230105834A (en) 2022-01-05 2022-01-05 Lidar apparatus and operating method for the same

Publications (1)

Publication Number Publication Date
KR20230105834A true KR20230105834A (en) 2023-07-12

Family

ID=87163609

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220001349A KR20230105834A (en) 2022-01-05 2022-01-05 Lidar apparatus and operating method for the same

Country Status (1)

Country Link
KR (1) KR20230105834A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101877388B1 (en) 2016-07-21 2018-07-11 엘지전자 주식회사 Lidar apparatus for Vehicle

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101877388B1 (en) 2016-07-21 2018-07-11 엘지전자 주식회사 Lidar apparatus for Vehicle

Similar Documents

Publication Publication Date Title
US10775507B2 (en) Adaptive transmission power control for a LIDAR
US8692807B2 (en) Touch surface with a compensated signal profile
KR102134688B1 (en) Optical distance measuring method and optical distance measuring device
JP4694484B2 (en) Method and apparatus for optically detecting the position of an object by measuring light reflected by the object
US10845471B2 (en) Extrinsic static noise characterization and removal
CN108303697B (en) Ultrasonic detection method, device and system for obstacles
CN110456369B (en) Flight time sensing system and distance measuring method thereof
CN111208490B (en) Interference detection and mitigation for LIDAR systems
Jiang et al. Glass confidence maps building based on neural networks using laser range-finders for mobile robots
WO2017221909A1 (en) Distance measuring device
US20140355006A1 (en) Measuring device
RU2016105528A (en) Car reflex optical sensor
US20200041651A1 (en) System and method for improving range resolution in a lidar system
JP6804949B2 (en) Controls, measuring devices, and computer programs
KR20230105834A (en) Lidar apparatus and operating method for the same
WO2020178701A1 (en) System and methods for ranging operations using modulated signals
JP5894987B2 (en) Apparatus, method, and computer program for measuring distance
CN112255637A (en) Distance measuring system and method
JP6121488B2 (en) Distance measuring sensor for object recognition and distance measurement
KR20230113154A (en) Measurement device and measurement method
JP2016170076A (en) Object detector, method for detecting object, and object detection program
KR101323196B1 (en) Multi-touch on touch screen apparatus
JP2023528646A (en) Method and apparatus for identifying contamination on protective screens of lidar sensors
US20150260846A1 (en) Sensing circuit for recognizing movement and movement recognizing method thereof
CN113614566A (en) Distance measurement method, distance measurement device, and program