KR102615504B1 - Object Recognition System using Multi- LiDAR and Its Method - Google Patents

Object Recognition System using Multi- LiDAR and Its Method Download PDF

Info

Publication number
KR102615504B1
KR102615504B1 KR1020230138644A KR20230138644A KR102615504B1 KR 102615504 B1 KR102615504 B1 KR 102615504B1 KR 1020230138644 A KR1020230138644 A KR 1020230138644A KR 20230138644 A KR20230138644 A KR 20230138644A KR 102615504 B1 KR102615504 B1 KR 102615504B1
Authority
KR
South Korea
Prior art keywords
lidar sensor
lidar
point cloud
cloud data
sensor
Prior art date
Application number
KR1020230138644A
Other languages
Korean (ko)
Inventor
현영진
박대혁
김지형
서정구
이현성
박종철
이지현
임채인
Original Assignee
(주)에스유엠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에스유엠 filed Critical (주)에스유엠
Priority to KR1020230138644A priority Critical patent/KR102615504B1/en
Application granted granted Critical
Publication of KR102615504B1 publication Critical patent/KR102615504B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 개시의 실시예에 따른 다중 라이다 센서를 이용한 주변객체인식시스템 은 복수의 라이다 센서를 포함하는 다중 라이다 센서부, 상기 다중 라이다 센서부로부터 포인트 클라우드 데이터를 입력받는 데이터수신부, 상기 데이터수신부로부터 입력받은 포인트 클라우드 데이터를 머지하여 융합 포인트 클라우드 데이터를 생성하는 융합부, 상기 융합부에서 생성한 상기 융합 포인트 클라우드 데이터를 기반으로 주변 객체에 대한 이미지를 생성하는 이미지처리부, 복수의 상기 라이다 센서의 고장 유무를 판단하는 고장판단부, 및 상기 이미지처리부에서 생성된 주변 객체에 대한 상기 이미지 및 상기 고장판단부에서 생성된 상기 복수의 라이다 센서의 고장 유무 정보를 표시하는 디스플레이부를 포함한다.A surrounding object recognition system using multiple LiDAR sensors according to an embodiment of the present disclosure includes a multiple LiDAR sensor unit including a plurality of LiDAR sensors, a data receiver that receives point cloud data from the multiple LiDAR sensor units, and the data A fusion unit that generates fused point cloud data by merging the point cloud data input from the receiver, an image processing unit that generates images of surrounding objects based on the fused point cloud data generated by the fusion unit, and a plurality of LIDARs. It includes a failure determination unit that determines whether a sensor is malfunctioning, and a display unit that displays the images of surrounding objects generated by the image processing unit and information on the failure of the plurality of LiDAR sensors generated by the failure determination unit.

Figure R1020230138644
Figure R1020230138644

Description

다중 라이다 센서를 이용한 주변객체인식시스템 및 방법{Object Recognition System using Multi- LiDAR and Its Method}{Object Recognition System using Multi- LiDAR and Its Method}

개시된 내용은 복수의 라이다 센서를 포함하는 주변객체인식시스템 및 방법에 관한 것이다.The disclosed content relates to a peripheral object recognition system and method including a plurality of LiDAR sensors.

본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.Unless otherwise indicated herein, the material described in this section is not prior art to the claims of this application, and is not admitted to be prior art by inclusion in this section.

라이다 센서(LiDAR; Light Detection And Ranging)는　레이저　펄스를 발사하고, 그 빛이 주위의 대상 물체에서 반사되어 돌아오는 것을 감지하여 물체까지의 거리 등을 측정함으로써 주변의 모습을 정밀하게 그려내는 장치이다. 레이저 빔의 속도(c)에 되돌아오기까지 걸린 시간(t)을 측정하면 대상 물체까지의 거리는　ct/2 로 계산할 수 있다. 3차원 공간상의 대상 물체까지의 거리 데이터의 집합을 포인트 클라우드 데이터라 하며, 포인트 클라우드 데이터를 기반으로 주변 3차원 공간상의 주변 객체에 대한 이미지를 생성할 수 있다. LiDAR (Light Detection And Ranging) is a device that accurately depicts the surroundings by emitting laser pulses, detecting the light being reflected and returned from surrounding objects, and measuring the distance to the object. am. By measuring the time (t) it takes for the laser beam to return to its speed (c), the distance to the target object can be calculated as ct/2. A set of distance data to a target object in 3D space is called point cloud data, and images of surrounding objects in the surrounding 3D space can be created based on point cloud data.

라이다 센서는 관성측정장치(IMU; Inertial Measurement Unit)를 일반적으로 포함하며, 관성측정장치는 이동 물체의 가속도, 요(yaw), 롤(Roll), 및 피치(pitch) 등을 감지한다.Lidar sensors generally include an inertial measurement unit (IMU), which detects acceleration, yaw, roll, and pitch of a moving object.

라이다 센서는 주로 자율주행 차량 또는 로봇 등에 사용되며, 차량 또는 로봇이 이동하면서 주변객체 인식 시스템으로 활용된다. 그러나 종래의 라이다 센서를 이용한 주변객체 인식 시스템은 라이다 센서의 고장으로 인해 주변객체에 대한 인식을 할 수 없는 문제가 있다. 또한 라이다 센서 자체의 가림 또는 주변 객체에 의한 가림 등에 의해 주변의 일부 객체를 인식할 수 없는 부분, 즉 음영 지역이 발생하는 문제가 있다.LiDAR sensors are mainly used in autonomous vehicles or robots, and are used as a surrounding object recognition system as the vehicle or robot moves. However, the surrounding object recognition system using a conventional LiDAR sensor has a problem in that it cannot recognize surrounding objects due to a failure of the LiDAR sensor. In addition, there is a problem in which some surrounding objects cannot be recognized due to occlusion of the LiDAR sensor itself or occlusion by surrounding objects, that is, a shadow area occurs.

대한민국 공개특허공보 제10-2022-0000171호 (2022.01.03)Republic of Korea Patent Publication No. 10-2022-0000171 (2022.01.03)

개시된 내용은 전술한 문제점을 해결하기 위해, 복수의 라이다 센서를 포함함으로써 일부 라이다 센서의 고장 또는 일부 라이다 센서의 가림이 있는 경우에도 주변객체에 대해 인식을 할 수 있고, 또한 음영 지역이 발생하지 않는 다중 라이다 센서를 이용한 주변객체인식시스템을 제공하는 것을 목적으로 한다.In order to solve the above-described problem, the disclosed content includes a plurality of LiDAR sensors, so that surrounding objects can be recognized even when some LiDAR sensors are broken or some LiDAR sensors are obscured, and shadow areas are also detected. The purpose is to provide a surrounding object recognition system using multiple lidar sensors that do not generate noise.

또한 복수의 라이다 센서의 포인트 클라우드 데이터를 통합된 좌표계로 캘리브레이션함으로써 주변 객체에 대한 위치 정보를 보다 정확하게 인식하고 해상도가 높은 다중 라이다 센서를 이용한 주변객체인식시스템을 제공하는 것을 목적으로 한다.In addition, the purpose is to more accurately recognize location information about surrounding objects by calibrating point cloud data from multiple LiDAR sensors into an integrated coordinate system and to provide a surrounding object recognition system using multiple LiDAR sensors with high resolution.

본 개시의 실시예에 따른 다중 라이다 센서를 이용한 주변객체인식시스템 은 복수의 라이다 센서를 포함하는 다중 라이다 센서부, 상기 다중 라이다 센서부로부터 포인트 클라우드 데이터를 입력받는 데이터수신부, 상기 데이터수신부로부터 입력받은 포인트 클라우드 데이터를 머지하여 융합 포인트 클라우드 데이터를 생성하는 융합부, 상기 융합부에서 생성한 상기 융합 포인트 클라우드 데이터를 기반으로 주변 객체에 대한 이미지를 생성하는 이미지처리부, 복수의 상기 라이다 센서의 고장 유무를 판단하는 고장판단부, 및 상기 이미지처리부에서 생성된 주변 객체에 대한 상기 이미지 및 상기 고장판단부에서 생성된 상기 복수의 라이다 센서의 고장 유무 정보를 표시하는 디스플레이부를 포함한다.A surrounding object recognition system using multiple LiDAR sensors according to an embodiment of the present disclosure includes a multiple LiDAR sensor unit including a plurality of LiDAR sensors, a data receiver that receives point cloud data from the multiple LiDAR sensor units, and the data A fusion unit that generates fused point cloud data by merging the point cloud data input from the receiver, an image processing unit that generates images of surrounding objects based on the fused point cloud data generated by the fusion unit, and a plurality of LIDARs. It includes a failure determination unit that determines whether a sensor is malfunctioning, and a display unit that displays the images of surrounding objects generated by the image processing unit and information on the failure of the plurality of LiDAR sensors generated by the failure determination unit.

복수의 상기 라이다 센서는 다중 채널을 가질 수 있으며, 관성측정자치를 포함할 수 있다. 상기 관성측정장치는 해당 라이다 센서의 위치, 요, 롤 및 피치를 측정하는 것을 특징으로 한다.The plurality of LiDAR sensors may have multiple channels and may include inertial measurement devices. The inertial measurement device is characterized by measuring the position, yaw, roll, and pitch of the corresponding lidar sensor.

상기 융합부는 복수의 라이다 센서 중 어느 한 라이다 센서를 기준 라이다 센서로 설정하고, 상기 기준 라이다 센서의 위치, 요, 롤 및 피치와 상기 기준 라이다 센서외의 라이다 센서의 위치, 요, 롤 및 피치를 비교하여 상기 기준 라이다 센서외의 상기 라이다 센서의 좌표계를 상기 기준 라이다 센서의 좌표계로 변환하는 캘리브레이션 과정을 수행하고, 상기 캘리브레이션 과정을 통해 상기 기준 라이다 센서 외의 상기 라이다 센서의 포인트 클라우드 데이터를 상기 기준 라이다 센서의 좌표계에서의 포인트 클라우드 데이터로 변환하며, 상기 기준 라이다 센서의 포인트 클라우드 데이터와 상기 기준 라이다 센서 외의 상기 라이다 센서의 상기 변환된 포인트 클라우드 데이터를 머지하여 융합 포인트 클라우드 데이터를 생성하는 것을 특징으로 한다.The fusion unit sets one of the plurality of LiDAR sensors as a reference LiDAR sensor, and sets the position, yaw, roll, and pitch of the reference LiDAR sensor and the position, yaw of LiDAR sensors other than the reference LiDAR sensor. , perform a calibration process of converting the coordinate system of the LiDAR sensor other than the reference LiDAR sensor to the coordinate system of the reference LiDAR sensor by comparing roll and pitch, and through the calibration process, the LiDAR other than the reference LiDAR sensor The point cloud data of the sensor is converted into point cloud data in the coordinate system of the reference LiDAR sensor, and the point cloud data of the reference LiDAR sensor and the converted point cloud data of the LiDAR sensor other than the reference LiDAR sensor are converted into point cloud data in the coordinate system of the reference LiDAR sensor. It is characterized by merging to create fused point cloud data.

본 개시의 다른 실시 형태로서 다중 라이다 센서를 이용한 주변객체인식 방법은 (A) 복수의 라이다 센서가 주변 객체에 대한 위치 정보를 센싱하는 단계, (B) 각각의 라이다 센서로부터 주변 객체에 대한 상기 위치 정보를 입력받아 해당 라이다 센서에 대한 포인트 클라우드 데이터를 생성하는 단계, (C) 상기 포인트 클라우드 데이터를 머지하여 융합 포인트 클라우드 데이터를 생성하는 단계, (D) 상기 융합 포인트 클라우드 데이터를 기반으로 주변 객체에 대한 이미지를 생성하는 단계, (E) 상기 복수의 라이다 센서의 고장 유무를 판단하는 단계, 및 (F) 주변 객체에 대한 상기 이미지 및 상기 복수의 라이다 센서의 고장 유무를 디스플레이하는 단계를 포함한다.As another embodiment of the present disclosure, a method for recognizing surrounding objects using multiple LiDAR sensors includes (A) a plurality of LiDAR sensors sensing location information about surrounding objects, (B) detecting location information about surrounding objects from each LiDAR sensor, receiving the location information and generating point cloud data for the corresponding LiDAR sensor, (C) merging the point cloud data to generate fused point cloud data, (D) based on the fused point cloud data generating an image for a surrounding object, (E) determining whether or not the plurality of LiDAR sensors are malfunctioning, and (F) displaying the image for the surrounding object and whether or not the plurality of Lidar sensors are malfunctioning. It includes steps to:

상기 (B) 단계는 (B-1) 복수의 상기 라이다 센서에 대한 각각의 해당 저장 폴더를 생성하는 단계, (B-2) 각각의 상기 저장 폴더에 해당 라이다 센서로부터 주변 객체에 대한 위치 정보를 입력받는 단계, 및 (B-3) 입력받은 상기 주변 객체에 대한 위치 정보를 기반으로 해당 라이다 센서에 대한 포인트 클라우드 데이터를 생성하고 저장하는 단계를 포함하는 것을 특징으로 한다.The step (B) includes (B-1) creating a corresponding storage folder for each of the plurality of LiDAR sensors, (B-2) the location of surrounding objects from the corresponding LiDAR sensor in each of the storage folders. It is characterized by comprising the step of receiving information, and (B-3) generating and storing point cloud data for the corresponding LiDAR sensor based on the input location information about the surrounding objects.

상기 (C) 단계는 (C-1) 복수의 라이다 센서 중 어느 한 라이다 센서가 기준 라이다 센서로 설정되는 단계, (C-2) 상기 기준 라이다 센서의 위치, 요, 롤 및 피치와 상기 기준 라이다 센서 외의 라이다 센서의 위치, 요, 롤 및 피치를 비교하여 상기 기준 라이다 센서 외의 상기 라이다 센서의 좌표계를 상기 기준 라이다 센서의 좌표계로 변환하는 캘리브레이션 과정을 수행하는 단계, (C-3) 상기 캘리브레이션 과정을 통해 상기 기준 라이다 센서 외의 상기 라이다 센서의 포인트 클라우드 데이터를 상기 기준 라이다 센서의 좌표계에서의 포인트 클라우드 데이터로 변환하는 단계, 및 (C-4) 상기 기준 라이다 센서의 포인트 클라우드 데이터와 상기 기준 라이다 센서 외의 상기 라이다 센서의 상기 변환된 포인트 클라우드 데이터를 머지하여 융합 포인트 클라우드 데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.The step (C) includes (C-1) setting one of the plurality of lidar sensors as a reference lidar sensor, (C-2) the position, yaw, roll, and pitch of the reference lidar sensor. And performing a calibration process of converting the coordinate system of the LiDAR sensor other than the reference LiDAR sensor to the coordinate system of the reference LiDAR sensor by comparing the position, yaw, roll, and pitch of the LiDAR sensor other than the reference LiDAR sensor. , (C-3) converting point cloud data of the LiDAR sensor other than the reference LiDAR sensor into point cloud data in the coordinate system of the reference LiDAR sensor through the calibration process, and (C-4) the Characterized by merging the point cloud data of the reference LiDAR sensor and the converted point cloud data of the LiDAR sensor other than the reference LiDAR sensor to generate fused point cloud data.

본 개시의 실시예에 따른 다중 라이다 센서를 이용한 주변객체인식시스템은 복수의 라이다 센서를 포함함으로써 일부 라이다 센서의 고장 또는 일부 라이다 센서의 가림이 있는 경우에도 주변객체에 대해 인식을 할 수 있고, 또한 음영 지역이 발생하지 않는 효과가 있다.The surrounding object recognition system using multiple LiDAR sensors according to an embodiment of the present disclosure includes a plurality of LiDAR sensors, so that it can recognize surrounding objects even when some LiDAR sensors are broken or some LiDAR sensors are obscured. This also has the effect of preventing shadow areas from occurring.

또한 본 개시의 실시예에 따른 다중 라이다 센서를 이용한 주변객체인식시스템은 복수의 라이다 센서의 포인트 클라우드 데이터를 통합된 좌표계로 캘리브레이션함으로써 주변 객체에 대한 위치 정보를 보다 정확하게 인식하고 해상도가 높은 효과가 있다.In addition, the surrounding object recognition system using multiple LiDAR sensors according to an embodiment of the present disclosure provides the effect of more accurate recognition of location information about surrounding objects and high resolution by calibrating the point cloud data of multiple LiDAR sensors into an integrated coordinate system. There is.

본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.The effects of the present invention are not limited to the effects described above, and should be understood to include all effects that can be inferred from the configuration of the invention described in the detailed description or claims of the present invention.

도 1은 본 개시의 실시예에 따른 다중 라이다 센서를 이용한 주변객체인식시스템의 구성을 나타내는 도면.
도 2는 본 개시의 실시예에 따른 다중 라이다 센서를 이용한 주변객체인식시스템의 기준 라이다 센서와 기준 라이다 센서 외의 라이다 센서의 좌표계 변환을 나타내는 도면.
도 3은 종래 주변객체 인식 시스템의 정상 상태와 가림 등으로 인한 비정상 상태의 주변 객체에 대한 이미지.
도 4는 본 개시의 실시예에 따른 캘리브레이션 후의 각 라이다 센서의 포인트 클라우드 데이터를 통한 이미지 및 융합 포인트 클라우드 데이터를 통한 이미지.
도 5는 본 개시의 실시예에 따른 다중 라이다 센서를 이용한 주변객체인식시스템의 정상 상태와 가림 등으로 인한 비정상 상태의 주변 객체에 대한 이미지.
도 6은 본 개시의 실시예에 따른 다중 라이다 센서를 이용한 주변객체인식 방법을 나타내는 도면.
도 7은 본 개시의 실시예에 따른 다중 라이다 센서를 이용한 주변객체인식 방법의 수평계를 이용한 설치 단계를 나타내는 도면.
도 8은 본 개시의 실시예에 따른 다중 라이다 센서를 이용한 주변객체인식 방법의 포인트 클라우드 데이터를 생성하는 단계를 나타내는 도면.
도 9는 본 개시의 실시예에 따른 다중 라이다 센서를 이용한 주변객체인식 방법의 융합 포인트 클라우드 데이터를 생성하는 단계를 나타내는 도면.1 is a diagram showing the configuration of a surrounding object recognition system using multiple LIDAR sensors according to an embodiment of the present disclosure.
Figure 2 is a diagram showing the coordinate system transformation of a reference LiDAR sensor and LiDAR sensors other than the reference LiDAR sensor of the surrounding object recognition system using multiple LiDAR sensors according to an embodiment of the present disclosure.
Figure 3 shows images of surrounding objects in the normal state of a conventional surrounding object recognition system and in an abnormal state due to occlusion, etc.
Figure 4 is an image through point cloud data of each lidar sensor after calibration and an image through fused point cloud data according to an embodiment of the present disclosure.
Figure 5 is an image of a surrounding object in a normal state and an abnormal state due to occlusion, etc. of a surrounding object recognition system using multiple LiDAR sensors according to an embodiment of the present disclosure.
Figure 6 is a diagram showing a method for recognizing surrounding objects using multiple LIDAR sensors according to an embodiment of the present disclosure.
Figure 7 is a diagram showing the installation step using a level of the surrounding object recognition method using multiple LIDAR sensors according to an embodiment of the present disclosure.
Figure 8 is a diagram showing the step of generating point cloud data in the surrounding object recognition method using multiple LIDAR sensors according to an embodiment of the present disclosure.
Figure 9 is a diagram showing the step of generating fusion point cloud data of the surrounding object recognition method using multiple LIDAR sensors according to an embodiment of the present disclosure.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, embodiments disclosed in the present specification will be described in detail with reference to the attached drawings. However, identical or similar components will be assigned the same reference numbers regardless of reference numerals, and duplicate descriptions thereof will be omitted. The suffixes “module” and “part” for components used in the following description are given or used interchangeably only for the ease of preparing the specification, and do not have distinct meanings or roles in themselves. Additionally, in describing the embodiments disclosed in this specification, if it is determined that detailed descriptions of related known technologies may obscure the gist of the embodiments disclosed in this specification, the detailed descriptions will be omitted. In addition, the attached drawings are only for easy understanding of the embodiments disclosed in this specification, and the technical idea disclosed in this specification is not limited by the attached drawings, and all changes included in the spirit and technical scope of the present invention are not limited. , should be understood to include equivalents or substitutes.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this application, terms such as “comprise” or “have” are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.In this specification, 'part' includes a unit realized by hardware, a unit realized by software, and a unit realized using both. Additionally, one unit may be realized using two or more pieces of hardware, and two or more units may be realized using one piece of hardware.

이하에서는 본 개시의 실시예에 따른 다중 라이다 센서(110)를 이용한 주변객체인식시스템(1000) 및 방법에 대하여 도면을 참조하여 상세히 설명한다.Hereinafter, the surrounding object recognition system 1000 and method using multiple LiDAR sensors 110 according to an embodiment of the present disclosure will be described in detail with reference to the drawings.

도 1은 본 개시의 실시예에 따른 다중 라이다 센서(110)를 이용한 주변객체인식시스템(1000)의 구성을 나타내는 도면이다.Figure 1 is a diagram showing the configuration of a surrounding object recognition system 1000 using multiple LIDAR sensors 110 according to an embodiment of the present disclosure.

도 1의 예시에서 알 수 있는 바와 같이, 본 개시의 실시예에 따른 다중 라이다 센서(110)를 이용한 주변객체인식시스템(1000)은 복수의 라이다 센서(110)를 포함하는 다중 라이다 센서부(100), 다중 라이다 센서부(100)로부터 포인트 클라우드 데이터를 입력받는 데이터수신부(200), 데이터수신부(200)로부터 입력받은 포인트 클라우드 데이터를 머지하여 융합 포인트 클라우드 데이터를 생성하는 융합부(300), 융합부(300)에서 생성한 융합 포인트 클라우드 데이터를 기반으로 주변 객체에 대한 이미지를 생성하는 이미지처리부(400), 복수의 라이다 센서(110)의 고장 유무를 판단하는 고장판단부(500) 및 이미지처리부(400)에서 생성된 주변 객체에 대한 이미지 및 고장판단부(500)에서 생성된 복수의 라이다 센서(110)의 고장 유무 정보를 표시하는 디스플레이부(600)를 포함한다.As can be seen from the example of FIG. 1, the surrounding object recognition system 1000 using multiple LiDAR sensors 110 according to an embodiment of the present disclosure is a multiple LiDAR sensor including a plurality of LiDAR sensors 110. Unit 100, a data receiver 200 that receives point cloud data from the multi-LIDAR sensor unit 100, and a fusion unit that merges the point cloud data input from the data receiver 200 to generate fused point cloud data ( 300), an image processing unit 400 that generates images of surrounding objects based on the fusion point cloud data generated by the fusion unit 300, and a failure determination unit (400) that determines whether or not a plurality of LiDAR sensors 110 are broken. 500 and a display unit 600 that displays images of surrounding objects generated by the image processing unit 400 and information on whether or not a plurality of LiDAR sensors 110 have a failure generated by the failure determination unit 500.

다중 라이다 센서부(100)는 복수의 라이다 센서(110)를 포함한다. 라이다 센서(110)는 전술한 바와 같이 레이저　펄스를 발사하고, 그 빛이 주위의 대상 물체에서 반사되어 돌아오는 것을 감지하여 물체까지의 거리 등을 측정함으로써 주변의 모습을 정밀하게 그려내는 장치이다. 3차원 공간상의 주변 객체까지의 거리에 대한 데이터의 집합을 포인트 클라우드 데이터라 하며, 포인트 클라우드 데이터를 기반으로 주변 3차원 공간상의 주변 객체에 대한 이미지를 생성할 수 있다.The multiple LiDAR sensor unit 100 includes a plurality of LiDAR sensors 110. As described above, the LiDAR sensor 110 is a device that accurately depicts the surroundings by emitting a laser pulse, detecting the light being reflected and returned from a surrounding target object, and measuring the distance to the object. . A set of data about the distance to surrounding objects in 3D space is called point cloud data, and images of surrounding objects in surrounding 3D space can be created based on point cloud data.

본 개시의 실시예에 따른 라이다 센서(110)는 다중 채널을 가질 수 있다. 다중 채널을 가진다는 것은 수직 방향으로 여러 개의 레이저 펄스를 발사하고, 반사되어 돌아오는 광을 감지하는 것을 의미한다. 즉, 수직 방향으로 여러 개의 레이저를 포함한다. 채널 수가 많을수록 수직 방향의 FOV(Field of View)가 커진다.The LiDAR sensor 110 according to an embodiment of the present disclosure may have multiple channels. Having multiple channels means firing multiple laser pulses in a vertical direction and detecting the reflected light. That is, it includes several lasers in a vertical direction. The larger the number of channels, the larger the vertical FOV (Field of View).

본 개시의 실시예에 따른 라이다 센서(110)는 관성측정장치(IMU; Inertial Measurement Unit)를 포함할 수 있다. 관성측정장치는 하나 이상의 가속도계를 사용하여 선형 가속도를 감지하고 하나 이상의 자이로스코프를 사용하여 회전 속도를 감지함으로써 작동한다.　관성측정장치는 이동 물체의 가속도, 요(yaw), 롤(Roll), 및 피치(pitch) 등을 감지한다. 따라서 관성측정장치를 통해 라이다 센서(110)의 위치, 요(yaw), 롤(Roll), 및 피치(pitch)를 측정할 수 있다.The LiDAR sensor 110 according to an embodiment of the present disclosure may include an inertial measurement unit (IMU). Inertial measurement devices operate by detecting linear acceleration using one or more accelerometers and detecting rotational speed using one or more gyroscopes. An inertial measurement device detects acceleration, yaw, roll, and pitch of a moving object. Therefore, the position, yaw, roll, and pitch of the lidar sensor 110 can be measured through the inertial measurement device.

데이터수신부(200)는 다중 라이다 센서부(100)로부터 포인터 클라우드 데이터를 입력받는다. 포인터 클라우드 데이터란 전술한 바와 같이 3차원 공간상의 주변 객체까지의 거리에 대한 데이터의 집합이다. 데이터수신부(200)는 복수의 라이다 센서(110)에 대한 각각의 해당 저장 폴더를 생성할 수 있고, 각각의 저장 폴더에 해당 라이더로부터 입력받은 포인트 클라우드 데이터를 저장한다.The data receiver 200 receives pointer cloud data from the multi-LIDAR sensor unit 100. As described above, pointer cloud data is a set of data about the distance to surrounding objects in three-dimensional space. The data receiver 200 may create a corresponding storage folder for each of the plurality of lidar sensors 110, and stores the point cloud data input from the corresponding lidar in each storage folder.

고장판단부(500)는 라이다 센서(110)의 고장 여부를 판단한다. 라이다 센서(110)로부터 데이터수신부(200)로 포인트 클라우드 데이터가 입력이 되지 않으면 해당 라이다 센서(110)는 고장으로 판단하고 고장판단부(500)는 해당 라이다 센서(110)의 고장 정보를 후술할 디스플레이부(600)로 전송하고, 디스플레이부(600)는 해당 라이다 센서(110)의 고장을 디스플레이하여 사용자가 해당 라이다 센서(110)가 고장이라는 것을 알 수 있도록 한다. 디스플레이부(600)는 고장 여부를 시각적으로 표시하는 것뿐만 아니라 소리를 발생시켜 사용자에게 알리는 것도 포함될 수 있다. The failure determination unit 500 determines whether the LiDAR sensor 110 is broken. If point cloud data is not input from the LiDAR sensor 110 to the data receiver 200, the LiDAR sensor 110 determines it to be a failure, and the failure determination unit 500 provides failure information of the LiDAR sensor 110. is transmitted to the display unit 600, which will be described later, and the display unit 600 displays the failure of the corresponding LiDAR sensor 110 so that the user can know that the corresponding LiDAR sensor 110 is broken. The display unit 600 may not only visually display the presence of a malfunction but also generate a sound to notify the user.

고장판단부(500)에는 라이다 센서(110)의 고장 여부를 판단하는 고장판단값이 설정될 수 있다. 라이다 센서(110)의 관성측정장치는 주기적으로 해당 라이다 센서(110)의 위치, 요, 롤 및 피치를 측정할 수 있다. 고장판단값이란 해당 라이다 센서(110)의 위치 변화량, 요 변화량, 롤 변화량 및 피치 변화량을 의미한다. 라이다 센서(110)는 이동체(예: 자동차 등)에 내재되어 있어 이동체가 이동하는 경우 진동 및 가속 등에 의해 위치, 요, 롤 및 피치가 변화할 수 있다. 그러나 그 차이가 진동 및 가속 등에 의한 변화를 고려하더라도 너무 큰 경우 라이다 센서(110)의 고장일 수 있다. 따라서 고장판단부(500)는 해당 라이다 센서(110)의 이전에 측정한 위치, 요, 롤 및 피치와 이후 측정한 해당 라이다 센서(110)의 위치, 요, 롤 및 피치를 비교하여 그 차이가 기 설정된 고장판단값보다 클 경우 해당 라이다 센서(110)의 고장으로 판단하여 디스플레이부(600)로 해당 라이다 센서(110)의 고장 정보를 전송하며, 디스플레이부(600)는 해당 라이다 센서(110)의 고장을 디스플레이하여 사용자가 해당 라이다 센서(110)가 고장이라는 것을 알 수 있도록 한다. 물론 고장판단부(500)는 측정한 해당 라이다 센서(110)의 위치, 요, 롤 및 피치를 데이터수신부(200)를 통하여 입력받는다.A failure determination value that determines whether the LiDAR sensor 110 is broken may be set in the failure determination unit 500. The inertial measurement device of the LiDAR sensor 110 may periodically measure the position, yaw, roll, and pitch of the LiDAR sensor 110. The failure judgment value means the position change amount, yaw change amount, roll change amount, and pitch change amount of the corresponding lidar sensor 110. The LiDAR sensor 110 is embedded in a moving object (e.g., a car, etc.), so when the moving object moves, the position, yaw, roll, and pitch may change due to vibration and acceleration. However, if the difference is too large even considering changes due to vibration and acceleration, it may be a failure of the LiDAR sensor 110. Therefore, the failure determination unit 500 compares the previously measured position, yaw, roll, and pitch of the corresponding LiDAR sensor 110 with the subsequently measured position, yaw, roll, and pitch of the corresponding LiDAR sensor 110, and determines the If the difference is greater than the preset failure judgment value, it is determined that the LiDAR sensor 110 is broken, and failure information of the LiDAR sensor 110 is transmitted to the display unit 600, and the display unit 600 displays the corresponding LIDAR sensor 110. The failure of the LiDAR sensor 110 is displayed so that the user can know that the corresponding LiDAR sensor 110 is failure. Of course, the failure determination unit 500 receives the measured position, yaw, roll, and pitch of the corresponding LiDAR sensor 110 through the data receiver 200.

도 2는 본 개시의 실시예에 따른 다중 라이다 센서(110)를 이용한 주변객체인식시스템(1000)의 기준 라이다 센서(110a)와 기준 라이다 센서 외의 라이다 센서(110b)의 좌표계 변환을 나타내는 도면이고, 도 3은 종래 주변객체 인식 시스템의 정상 상태와 가림 등으로 인한 비정상 상태의 주변 객체에 대한 이미지이며, 도 4는 본 개시의 실시예에 따른 캘리브레이션 후의 각 라이다 센서(110)의 포인트 클라우드 데이터를 통한 이미지 및 융합 포인트 클라우드 데이터를 통한 이미지이고, 도 5는 본 개시의 실시예에 따른 다중 라이다 센서(110)를 이용한 주변객체인식시스템(1000)의 정상 상태와 가림 등으로 인한 비정상 상태의 주변 객체에 대한 이미지이다.Figure 2 shows the coordinate system conversion of the reference LiDAR sensor 110a and the LiDAR sensor 110b other than the reference LiDAR sensor of the surrounding object recognition system 1000 using the multiple LiDAR sensors 110 according to an embodiment of the present disclosure. 3 is an image of a surrounding object in a normal state of a conventional surrounding object recognition system and an abnormal state due to occlusion, etc., and FIG. 4 is an image of each LiDAR sensor 110 after calibration according to an embodiment of the present disclosure. An image through point cloud data and an image through fusion point cloud data, and FIG. 5 shows the normal state and occlusion of the surrounding object recognition system 1000 using multiple LiDAR sensors 110 according to an embodiment of the present disclosure. This is an image of a surrounding object in an abnormal state.

융합부(300)는 데이터수신부(200)로부터 입력받은 포인트 클라우드 데이터를 머지하여 융합 포인트 클라우드 데이터를 생성한다. 융합 포인트 클라우드 데이터란 복수의 라이다 센서(110) 각각의 포인트 클라우드 데이터를 복수의 라이다 센서(110) 중 어느 한 라이다 센서(110)를 기준 라이다 센서(110a)로 설정하고, 기준 라이다 센서 외의 라이다 센서(110b)의 포인트 클라우드 데이터를 기준 라이다 센서(110a)의 좌표계를 기준으로 변환한 후, 기준 라이다 센서(110a)의 포인트 클라우드 데이터와 기준 라이다 센서 외의 라이다 센서(110b)의 변환된 포인트 클라우드 데이터를 머지한 포인트 클라우드 데이터의 집합이다. The fusion unit 300 merges the point cloud data input from the data reception unit 200 to generate fused point cloud data. Convergence point cloud data refers to the point cloud data of each of the plurality of lidar sensors 110, which sets one lidar sensor 110 among the plurality of lidar sensors 110 as the reference lidar sensor 110a, and sets the point cloud data of each of the plurality of lidar sensors 110 as the reference lidar sensor 110a. After converting the point cloud data of the LiDAR sensor 110b other than the Ida sensor based on the coordinate system of the reference LiDAR sensor 110a, the point cloud data of the reference LiDAR sensor 110a and the LiDAR sensor other than the reference LiDAR sensor This is a set of point cloud data obtained by merging the converted point cloud data of (110b).

도 2의 예시에서 알 수 있는 바와 같이, 기준 라이다 센서 외의 라이다 센서(110b)의 포인트 클라우드 데이터를 기준 라이다 센서(110a)의 좌표계를 기준으로 변환하는 과정은 다음과 같다. 기준 라이다 센서(110a)의 위치는 (0,0,0)이라 가정한다. 이 경우 기준 라이다 센서 외의 라이다 센서(110b)의 위치는 (x0,y0,z0)인 경우 기준 라이다 센서(110a)의 좌표계를 기준으로 기준 라이다 센서 외의 라이다 센서(110b)의 위치는 벡터 R 0 가 된다. 주변의 객체가 있는 경우 기준 라이다 센서 외의 라이다 센서(110b) 좌표계를 기준으로 한 경우 벡터 R 1 이 되는데, 이를 기준 라이다 센서(110a)의 좌표계를 기준으로 하면 벡터 R이 되고, R = R 0 + R 1 이 된다. 즉, 기준 라이다 센서 외의 라이다 센서(110b)의 위치 측정값 벡터 R 1 에 벡터 R 0 을 더하여 얻을 수 있다. 이러한 과정을 캘리브레이션 과정이라 한다. As can be seen in the example of FIG. 2, the process of converting point cloud data of a LiDAR sensor 110b other than the reference LiDAR sensor based on the coordinate system of the reference LiDAR sensor 110a is as follows. It is assumed that the position of the reference LiDAR sensor 110a is (0,0,0). In this case, the position of the LiDAR sensor 110b other than the reference LiDAR sensor is (x0,y0,z0). The position of the LiDAR sensor 110b other than the reference LiDAR sensor is based on the coordinate system of the reference LiDAR sensor 110a. becomes vector R 0 . If there is a surrounding object, if it is based on the coordinate system of the LiDAR sensor (110b) other than the reference LiDAR sensor, it becomes vector R 1 , and if it is based on the coordinate system of the reference LiDAR sensor (110a), it becomes vector R , and R = R 0 + R 1 becomes. In other words, it can be obtained by adding vector R 0 to the position measurement vector R 1 of the LiDAR sensor 110b other than the reference LiDAR sensor. This process is called the calibration process.

이는 모든 라이다 센서(110)의 요, 롤 및 피치가 모두 동일하다는 가정에서 이루어지는 것이다. 라이다 센서(110)의 요, 롤 및 피치는 동일하지 않는 것이 일반적이다. 라이다 센서(110)의 요, 롤 및 피치에 따라 해당 라이다 센서(110)의 x축, y축, z축이 회전하게 되는데, 기준 라이다 센서(110a)의 요, 롤 및 피치와 기준 라이다 센서 외의 라이다 센서(110b)의 요, 롤 및 피치의 차이를 비교하여 전술한 캘리브레이션 과정을 진행하여야 한다. 즉, 융합부(300)는 기준 라이다 센서(110a)의 요, 롤 및 피치와 기준 라이다 센서 외의 라이다 센서(110b)의 요, 롤 및 피치의 차이를 고려하여 우선 벡터 R 1 을 기준 라이다 센서(110a)의 요, 롤 및 피치와 동일한 경우의 좌표계를 기준으로 변환하면 회전에 의해 벡터 R 1 이 벡터 R 1 '으로 변환된 후에 벡터 R 0 가 더해지도록 변환되는 캘리브레이션 과정을 수행한다.This is done on the assumption that the yaw, roll, and pitch of all LiDAR sensors 110 are the same. The yaw, roll, and pitch of the lidar sensor 110 are generally not the same. The x-axis, y-axis, and z-axis of the corresponding LiDAR sensor 110 rotate according to the yaw, roll, and pitch of the LiDAR sensor 110, and the yaw, roll, and pitch of the reference LiDAR sensor 110a and the reference The above-described calibration process must be performed by comparing the differences in yaw, roll, and pitch of the LiDAR sensor 110b other than the LiDAR sensor. That is, the fusion unit 300 first considers the difference between the yaw, roll, and pitch of the reference LiDAR sensor 110a and the yaw, roll, and pitch of the LiDAR sensor 110b other than the reference LiDAR sensor, and first uses vector R 1 as a reference. When converted based on a coordinate system that is the same as the yaw, roll, and pitch of the lidar sensor 110a, a calibration process is performed in which vector R 1 is converted to vector R 1 ' by rotation and then converted to add vector R 0 . .

이 후 융합부(300)는 캘리브레이션 과정을 통해 기준 라이다 센서 외의 라이다 센서(110b)의 포인트 클라우드 데이터를 기준 라이다 센서(110a)의 좌표계에서의 포인트 클라우드 데이터로 변환한다. 그 다음 기준 라이다 센서(110a)의 포인트 클라우드 데이터와 기준 라이다 센서 외의 라이다 센서(110b)의 변환된 포인트 클라우드 데이터를 통합하여 하나의 융합 포인트 클라우드 데이터를 생성한다. Afterwards, the fusion unit 300 converts the point cloud data of the LiDAR sensor 110b other than the reference LiDAR sensor into point cloud data in the coordinate system of the reference LiDAR sensor 110a through a calibration process. Next, point cloud data from the reference LiDAR sensor 110a and converted point cloud data from LiDAR sensors 110b other than the reference LiDAR sensor are integrated to generate one fused point cloud data.

라이다 센서(110)는 이동체(예: 차량 등)에 탑재되므로 이동체의 이동에 의한 가속도와 진동 등에 의해 위치, 요, 롤 및 피치가 변화할 수 있다. 이러한 변화가 발생하면 동일한 위치에 대해 다른 포인트 클라우드 데이터가 통합됨으로 인해 부정확하게 주변의 객체를 인식할 수 있는 문제가 있다. 이를 해결하기 위해서는 재캘리브레이션, 즉 캘리브레이션 과정을 다시 수행하는 것이 필요하다. 재캘리브레이션 과정은 다음과 같다.Since the LiDAR sensor 110 is mounted on a moving object (e.g., a vehicle, etc.), the position, yaw, roll, and pitch may change due to acceleration and vibration due to movement of the moving object. When this change occurs, there is a problem that surrounding objects may be recognized inaccurately due to the integration of different point cloud data for the same location. To solve this, recalibration, that is, performing the calibration process again, is necessary. The recalibration process is as follows.

고장판단부(500)에는 라이다 센서(110)의 위치 변경으로 인한 재캘리브레이션 여부를 판단하는 재캘리브레이션판단값이 설정될 수 있다. 라이다 센서(110)의 관성측정장치는 주기적으로 해당 라이다 센서(110)의 위치, 요, 롤 및 피치를 측정할 수 있다. 재캘리브레이션판단값이란 해당 라이다 센서(110)의 위치 변화량, 요 변화량, 롤 변화량 및 피치 변화량을 의미한다. 고장판단부(500)는 해당 라이다 센서(110)의 이전에 측정한 위치, 요, 롤 및 피치와 이후 측정한 해당 라이다 센서(110)의 위치, 요, 롤 및 피치를 비교하여 그 차이가 기 설정된 재캘리브레이션판단값보다 클 경우 해당 라이다 센서(110)의 위치가 변경되었다고 판단하여 융합부(300)로 해당 라이다 센서(110)의 변경된 위치 정보를 전송하며, 융합부(300)는 고장판단부(500)로부터 전송받은 해당 라이다 센서(110)의 변경된 위치 정보를 기준으로 캘리브레이션 과정을 다시 수행할 수 있다. 물론 고장판단부(500)는 측정한 해당 라이다 센서(110)의 위치, 요, 롤 및 피치를 데이터수신부(200)를 통하여 입력받는다.A recalibration judgment value that determines whether or not to recalibrate due to a change in the position of the LiDAR sensor 110 may be set in the failure determination unit 500. The inertial measurement device of the LiDAR sensor 110 may periodically measure the position, yaw, roll, and pitch of the LiDAR sensor 110. The recalibration judgment value refers to the position change amount, yaw change amount, roll change amount, and pitch change amount of the corresponding lidar sensor 110. The failure determination unit 500 compares the previously measured position, yaw, roll, and pitch of the corresponding LiDAR sensor 110 with the subsequently measured position, yaw, roll, and pitch of the corresponding LiDAR sensor 110 and the difference. If it is greater than the preset recalibration judgment value, it is determined that the position of the corresponding LiDAR sensor 110 has changed, and the changed location information of the corresponding LiDAR sensor 110 is transmitted to the fusion unit 300, and the fusion unit 300 Can perform the calibration process again based on the changed location information of the corresponding LiDAR sensor 110 received from the failure determination unit 500. Of course, the failure determination unit 500 receives the measured position, yaw, roll, and pitch of the corresponding LiDAR sensor 110 through the data receiver 200.

이미지처리부(400)는 융합부(300)에서 생성된 융합 포인트 클라우드 데이터를 기준으로 3차원 공간상의 이미지를 생성한다.The image processing unit 400 generates an image in three-dimensional space based on the fusion point cloud data generated by the fusion unit 300.

디스플레이부(600)는 이미지처리부(400)에서 생성된 3차원 공간상의 이미지를 디스플레이하여 사용자가 주변 객체를 인식할 수 있도록 한다. 또한 디스플레이부(600)는 고장판단부(500)로부터 라이다 센서(110)의 고장 정보를 전송받아 디스플레이하여 사용자가 라이다 센서(110)의 고장을 알 수 있도록 한다. 디스플레이부(600)는 이미지를 표시할 수 있는 모니터 등 일 수 있다.The display unit 600 displays images in a three-dimensional space generated by the image processing unit 400 to enable the user to recognize surrounding objects. In addition, the display unit 600 receives failure information of the LiDAR sensor 110 from the failure determination unit 500 and displays it so that the user can know the failure of the LiDAR sensor 110. The display unit 600 may be a monitor capable of displaying images.

도 3의 예시에서 알 수 있는 바와 같이, 종래의 주변객체 인식 시스템은 단일 라이다 센서를 구비하여 정상 상태일 때는 주변 공간의 객체를 인식할 수 있으나, 라이다 센서의 가림 등으로 비정상 상태일 경우 주변 공간의 일부를 인식할 수 없는 부분, 즉 음역 지역이 발생한다.As can be seen in the example of Figure 3, the conventional surrounding object recognition system is equipped with a single LiDAR sensor and can recognize objects in the surrounding space in a normal state, but in an abnormal state due to occlusion of the LiDAR sensor, etc. A part of the surrounding space cannot be recognized, that is, a transliteration area occurs.

이에 대비하여 본 개시의 다중 라이다 센서(110)를 이용한 주변객체인식시스템(1000)은 도 5의 예시에서 알 수 있는 바와 같이, 복수의 라이다 센서(110)를 포함함으로써 모든 라이다 센서(110)가 정상 상태일 때와 1 개의 라이다 센서(110)가 가림 등으로 비정상 상태일 때 모두 음영 지역이 없이 주변 공간 모두를 인식할 수 있다. 또한 융합 포인트 클라우드 데이터를 기반으로 하여 단일 라이다 센서를 구비한 종래의 주변객체 인식 시스템에 비해 해상도가 높은 것을 알 수 있다. 이는 도 4의 예시에서 알 수 있는 바와 같이, 각각의 라이다 센서(110)로부터 포인트 클라우드 데이터를 수집한 후, 각각의 포인트 클라우드 데이터를 기준 라이다 센서(110a)의 좌표계로 변환하는 캘리브레이션 과정을 수행한 후, 각각의 변환된 포이트 클라우드 데이터를 융합하기 때문에 어느 하나의 라이다 센서(110)의 가림 등에 의해 비정상 상태가 되더라도 음영지역을 해소할 수 있기 때문이다. 도 4의 a는 캘리브레이션 후의 각 라이다 센서(110)의 포인트 클라우드 데이터를 통한 이미지를 보여주고, 도 4의 b는 이들을 머지된 융합 포인트 클라우드 데이터를 통한 이미지를 보여준다.In contrast, the surrounding object recognition system 1000 using the multiple LiDAR sensors 110 of the present disclosure includes a plurality of LiDAR sensors 110, as can be seen in the example of FIG. 5, so that all LiDAR sensors ( When 110) is in a normal state and when one LiDAR sensor 110 is in an abnormal state due to occlusion, the entire surrounding space can be recognized without a shadow area. In addition, based on fused point cloud data, it can be seen that the resolution is higher than that of the conventional surrounding object recognition system equipped with a single LiDAR sensor. As can be seen in the example of FIG. 4, the calibration process involves collecting point cloud data from each LiDAR sensor 110 and then converting each point cloud data into the coordinate system of the reference LiDAR sensor 110a. After performing the process, each converted point cloud data is fused, so even if an abnormal state occurs due to occlusion of any one LiDAR sensor 110, the shaded area can be resolved. Figure 4a shows an image through point cloud data of each lidar sensor 110 after calibration, and Figure 4b shows an image through merged point cloud data.

도 6은 본 개시의 실시예에 따른 다중 라이다 센서(110)를 이용한 주변객체인식 방법을 나타내는 도면이고, 도 7은 본 개시의 실시예에 따른 다중 라이다 센서(110)를 이용한 주변객체인식 방법의 수평계(10)를 이용한 설치 단계를 나타내는 도면이며, 도 8은 본 개시의 실시예에 따른 다중 라이다 센서(110)를 이용한 주변객체인식 방법의 포인트 클라우드 데이터를 생성하는 단계를 나타내는 도면이고, 도 9는 본 개시의 실시예에 따른 다중 라이다 센서(110)를 이용한 주변객체인식 방법의 융합 포인트 클라우드 데이터를 생성하는 단계를 나타내는 도면이다.FIG. 6 is a diagram showing a method for recognizing surrounding objects using multiple LiDAR sensors 110 according to an embodiment of the present disclosure, and FIG. 7 is a diagram showing surrounding object recognition using multiple LiDAR sensors 110 according to an embodiment of the present disclosure. It is a diagram showing the installation step using the level 10 of the method, and FIG. 8 is a diagram showing the step of generating point cloud data of the surrounding object recognition method using the multiple LiDAR sensors 110 according to an embodiment of the present disclosure. , FIG. 9 is a diagram showing the step of generating fusion point cloud data of the surrounding object recognition method using multiple LIDAR sensors 110 according to an embodiment of the present disclosure.

도 6의 예시에서 알 수 있는 바와 같이, 본 개시의 다른 실시 형태인 다중 구성의 라이다 센서(110)를 이용한 주변객체인식 방법은 (A) 복수의 라이다 센서(110)가 주변 객체에 대한 위치 정보를 센싱하는 단계, (B) 각각의 라이다 센서(110)로부터 주변 객체에 대한 위치 정보를 입력받아 해당 라이다 센서(110)에 대한 포인트 클라우드 데이터를 생성하는 단계, (C) 포인트 클라우드 데이터를 머지하여 융합 포인트 클라우드 데이터를 생성하는 단계, (D) 융합 포인트 클라우드 데이터를 기반으로 주변 객체에 대한 이미지를 생성하는 단계, (E) 복수의 라이다 센서(110)의 고장 유무를 판단하는 단계, 및 (F) 주변 객체에 대한 이미지 및 복수의 라이다 센서(110)의 고장 유무를 디스플레이하는 단계를 포함한다.As can be seen from the example of FIG. 6, the surrounding object recognition method using a multi-configuration LiDAR sensor 110, which is another embodiment of the present disclosure, is (A) a plurality of LiDAR sensors 110 detecting surrounding objects. Sensing location information, (B) receiving location information about surrounding objects from each LiDAR sensor 110 and generating point cloud data for the corresponding LiDAR sensor 110, (C) point cloud Merging data to generate fused point cloud data, (D) generating images of surrounding objects based on the fused point cloud data, (E) determining whether or not a plurality of LiDAR sensors 110 are broken. and (F) displaying images of surrounding objects and whether or not the plurality of LiDAR sensors 110 are broken.

도 7의 예시에서 알 수 있는 바와 같이, 본 개시의 실시예에 따른 다중 구성의 라이다 센서(110)를 이용한 주변객체인식 방법은 복수의 라이다 센서(110)가 설치되는 부분에 수평계(10)가 설치되는 단계 및 수평계(10)를 기반으로 복수의 라이다 센서(110)가 수평이 유지되도록 설치되는 단계를 더 포함할 수 있다.As can be seen in the example of FIG. 7, the surrounding object recognition method using a multi-configuration LiDAR sensor 110 according to an embodiment of the present disclosure uses a level 10 at the portion where the plurality of LiDAR sensors 110 are installed. ) may further include a step of being installed and a step of installing the plurality of LiDAR sensors 110 so that they are maintained horizontally based on the level 10.

도 8의 예시에서 알 수 있는 바와 같이, (B) 단계는 (B-1) 복수의 라이다 센서(110)에 대한 각각의 해당 저장 폴더를 생성하는 단계, (B-2) 각각의 저장 폴더에 해당 라이다 센서(110)로부터 주변 객체에 대한 위치 정보를 입력받는 단계, 및 (B-3) 입력받은 주변 객체에 대한 위치 정보를 기반으로 해당 라이다 센서(110)에 대한 포인트 클라우드 데이터를 생성하고 저장하는 단계를 포함하는 것을 특징으로 한다.As can be seen in the example of FIG. 8, step (B) includes (B-1) creating a corresponding storage folder for each of the plurality of lidar sensors 110, (B-2) creating each storage folder A step of receiving location information about surrounding objects from the corresponding LiDAR sensor 110, and (B-3) receiving point cloud data about the corresponding LiDAR sensor 110 based on the input location information about the surrounding objects. It is characterized by including the steps of creating and storing.

도 9의 예시에서 알 수 있는 바와 같이, (C) 단계는 (C-1) 복수의 라이다 센서(110) 중 어느 한 라이다 센서(110)가 기준 라이다 센서(110a)로 설정되는 단계, (C-2) 기준 라이다 센서(110a)의 위치, 요, 롤 및 피치와 기준 라이다 센서 외의 라이다 센서(110b)의 위치, 요, 롤 및 피치를 비교하여 기준 라이다 센서 외의 라이다 센서(110b)의 좌표계를 기준 라이다 센서(110a)의 좌표계로 변환하는 캘리브레이션 과정을 수행하는 단계, (C-3) 캘리브레이션 과정을 통해 기준 라이다 센서 외의 라이다 센서(110b)의 포인트 클라우드 데이터를 기준 라이다 센서(110a)의 좌표계에서의 포인트 클라우드 데이터로 변환하는 단계, 및 (C-4) 기준 라이다 센서(110a)의 포인트 클라우드 데이터와 기준 라이다 센서 외의 라이다 센서(110b)의 변환된 포인트 클라우드 데이터를 머지하여 융합 포인트 클라우드 데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.As can be seen in the example of FIG. 9, step (C) is (C-1) a step in which one LiDAR sensor 110 among the plurality of LiDAR sensors 110 is set as the reference LiDAR sensor 110a. , (C-2) By comparing the position, yaw, roll and pitch of the reference LiDAR sensor (110a) with the position, yaw, roll and pitch of the LiDAR sensor (110b) other than the reference LiDAR sensor, Performing a calibration process to convert the coordinate system of the Ida sensor 110b into the coordinate system of the reference LiDAR sensor 110a, (C-3) point cloud of the LiDAR sensor 110b other than the reference LiDAR sensor through the calibration process Converting data into point cloud data in the coordinate system of the reference LiDAR sensor 110a, and (C-4) point cloud data of the reference LiDAR sensor 110a and LiDAR sensors 110b other than the reference LiDAR sensor It is characterized in that it includes the step of merging the converted point cloud data to generate fused point cloud data.

또한 (C) 단계는 (C-5) 재캘리브레이션을 판단하는 재캘리브레이션판단값이 기 설정되는 단계, (C-6) 관성측정장치는 주기적으로 해당 라이다 센서(110)의 위치, 요, 롤 및 피치를 측정하는 단계, (C-7) 해당 라이다 센서(110)의 이전 위치, 요, 롤 및 피치와 주기적으로 측정하는 해당 라이다 센서(110)의 위치, 요, 롤 및 피치의 차이가 기 설정된 재캘리브레이션판단값보다 큰지 여부를 판단하는 단계, 및 (C-8) 차이가 재캘리브레이션판단값보다 큰 경우 라이다 센서(110)가 위치가 변경되었다고 판단하여 캘리브레이션 과정을 다시 수행하는 단계를 더 포함할 수 있다.In addition, step (C) is (C-5) a step in which the recalibration judgment value for determining recalibration is preset, and (C-6) the inertial measurement device periodically determines the position, yaw, and roll of the corresponding lidar sensor 110. and measuring the pitch, (C-7) the difference between the previous position, yaw, roll, and pitch of the corresponding LiDAR sensor 110 and the periodically measured position, yaw, roll, and pitch of the corresponding LiDAR sensor 110. A step of determining whether the difference is greater than the preset recalibration judgment value, and (C-8) a step of determining that the position of the LiDAR sensor 110 has changed and performing the calibration process again if the difference is greater than the recalibration judgment value. It may further include.

10: 수평계
100: 다중 라이다 센서부
110: 라이다 센서
110a: 기준 라이다 센서
110b: 기준 라이다 센서 외의 라이다 센서
200: 데이터수신부
300: 융합부
400: 이미지처리부
500: 고장판단부
600: 디스플레이부
1000: 주변객체인식시스템10: Level
100: Multiple lidar sensor unit
110: Lidar sensor
110a: Reference LiDAR sensor
110b: LiDAR sensor other than the reference LiDAR sensor
200: Data receiving unit
300: Fusion section
400: Image processing unit
500: Failure determination unit
600: Display unit
1000: Surrounding object recognition system

Claims (13)

복수의 라이다 센서를 포함하는 다중 라이다 센서부;
상기 다중 라이다 센서부로부터 포인트 클라우드 데이터를 입력받는 데이터수신부;
상기 데이터수신부로부터 입력받은 포인트 클라우드 데이터를 머지하여 융합 포인트 클라우드 데이터를 생성하는 융합부;
상기 융합부에서 생성한 상기 융합 포인트 클라우드 데이터를 기반으로 주변 객체에 대한 이미지를 생성하는 이미지처리부;
복수의 상기 라이다 센서의 고장 유무를 판단하는 고장판단부; 및
상기 이미지처리부에서 생성된 주변 객체에 대한 상기 이미지 및 상기 고장판단부에서 생성된 상기 복수의 라이다 센서의 고장 유무 정보를 표시하는 디스플레이부;를 포함하는 다중 라이다 센서를 이용한 주변객체인식시스템에 있어서,
복수의 상기 라이다 센서는
관성측정장치를 포함하고, 상기 관성측정장치는 해당 라이다 센서의 위치, 요, 롤 및 피치를 측정하고,
상기 융합부는
복수의 라이다 센서 중 어느 한 라이다 센서를 기준 라이다 센서로 설정하고,
상기 기준 라이다 센서의 위치, 요, 롤 및 피치와 상기 기준 라이다 센서 외의 라이다 센서의 위치, 요, 롤 및 피치를 비교하여 상기 기준 라이다 센서 외의 상기 라이다 센서의 좌표계를 상기 기준 라이다 센서의 좌표계로 변환하는 캘리브레이션 과정을 수행하고,
상기 캘리브레이션 과정을 통해 상기 기준 라이다 센서 외의 상기 라이다 센서의 포인트 클라우드 데이터를 상기 기준 라이다 센서의 좌표계에서의 포인트 클라우드 데이터로 변환하며,
상기 기준 라이다 센서의 포인트 클라우드 데이터와 상기 기준 라이다 센서 외의 상기 라이다 센서의 상기 변환된 포인트 클라우드 데이터를 머지하여 융합 포인트 클라우드 데이터를 생성하는 다중 라이다 센서를 이용한 주변객체인식시스템.
Multiple LiDAR sensor unit including a plurality of LiDAR sensors;
A data receiving unit that receives point cloud data from the multiple lidar sensor unit;
A fusion unit that merges the point cloud data input from the data receiver to generate fused point cloud data;
an image processing unit that generates images of surrounding objects based on the fusion point cloud data generated by the fusion unit;
A failure determination unit that determines whether or not a plurality of the lidar sensors are broken; and
A display unit that displays the image of the surrounding object generated by the image processing unit and information on whether or not the plurality of LiDAR sensors are broken generated by the failure determination unit. A surrounding object recognition system using multiple LiDAR sensors including a Because,
The plurality of lidar sensors
Includes an inertial measurement device, wherein the inertial measurement device measures the position, yaw, roll, and pitch of the corresponding lidar sensor,
The fusion part
Set one of the plurality of lidar sensors as the reference lidar sensor,
By comparing the position, yaw, roll and pitch of the reference LiDAR sensor with the position, yaw, roll and pitch of the LiDAR sensor other than the reference LiDAR sensor, the coordinate system of the LiDAR sensor other than the reference LiDAR sensor is set to the reference Perform a calibration process to convert to the coordinate system of the sensor,
Through the calibration process, point cloud data of the LiDAR sensor other than the reference LiDAR sensor is converted into point cloud data in the coordinate system of the reference LiDAR sensor,
A surrounding object recognition system using multiple LiDAR sensors that generates fused point cloud data by merging the point cloud data of the reference LiDAR sensor and the converted point cloud data of the LiDAR sensor other than the reference LiDAR sensor.
 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 청구항 1에 있어서,
상기 고장판단부에는 재캘리브레이션을 판단하는 재캘리브레이션판단값이 설정되어 있고,
상기 관성측정장치는 주기적으로 해당 라이다 센서의 위치, 요, 롤 및 피치를 측정하며,
상기 고장판단부는 상기 해당 라이다 센서의 이전 위치, 요, 롤 및 피치와 주기적으로 측정하는 상기 해당 라이다 센서의 위치, 요, 롤 및 피치의 차이가 기 설정된 상기 재캘리브레이션판단값보다 큰지 여부를 판단하고,
상기 고장판단부는 상기 차이가 상기 재캘리브레이션판단값보다 큰 경우 상기 해당 라이다 센서의 위치가 변경되었다고 판단하여 상기 융합부로 상기 라이다 센서의 변경된 위치 정보를 전송하며,
상기 융합부는 상기 캘리브레이션 과정을 다시 수행하는 것을 특징으로 하는 다중 라이다 센서를 이용한 주변객체인식시스템.
In claim 1,
In the failure determination unit, a recalibration judgment value for determining recalibration is set,
The inertial measurement device periodically measures the position, yaw, roll, and pitch of the corresponding lidar sensor,
The failure determination unit determines whether the difference between the previous position, yaw, roll, and pitch of the corresponding LiDAR sensor and the periodically measured position, yaw, roll, and pitch of the corresponding LiDAR sensor is greater than the preset recalibration judgment value. judge,
If the difference is greater than the recalibration determination value, the failure determination unit determines that the location of the corresponding LiDAR sensor has changed and transmits the changed location information of the LiDAR sensor to the fusion unit,
A surrounding object recognition system using multiple LIDAR sensors, wherein the fusion unit re-performs the calibration process.
 (A) 복수의 라이다 센서가 주변 객체에 대한 위치 정보를 센싱하는 단계;
(B) 각각의 라이다 센서로부터 주변 객체에 대한 상기 위치 정보를 입력받아 해당 라이다 센서에 대한 포인트 클라우드 데이터를 생성하는 단계;
(C) 상기 포인트 클라우드 데이터를 머지하여 융합 포인트 클라우드 데이터를 생성하는 단계;
(D) 상기 융합 포인트 클라우드 데이터를 기반으로 주변 객체에 대한 이미지를 생성하는 단계;
(E) 상기 복수의 라이다 센서의 고장 유무를 판단하는 단계; 및
(F) 주변 객체에 대한 상기 이미지 및 상기 복수의 라이다 센서의 고장 유무를 디스플레이하는 단계;를 포함하는 다중 라이다 센서를 이용한 주변객체인식 방법에 있어서,
복수의 상기 라이다 센서는
관성측정장치를 포함하고, 상기 관성측정장치는 해당 라이다 센서의 위치, 요, 롤 및 피치를 측정하고,
상기 (C) 단계는
(C-1) 복수의 라이다 센서 중 어느 한 라이다 센서가 기준 라이다 센서로 설정되는 단계;
(C-2) 상기 기준 라이다 센서의 위치, 요, 롤 및 피치와 상기 기준 라이다 센서 외의 라이다 센서의 위치, 요, 롤 및 피치를 비교하여 상기 기준 라이다 센서 외의 상기 라이다 센서의 좌표계를 상기 기준 라이다 센서의 좌표계로 변환하는 캘리브레이션 과정을 수행하는 단계;
(C-3) 상기 캘리브레이션 과정을 통해 상기 기준 라이다 센서 외의 상기 라이다 센서의 포인트 클라우드 데이터를 상기 기준 라이다 센서의 좌표계에서의 포인트 클라우드 데이터로 변환하는 단계; 및
(C-4) 상기 기준 라이다 센서의 포인트 클라우드 데이터와 상기 기준 라이다 센서 외의 상기 라이다 센서의 상기 변환된 포인트 클라우드 데이터를 머지하여 융합 포인트 클라우드 데이터를 생성하는 단계;를 포함하는 다중 라이다 센서를 이용한 주변객체인식 방법.
(A) A plurality of LiDAR sensors sensing location information about surrounding objects;
(B) receiving the location information about surrounding objects from each LiDAR sensor and generating point cloud data for the corresponding LiDAR sensor;
(C) merging the point cloud data to generate fused point cloud data;
(D) generating images of surrounding objects based on the fused point cloud data;
(E) determining whether the plurality of lidar sensors are broken; and
(F) displaying the image of the surrounding object and the presence or absence of a failure of the plurality of LiDAR sensors; In the surrounding object recognition method using multiple LiDAR sensors, including:
The plurality of lidar sensors
Includes an inertial measurement device, wherein the inertial measurement device measures the position, yaw, roll, and pitch of the corresponding lidar sensor,
The step (C) is
(C-1) Setting one LiDAR sensor among a plurality of LiDAR sensors as a reference LiDAR sensor;
(C-2) Compare the position, yaw, roll, and pitch of the reference LiDAR sensor with the location, yaw, roll, and pitch of the LiDAR sensor other than the reference LiDAR sensor. Performing a calibration process to convert the coordinate system into the coordinate system of the reference lidar sensor;
(C-3) converting point cloud data of the LiDAR sensor other than the reference LiDAR sensor into point cloud data in the coordinate system of the reference LiDAR sensor through the calibration process; and
(C-4) merging the point cloud data of the reference LiDAR sensor and the converted point cloud data of the LiDAR sensor other than the reference LiDAR sensor to generate fused point cloud data; multiple LIDAR including; Method for recognizing surrounding objects using sensors.
 삭제delete 삭제delete 삭제delete 삭제delete 청구항 8에 있어서,
상기 (C) 단계는
(C-5) 재캘리브레이션을 판단하는 재캘리브레이션판단값이 기 설정되는 단계;
(C-6) 상기 관성측정장치는 주기적으로 해당 라이다 센서의 위치, 요, 롤 및 피치를 측정하는 단계;
(C-7) 상기 해당 라이다 센서의 이전 위치, 요, 롤 및 피치와 주기적으로 측정하는 상기 해당 라이다 센서의 위치, 요, 롤 및 피치의 차이가 기 설정된 상기 재캘리브레이션판단값보다 큰지 여부를 판단하는 단계; 및
(C-8) 상기 차이가 상기 재캘리브레이션판단값보다 큰 경우 상기 라이다 센서가 위치가 변경되었다고 판단하여 상기 캘리브레이션 과정을 다시 수행하는 단계; 를 더 포함하는 것을 특징으로 하는 다중 라이다 센서를 이용한 주변객체인식 방법.
In claim 8,
The step (C) is
(C-5) A step in which a recalibration judgment value for determining recalibration is preset;
(C-6) the inertial measurement device periodically measures the position, yaw, roll, and pitch of the corresponding LiDAR sensor;
(C-7) Whether the difference between the previous position, yaw, roll, and pitch of the corresponding LiDAR sensor and the periodically measured position, yaw, roll, and pitch of the corresponding LiDAR sensor is greater than the preset recalibration judgment value. determining; and
(C-8) If the difference is greater than the recalibration determination value, determining that the position of the LiDAR sensor has changed and performing the calibration process again; A surrounding object recognition method using multiple LiDAR sensors, further comprising:
KR1020230138644A 2023-10-17 2023-10-17 Object Recognition System using Multi- LiDAR and Its Method KR102615504B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230138644A KR102615504B1 (en) 2023-10-17 2023-10-17 Object Recognition System using Multi- LiDAR and Its Method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230138644A KR102615504B1 (en) 2023-10-17 2023-10-17 Object Recognition System using Multi- LiDAR and Its Method

Publications (1)

Publication Number Publication Date
KR102615504B1 true KR102615504B1 (en) 2023-12-19

Family

ID=89385264

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230138644A KR102615504B1 (en) 2023-10-17 2023-10-17 Object Recognition System using Multi- LiDAR and Its Method

Country Status (1)

Country Link
KR (1) KR102615504B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200139407A (en) * 2019-06-04 2020-12-14 현대모비스 주식회사 Apparatus for controlling vehicle based on reliablity of multi lidar and method thereof
KR20210061875A (en) * 2019-11-20 2021-05-28 국민대학교산학협력단 Method for detecting defects in the 3d lidar sensor using point cloud data
KR20220000171A (en) 2020-06-25 2022-01-03 현대자동차주식회사 Apparatus for percepting object based on lidar data and method for mergering segments thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200139407A (en) * 2019-06-04 2020-12-14 현대모비스 주식회사 Apparatus for controlling vehicle based on reliablity of multi lidar and method thereof
KR20210061875A (en) * 2019-11-20 2021-05-28 국민대학교산학협력단 Method for detecting defects in the 3d lidar sensor using point cloud data
KR20220000171A (en) 2020-06-25 2022-01-03 현대자동차주식회사 Apparatus for percepting object based on lidar data and method for mergering segments thereof

Similar Documents

Publication Publication Date Title
US11650291B2 (en) LiDAR sensor
US10665012B2 (en) Augmented reality camera for use with 3D metrology equipment in forming 3D images from 2D camera images
US20220172487A1 (en) Method for detecting an operating capability of an environment sensor, control unit and vehicle
EP3495769B1 (en) Surveying device, and calibration method and calibration program for surveying device
JP6316568B2 (en) Surveying system
CN103782132B (en) There is geodetic mapping and survey system and the method for multiple target tracking function
CN106197308B (en) Measuring device
EP3702806A1 (en) Control device, control method, program, and storage medium
US11994588B2 (en) Three-dimensional surface scanning
CN103502876A (en) Method and device for calibrating a projection device of a vehicle
US11789126B2 (en) Handheld laser distance meter
EP3296719A1 (en) Gas concentration measurement device
CN108780149B (en) Method for improving the detection of at least one object in the surroundings of a motor vehicle by indirect measurement of a sensor, control unit, driver assistance system and motor vehicle
KR102539287B1 (en) Apparatus for controlling vehicle based on reliablity of multi lidar and method thereof
JP2014215296A (en) Laser scanner for traveling object navigation
EP2940508A1 (en) Borescope and navigation method thereof
US20140132600A1 (en) Three-dimensional model generating device
US10830917B2 (en) Method for detecting an anomaly in the context of using a magnetic locating device
KR102615504B1 (en) Object Recognition System using Multi- LiDAR and Its Method
US20120133584A1 (en) Apparatus and method for calibrating 3D position in 3D position and orientation tracking system
US20170227642A1 (en) Stereo range with lidar correction
CN113474678B (en) System and method for compensating for movement of a vehicle component
CN104169723A (en) Inertial sensor enhancement
CN116047481A (en) Method, device, equipment and storage medium for correcting point cloud data distortion
US20170350968A1 (en) Single pulse lidar correction to stereo imaging

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant