KR20200054370A - Apparatus and method for automatically calibrating integrated sensor of autonomous vehicle - Google Patents

Apparatus and method for automatically calibrating integrated sensor of autonomous vehicle Download PDF

Info

Publication number
KR20200054370A
KR20200054370A KR1020180134877A KR20180134877A KR20200054370A KR 20200054370 A KR20200054370 A KR 20200054370A KR 1020180134877 A KR1020180134877 A KR 1020180134877A KR 20180134877 A KR20180134877 A KR 20180134877A KR 20200054370 A KR20200054370 A KR 20200054370A
Authority
KR
South Korea
Prior art keywords
marker
lidar
correction
correction value
axis
Prior art date
Application number
KR1020180134877A
Other languages
Korean (ko)
Other versions
KR102470772B1 (en
Inventor
김석기
Original Assignee
주식회사 스프링클라우드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스프링클라우드 filed Critical 주식회사 스프링클라우드
Priority to KR1020180134877A priority Critical patent/KR102470772B1/en
Publication of KR20200054370A publication Critical patent/KR20200054370A/en
Application granted granted Critical
Publication of KR102470772B1 publication Critical patent/KR102470772B1/en

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14Adaptive cruise control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/90Lidar systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/50Magnetic or electromagnetic sensors
    • B60W2420/506Inductive sensors, i.e. passive wheel sensors

Abstract

Suggested are a device and a method for automatically correcting an integrated sensor of an autonomous vehicle to automatically correct output data of a LIDAR of an integrated sensor in an autonomous vehicle having an integrated sensor in which a camera and a LIDAR are integrally installed. The suggested device includes a sensor fusion unit connected to an integrated sensor in which a camera and a LIDAR are integrated, generating a correction value based on a reference camera image of the camera and a reference LIDAR image of the LIDAR, and automatically correcting output data of the LIDAR with the correction value.

Description

자율 주행 차량의 통합 센서 자동 보정 장치 및 방법{Apparatus and method for automatically calibrating integrated sensor of autonomous vehicle}Apparatus and method for automatically calibrating integrated sensor of autonomous vehicle

본 발명은 자율 주행 차량의 통합 센서 자동 보정 장치 및 방법에 관한 것으로, 보다 상세하게는 카메라와 라이다(Lidar)가 통합 설치된 통합 센서를 갖춘 자율 주행 차량에서의 통합 센서를 자동 보정할 수 있도록 하는 장치 및 방법에 관한 것이다.The present invention relates to an automatic sensor autocorrecting device and method for an autonomous driving vehicle, and more specifically, to enable automatic correction of an integrated sensor in an autonomous vehicle with an integrated sensor in which a camera and a lidar are installed. It relates to a device and method.

일반적으로, 자율 주행 차량은 운전자가 차량을 조작하지 않아도 스스로 주행하는 차량으로서, 운전자가 브레이크, 핸들, 가속 페달 등을 제어하지 않아도 도로의 상황을 파악하여 자동으로 주행하는 차량을 의미한다.In general, an autonomous vehicle is a vehicle that drives itself without the driver having to operate the vehicle, and refers to a vehicle that automatically drives the vehicle by grasping the road condition without controlling the brake, handle, or accelerator pedal.

스마트 카 구현을 위한 핵심 기술로, 자율 주행 차량을 위해서는 고속도로 주행 지원 시스템(HDA, 자동차 간 거리를 자동으로 유지해 주는 기술)을 비롯하여 후측방 경보 시스템(BSD, 후진 중 주변 차량을 감지, 경보를 울리는 기술), 자동 긴급 제동 시스템(AEB, 앞차를 인식하지 못할 시 제동 장치를 가동하는 기술), 차선 이탈 경보 시스템(LDWS), 차선 유지 지원 시스템(LKAS, 방향 지시등 없이 차선을 벗어나는 것을 보완하는 기술), 어드밴스드 스마트 크루즈 컨트롤(ASCC, 설정된 속도로 차 간 거리를 유지하며 정속 주행하는 기술), 혼잡 구간 주행 지원 시스템(TJA) 등이 구현되어야 한다. As a core technology for smart car implementation, for autonomous vehicles, highway driving support systems (HDA, technology that automatically maintains the distance between cars), as well as rear-side warning systems (BSD, detects nearby vehicles during reversing and sounds an alarm) Technology), automatic emergency braking system (AEB, technology to start the braking system when the vehicle in front is not recognized), lane departure warning system (LDWS), lane maintenance support system (LKAS, technology to compensate for leaving the lane without a turn signal) , Advanced Smart Cruise Control (ASCC, a technology that maintains a constant distance between cars at a set speed and constant speed driving), a congestion section driving support system (TJA), etc. should be implemented.

이러한 자율 주행 차량을 위한 다양한 시스템에는 카메라가 사용되는데, 카메라만으로는 거리 정보의 정확성이 떨어져서 사물의 거리 측정이 어렵다.Cameras are used in various systems for such self-driving vehicles, but it is difficult to measure the distance of an object because the accuracy of distance information is reduced only by the camera.

그리고, 카메라는 조도 및 날씨 등의 주변 환경적 요인에 대한 특성적 한계를 가지고 있다.In addition, the camera has characteristic limitations on environmental factors such as illumination and weather.

그에 따라, 카메라 자체의 특성적 한계를 보완하기 위해 라이다(LiDAR)를 병행하여 사용하기도 한다.Accordingly, LiDAR may be used in parallel to compensate for the characteristic limitations of the camera itself.

그런데, 카메라와 라이다는 시야각에서 차이가 있다. 이러한 시야각 차이로 인해 설치 위치에 따른 별도의 보정 작업이 필요하다.However, the camera and the rider differ in viewing angle. Due to this difference in viewing angle, a separate correction operation is required according to the installation location.

특히, 생산 공정에서 카메라와 라이다간의 시야각 차이에 따른 기계적인 보정을 실시하였다고 하더라도 작업자의 손떨림 등에 의해 기계적 보정이 정확하지 않은 채로 판매되기도 한다.In particular, even if mechanical correction is performed according to the difference in viewing angle between the camera and the lidar in the production process, the mechanical correction may be sold inaccurately due to operator shaking.

또한, 작업자에 의한 기계적 보정이 정상적으로 이루어졌다고 하더라도 카메라와 라이다가 통합된 통합 센서를 자율 주행 차량에 장착하여 장시간 사용하다 보면 카메라와 라이다가 제위치에서 약간씩 틀어지기도 한다.In addition, even if the mechanical correction by the operator has been normally performed, the camera and the lidar may be slightly displaced in place when the integrated sensor integrated with the camera and the lidar is mounted on an autonomous vehicle and used for a long time.

선행기술 1 : 대한민국 공개특허 제10-2018-0055292호(다중 라이다 좌표계 통합 방법)Prior Art 1: Republic of Korea Patent Publication No. 10-2018-0055292 (Multi-LIDAR coordinate system integration method) 선행기술 2 : 대한민국 공개특허 제10-2014-0065627호(차량용 카메라 캘리브레이션 장치 및 방법)Prior art 2: Republic of Korea Patent Publication No. 10-2014-0065627 (vehicle camera calibration device and method) 선행기술 3 : 대한민국 공개특허 제10-2015-0142543호(자동차의 통합센서 시스템)Prior art 3: Republic of Korea Patent Publication No. 10-2015-0142543 (integrated sensor system for automobiles) 선행기술 4 : 대한민국 공개특허 제10-2015-0066182호(정밀 위치 설정 장치 및 방법)Prior art 4: Republic of Korea Patent Publication No. 10-2015-0066182 (precision positioning device and method)

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 카메라와 라이다(Lidar)가 통합 설치된 통합 센서를 갖춘 자율 주행 차량에서 통합 센서의 라이다의 출력 데이터를 자동 보정할 수 있도록 하는 자율 주행 차량의 통합 센서 자동 보정 장치 및 방법을 제공함에 그 목적이 있다.The present invention has been proposed to solve the above-described conventional problems, autonomous to enable automatic correction of the output data of the lidar of the integrated sensor in an autonomous vehicle with an integrated sensor in which a camera and a lidar are integrated. An object of the present invention is to provide an apparatus and method for automatically calibrating an integrated sensor of a driving vehicle.

상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 자율 주행 차량의 통합 센서 자동 보정 장치는, 카메라와 라이다가 통합된 통합 센서와 연결되고, 상기 카메라의 기준 카메라 영상과 상기 라이다의 기준 라이다 영상을 근거로 보정값을 생성하고, 상기 보정값으로 상기 라이다의 출력 데이터를 자동 보정하는 센서 퓨전부;를 포함한다.In order to achieve the above object, the automatic sensor autocorrecting device of the autonomous vehicle according to the preferred embodiment of the present invention is connected to an integrated sensor in which a camera and a lidar are integrated, and the reference camera image and the lidar of the camera. It includes; a sensor fusion unit for generating a correction value based on the reference lidar image, and automatically correcting the output data of the lidar with the correction value.

상기 센서 퓨전부는, 상기 기준 카메라 영상 및 상기 기준 라이다 영상을 비교하여 x축, y축, z축에 대한 편차값을 산출하고, 산출된 편차값으로 x축, y축, z축에 대한 보정값을 생성할 수 있다.The sensor fusion unit compares the reference camera image and the reference lidar image to calculate deviation values for the x-axis, y-axis, and z-axis, and corrects the x-axis, y-axis, and z-axis with the calculated deviation values. You can create a value.

상기 센서 퓨전부는, 상기 생성된 보정값이 기설정된 범위를 초과하면 기계적 보정이 필요하다는 알림 메시지를 표시부에게로 출력할 수 있다.The sensor fusion unit may output a notification message to the display unit that mechanical correction is necessary when the generated correction value exceeds a predetermined range.

상기 센서 퓨전부는, 상기 기설정된 범위를 초과하는 보정값을 함께 출력할 수 있다.The sensor fusion unit may output a correction value exceeding the preset range.

상기 센서 퓨전부는, 상기 보정값의 생성 및 생성된 보정값을 근거로 하는 자동 보정 동작을 제어하되, 상기 기준 카메라 영상에 다수의 제 1 마커를 배치하고, 상기 기준 라이다 영상에 다수의 제 2 마커를 배치하는 제어부; 상기 제 1 마커 및 상기 제 2 마커를 인식하는 마커 인식부; 상기 인식된 제 1 마커의 정보 및 제 2 마커의 정보를 추출하는 마커 정보 추출부; 상기 제 1 마커의 정보 및 제 2 마커의 정보를 비교하여 상호간의 편차값을 산출하고, 상기 편차값을 근거로 보정값을 생성하는 보정값 생성부; 및 보정값 생성 이후에 수신되는 상기 라이다의 출력 데이터에 상기 보정값을 적용시켜 보정된 데이터를 출력하는 자동 보정부;를 포함할 수 있다.The sensor fusion unit controls the automatic correction operation based on the generation of the correction value and the generated correction value, and places a plurality of first markers on the reference camera image, and a plurality of second values on the reference lidar image. A control unit for placing a marker; A marker recognition unit recognizing the first marker and the second marker; A marker information extraction unit extracting information of the recognized first marker and information of the second marker; A correction value generation unit comparing the information of the first marker and the information of the second marker to calculate a deviation value between each other, and generating a correction value based on the deviation value; And an automatic correction unit that outputs the corrected data by applying the correction value to the output data of the rider received after generating the correction value.

상기 제어부는, 상기 생성된 보정값이 기설정된 범위를 초과하면 기계적 보정이 필요하다는 알림 메시지를 상기 표시부에게로 출력할 수 있다.The control unit may output, to the display unit, a notification message that mechanical correction is necessary when the generated correction value exceeds a preset range.

상기 제어부는, 상기 기설정된 범위를 초과하는 보정값을 함께 출력할 수 있다.The control unit may output a correction value exceeding the preset range.

상기 제 1 마커의 정보 및 제 2 마커의 정보는 각각의 마커의 꼭지점의 x,y,z축 좌표값일 수 있다.The information of the first marker and the information of the second marker may be x, y, and z-axis coordinate values of the vertices of each marker.

한편, 본 발명의 바람직한 실시양태에 따른 자율 주행 차량의 통합 센서 자동 보정 방법은, 자율 주행 차량의 통합 센서 자동 보정 장치에서의 통합 센서 자동 보정 방법으로서, 카메라와 라이다가 통합된 통합 센서에서 상기 카메라의 기준 카메라 영상과 상기 라이다의 기준 라이다 영상을 근거로 보정값을 생성하는 단계; 및 상기 생성된 보정값으로 상기 라이다의 출력 데이터를 자동 보정하는 단계;를 포함한다.On the other hand, the method for automatically calibrating the integrated sensor of the autonomous vehicle according to the preferred embodiment of the present invention is an integrated sensor automatic calibration method in the integrated sensor automatic calibrating device for the autonomous vehicle, in the integrated sensor integrated with the camera and the lidar. Generating a correction value based on a reference camera image of the camera and a reference lidar image of the lidar; And automatically correcting the output data of the lidar with the generated correction value.

상기 보정값을 생성하는 단계는, 상기 기준 카메라 영상 및 상기 기준 라이다 영상을 비교하여 x축, y축, z축에 대한 편차값을 산출하는 단계; 및 상기 산출된 편차값으로 x축, y축, z축에 대한 보정값을 생성하는 단계;를 포함할 수 있다.The generating of the correction value may include calculating a deviation value for the x-axis, y-axis, and z-axis by comparing the reference camera image and the reference lidar image; And generating correction values for the x-axis, y-axis, and z-axis with the calculated deviation value.

상기 편차값을 산출하는 단계는, 다수의 제 1 마커가 배치된 상기 기준 카메라 영상에서 상기 제 1 마커를 인식하고, 다수의 제 2 마커가 배치된 상기 기준 라이다 영상에서 상기 제 2 마커를 인식하는 단계; 상기 인식된 제 1 마커의 정보 및 제 2 마커의 정보를 추출하는 단계; 및 상기 추출된 제 1 마커의 정보 및 제 2 마커의 정보를 비교하여 상호간의 편차값을 산출하는 단계;를 포함할 수 있다.The calculating of the deviation value may recognize the first marker from the reference camera image in which a plurality of first markers are disposed, and recognize the second marker in the reference lidar image in which a plurality of second markers are disposed. To do; Extracting information of the recognized first marker and information of the second marker; And comparing the extracted information of the first marker and the information of the second marker to calculate a deviation value between each other.

상기 제 1 마커와 상기 제 2 마커는 상호 동일한 개수이고, 상기 추출하는 단계는 상기 제 1 마커의 꼭지점의 x,y,z축 좌표값 및 상기 제 2 마커의 꼭지점의 x,y,z축 좌표값을 각각 구할 수 있다.The first marker and the second marker are the same number of each other, and the extraction step includes the x, y, z axis coordinate values of the vertex of the first marker and the x, y, z axis coordinates of the vertex of the second marker. Each value can be obtained.

상기 상호간의 편차값을 산출하는 단계는, 상기 제 1 마커와 제 2 마커간에 서로 대응되는 마커의 각각의 꼭지점의 좌표값을 서로 비교하여 서로 대응되는 꼭지점간의 편차를 산출할 수 있다.In the calculating of the mutual deviation value, the coordinate values of respective vertices of the markers corresponding to each other between the first marker and the second marker may be compared with each other to calculate deviations between the vertices corresponding to each other.

상기 보정값을 생성하는 단계 이후와 상기 자동 보정하는 단계 사이에, 상기 생성된 보정값이 기설정된 범위를 초과하면 기계적 보정이 필요하다는 알림 메시지를 표시부에 디스플레이시키는 단계;를 추가로 포함할 수 있다.Between the step of generating the correction value and the step of automatically correcting, if the generated correction value exceeds a predetermined range, displaying a message indicating that mechanical correction is necessary on the display unit. .

이러한 구성의 본 발명에 따르면, 카메라와 라이다(Lidar)가 일체로 설치된 통합 센서를 갖춘 자율 주행 차량에서 통합 센서의 카메라 데이터와 라이다 데이터를 상호 비교하여 보정값을 생성하고, 생성된 보정값을 보정값 생성 이후의 라이다의 포인트 클라우드 데이터에 적용시킴으로써, 라이다 데이터를 자동 보정(미세 보정)할 수 있게 된다.According to the present invention of such a configuration, in an autonomous vehicle having an integrated sensor in which a camera and a lidar are integrally installed, the camera data and the lidar data of the integrated sensor are mutually compared to generate a correction value, and the generated correction value By applying to the point cloud data of the lidar after generating the correction value, the lidar data can be automatically corrected (fine correction).

도 1은 본 발명의 실시예에 따른 자율 주행 차량의 통합 센서 자동 보정 장치를 설명하기 위한 도면이다.
도 2는 도 1에 도시된 센서 퓨전부의 내부 구성도이다.
도 3은 도 2에 도시된 센서 퓨전부에서 보정값을 생성하기까지의 내부 동작을 개략적으로 도시한 도면이다.
도 4는 도 3에서 마커 인식 결과에 따른 위치 및 거리 편차를 계산하는 동작을 설명하기 위한 도면이다.
도 5는 도 2에 도시된 자동 보정부의 동작을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 자율 주행 차량의 통합 센서 자동 보정 방법을 설명하기 위한 플로우차트이다.
1 is a view for explaining an automatic sensor automatic correction device of an autonomous vehicle according to an embodiment of the present invention.
FIG. 2 is an internal configuration diagram of the sensor fusion unit illustrated in FIG. 1.
FIG. 3 is a diagram schematically showing an internal operation from the sensor fusion unit shown in FIG. 2 to generating a correction value.
4 is a view for explaining an operation of calculating the position and distance deviation according to the result of the marker recognition in FIG. 3.
5 is a view for explaining the operation of the automatic correction unit shown in FIG. 2.
6 is a flowchart for explaining a method for automatically calibrating an integrated sensor of an autonomous vehicle according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.The present invention can be applied to various changes and can have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, terms such as “include” or “have” are intended to indicate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, one or more other features. It should be understood that the existence or addition possibilities of fields or numbers, steps, operations, components, parts or combinations thereof are not excluded in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person skilled in the art to which the present invention pertains. Terms such as those defined in a commonly used dictionary should be interpreted as having meanings consistent with meanings in the context of related technologies, and should not be interpreted as ideal or excessively formal meanings unless explicitly defined in the present application. Does not.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In order to facilitate the overall understanding in describing the present invention, the same reference numerals are used for the same components in the drawings, and duplicate descriptions for the same components are omitted.

도 1은 본 발명의 실시예에 따른 자율 주행 차량의 통합 센서 자동 보정 장치를 설명하기 위한 도면이다.1 is a view for explaining an automatic sensor automatic correction device of an autonomous vehicle according to an embodiment of the present invention.

본 발명의 실시예에 따른 자율 주행 차량의 통합 센서 자동 보정 장치는, 통합 센서(10)와 연결된 센서 퓨전부(20), 및 표시부(30)를 포함한다.The automatic sensor autocorrecting device for an autonomous vehicle according to an embodiment of the present invention includes a sensor fusion unit 20 connected to the integrated sensor 10 and a display unit 30.

통합 센서(10)는 카메라(10a) 및 라이다(10b), 카메라(10a)의 상하좌우 각도 조정을 위한 스크류(도시 생략), 및 라이다(10b)의 상하좌우 각도 조정을 위한 스크류(도시 생략) 등을 포함하는 거리 측정 기기라고 할 수 있다. The integrated sensor 10 includes a camera 10a and a lidar 10b, screws for adjusting the angle of the camera 10a up and down and left and right (not shown), and screws for adjusting the angle of up and down and left and right of the camera 10a (not shown) It can be said to be a distance measuring device including, for example).

통합 센서(10)의 형태는 다양할 수 있는데, 카메라(10a)가 라이다(10b)의 상부 또는 하부에 설치될 수 있다.The shape of the integrated sensor 10 may vary, and the camera 10a may be installed on the upper or lower portion of the lidar 10b.

통상적으로, 센서 퓨전(Sensor Fusion)은 각 센서가 인식한 정보를 하나로 결합하여 자율주행이 가능하도록 하는 기술이다.Typically, sensor fusion is a technology that enables autonomous driving by combining information recognized by each sensor into one.

본 발명의 실시예에서의 센서 퓨전부(20)는 통합 센서(10)의 각각의 센서(즉, 카메라(10a), 라이다(10b))가 인식한 정보를 하나로 결합하여 자율주행이 가능하도록 할 뿐만 아니라, 통합 센서(10)의 라이다(10b)의 포인트 클라우드 데이터(point cloud data)(즉, 출력 데이터)를 자동 보정할 수 있다. The sensor fusion unit 20 in the embodiment of the present invention combines information recognized by each sensor (ie, the camera 10a, the lidar 10b) of the integrated sensor 10 into one to enable autonomous driving. In addition, it is possible to automatically correct point cloud data (ie, output data) of the lidar 10b of the integrated sensor 10.

다시 말해서, 센서 퓨전부(20)는 카메라(10a)와 라이다(10b)가 서로 약간 틀어진 경우 등에도 통합 센서(10)의 거리 측정 기능이 정상적으로 수행될 수 있도록 하기 위해, 통합 센서(10)의 라이다(10b)의 포인트 클라우드 데이터(point cloud data)를 자동 보정한다.In other words, the sensor fusion unit 20 is configured to allow the distance measurement function of the integrated sensor 10 to be normally performed even when the camera 10a and the lidar 10b are slightly displaced from each other. The point cloud data of the lidar 10b of the system is automatically corrected.

즉, 센서 퓨전부(20)는 통합 센서(10)의 기준 카메라 영상 및 기준 라이다 영상을 비교하여 x축, y축, z축(거리)에 대한 편차값을 산출하고, 산출된 편차값으로 x축, y축, z축에 대한 보정값을 생성하여 라이다(10b)의 포인트 클라우드 데이터(point cloud data)를 자동 보정한다. That is, the sensor fusion unit 20 compares the reference camera image and the reference lidar image of the integrated sensor 10 to calculate a deviation value for the x-axis, y-axis, and z-axis (distance), and calculates the deviation value. By generating correction values for the x-axis, y-axis, and z-axis, point cloud data of the lidar 10b is automatically corrected.

결국, 센서 퓨전부(20)는 보정값 생성 이후의 라이다(10b)의 출력 데이터인 포인트 클라우드 데이터(point cloud data)에 보정값을 적용시킴으로써, 라이다(10b)의 포인트 클라우드 데이터를 변조한다고 볼 수 있다.After all, the sensor fusion unit 20 modulates the point cloud data of the lidar 10b by applying the correction value to the point cloud data, which is the output data of the lidar 10b after generating the correction value. can see.

센서 퓨전부(20)는 주기적 또는 비주기적으로 자동 보정을 행할 수 있다. 여기서, 센서 퓨전부(20)에서 행해지는 자동 보정은 미세 보정일 것이다.The sensor fusion unit 20 may perform automatic correction periodically or aperiodically. Here, the automatic correction performed in the sensor fusion unit 20 will be fine correction.

라이다(10b)의 틀어진 각도가 커서 센서 퓨전부(20)에서의 자동 보정으로는 원하는 미세 보정을 완료할 수 없을 수도 있다. 그에 따라, 이러한 경우를 대비하여 센서 퓨전부(20)는 생성된 보정값이 기설정된 범위를 초과하였을 경우에는 기계적 보정이 필요하다는 알림 메시지를 표시부(30)에게로 출력할 수 있다. 센서 퓨전부(20)는 알림 메시지를 출력할 때 해당 보정값도 함께 표시부(30)에게로 출력한다.The large angle of the lidar 10b may be large, so that the desired fine correction may not be completed by automatic correction in the sensor fusion unit 20. Accordingly, in preparation for such a case, the sensor fusion unit 20 may output a notification message to the display unit 30 that mechanical correction is necessary when the generated correction value exceeds a preset range. When the sensor fusion unit 20 outputs a notification message, it outputs the corresponding correction value to the display unit 30 as well.

표시부(30)는 다수의 마커가 포함된 영상(예컨대, 기준 카메라 영상, 기준 라이다 영상) 및 기계적 보정이 필요하다는 알림 메시지를 디스플레이할 수 있다. The display unit 30 may display an image including a plurality of markers (eg, a reference camera image, a reference lidar image) and a notification message that mechanical correction is required.

또한, 표시부(30)는 알림 메시지를 디스플레이함에 있어서 센서 퓨전부(20)로부터의 보정값도 함께 디스플레이시킨다. In addition, the display unit 30 also displays the correction value from the sensor fusion unit 20 in displaying the notification message.

이에 의해, 사용자는 표시부(30)상의 보정값을 확인한 후에 스크류를 조작하여 기계적 보정을 수행한다. 기계적 보정이 완료된 후에는 센서 퓨전부(20)에 의한 자동 보정이 이루어질 수 있을 것이다.Thereby, the user performs mechanical correction by operating the screw after confirming the correction value on the display unit 30. After the mechanical correction is completed, automatic correction by the sensor fusion unit 20 may be performed.

도 2는 도 1에 도시된 센서 퓨전부(20)의 내부 구성도이고, 도 3은 도 2에 도시된 센서 퓨전부(20)에서 보정값을 생성하기까지의 내부 동작을 개략적으로 도시한 도면이고, 도 4는 도 3에서 마커 인식 결과에 따른 위치 및 거리 편차를 계산하는 동작을 설명하기 위한 도면이고, 도 5는 도 2에 도시된 자동 보정부(29)의 동작을 설명하기 위한 도면이다.FIG. 2 is an internal configuration diagram of the sensor fusion unit 20 shown in FIG. 1, and FIG. 3 schematically shows the internal operation from the sensor fusion unit 20 shown in FIG. 2 to generating a correction value. 4 is a view for explaining the operation of calculating the position and distance deviation according to the marker recognition result in FIG. 3, and FIG. 5 is a view for explaining the operation of the automatic correction unit 29 shown in FIG. .

센서 퓨전부(20)는 카메라 영상 수신부(21), 라이다 데이터 수신부(22), 제어부(23), 제 1 마커 인식부(24), 제 1 마커 정보 추출부(25), 제 2 마커 인식부(26), 제 2 마커 정보 추출부(27), 보정값 생성부(28), 및 자동 보정부(29)를 포함한다.The sensor fusion unit 20 includes a camera image receiving unit 21, a lidar data receiving unit 22, a control unit 23, a first marker recognition unit 24, a first marker information extraction unit 25, and a second marker recognition It includes a section 26, a second marker information extraction section 27, a correction value generation section 28, and an automatic correction section 29.

카메라 영상 수신부(21)는 통합 센서(10)의 카메라(10a)로부터의 카메라 영상을 수신한다.The camera image receiving unit 21 receives a camera image from the camera 10a of the integrated sensor 10.

특히, 카메라 영상 수신부(21)는 자동 보정 모드시에 통합 센서(10)의 카메라(10a)로부터 기준 카메라 영상이 될 수 있는 카메라 영상을 수신할 수 있다. 예를 들어, 자동 보정 모드시에 최초로 수신되는 카메라 영상이 기준 카메라 영상이 될 수 있다.In particular, the camera image receiving unit 21 may receive a camera image that can be a reference camera image from the camera 10a of the integrated sensor 10 in the automatic correction mode. For example, the first camera image received in the automatic correction mode may be a reference camera image.

라이다 데이터 수신부(22)는 통합 센서(10)의 라이다(10b)로부터의 포인트 클라우드 데이터(point cloud data)를 수신한다.The lidar data receiving unit 22 receives point cloud data from the lidar 10b of the integrated sensor 10.

특히, 라이다 데이터 수신부(22)는 자동 보정 모드시에 통합 센서(10)의 라이다(10b)로부터 기준 라이다 영상이 될 수 있는 포인트 클라우드 데이터(point cloud data)를 수신한다. 예를 들어, 자동 보정 모드시에 최초로 수신되는 포인트 클라우드 데이터가 기준 라이다 영상이 될 수 있다.In particular, the lidar data receiving unit 22 receives point cloud data, which can be a reference lidar image, from the lidar 10b of the integrated sensor 10 in the automatic correction mode. For example, the point cloud data first received in the automatic correction mode may be a reference lidar image.

제어부(23)는 센서 퓨전부(20)의 전체적인 동작을 제어한다. 즉, 제어부(23)는 주기적 또는 비주기적으로 보정값 생성 및 생성된 보정값을 근거로 하는 자동 보정 동작을 제어할 수 있다.The control unit 23 controls the overall operation of the sensor fusion unit 20. That is, the control unit 23 may periodically or aperiodically generate a correction value and control an automatic correction operation based on the generated correction value.

특히, 제어부(23)는 자동 보정 모드시에는 카메라 영상 수신부(21)로부터의 기준 카메라 영상에 소정 개수의 마커(M1, M2, M3)를 각기 다른 위치 및 거리에 배치하여 제 1 마커 인식부(24)에게로 보내고, 라이다 데이터 수신부(22)로부터의 기준 라이다 영상에 소정 개수의 마커(M1, M2, M3)를 각기 다른 위치 및 거리에 배치하여 제 2 마커 인식부(26)에게로 보낸다. 예를 들어, 마커(M1, M2, M3)는 사각 보드 형태, 삼각 보드 형태 등이 될 수 있다. Particularly, in the automatic correction mode, the control unit 23 places a predetermined number of markers M1, M2, and M3 in different positions and distances in the reference camera image from the camera image receiving unit 21, thereby allowing the first marker recognition unit ( 24), and a predetermined number of markers M1, M2, and M3 are placed at different positions and distances from the reference lidar image from the lidar data receiving unit 22 to the second marker recognition unit 26. send. For example, the markers M1, M2, and M3 may have a square board shape or a triangular board shape.

제어부(23)는 보정값 생성부(28)에서 보정값을 생성하게 되면 자동 보정부(29)에 해당 보정값이 제공되도록 제어하여 해당 보정값이 라이다(10b)의 포인트 클라우드 데이터(point cloud data)에 적용되도록 한다.When the correction value generation unit 28 generates a correction value, the control unit 23 controls the automatic correction unit 29 to provide the correction value so that the correction value is the point cloud data of the lidar 10b. data).

한편, 제어부(23)는 생성된 보정값이 기설정된 범위를 초과하였을 경우에는 기계적 보정이 필요하다는 알림 메시지를 표시부(30)상에 디스플레이시킬 수 있다. 이때, 제어부(23)는 해당 보정값도 함께 표시부(30)상에 디스플레이시킨다.Meanwhile, when the generated correction value exceeds a preset range, the control unit 23 may display a notification message on the display unit 30 that mechanical correction is necessary. At this time, the control unit 23 also displays the corresponding correction value on the display unit 30.

제 1 마커 인식부(24)는 도 3에서와 같이 자동 보정 모드시에 다수의 마커(M1, M2, M3)가 포함된 기준 카메라 영상에서 각각의 마커(M1, M2, M3)를 인식한다. 기준 카메라 영상에 포함된 마커(M1, M2, M3)를 제 1 마커라고 할 수 있다.The first marker recognition unit 24 recognizes each of the markers M1, M2, and M3 in a reference camera image including a plurality of markers M1, M2, and M3 in the automatic correction mode as shown in FIG. Markers M1, M2, and M3 included in the reference camera image may be referred to as first markers.

제 1 마커 정보 추출부(25)는 도 3에서와 같이 제 1 마커 인식부(24)에서 인식된 각각의 마커(M1, M2, M3)의 정보(예컨대, 위치 및 거리 정보(좌표값))를 추출한다. 도 3에서, x는 x축 좌표, y는 y축 좌표, z은 z축(거리) 좌표이다.The first marker information extraction unit 25, as shown in FIG. 3, information of each marker M1, M2, M3 recognized by the first marker recognition unit 24 (eg, position and distance information (coordinate values)) To extract. In FIG. 3, x is an x-axis coordinate, y is a y-axis coordinate, and z is a z-axis (distance) coordinate.

제 2 마커 인식부(26)는 도 3에서와 같이 자동 보정 모드시에 다수의 마커(M1, M2, M3)가 포함된 기준 라이다 영상에서 각각의 마커(M1, M2, M3)를 인식한다. 기준 라이다 영상에 포함된 마커(M1, M2, M3)를 제 2 마커라고 할 수 있다.The second marker recognition unit 26 recognizes each of the markers M1, M2, and M3 in the reference lidar image including a plurality of markers M1, M2, and M3 in the automatic correction mode as shown in FIG. . Markers M1, M2, and M3 included in the reference lidar image may be referred to as second markers.

제 2 마커 정보 추출부(27)는 도 3에서와 같이 제 2 마커 인식부(26)에서 인식된 각각의 마커(M1, M2, M3)의 정보(예컨대, 위치 및 거리 정보(좌표값))를 추출한다.The second marker information extraction unit 27, as shown in FIG. 3, information of each marker M1, M2, M3 recognized by the second marker recognition unit 26 (eg, position and distance information (coordinate values)) To extract.

보정값 생성부(28)는 도 3에서와 같이 제 1 마커 정보 추출부(25)에서 추출된 마커(M1, M2, M3)의 정보 및 제 2 마커 정보 추출부(27)에서 추출된 마커(M1, M2, M3)의 정보를 비교하여 상호간의 편차값을 산출하고, 산출된 편차값을 근거로 x,y,z축의 보정값(△x, △y, △z)을 생성한다.As shown in FIG. 3, the correction value generation unit 28 includes information of markers M1, M2, and M3 extracted from the first marker information extraction unit 25 and markers extracted by the second marker information extraction unit 27 ( M1, M2, and M3) are compared to calculate a deviation value between each other, and based on the calculated deviation value, correction values (Δx, △ y, △ z) of the x, y, z axes are generated.

여기서, 편차값을 산출하는 경우에는 마커 인식 결과를 근거로 제 1 마커 및 제 2 마커간의 위치 및 거리의 편차값을 산출하게 된다. 즉, 도 4에서와 같이 기준 카메라 영상내의 각각의 마커(즉, 제 1 마커)의 꼭지점의 x,y,z축 좌표값 및 기준 라이다 영상내의 각각의 마커(즉, 제 2 마커)의 꼭지점의 x,y,z축 좌표값을 각각 구한 후에, 제 1 마커와 제 2 마커간에 서로 대응되는 마커의 각각의 꼭지점의 좌표값을 서로 비교하면 서로 대응되는 꼭지점간의 편차를 산출할 수 있게 된다. 각각의 마커의 꼭지점의 x,y,z축 좌표값은 해당 마커의 정보가 된다.Here, when calculating the deviation value, the deviation value of the position and distance between the first marker and the second marker is calculated based on the result of the marker recognition. That is, as shown in FIG. 4, the x, y, z-axis coordinate values of the vertices of each marker (ie, the first marker) in the reference camera image and the vertices of each marker (ie, the second marker) in the reference lidar image. After obtaining the coordinate values of the x, y, and z axes, respectively, by comparing the coordinate values of the respective vertices of the markers corresponding to each other between the first marker and the second marker, it is possible to calculate a deviation between the vertices corresponding to each other. The coordinate values of the x, y, and z axes of the vertices of each marker become information of the corresponding marker.

그리고 나서, 보정값 생성부(28)는 산출된 편차를 근거로 하기의 표 1과 같이 계산하면 x,y,z축의 보정값(△x, △y, △z)을 생성할 수 있다.Then, based on the calculated deviation, the correction value generation unit 28 may generate correction values (Δx, Δy, Δz) of the x, y, and z axes.

Figure pat00001
Figure pat00001

표 1에서, x는 x축 좌표, y는 y축 좌표, z은 z축(거리) 좌표이다. 그리고, n은 마커의 수이다.In Table 1, x is the x-axis coordinate, y is the y-axis coordinate, and z is the z-axis (distance) coordinate. And, n is the number of markers.

자동 보정부(29)는 보정값 생성 이후에 수신되는 라이다(10b)의 포인트 클라우드 데이터에 보정값 생성부(28)에서 생성된 보정값을 적용시킴으로써 보정된 데이터를 출력한다. 즉, 자동 보정부(29)는 도 5에서와 같이 라이다(10b)의 포인트 클라우드 데이터에 보정값(△x, △y, △z)을 적용시켜 해당 포인트 클라우드 데이터를 자동 보정하고, 자동 보정된 데이터를 후단의 센서 데이터 수신 장치(60)에게로 보낸다.The automatic correction unit 29 outputs the corrected data by applying the correction value generated by the correction value generation unit 28 to the point cloud data of the lidar 10b received after the correction value generation. That is, the automatic correction unit 29 automatically corrects the point cloud data by applying correction values (Δx, Δy, Δz) to the point cloud data of the lidar 10b as shown in FIG. The transmitted data is sent to the sensor data receiving device 60 at a later stage.

예를 들어, 자동 보정부(29)에 의한 자동 보정이 완료되면 도 1에서와 같이 라이다(10b)의 시야각 범위(40)내의 마커(M1, M2, M3)와 카메라(10a)의 시야각 범위(50)내의 마커(M1, M2, M3)가 서로 동일한 위치에 존재하게 될 것이다. For example, when the automatic correction by the automatic correction unit 29 is completed, as shown in FIG. 1, the markers M1, M2, and M3 within the viewing angle range 40 of the lidar 10b and the viewing angle range of the camera 10a The markers M1, M2, and M3 in 50 will be in the same position with each other.

상술한 본 발명에서는 카메라 영상을 자동 보정하는 것이 아니라 라이다의 포인트 클라우드 데이터를 자동 보정한다. 왜냐하면, 카메라 영상을 자동 보정(변조)하게 되면 영상 손실이 발생하기 때문이다.In the present invention described above, the camera image is not automatically corrected, but the lidar point cloud data is automatically corrected. This is because image loss occurs when the camera image is automatically corrected (modulated).

상술한 도 2에서는 제 1 마커 인식부(24)와 제 2 마커 인식부(26)를 각각 분리하였으나, 하나의 모듈로 통합하여 마커 인식부라고 통칭하여도 무방하다. 그리고, 도 2에서는 제 1 마커 정보 추출부(25)와 제 2 마커 정보 추출부(27)를 각각 분리하였으나, 하나의 모듈로 통합하여 마커 정보 추출부라고 통칭하여도 무방하다.In the above-described FIG. 2, the first marker recognition unit 24 and the second marker recognition unit 26 are separated, respectively, and may be collectively referred to as a marker recognition unit in one module. In addition, although the first marker information extracting unit 25 and the second marker information extracting unit 27 are separated in FIG. 2, they may be collectively referred to as a marker information extracting unit in one module.

필요에 따라서는, 제 1 마커 인식부(24)와 제 1 마커 정보 추출부(25)를 하나의 모듈로 통합할 수도 있고, 제 2 마커 인식부(26)와 제 2 마커 정보 추출부(27)를 하나의 모듈로 통합할 수도 있다.If necessary, the first marker recognition unit 24 and the first marker information extraction unit 25 may be integrated into one module, and the second marker recognition unit 26 and the second marker information extraction unit 27 ) Into one module.

도 6은 본 발명의 실시예에 따른 자율 주행 차량의 통합 센서 자동 보정 방법을 설명하기 위한 플로우차트이다.6 is a flowchart for explaining a method for automatically calibrating an integrated sensor of an autonomous vehicle according to an embodiment of the present invention.

센서 퓨전부(20)는 주기적 또는 비주기적으로 자동 보정 모드를 설정할 수 있다.The sensor fusion unit 20 may set an automatic correction mode periodically or aperiodically.

따라서, 자동 보정 모드가 설정되면 카메라 영상 수신부(21)는 통합 센서(10)의 카메라(10a)로부터 기준 카메라 영상이 될 수 있는 카메라 영상을 수신하고, 라이다 데이터 수신부(22)는 통합 센서(10)의 라이다(10b)로부터 기준 라이다 영상이 될 수 있는 포인트 클라우드 데이터(point cloud data)를 수신한다(S10). Therefore, when the automatic correction mode is set, the camera image receiving unit 21 receives a camera image that can be a reference camera image from the camera 10a of the integrated sensor 10, and the lidar data receiving unit 22 receives an integrated sensor ( The point cloud data, which can be the reference lidar image, is received from the lidar 10b of 10) (S10).

이후, 제어부(23)는 카메라 영상 수신부(21)로부터의 기준 카메라 영상에 소정 개수의 마커(M1, M2, M3)를 각기 다른 위치 및 거리에 배치하여 제 1 마커 인식부(24)에게로 보내고, 라이다 데이터 수신부(22)로부터의 기준 라이다 영상에 소정 개수의 마커(M1, M2, M3)를 각기 다른 위치 및 거리에 배치하여 제 2 마커 인식부(26)에게로 보낸다. 물론, 각각의 마커(M1, M2, M3)가 배치된 기준 카메라 영상 및 기준 라이다 영상은 표시부(30)상에 디스플레이될 것이다.Thereafter, the control unit 23 places a predetermined number of markers M1, M2, and M3 on the reference camera image from the camera image receiving unit 21 at different positions and distances, and sends them to the first marker recognition unit 24. , A predetermined number of markers M1, M2, and M3 are placed at different positions and distances in the reference lidar image from the lidar data receiving unit 22 and sent to the second marker recognition unit 26. Of course, the reference camera image and the reference lidar image in which the respective markers M1, M2, and M3 are arranged will be displayed on the display unit 30.

이어, 제 1 마커 인식부(24)는 기준 카메라 영상에서 각각의 마커(M1, M2, M3)를 인식하고, 제 2 마커 인식부(26)는 기준 라이다 영상에서 각각의 마커(M1, M2, M3)를 인식한다(S20). Subsequently, the first marker recognition unit 24 recognizes each of the markers M1, M2, and M3 in the reference camera image, and the second marker recognition unit 26 recognizes each marker M1, M2 in the reference lidar image. , M3) (S20).

그리고 나서, 제 1 마커 정보 추출부(25)는 제 1 마커 인식부(24)에서 인식된 각각의 마커(M1, M2, M3)의 정보(예컨대, 위치 및 거리 정보(좌표값))를 추출하고, 제 2 마커 정보 추출부(27)는 제 2 마커 인식부(26)에서 인식된 각각의 마커(M1, M2, M3)의 정보(예컨대, 위치 및 거리 정보(좌표값))를 추출한다(S30).Then, the first marker information extraction unit 25 extracts information (eg, position and distance information (coordinate values)) of each marker M1, M2, and M3 recognized by the first marker recognition unit 24 Then, the second marker information extraction unit 27 extracts information (eg, position and distance information (coordinate values)) of each of the markers M1, M2, and M3 recognized by the second marker recognition unit 26. (S30).

이어, 보정값 생성부(28)는 제 1 마커 정보 추출부(25)에서 추출된 마커(M1, M2, M3)의 정보 및 제 2 마커 정보 추출부(27)에서 추출된 마커(M1, M2, M3)의 정보를 비교하여 상호간의 편차값을 산출한다(S40).Subsequently, the correction value generation unit 28 includes information of the markers M1, M2, and M3 extracted from the first marker information extraction unit 25 and markers M1, M2 extracted by the second marker information extraction unit 27. , M3) is compared to calculate the deviation value between each other (S40).

그리고, 보정값 생성부(28)는 산출된 편차값을 근거로 보정값(△x, △y, △z)을 생성한 후에 자동 보정부(29)에게로 보낸다(S50). Then, the correction value generation unit 28 generates correction values (Δx, Δy, Δz) based on the calculated deviation values, and sends them to the automatic correction unit 29 (S50).

그에 따라, 자동 보정부(29)는 현재 수신되는 라이다(10b)의 포인트 클라우드 데이터에 보정값 생성부(28)로부터의 보정값(△x, △y, △z)을 적용시켜 자동 보정(변조)을 행한다(S60).Accordingly, the automatic correction unit 29 applies the correction values (Δx, Δy, Δz) from the correction value generation unit 28 to the point cloud data of the currently received liner 10b to automatically correct ( Modulation) is performed (S60).

그리고, 자동 보정부(29)는 보정된 데이터(즉, 보정된 포인트 클라우드 데이터)를 후단의 센서 데이터 수신 장치(60)에게로 출력한다(S70).Then, the automatic correction unit 29 outputs the corrected data (that is, the corrected point cloud data) to the sensor data receiving device 60 at a later stage (S70).

한편, 상술한 단계 S50에서 생성된 보정값이 기설정된 범위를 초과하였을 경우에는 상술한 단계 60이 수행되기 전에 자동 보정만으로는 부족하므로 기계적 보정이 필요하다는 알림 메시지 및 보정값을 표시부(30)상에 디스플레이시킨다. 이에 의해, 사용자는 표시부(30)상의 보정값을 확인한 후에 스크류를 조작하여 기계적 보정을 수행한다. 기계적 보정이 완료된 후에는 센서 퓨전부(20)에 의한 자동 보정이 이루어질 것이다.On the other hand, when the correction value generated in the above-described step S50 exceeds a predetermined range, the automatic message is insufficient only before the above-described step 60 is performed, so a notification message and a correction value are displayed on the display unit 30, indicating that mechanical correction is necessary. Display. Thereby, the user performs mechanical correction by operating the screw after confirming the correction value on the display unit 30. After the mechanical correction is completed, automatic correction by the sensor fusion unit 20 will be made.

또한, 상술한 본 발명의 자율 주행 차량의 통합 센서 자동 보정 방법은, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.In addition, the method for automatically calibrating the integrated sensor of the autonomous vehicle of the present invention described above can be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, and optical data storage devices. In addition, the computer-readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. In addition, functional programs, codes, and code segments for implementing the method can be easily inferred by programmers in the technical field to which the present invention pertains.

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, optimal embodiments have been disclosed in the drawings and specifications. Although specific terms are used herein, they are only used for the purpose of describing the present invention and are not used to limit the scope of the present invention as defined in the claims or the claims. Therefore, those skilled in the art will appreciate that various modifications and other equivalent embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention should be defined by the technical spirit of the appended claims.

10 : 통합 센서 20 : 센서 퓨전부
21 : 카메라 영상 수신부 22 : 라이다 데이터 수신부
23 : 제어부 24 : 제 1 마커 인식부
25 : 제 1 마커 정보 추출부 26 : 제 2 마커 인식부
27 : 제 2 마커 정보 추출부 28 : 보정값 생성부
29 : 자동 보정부 30 : 표시부
10: integrated sensor 20: sensor fusion unit
21: camera image receiving unit 22: lidar data receiving unit
23: control unit 24: first marker recognition unit
25: first marker information extraction unit 26: second marker recognition unit
27: second marker information extraction unit 28: correction value generation unit
29: automatic correction unit 30: display unit

Claims (15)

카메라와 라이다가 통합된 통합 센서와 연결되고, 상기 카메라의 기준 카메라 영상과 상기 라이다의 기준 라이다 영상을 근거로 보정값을 생성하고, 상기 보정값으로 상기 라이다의 출력 데이터를 자동 보정하는 센서 퓨전부;를 포함하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 장치.The camera and the lidar are connected to an integrated sensor, and a correction value is generated based on the reference camera image of the camera and the reference lidar image of the lidar, and the output data of the lidar is automatically corrected with the correction value. The sensor fusion unit; integrated sensor automatic correction device of an autonomous vehicle, characterized in that it comprises a. 청구항 1에 있어서,
상기 센서 퓨전부는,
상기 기준 카메라 영상 및 상기 기준 라이다 영상을 비교하여 x축, y축, z축에 대한 편차값을 산출하고, 산출된 편차값으로 x축, y축, z축에 대한 보정값을 생성하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 장치.
The method according to claim 1,
The sensor fusion unit,
Comparing the reference camera image and the reference lidar image, calculates deviation values for the x-axis, y-axis, and z-axis, and generates correction values for the x-axis, y-axis, and z-axis with the calculated deviation values. An automatic sensor automatic correction device for autonomous vehicles.
청구항 2에 있어서,
상기 센서 퓨전부는,
상기 생성된 보정값이 기설정된 범위를 초과하면 기계적 보정이 필요하다는 알림 메시지를 표시부에게로 출력하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 장치.
The method according to claim 2,
The sensor fusion unit,
When the generated correction value exceeds a preset range, an automatic sensor auto-correction device for an autonomous vehicle, characterized in that it outputs a notification message to a display unit that mechanical correction is necessary.
청구항 3에 있어서,
상기 센서 퓨전부는,
상기 기설정된 범위를 초과하는 보정값을 함께 출력하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 장치.
The method according to claim 3,
The sensor fusion unit,
Automatic correction device for an integrated sensor of an autonomous vehicle, characterized in that it outputs a correction value exceeding the predetermined range.
청구항 1에 있어서,
상기 센서 퓨전부는,
상기 보정값의 생성 및 생성된 보정값을 근거로 하는 자동 보정 동작을 제어하되, 상기 기준 카메라 영상에 다수의 제 1 마커를 배치하고, 상기 기준 라이다 영상에 다수의 제 2 마커를 배치하는 제어부;
상기 제 1 마커 및 상기 제 2 마커를 인식하는 마커 인식부;
상기 인식된 제 1 마커의 정보 및 제 2 마커의 정보를 추출하는 마커 정보 추출부;
상기 제 1 마커의 정보 및 제 2 마커의 정보를 비교하여 상호간의 편차값을 산출하고, 상기 편차값을 근거로 보정값을 생성하는 보정값 생성부; 및
보정값 생성 이후에 수신되는 상기 라이다의 출력 데이터에 상기 보정값을 적용시켜 보정된 데이터를 출력하는 자동 보정부;를 포함하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 장치.
The method according to claim 1,
The sensor fusion unit,
A control unit for controlling the generation of the correction value and the automatic correction operation based on the generated correction value, wherein a plurality of first markers are placed on the reference camera image and a plurality of second markers are placed on the reference lidar image. ;
A marker recognition unit recognizing the first marker and the second marker;
A marker information extraction unit extracting information of the recognized first marker and information of the second marker;
A correction value generation unit comparing the information of the first marker and the information of the second marker to calculate a mutual deviation value, and generating a correction value based on the deviation value; And
And an automatic correction unit that outputs the corrected data by applying the correction value to the output data of the lidar after generating the correction value.
청구항 5에 있어서,
상기 제어부는,
상기 생성된 보정값이 기설정된 범위를 초과하면 기계적 보정이 필요하다는 알림 메시지를 표시부에게로 출력하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 장치.
The method according to claim 5,
The control unit,
When the generated correction value exceeds a preset range, an automatic sensor auto-correction device for an autonomous vehicle, characterized in that it outputs a notification message to a display unit that mechanical correction is necessary.
청구항 6에 있어서,
상기 제어부는,
상기 기설정된 범위를 초과하는 보정값을 함께 출력하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 장치.
The method according to claim 6,
The control unit,
Automatic correction device for an integrated sensor of an autonomous vehicle, characterized in that it outputs a correction value exceeding the predetermined range.
청구항 5에 있어서,
상기 제 1 마커의 정보 및 제 2 마커의 정보는 각각의 마커의 꼭지점의 x,y,z축 좌표값인 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 장치.
The method according to claim 5,
The information of the first marker and the information of the second marker is an automatic correction device for an integrated sensor of an autonomous vehicle, characterized in that the x, y, z-axis coordinate values of the vertices of each marker.
자율 주행 차량의 통합 센서 자동 보정 장치에서의 통합 센서 자동 보정 방법으로서,
카메라와 라이다가 통합된 통합 센서에서 상기 카메라의 기준 카메라 영상과 상기 라이다의 기준 라이다 영상을 근거로 보정값을 생성하는 단계; 및
상기 생성된 보정값으로 상기 라이다의 출력 데이터를 자동 보정하는 단계;를 포함하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 방법.
A method for automatically calibrating an integrated sensor in an integrated sensor automatic compensation device of an autonomous vehicle,
Generating a correction value based on the reference camera image of the camera and the reference lidar image of the lidar in the integrated sensor in which the camera and the lidar are integrated; And
Automatic correction method of the integrated sensor of the autonomous vehicle, comprising; automatically correcting the output data of the lidar with the generated correction value.
청구항 9에 있어서,
상기 보정값을 생성하는 단계는,
상기 기준 카메라 영상 및 상기 기준 라이다 영상을 비교하여 x축, y축, z축에 대한 편차값을 산출하는 단계; 및
상기 산출된 편차값으로 x축, y축, z축에 대한 보정값을 생성하는 단계;를 포함하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 방법.
The method according to claim 9,
The step of generating the correction value,
Comparing the reference camera image and the reference lidar image to calculate a deviation value for the x-axis, y-axis, z-axis; And
And generating a correction value for the x-axis, y-axis, and z-axis with the calculated deviation value.
청구항 10에 있어서,
상기 편차값을 산출하는 단계는,
다수의 제 1 마커가 배치된 상기 기준 카메라 영상에서 상기 제 1 마커를 인식하고, 다수의 제 2 마커가 배치된 상기 기준 라이다 영상에서 상기 제 2 마커를 인식하는 단계;
상기 인식된 제 1 마커의 정보 및 제 2 마커의 정보를 추출하는 단계; 및
상기 추출된 제 1 마커의 정보 및 제 2 마커의 정보를 비교하여 상호간의 편차값을 산출하는 단계;를 포함하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 방법.
The method according to claim 10,
The step of calculating the deviation value,
Recognizing the first marker in the reference camera image in which a plurality of first markers are disposed, and recognizing the second marker in the reference lidar image in which a plurality of second markers are disposed;
Extracting information of the recognized first marker and information of the second marker; And
And comparing the extracted information of the first marker and the information of the second marker to calculate a deviation value between each other.
청구항 11에 있어서,
상기 제 1 마커와 상기 제 2 마커는 상호 동일한 개수이고,
상기 추출하는 단계는 상기 제 1 마커의 꼭지점의 x,y,z축 좌표값 및 상기 제 2 마커의 꼭지점의 x,y,z축 좌표값을 각각 구하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 방법.
The method according to claim 11,
The first marker and the second marker have the same number as each other,
In the extracting step, the x, y, z-axis coordinate values of the vertex of the first marker and the x, y, z-axis coordinate values of the vertex of the second marker are respectively obtained. Calibration method.
청구항 12에 있어서,
상기 상호간의 편차값을 산출하는 단계는,
상기 제 1 마커와 제 2 마커간에 서로 대응되는 마커의 각각의 꼭지점의 좌표값을 서로 비교하여 서로 대응되는 꼭지점간의 편차를 산출하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 방법.
The method according to claim 12,
The step of calculating the deviation value between each other,
A method for automatically calibrating an integrated sensor of an autonomous vehicle, characterized in that the coordinate values of respective vertices of the markers corresponding to each other are compared between the first marker and the second marker to calculate a deviation between the corresponding vertices.
청구항 9에 있어서,
상기 보정값을 생성하는 단계 이후와 상기 자동 보정하는 단계 사이에,
상기 생성된 보정값이 기설정된 범위를 초과하면 기계적 보정이 필요하다는 알림 메시지를 표시부에 디스플레이시키는 단계;를 추가로 포함하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 방법.
The method according to claim 9,
Between the step of generating the correction value and the step of automatically correcting,
When the generated correction value exceeds a predetermined range, displaying a notification message indicating that mechanical correction is required on the display unit; a method for automatically calibrating an integrated sensor of an autonomous vehicle, further comprising.
청구항 14에 있어서,
상기 알림 메시지를 표시부에 디스플레이시키는 단계는,
상기 기설정된 범위를 초과하는 보정값을 함께 출력하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 방법.
The method according to claim 14,
The step of displaying the notification message on the display,
A method of automatically calibrating an integrated sensor of an autonomous vehicle, characterized in that a correction value exceeding the predetermined range is output together.
KR1020180134877A 2018-11-06 2018-11-06 Apparatus and method for automatically calibrating integrated sensor of autonomous vehicle KR102470772B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180134877A KR102470772B1 (en) 2018-11-06 2018-11-06 Apparatus and method for automatically calibrating integrated sensor of autonomous vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180134877A KR102470772B1 (en) 2018-11-06 2018-11-06 Apparatus and method for automatically calibrating integrated sensor of autonomous vehicle

Publications (2)

Publication Number Publication Date
KR20200054370A true KR20200054370A (en) 2020-05-20
KR102470772B1 KR102470772B1 (en) 2022-11-25

Family

ID=70919862

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180134877A KR102470772B1 (en) 2018-11-06 2018-11-06 Apparatus and method for automatically calibrating integrated sensor of autonomous vehicle

Country Status (1)

Country Link
KR (1) KR102470772B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022114449A1 (en) * 2020-11-30 2022-06-02 한국전자기술연구원 Online calibration method and apparatus between lidar sensor and camera
KR20220110987A (en) * 2021-02-01 2022-08-09 연세대학교 산학협력단 System of Spatial Information Construction Using Mobile Robots
KR20230001457A (en) * 2021-06-28 2023-01-04 아주대학교산학협력단 Autonomous driving intravenous pole
KR20240048127A (en) 2022-10-06 2024-04-15 주식회사 쿱와 Signal processing device and signal processing method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140065627A (en) 2012-11-19 2014-05-30 한국전자통신연구원 Method and apparatus for providing camera calibration for vehicles
KR20150066182A (en) 2013-12-06 2015-06-16 한국전자통신연구원 Apparatus and Method for Precise Recognition of Position
KR101547940B1 (en) * 2014-12-17 2015-08-28 가톨릭관동대학교산학협력단 An error correction system for data of terrestrial LiDAR on the same plane and the method thereof
KR20150142543A (en) 2014-06-12 2015-12-22 현대모비스 주식회사 Intergrated sensor system of the vehicles
KR20160083792A (en) * 2015-06-26 2016-07-12 성균관대학교산학협력단 Apparatus and method for detecting object
KR20170081523A (en) * 2016-01-04 2017-07-12 한국전자통신연구원 Advanced driver assisted system and method for processing information in the system
KR20180055292A (en) 2016-11-16 2018-05-25 국민대학교산학협력단 Integration method for coordinates of multi lidar
WO2018182737A1 (en) * 2017-03-31 2018-10-04 Airbus Group Hq, Inc. Systems and methods for calibrating vehicular sensors

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140065627A (en) 2012-11-19 2014-05-30 한국전자통신연구원 Method and apparatus for providing camera calibration for vehicles
KR20150066182A (en) 2013-12-06 2015-06-16 한국전자통신연구원 Apparatus and Method for Precise Recognition of Position
KR20150142543A (en) 2014-06-12 2015-12-22 현대모비스 주식회사 Intergrated sensor system of the vehicles
KR101547940B1 (en) * 2014-12-17 2015-08-28 가톨릭관동대학교산학협력단 An error correction system for data of terrestrial LiDAR on the same plane and the method thereof
KR20160083792A (en) * 2015-06-26 2016-07-12 성균관대학교산학협력단 Apparatus and method for detecting object
KR20170081523A (en) * 2016-01-04 2017-07-12 한국전자통신연구원 Advanced driver assisted system and method for processing information in the system
KR20180055292A (en) 2016-11-16 2018-05-25 국민대학교산학협력단 Integration method for coordinates of multi lidar
WO2018182737A1 (en) * 2017-03-31 2018-10-04 Airbus Group Hq, Inc. Systems and methods for calibrating vehicular sensors

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022114449A1 (en) * 2020-11-30 2022-06-02 한국전자기술연구원 Online calibration method and apparatus between lidar sensor and camera
KR20220110987A (en) * 2021-02-01 2022-08-09 연세대학교 산학협력단 System of Spatial Information Construction Using Mobile Robots
KR20230001457A (en) * 2021-06-28 2023-01-04 아주대학교산학협력단 Autonomous driving intravenous pole
KR20240048127A (en) 2022-10-06 2024-04-15 주식회사 쿱와 Signal processing device and signal processing method

Also Published As

Publication number Publication date
KR102470772B1 (en) 2022-11-25

Similar Documents

Publication Publication Date Title
KR102470772B1 (en) Apparatus and method for automatically calibrating integrated sensor of autonomous vehicle
US8489353B2 (en) Methods and systems for calibrating vehicle vision systems
KR102022388B1 (en) Calibration system and method using real-world object information
WO2014115563A1 (en) Driving support device, driving support method, and recording medium storing driving support program
CN111033548A (en) Path artifact authentication
US11927682B2 (en) Sound source visualization device and method
US9410818B2 (en) Navigation device
US20190276049A1 (en) Driving assistance system
JP2008034981A (en) Image recognition device and method, pedestrian recognition device and vehicle controller
WO2020162109A1 (en) Display control device, display control program, and persistent physical computer-readable medium
CN112146682B (en) Sensor calibration method and device for intelligent automobile, electronic equipment and medium
US11214239B2 (en) Driving support apparatus
US10032084B2 (en) Image processing apparatus
US11650321B2 (en) Apparatus and method for detecting tilt of LiDAR apparatus mounted to vehicle
WO2019065564A1 (en) Automatic driving controller and method
CN111731304A (en) Vehicle control device, vehicle control method, and storage medium
US20220316909A1 (en) Method and Communication System for Supporting at Least Partially Automatic Vehicle Control
WO2018123217A1 (en) External-world recognition system
CN108297795A (en) A kind of lane recognition system of electric vehicle
KR20190080030A (en) Apparatus and method for guiding destination
CN114830204A (en) Training neural networks through neural networks
CN110745145B (en) Multi-sensor management system for ADAS
EP3288260B1 (en) Image processing device, imaging device, equipment control system, equipment, image processing method, and carrier means
US20210279481A1 (en) Driver assistance apparatus and method of controlling the same
US20220324488A1 (en) Information processing system, information processing apparatus, and information processing method

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant