KR20200054370A - Apparatus and method for automatically calibrating integrated sensor of autonomous vehicle - Google Patents
Apparatus and method for automatically calibrating integrated sensor of autonomous vehicle Download PDFInfo
- Publication number
- KR20200054370A KR20200054370A KR1020180134877A KR20180134877A KR20200054370A KR 20200054370 A KR20200054370 A KR 20200054370A KR 1020180134877 A KR1020180134877 A KR 1020180134877A KR 20180134877 A KR20180134877 A KR 20180134877A KR 20200054370 A KR20200054370 A KR 20200054370A
- Authority
- KR
- South Korea
- Prior art keywords
- marker
- lidar
- correction
- correction value
- axis
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012937 correction Methods 0.000 claims abstract description 142
- 230000004927 fusion Effects 0.000 claims abstract description 33
- 239000003550 marker Substances 0.000 claims description 102
- 238000000605 extraction Methods 0.000 claims description 17
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- DSGKWFGEUBCEIE-UHFFFAOYSA-N (2-carbonochloridoylphenyl) acetate Chemical compound CC(=O)OC1=CC=CC=C1C(Cl)=O DSGKWFGEUBCEIE-UHFFFAOYSA-N 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/14—Adaptive cruise control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/90—Lidar systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/42—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/50—Magnetic or electromagnetic sensors
- B60W2420/506—Inductive sensors, i.e. passive wheel sensors
Abstract
Description
본 발명은 자율 주행 차량의 통합 센서 자동 보정 장치 및 방법에 관한 것으로, 보다 상세하게는 카메라와 라이다(Lidar)가 통합 설치된 통합 센서를 갖춘 자율 주행 차량에서의 통합 센서를 자동 보정할 수 있도록 하는 장치 및 방법에 관한 것이다.The present invention relates to an automatic sensor autocorrecting device and method for an autonomous driving vehicle, and more specifically, to enable automatic correction of an integrated sensor in an autonomous vehicle with an integrated sensor in which a camera and a lidar are installed. It relates to a device and method.
일반적으로, 자율 주행 차량은 운전자가 차량을 조작하지 않아도 스스로 주행하는 차량으로서, 운전자가 브레이크, 핸들, 가속 페달 등을 제어하지 않아도 도로의 상황을 파악하여 자동으로 주행하는 차량을 의미한다.In general, an autonomous vehicle is a vehicle that drives itself without the driver having to operate the vehicle, and refers to a vehicle that automatically drives the vehicle by grasping the road condition without controlling the brake, handle, or accelerator pedal.
스마트 카 구현을 위한 핵심 기술로, 자율 주행 차량을 위해서는 고속도로 주행 지원 시스템(HDA, 자동차 간 거리를 자동으로 유지해 주는 기술)을 비롯하여 후측방 경보 시스템(BSD, 후진 중 주변 차량을 감지, 경보를 울리는 기술), 자동 긴급 제동 시스템(AEB, 앞차를 인식하지 못할 시 제동 장치를 가동하는 기술), 차선 이탈 경보 시스템(LDWS), 차선 유지 지원 시스템(LKAS, 방향 지시등 없이 차선을 벗어나는 것을 보완하는 기술), 어드밴스드 스마트 크루즈 컨트롤(ASCC, 설정된 속도로 차 간 거리를 유지하며 정속 주행하는 기술), 혼잡 구간 주행 지원 시스템(TJA) 등이 구현되어야 한다. As a core technology for smart car implementation, for autonomous vehicles, highway driving support systems (HDA, technology that automatically maintains the distance between cars), as well as rear-side warning systems (BSD, detects nearby vehicles during reversing and sounds an alarm) Technology), automatic emergency braking system (AEB, technology to start the braking system when the vehicle in front is not recognized), lane departure warning system (LDWS), lane maintenance support system (LKAS, technology to compensate for leaving the lane without a turn signal) , Advanced Smart Cruise Control (ASCC, a technology that maintains a constant distance between cars at a set speed and constant speed driving), a congestion section driving support system (TJA), etc. should be implemented.
이러한 자율 주행 차량을 위한 다양한 시스템에는 카메라가 사용되는데, 카메라만으로는 거리 정보의 정확성이 떨어져서 사물의 거리 측정이 어렵다.Cameras are used in various systems for such self-driving vehicles, but it is difficult to measure the distance of an object because the accuracy of distance information is reduced only by the camera.
그리고, 카메라는 조도 및 날씨 등의 주변 환경적 요인에 대한 특성적 한계를 가지고 있다.In addition, the camera has characteristic limitations on environmental factors such as illumination and weather.
그에 따라, 카메라 자체의 특성적 한계를 보완하기 위해 라이다(LiDAR)를 병행하여 사용하기도 한다.Accordingly, LiDAR may be used in parallel to compensate for the characteristic limitations of the camera itself.
그런데, 카메라와 라이다는 시야각에서 차이가 있다. 이러한 시야각 차이로 인해 설치 위치에 따른 별도의 보정 작업이 필요하다.However, the camera and the rider differ in viewing angle. Due to this difference in viewing angle, a separate correction operation is required according to the installation location.
특히, 생산 공정에서 카메라와 라이다간의 시야각 차이에 따른 기계적인 보정을 실시하였다고 하더라도 작업자의 손떨림 등에 의해 기계적 보정이 정확하지 않은 채로 판매되기도 한다.In particular, even if mechanical correction is performed according to the difference in viewing angle between the camera and the lidar in the production process, the mechanical correction may be sold inaccurately due to operator shaking.
또한, 작업자에 의한 기계적 보정이 정상적으로 이루어졌다고 하더라도 카메라와 라이다가 통합된 통합 센서를 자율 주행 차량에 장착하여 장시간 사용하다 보면 카메라와 라이다가 제위치에서 약간씩 틀어지기도 한다.In addition, even if the mechanical correction by the operator has been normally performed, the camera and the lidar may be slightly displaced in place when the integrated sensor integrated with the camera and the lidar is mounted on an autonomous vehicle and used for a long time.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 카메라와 라이다(Lidar)가 통합 설치된 통합 센서를 갖춘 자율 주행 차량에서 통합 센서의 라이다의 출력 데이터를 자동 보정할 수 있도록 하는 자율 주행 차량의 통합 센서 자동 보정 장치 및 방법을 제공함에 그 목적이 있다.The present invention has been proposed to solve the above-described conventional problems, autonomous to enable automatic correction of the output data of the lidar of the integrated sensor in an autonomous vehicle with an integrated sensor in which a camera and a lidar are integrated. An object of the present invention is to provide an apparatus and method for automatically calibrating an integrated sensor of a driving vehicle.
상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 자율 주행 차량의 통합 센서 자동 보정 장치는, 카메라와 라이다가 통합된 통합 센서와 연결되고, 상기 카메라의 기준 카메라 영상과 상기 라이다의 기준 라이다 영상을 근거로 보정값을 생성하고, 상기 보정값으로 상기 라이다의 출력 데이터를 자동 보정하는 센서 퓨전부;를 포함한다.In order to achieve the above object, the automatic sensor autocorrecting device of the autonomous vehicle according to the preferred embodiment of the present invention is connected to an integrated sensor in which a camera and a lidar are integrated, and the reference camera image and the lidar of the camera. It includes; a sensor fusion unit for generating a correction value based on the reference lidar image, and automatically correcting the output data of the lidar with the correction value.
상기 센서 퓨전부는, 상기 기준 카메라 영상 및 상기 기준 라이다 영상을 비교하여 x축, y축, z축에 대한 편차값을 산출하고, 산출된 편차값으로 x축, y축, z축에 대한 보정값을 생성할 수 있다.The sensor fusion unit compares the reference camera image and the reference lidar image to calculate deviation values for the x-axis, y-axis, and z-axis, and corrects the x-axis, y-axis, and z-axis with the calculated deviation values. You can create a value.
상기 센서 퓨전부는, 상기 생성된 보정값이 기설정된 범위를 초과하면 기계적 보정이 필요하다는 알림 메시지를 표시부에게로 출력할 수 있다.The sensor fusion unit may output a notification message to the display unit that mechanical correction is necessary when the generated correction value exceeds a predetermined range.
상기 센서 퓨전부는, 상기 기설정된 범위를 초과하는 보정값을 함께 출력할 수 있다.The sensor fusion unit may output a correction value exceeding the preset range.
상기 센서 퓨전부는, 상기 보정값의 생성 및 생성된 보정값을 근거로 하는 자동 보정 동작을 제어하되, 상기 기준 카메라 영상에 다수의 제 1 마커를 배치하고, 상기 기준 라이다 영상에 다수의 제 2 마커를 배치하는 제어부; 상기 제 1 마커 및 상기 제 2 마커를 인식하는 마커 인식부; 상기 인식된 제 1 마커의 정보 및 제 2 마커의 정보를 추출하는 마커 정보 추출부; 상기 제 1 마커의 정보 및 제 2 마커의 정보를 비교하여 상호간의 편차값을 산출하고, 상기 편차값을 근거로 보정값을 생성하는 보정값 생성부; 및 보정값 생성 이후에 수신되는 상기 라이다의 출력 데이터에 상기 보정값을 적용시켜 보정된 데이터를 출력하는 자동 보정부;를 포함할 수 있다.The sensor fusion unit controls the automatic correction operation based on the generation of the correction value and the generated correction value, and places a plurality of first markers on the reference camera image, and a plurality of second values on the reference lidar image. A control unit for placing a marker; A marker recognition unit recognizing the first marker and the second marker; A marker information extraction unit extracting information of the recognized first marker and information of the second marker; A correction value generation unit comparing the information of the first marker and the information of the second marker to calculate a deviation value between each other, and generating a correction value based on the deviation value; And an automatic correction unit that outputs the corrected data by applying the correction value to the output data of the rider received after generating the correction value.
상기 제어부는, 상기 생성된 보정값이 기설정된 범위를 초과하면 기계적 보정이 필요하다는 알림 메시지를 상기 표시부에게로 출력할 수 있다.The control unit may output, to the display unit, a notification message that mechanical correction is necessary when the generated correction value exceeds a preset range.
상기 제어부는, 상기 기설정된 범위를 초과하는 보정값을 함께 출력할 수 있다.The control unit may output a correction value exceeding the preset range.
상기 제 1 마커의 정보 및 제 2 마커의 정보는 각각의 마커의 꼭지점의 x,y,z축 좌표값일 수 있다.The information of the first marker and the information of the second marker may be x, y, and z-axis coordinate values of the vertices of each marker.
한편, 본 발명의 바람직한 실시양태에 따른 자율 주행 차량의 통합 센서 자동 보정 방법은, 자율 주행 차량의 통합 센서 자동 보정 장치에서의 통합 센서 자동 보정 방법으로서, 카메라와 라이다가 통합된 통합 센서에서 상기 카메라의 기준 카메라 영상과 상기 라이다의 기준 라이다 영상을 근거로 보정값을 생성하는 단계; 및 상기 생성된 보정값으로 상기 라이다의 출력 데이터를 자동 보정하는 단계;를 포함한다.On the other hand, the method for automatically calibrating the integrated sensor of the autonomous vehicle according to the preferred embodiment of the present invention is an integrated sensor automatic calibration method in the integrated sensor automatic calibrating device for the autonomous vehicle, in the integrated sensor integrated with the camera and the lidar. Generating a correction value based on a reference camera image of the camera and a reference lidar image of the lidar; And automatically correcting the output data of the lidar with the generated correction value.
상기 보정값을 생성하는 단계는, 상기 기준 카메라 영상 및 상기 기준 라이다 영상을 비교하여 x축, y축, z축에 대한 편차값을 산출하는 단계; 및 상기 산출된 편차값으로 x축, y축, z축에 대한 보정값을 생성하는 단계;를 포함할 수 있다.The generating of the correction value may include calculating a deviation value for the x-axis, y-axis, and z-axis by comparing the reference camera image and the reference lidar image; And generating correction values for the x-axis, y-axis, and z-axis with the calculated deviation value.
상기 편차값을 산출하는 단계는, 다수의 제 1 마커가 배치된 상기 기준 카메라 영상에서 상기 제 1 마커를 인식하고, 다수의 제 2 마커가 배치된 상기 기준 라이다 영상에서 상기 제 2 마커를 인식하는 단계; 상기 인식된 제 1 마커의 정보 및 제 2 마커의 정보를 추출하는 단계; 및 상기 추출된 제 1 마커의 정보 및 제 2 마커의 정보를 비교하여 상호간의 편차값을 산출하는 단계;를 포함할 수 있다.The calculating of the deviation value may recognize the first marker from the reference camera image in which a plurality of first markers are disposed, and recognize the second marker in the reference lidar image in which a plurality of second markers are disposed. To do; Extracting information of the recognized first marker and information of the second marker; And comparing the extracted information of the first marker and the information of the second marker to calculate a deviation value between each other.
상기 제 1 마커와 상기 제 2 마커는 상호 동일한 개수이고, 상기 추출하는 단계는 상기 제 1 마커의 꼭지점의 x,y,z축 좌표값 및 상기 제 2 마커의 꼭지점의 x,y,z축 좌표값을 각각 구할 수 있다.The first marker and the second marker are the same number of each other, and the extraction step includes the x, y, z axis coordinate values of the vertex of the first marker and the x, y, z axis coordinates of the vertex of the second marker. Each value can be obtained.
상기 상호간의 편차값을 산출하는 단계는, 상기 제 1 마커와 제 2 마커간에 서로 대응되는 마커의 각각의 꼭지점의 좌표값을 서로 비교하여 서로 대응되는 꼭지점간의 편차를 산출할 수 있다.In the calculating of the mutual deviation value, the coordinate values of respective vertices of the markers corresponding to each other between the first marker and the second marker may be compared with each other to calculate deviations between the vertices corresponding to each other.
상기 보정값을 생성하는 단계 이후와 상기 자동 보정하는 단계 사이에, 상기 생성된 보정값이 기설정된 범위를 초과하면 기계적 보정이 필요하다는 알림 메시지를 표시부에 디스플레이시키는 단계;를 추가로 포함할 수 있다.Between the step of generating the correction value and the step of automatically correcting, if the generated correction value exceeds a predetermined range, displaying a message indicating that mechanical correction is necessary on the display unit. .
이러한 구성의 본 발명에 따르면, 카메라와 라이다(Lidar)가 일체로 설치된 통합 센서를 갖춘 자율 주행 차량에서 통합 센서의 카메라 데이터와 라이다 데이터를 상호 비교하여 보정값을 생성하고, 생성된 보정값을 보정값 생성 이후의 라이다의 포인트 클라우드 데이터에 적용시킴으로써, 라이다 데이터를 자동 보정(미세 보정)할 수 있게 된다.According to the present invention of such a configuration, in an autonomous vehicle having an integrated sensor in which a camera and a lidar are integrally installed, the camera data and the lidar data of the integrated sensor are mutually compared to generate a correction value, and the generated correction value By applying to the point cloud data of the lidar after generating the correction value, the lidar data can be automatically corrected (fine correction).
도 1은 본 발명의 실시예에 따른 자율 주행 차량의 통합 센서 자동 보정 장치를 설명하기 위한 도면이다.
도 2는 도 1에 도시된 센서 퓨전부의 내부 구성도이다.
도 3은 도 2에 도시된 센서 퓨전부에서 보정값을 생성하기까지의 내부 동작을 개략적으로 도시한 도면이다.
도 4는 도 3에서 마커 인식 결과에 따른 위치 및 거리 편차를 계산하는 동작을 설명하기 위한 도면이다.
도 5는 도 2에 도시된 자동 보정부의 동작을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 자율 주행 차량의 통합 센서 자동 보정 방법을 설명하기 위한 플로우차트이다.1 is a view for explaining an automatic sensor automatic correction device of an autonomous vehicle according to an embodiment of the present invention.
FIG. 2 is an internal configuration diagram of the sensor fusion unit illustrated in FIG. 1.
FIG. 3 is a diagram schematically showing an internal operation from the sensor fusion unit shown in FIG. 2 to generating a correction value.
4 is a view for explaining an operation of calculating the position and distance deviation according to the result of the marker recognition in FIG. 3.
5 is a view for explaining the operation of the automatic correction unit shown in FIG. 2.
6 is a flowchart for explaining a method for automatically calibrating an integrated sensor of an autonomous vehicle according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.The present invention can be applied to various changes and can have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, terms such as “include” or “have” are intended to indicate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, one or more other features. It should be understood that the existence or addition possibilities of fields or numbers, steps, operations, components, parts or combinations thereof are not excluded in advance.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person skilled in the art to which the present invention pertains. Terms such as those defined in a commonly used dictionary should be interpreted as having meanings consistent with meanings in the context of related technologies, and should not be interpreted as ideal or excessively formal meanings unless explicitly defined in the present application. Does not.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In order to facilitate the overall understanding in describing the present invention, the same reference numerals are used for the same components in the drawings, and duplicate descriptions for the same components are omitted.
도 1은 본 발명의 실시예에 따른 자율 주행 차량의 통합 센서 자동 보정 장치를 설명하기 위한 도면이다.1 is a view for explaining an automatic sensor automatic correction device of an autonomous vehicle according to an embodiment of the present invention.
본 발명의 실시예에 따른 자율 주행 차량의 통합 센서 자동 보정 장치는, 통합 센서(10)와 연결된 센서 퓨전부(20), 및 표시부(30)를 포함한다.The automatic sensor autocorrecting device for an autonomous vehicle according to an embodiment of the present invention includes a
통합 센서(10)는 카메라(10a) 및 라이다(10b), 카메라(10a)의 상하좌우 각도 조정을 위한 스크류(도시 생략), 및 라이다(10b)의 상하좌우 각도 조정을 위한 스크류(도시 생략) 등을 포함하는 거리 측정 기기라고 할 수 있다. The integrated
통합 센서(10)의 형태는 다양할 수 있는데, 카메라(10a)가 라이다(10b)의 상부 또는 하부에 설치될 수 있다.The shape of the integrated
통상적으로, 센서 퓨전(Sensor Fusion)은 각 센서가 인식한 정보를 하나로 결합하여 자율주행이 가능하도록 하는 기술이다.Typically, sensor fusion is a technology that enables autonomous driving by combining information recognized by each sensor into one.
본 발명의 실시예에서의 센서 퓨전부(20)는 통합 센서(10)의 각각의 센서(즉, 카메라(10a), 라이다(10b))가 인식한 정보를 하나로 결합하여 자율주행이 가능하도록 할 뿐만 아니라, 통합 센서(10)의 라이다(10b)의 포인트 클라우드 데이터(point cloud data)(즉, 출력 데이터)를 자동 보정할 수 있다. The
다시 말해서, 센서 퓨전부(20)는 카메라(10a)와 라이다(10b)가 서로 약간 틀어진 경우 등에도 통합 센서(10)의 거리 측정 기능이 정상적으로 수행될 수 있도록 하기 위해, 통합 센서(10)의 라이다(10b)의 포인트 클라우드 데이터(point cloud data)를 자동 보정한다.In other words, the
즉, 센서 퓨전부(20)는 통합 센서(10)의 기준 카메라 영상 및 기준 라이다 영상을 비교하여 x축, y축, z축(거리)에 대한 편차값을 산출하고, 산출된 편차값으로 x축, y축, z축에 대한 보정값을 생성하여 라이다(10b)의 포인트 클라우드 데이터(point cloud data)를 자동 보정한다. That is, the
결국, 센서 퓨전부(20)는 보정값 생성 이후의 라이다(10b)의 출력 데이터인 포인트 클라우드 데이터(point cloud data)에 보정값을 적용시킴으로써, 라이다(10b)의 포인트 클라우드 데이터를 변조한다고 볼 수 있다.After all, the
센서 퓨전부(20)는 주기적 또는 비주기적으로 자동 보정을 행할 수 있다. 여기서, 센서 퓨전부(20)에서 행해지는 자동 보정은 미세 보정일 것이다.The
라이다(10b)의 틀어진 각도가 커서 센서 퓨전부(20)에서의 자동 보정으로는 원하는 미세 보정을 완료할 수 없을 수도 있다. 그에 따라, 이러한 경우를 대비하여 센서 퓨전부(20)는 생성된 보정값이 기설정된 범위를 초과하였을 경우에는 기계적 보정이 필요하다는 알림 메시지를 표시부(30)에게로 출력할 수 있다. 센서 퓨전부(20)는 알림 메시지를 출력할 때 해당 보정값도 함께 표시부(30)에게로 출력한다.The large angle of the
표시부(30)는 다수의 마커가 포함된 영상(예컨대, 기준 카메라 영상, 기준 라이다 영상) 및 기계적 보정이 필요하다는 알림 메시지를 디스플레이할 수 있다. The
또한, 표시부(30)는 알림 메시지를 디스플레이함에 있어서 센서 퓨전부(20)로부터의 보정값도 함께 디스플레이시킨다. In addition, the
이에 의해, 사용자는 표시부(30)상의 보정값을 확인한 후에 스크류를 조작하여 기계적 보정을 수행한다. 기계적 보정이 완료된 후에는 센서 퓨전부(20)에 의한 자동 보정이 이루어질 수 있을 것이다.Thereby, the user performs mechanical correction by operating the screw after confirming the correction value on the
도 2는 도 1에 도시된 센서 퓨전부(20)의 내부 구성도이고, 도 3은 도 2에 도시된 센서 퓨전부(20)에서 보정값을 생성하기까지의 내부 동작을 개략적으로 도시한 도면이고, 도 4는 도 3에서 마커 인식 결과에 따른 위치 및 거리 편차를 계산하는 동작을 설명하기 위한 도면이고, 도 5는 도 2에 도시된 자동 보정부(29)의 동작을 설명하기 위한 도면이다.FIG. 2 is an internal configuration diagram of the
센서 퓨전부(20)는 카메라 영상 수신부(21), 라이다 데이터 수신부(22), 제어부(23), 제 1 마커 인식부(24), 제 1 마커 정보 추출부(25), 제 2 마커 인식부(26), 제 2 마커 정보 추출부(27), 보정값 생성부(28), 및 자동 보정부(29)를 포함한다.The
카메라 영상 수신부(21)는 통합 센서(10)의 카메라(10a)로부터의 카메라 영상을 수신한다.The camera
특히, 카메라 영상 수신부(21)는 자동 보정 모드시에 통합 센서(10)의 카메라(10a)로부터 기준 카메라 영상이 될 수 있는 카메라 영상을 수신할 수 있다. 예를 들어, 자동 보정 모드시에 최초로 수신되는 카메라 영상이 기준 카메라 영상이 될 수 있다.In particular, the camera
라이다 데이터 수신부(22)는 통합 센서(10)의 라이다(10b)로부터의 포인트 클라우드 데이터(point cloud data)를 수신한다.The lidar
특히, 라이다 데이터 수신부(22)는 자동 보정 모드시에 통합 센서(10)의 라이다(10b)로부터 기준 라이다 영상이 될 수 있는 포인트 클라우드 데이터(point cloud data)를 수신한다. 예를 들어, 자동 보정 모드시에 최초로 수신되는 포인트 클라우드 데이터가 기준 라이다 영상이 될 수 있다.In particular, the lidar
제어부(23)는 센서 퓨전부(20)의 전체적인 동작을 제어한다. 즉, 제어부(23)는 주기적 또는 비주기적으로 보정값 생성 및 생성된 보정값을 근거로 하는 자동 보정 동작을 제어할 수 있다.The
특히, 제어부(23)는 자동 보정 모드시에는 카메라 영상 수신부(21)로부터의 기준 카메라 영상에 소정 개수의 마커(M1, M2, M3)를 각기 다른 위치 및 거리에 배치하여 제 1 마커 인식부(24)에게로 보내고, 라이다 데이터 수신부(22)로부터의 기준 라이다 영상에 소정 개수의 마커(M1, M2, M3)를 각기 다른 위치 및 거리에 배치하여 제 2 마커 인식부(26)에게로 보낸다. 예를 들어, 마커(M1, M2, M3)는 사각 보드 형태, 삼각 보드 형태 등이 될 수 있다. Particularly, in the automatic correction mode, the
제어부(23)는 보정값 생성부(28)에서 보정값을 생성하게 되면 자동 보정부(29)에 해당 보정값이 제공되도록 제어하여 해당 보정값이 라이다(10b)의 포인트 클라우드 데이터(point cloud data)에 적용되도록 한다.When the correction
한편, 제어부(23)는 생성된 보정값이 기설정된 범위를 초과하였을 경우에는 기계적 보정이 필요하다는 알림 메시지를 표시부(30)상에 디스플레이시킬 수 있다. 이때, 제어부(23)는 해당 보정값도 함께 표시부(30)상에 디스플레이시킨다.Meanwhile, when the generated correction value exceeds a preset range, the
제 1 마커 인식부(24)는 도 3에서와 같이 자동 보정 모드시에 다수의 마커(M1, M2, M3)가 포함된 기준 카메라 영상에서 각각의 마커(M1, M2, M3)를 인식한다. 기준 카메라 영상에 포함된 마커(M1, M2, M3)를 제 1 마커라고 할 수 있다.The first
제 1 마커 정보 추출부(25)는 도 3에서와 같이 제 1 마커 인식부(24)에서 인식된 각각의 마커(M1, M2, M3)의 정보(예컨대, 위치 및 거리 정보(좌표값))를 추출한다. 도 3에서, x는 x축 좌표, y는 y축 좌표, z은 z축(거리) 좌표이다.The first marker information extraction unit 25, as shown in FIG. 3, information of each marker M1, M2, M3 recognized by the first marker recognition unit 24 (eg, position and distance information (coordinate values)) To extract. In FIG. 3, x is an x-axis coordinate, y is a y-axis coordinate, and z is a z-axis (distance) coordinate.
제 2 마커 인식부(26)는 도 3에서와 같이 자동 보정 모드시에 다수의 마커(M1, M2, M3)가 포함된 기준 라이다 영상에서 각각의 마커(M1, M2, M3)를 인식한다. 기준 라이다 영상에 포함된 마커(M1, M2, M3)를 제 2 마커라고 할 수 있다.The second
제 2 마커 정보 추출부(27)는 도 3에서와 같이 제 2 마커 인식부(26)에서 인식된 각각의 마커(M1, M2, M3)의 정보(예컨대, 위치 및 거리 정보(좌표값))를 추출한다.The second marker
보정값 생성부(28)는 도 3에서와 같이 제 1 마커 정보 추출부(25)에서 추출된 마커(M1, M2, M3)의 정보 및 제 2 마커 정보 추출부(27)에서 추출된 마커(M1, M2, M3)의 정보를 비교하여 상호간의 편차값을 산출하고, 산출된 편차값을 근거로 x,y,z축의 보정값(△x, △y, △z)을 생성한다.As shown in FIG. 3, the correction
여기서, 편차값을 산출하는 경우에는 마커 인식 결과를 근거로 제 1 마커 및 제 2 마커간의 위치 및 거리의 편차값을 산출하게 된다. 즉, 도 4에서와 같이 기준 카메라 영상내의 각각의 마커(즉, 제 1 마커)의 꼭지점의 x,y,z축 좌표값 및 기준 라이다 영상내의 각각의 마커(즉, 제 2 마커)의 꼭지점의 x,y,z축 좌표값을 각각 구한 후에, 제 1 마커와 제 2 마커간에 서로 대응되는 마커의 각각의 꼭지점의 좌표값을 서로 비교하면 서로 대응되는 꼭지점간의 편차를 산출할 수 있게 된다. 각각의 마커의 꼭지점의 x,y,z축 좌표값은 해당 마커의 정보가 된다.Here, when calculating the deviation value, the deviation value of the position and distance between the first marker and the second marker is calculated based on the result of the marker recognition. That is, as shown in FIG. 4, the x, y, z-axis coordinate values of the vertices of each marker (ie, the first marker) in the reference camera image and the vertices of each marker (ie, the second marker) in the reference lidar image. After obtaining the coordinate values of the x, y, and z axes, respectively, by comparing the coordinate values of the respective vertices of the markers corresponding to each other between the first marker and the second marker, it is possible to calculate a deviation between the vertices corresponding to each other. The coordinate values of the x, y, and z axes of the vertices of each marker become information of the corresponding marker.
그리고 나서, 보정값 생성부(28)는 산출된 편차를 근거로 하기의 표 1과 같이 계산하면 x,y,z축의 보정값(△x, △y, △z)을 생성할 수 있다.Then, based on the calculated deviation, the correction
표 1에서, x는 x축 좌표, y는 y축 좌표, z은 z축(거리) 좌표이다. 그리고, n은 마커의 수이다.In Table 1, x is the x-axis coordinate, y is the y-axis coordinate, and z is the z-axis (distance) coordinate. And, n is the number of markers.
자동 보정부(29)는 보정값 생성 이후에 수신되는 라이다(10b)의 포인트 클라우드 데이터에 보정값 생성부(28)에서 생성된 보정값을 적용시킴으로써 보정된 데이터를 출력한다. 즉, 자동 보정부(29)는 도 5에서와 같이 라이다(10b)의 포인트 클라우드 데이터에 보정값(△x, △y, △z)을 적용시켜 해당 포인트 클라우드 데이터를 자동 보정하고, 자동 보정된 데이터를 후단의 센서 데이터 수신 장치(60)에게로 보낸다.The
예를 들어, 자동 보정부(29)에 의한 자동 보정이 완료되면 도 1에서와 같이 라이다(10b)의 시야각 범위(40)내의 마커(M1, M2, M3)와 카메라(10a)의 시야각 범위(50)내의 마커(M1, M2, M3)가 서로 동일한 위치에 존재하게 될 것이다. For example, when the automatic correction by the
상술한 본 발명에서는 카메라 영상을 자동 보정하는 것이 아니라 라이다의 포인트 클라우드 데이터를 자동 보정한다. 왜냐하면, 카메라 영상을 자동 보정(변조)하게 되면 영상 손실이 발생하기 때문이다.In the present invention described above, the camera image is not automatically corrected, but the lidar point cloud data is automatically corrected. This is because image loss occurs when the camera image is automatically corrected (modulated).
상술한 도 2에서는 제 1 마커 인식부(24)와 제 2 마커 인식부(26)를 각각 분리하였으나, 하나의 모듈로 통합하여 마커 인식부라고 통칭하여도 무방하다. 그리고, 도 2에서는 제 1 마커 정보 추출부(25)와 제 2 마커 정보 추출부(27)를 각각 분리하였으나, 하나의 모듈로 통합하여 마커 정보 추출부라고 통칭하여도 무방하다.In the above-described FIG. 2, the first
필요에 따라서는, 제 1 마커 인식부(24)와 제 1 마커 정보 추출부(25)를 하나의 모듈로 통합할 수도 있고, 제 2 마커 인식부(26)와 제 2 마커 정보 추출부(27)를 하나의 모듈로 통합할 수도 있다.If necessary, the first
도 6은 본 발명의 실시예에 따른 자율 주행 차량의 통합 센서 자동 보정 방법을 설명하기 위한 플로우차트이다.6 is a flowchart for explaining a method for automatically calibrating an integrated sensor of an autonomous vehicle according to an embodiment of the present invention.
센서 퓨전부(20)는 주기적 또는 비주기적으로 자동 보정 모드를 설정할 수 있다.The
따라서, 자동 보정 모드가 설정되면 카메라 영상 수신부(21)는 통합 센서(10)의 카메라(10a)로부터 기준 카메라 영상이 될 수 있는 카메라 영상을 수신하고, 라이다 데이터 수신부(22)는 통합 센서(10)의 라이다(10b)로부터 기준 라이다 영상이 될 수 있는 포인트 클라우드 데이터(point cloud data)를 수신한다(S10). Therefore, when the automatic correction mode is set, the camera
이후, 제어부(23)는 카메라 영상 수신부(21)로부터의 기준 카메라 영상에 소정 개수의 마커(M1, M2, M3)를 각기 다른 위치 및 거리에 배치하여 제 1 마커 인식부(24)에게로 보내고, 라이다 데이터 수신부(22)로부터의 기준 라이다 영상에 소정 개수의 마커(M1, M2, M3)를 각기 다른 위치 및 거리에 배치하여 제 2 마커 인식부(26)에게로 보낸다. 물론, 각각의 마커(M1, M2, M3)가 배치된 기준 카메라 영상 및 기준 라이다 영상은 표시부(30)상에 디스플레이될 것이다.Thereafter, the
이어, 제 1 마커 인식부(24)는 기준 카메라 영상에서 각각의 마커(M1, M2, M3)를 인식하고, 제 2 마커 인식부(26)는 기준 라이다 영상에서 각각의 마커(M1, M2, M3)를 인식한다(S20). Subsequently, the first
그리고 나서, 제 1 마커 정보 추출부(25)는 제 1 마커 인식부(24)에서 인식된 각각의 마커(M1, M2, M3)의 정보(예컨대, 위치 및 거리 정보(좌표값))를 추출하고, 제 2 마커 정보 추출부(27)는 제 2 마커 인식부(26)에서 인식된 각각의 마커(M1, M2, M3)의 정보(예컨대, 위치 및 거리 정보(좌표값))를 추출한다(S30).Then, the first marker information extraction unit 25 extracts information (eg, position and distance information (coordinate values)) of each marker M1, M2, and M3 recognized by the first
이어, 보정값 생성부(28)는 제 1 마커 정보 추출부(25)에서 추출된 마커(M1, M2, M3)의 정보 및 제 2 마커 정보 추출부(27)에서 추출된 마커(M1, M2, M3)의 정보를 비교하여 상호간의 편차값을 산출한다(S40).Subsequently, the correction
그리고, 보정값 생성부(28)는 산출된 편차값을 근거로 보정값(△x, △y, △z)을 생성한 후에 자동 보정부(29)에게로 보낸다(S50). Then, the correction
그에 따라, 자동 보정부(29)는 현재 수신되는 라이다(10b)의 포인트 클라우드 데이터에 보정값 생성부(28)로부터의 보정값(△x, △y, △z)을 적용시켜 자동 보정(변조)을 행한다(S60).Accordingly, the
그리고, 자동 보정부(29)는 보정된 데이터(즉, 보정된 포인트 클라우드 데이터)를 후단의 센서 데이터 수신 장치(60)에게로 출력한다(S70).Then, the
한편, 상술한 단계 S50에서 생성된 보정값이 기설정된 범위를 초과하였을 경우에는 상술한 단계 60이 수행되기 전에 자동 보정만으로는 부족하므로 기계적 보정이 필요하다는 알림 메시지 및 보정값을 표시부(30)상에 디스플레이시킨다. 이에 의해, 사용자는 표시부(30)상의 보정값을 확인한 후에 스크류를 조작하여 기계적 보정을 수행한다. 기계적 보정이 완료된 후에는 센서 퓨전부(20)에 의한 자동 보정이 이루어질 것이다.On the other hand, when the correction value generated in the above-described step S50 exceeds a predetermined range, the automatic message is insufficient only before the above-described
또한, 상술한 본 발명의 자율 주행 차량의 통합 센서 자동 보정 방법은, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.In addition, the method for automatically calibrating the integrated sensor of the autonomous vehicle of the present invention described above can be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, and optical data storage devices. In addition, the computer-readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. In addition, functional programs, codes, and code segments for implementing the method can be easily inferred by programmers in the technical field to which the present invention pertains.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, optimal embodiments have been disclosed in the drawings and specifications. Although specific terms are used herein, they are only used for the purpose of describing the present invention and are not used to limit the scope of the present invention as defined in the claims or the claims. Therefore, those skilled in the art will appreciate that various modifications and other equivalent embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention should be defined by the technical spirit of the appended claims.
10 : 통합 센서
20 : 센서 퓨전부
21 : 카메라 영상 수신부
22 : 라이다 데이터 수신부
23 : 제어부
24 : 제 1 마커 인식부
25 : 제 1 마커 정보 추출부
26 : 제 2 마커 인식부
27 : 제 2 마커 정보 추출부
28 : 보정값 생성부
29 : 자동 보정부
30 : 표시부10: integrated sensor 20: sensor fusion unit
21: camera image receiving unit 22: lidar data receiving unit
23: control unit 24: first marker recognition unit
25: first marker information extraction unit 26: second marker recognition unit
27: second marker information extraction unit 28: correction value generation unit
29: automatic correction unit 30: display unit
Claims (15)
상기 센서 퓨전부는,
상기 기준 카메라 영상 및 상기 기준 라이다 영상을 비교하여 x축, y축, z축에 대한 편차값을 산출하고, 산출된 편차값으로 x축, y축, z축에 대한 보정값을 생성하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 장치.The method according to claim 1,
The sensor fusion unit,
Comparing the reference camera image and the reference lidar image, calculates deviation values for the x-axis, y-axis, and z-axis, and generates correction values for the x-axis, y-axis, and z-axis with the calculated deviation values. An automatic sensor automatic correction device for autonomous vehicles.
상기 센서 퓨전부는,
상기 생성된 보정값이 기설정된 범위를 초과하면 기계적 보정이 필요하다는 알림 메시지를 표시부에게로 출력하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 장치. The method according to claim 2,
The sensor fusion unit,
When the generated correction value exceeds a preset range, an automatic sensor auto-correction device for an autonomous vehicle, characterized in that it outputs a notification message to a display unit that mechanical correction is necessary.
상기 센서 퓨전부는,
상기 기설정된 범위를 초과하는 보정값을 함께 출력하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 장치. The method according to claim 3,
The sensor fusion unit,
Automatic correction device for an integrated sensor of an autonomous vehicle, characterized in that it outputs a correction value exceeding the predetermined range.
상기 센서 퓨전부는,
상기 보정값의 생성 및 생성된 보정값을 근거로 하는 자동 보정 동작을 제어하되, 상기 기준 카메라 영상에 다수의 제 1 마커를 배치하고, 상기 기준 라이다 영상에 다수의 제 2 마커를 배치하는 제어부;
상기 제 1 마커 및 상기 제 2 마커를 인식하는 마커 인식부;
상기 인식된 제 1 마커의 정보 및 제 2 마커의 정보를 추출하는 마커 정보 추출부;
상기 제 1 마커의 정보 및 제 2 마커의 정보를 비교하여 상호간의 편차값을 산출하고, 상기 편차값을 근거로 보정값을 생성하는 보정값 생성부; 및
보정값 생성 이후에 수신되는 상기 라이다의 출력 데이터에 상기 보정값을 적용시켜 보정된 데이터를 출력하는 자동 보정부;를 포함하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 장치. The method according to claim 1,
The sensor fusion unit,
A control unit for controlling the generation of the correction value and the automatic correction operation based on the generated correction value, wherein a plurality of first markers are placed on the reference camera image and a plurality of second markers are placed on the reference lidar image. ;
A marker recognition unit recognizing the first marker and the second marker;
A marker information extraction unit extracting information of the recognized first marker and information of the second marker;
A correction value generation unit comparing the information of the first marker and the information of the second marker to calculate a mutual deviation value, and generating a correction value based on the deviation value; And
And an automatic correction unit that outputs the corrected data by applying the correction value to the output data of the lidar after generating the correction value.
상기 제어부는,
상기 생성된 보정값이 기설정된 범위를 초과하면 기계적 보정이 필요하다는 알림 메시지를 표시부에게로 출력하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 장치. The method according to claim 5,
The control unit,
When the generated correction value exceeds a preset range, an automatic sensor auto-correction device for an autonomous vehicle, characterized in that it outputs a notification message to a display unit that mechanical correction is necessary.
상기 제어부는,
상기 기설정된 범위를 초과하는 보정값을 함께 출력하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 장치. The method according to claim 6,
The control unit,
Automatic correction device for an integrated sensor of an autonomous vehicle, characterized in that it outputs a correction value exceeding the predetermined range.
상기 제 1 마커의 정보 및 제 2 마커의 정보는 각각의 마커의 꼭지점의 x,y,z축 좌표값인 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 장치. The method according to claim 5,
The information of the first marker and the information of the second marker is an automatic correction device for an integrated sensor of an autonomous vehicle, characterized in that the x, y, z-axis coordinate values of the vertices of each marker.
카메라와 라이다가 통합된 통합 센서에서 상기 카메라의 기준 카메라 영상과 상기 라이다의 기준 라이다 영상을 근거로 보정값을 생성하는 단계; 및
상기 생성된 보정값으로 상기 라이다의 출력 데이터를 자동 보정하는 단계;를 포함하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 방법.A method for automatically calibrating an integrated sensor in an integrated sensor automatic compensation device of an autonomous vehicle,
Generating a correction value based on the reference camera image of the camera and the reference lidar image of the lidar in the integrated sensor in which the camera and the lidar are integrated; And
Automatic correction method of the integrated sensor of the autonomous vehicle, comprising; automatically correcting the output data of the lidar with the generated correction value.
상기 보정값을 생성하는 단계는,
상기 기준 카메라 영상 및 상기 기준 라이다 영상을 비교하여 x축, y축, z축에 대한 편차값을 산출하는 단계; 및
상기 산출된 편차값으로 x축, y축, z축에 대한 보정값을 생성하는 단계;를 포함하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 방법.The method according to claim 9,
The step of generating the correction value,
Comparing the reference camera image and the reference lidar image to calculate a deviation value for the x-axis, y-axis, z-axis; And
And generating a correction value for the x-axis, y-axis, and z-axis with the calculated deviation value.
상기 편차값을 산출하는 단계는,
다수의 제 1 마커가 배치된 상기 기준 카메라 영상에서 상기 제 1 마커를 인식하고, 다수의 제 2 마커가 배치된 상기 기준 라이다 영상에서 상기 제 2 마커를 인식하는 단계;
상기 인식된 제 1 마커의 정보 및 제 2 마커의 정보를 추출하는 단계; 및
상기 추출된 제 1 마커의 정보 및 제 2 마커의 정보를 비교하여 상호간의 편차값을 산출하는 단계;를 포함하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 방법.The method according to claim 10,
The step of calculating the deviation value,
Recognizing the first marker in the reference camera image in which a plurality of first markers are disposed, and recognizing the second marker in the reference lidar image in which a plurality of second markers are disposed;
Extracting information of the recognized first marker and information of the second marker; And
And comparing the extracted information of the first marker and the information of the second marker to calculate a deviation value between each other.
상기 제 1 마커와 상기 제 2 마커는 상호 동일한 개수이고,
상기 추출하는 단계는 상기 제 1 마커의 꼭지점의 x,y,z축 좌표값 및 상기 제 2 마커의 꼭지점의 x,y,z축 좌표값을 각각 구하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 방법.The method according to claim 11,
The first marker and the second marker have the same number as each other,
In the extracting step, the x, y, z-axis coordinate values of the vertex of the first marker and the x, y, z-axis coordinate values of the vertex of the second marker are respectively obtained. Calibration method.
상기 상호간의 편차값을 산출하는 단계는,
상기 제 1 마커와 제 2 마커간에 서로 대응되는 마커의 각각의 꼭지점의 좌표값을 서로 비교하여 서로 대응되는 꼭지점간의 편차를 산출하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 방법.The method according to claim 12,
The step of calculating the deviation value between each other,
A method for automatically calibrating an integrated sensor of an autonomous vehicle, characterized in that the coordinate values of respective vertices of the markers corresponding to each other are compared between the first marker and the second marker to calculate a deviation between the corresponding vertices.
상기 보정값을 생성하는 단계 이후와 상기 자동 보정하는 단계 사이에,
상기 생성된 보정값이 기설정된 범위를 초과하면 기계적 보정이 필요하다는 알림 메시지를 표시부에 디스플레이시키는 단계;를 추가로 포함하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 방법.The method according to claim 9,
Between the step of generating the correction value and the step of automatically correcting,
When the generated correction value exceeds a predetermined range, displaying a notification message indicating that mechanical correction is required on the display unit; a method for automatically calibrating an integrated sensor of an autonomous vehicle, further comprising.
상기 알림 메시지를 표시부에 디스플레이시키는 단계는,
상기 기설정된 범위를 초과하는 보정값을 함께 출력하는 것을 특징으로 하는 자율 주행 차량의 통합 센서 자동 보정 방법.The method according to claim 14,
The step of displaying the notification message on the display,
A method of automatically calibrating an integrated sensor of an autonomous vehicle, characterized in that a correction value exceeding the predetermined range is output together.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180134877A KR102470772B1 (en) | 2018-11-06 | 2018-11-06 | Apparatus and method for automatically calibrating integrated sensor of autonomous vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180134877A KR102470772B1 (en) | 2018-11-06 | 2018-11-06 | Apparatus and method for automatically calibrating integrated sensor of autonomous vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200054370A true KR20200054370A (en) | 2020-05-20 |
KR102470772B1 KR102470772B1 (en) | 2022-11-25 |
Family
ID=70919862
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180134877A KR102470772B1 (en) | 2018-11-06 | 2018-11-06 | Apparatus and method for automatically calibrating integrated sensor of autonomous vehicle |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102470772B1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022114449A1 (en) * | 2020-11-30 | 2022-06-02 | 한국전자기술연구원 | Online calibration method and apparatus between lidar sensor and camera |
KR20220110987A (en) * | 2021-02-01 | 2022-08-09 | 연세대학교 산학협력단 | System of Spatial Information Construction Using Mobile Robots |
KR20230001457A (en) * | 2021-06-28 | 2023-01-04 | 아주대학교산학협력단 | Autonomous driving intravenous pole |
KR20240048127A (en) | 2022-10-06 | 2024-04-15 | 주식회사 쿱와 | Signal processing device and signal processing method |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140065627A (en) | 2012-11-19 | 2014-05-30 | 한국전자통신연구원 | Method and apparatus for providing camera calibration for vehicles |
KR20150066182A (en) | 2013-12-06 | 2015-06-16 | 한국전자통신연구원 | Apparatus and Method for Precise Recognition of Position |
KR101547940B1 (en) * | 2014-12-17 | 2015-08-28 | 가톨릭관동대학교산학협력단 | An error correction system for data of terrestrial LiDAR on the same plane and the method thereof |
KR20150142543A (en) | 2014-06-12 | 2015-12-22 | 현대모비스 주식회사 | Intergrated sensor system of the vehicles |
KR20160083792A (en) * | 2015-06-26 | 2016-07-12 | 성균관대학교산학협력단 | Apparatus and method for detecting object |
KR20170081523A (en) * | 2016-01-04 | 2017-07-12 | 한국전자통신연구원 | Advanced driver assisted system and method for processing information in the system |
KR20180055292A (en) | 2016-11-16 | 2018-05-25 | 국민대학교산학협력단 | Integration method for coordinates of multi lidar |
WO2018182737A1 (en) * | 2017-03-31 | 2018-10-04 | Airbus Group Hq, Inc. | Systems and methods for calibrating vehicular sensors |
-
2018
- 2018-11-06 KR KR1020180134877A patent/KR102470772B1/en active IP Right Grant
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140065627A (en) | 2012-11-19 | 2014-05-30 | 한국전자통신연구원 | Method and apparatus for providing camera calibration for vehicles |
KR20150066182A (en) | 2013-12-06 | 2015-06-16 | 한국전자통신연구원 | Apparatus and Method for Precise Recognition of Position |
KR20150142543A (en) | 2014-06-12 | 2015-12-22 | 현대모비스 주식회사 | Intergrated sensor system of the vehicles |
KR101547940B1 (en) * | 2014-12-17 | 2015-08-28 | 가톨릭관동대학교산학협력단 | An error correction system for data of terrestrial LiDAR on the same plane and the method thereof |
KR20160083792A (en) * | 2015-06-26 | 2016-07-12 | 성균관대학교산학협력단 | Apparatus and method for detecting object |
KR20170081523A (en) * | 2016-01-04 | 2017-07-12 | 한국전자통신연구원 | Advanced driver assisted system and method for processing information in the system |
KR20180055292A (en) | 2016-11-16 | 2018-05-25 | 국민대학교산학협력단 | Integration method for coordinates of multi lidar |
WO2018182737A1 (en) * | 2017-03-31 | 2018-10-04 | Airbus Group Hq, Inc. | Systems and methods for calibrating vehicular sensors |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022114449A1 (en) * | 2020-11-30 | 2022-06-02 | 한국전자기술연구원 | Online calibration method and apparatus between lidar sensor and camera |
KR20220110987A (en) * | 2021-02-01 | 2022-08-09 | 연세대학교 산학협력단 | System of Spatial Information Construction Using Mobile Robots |
KR20230001457A (en) * | 2021-06-28 | 2023-01-04 | 아주대학교산학협력단 | Autonomous driving intravenous pole |
KR20240048127A (en) | 2022-10-06 | 2024-04-15 | 주식회사 쿱와 | Signal processing device and signal processing method |
Also Published As
Publication number | Publication date |
---|---|
KR102470772B1 (en) | 2022-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102470772B1 (en) | Apparatus and method for automatically calibrating integrated sensor of autonomous vehicle | |
US8489353B2 (en) | Methods and systems for calibrating vehicle vision systems | |
KR102022388B1 (en) | Calibration system and method using real-world object information | |
WO2014115563A1 (en) | Driving support device, driving support method, and recording medium storing driving support program | |
CN111033548A (en) | Path artifact authentication | |
US11927682B2 (en) | Sound source visualization device and method | |
US9410818B2 (en) | Navigation device | |
US20190276049A1 (en) | Driving assistance system | |
JP2008034981A (en) | Image recognition device and method, pedestrian recognition device and vehicle controller | |
WO2020162109A1 (en) | Display control device, display control program, and persistent physical computer-readable medium | |
CN112146682B (en) | Sensor calibration method and device for intelligent automobile, electronic equipment and medium | |
US11214239B2 (en) | Driving support apparatus | |
US10032084B2 (en) | Image processing apparatus | |
US11650321B2 (en) | Apparatus and method for detecting tilt of LiDAR apparatus mounted to vehicle | |
WO2019065564A1 (en) | Automatic driving controller and method | |
CN111731304A (en) | Vehicle control device, vehicle control method, and storage medium | |
US20220316909A1 (en) | Method and Communication System for Supporting at Least Partially Automatic Vehicle Control | |
WO2018123217A1 (en) | External-world recognition system | |
CN108297795A (en) | A kind of lane recognition system of electric vehicle | |
KR20190080030A (en) | Apparatus and method for guiding destination | |
CN114830204A (en) | Training neural networks through neural networks | |
CN110745145B (en) | Multi-sensor management system for ADAS | |
EP3288260B1 (en) | Image processing device, imaging device, equipment control system, equipment, image processing method, and carrier means | |
US20210279481A1 (en) | Driver assistance apparatus and method of controlling the same | |
US20220324488A1 (en) | Information processing system, information processing apparatus, and information processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |