KR20220109537A - 자율주행 자동차의 센서 시스템 교정 장치 및 그 방법 - Google Patents

자율주행 자동차의 센서 시스템 교정 장치 및 그 방법 Download PDF

Info

Publication number
KR20220109537A
KR20220109537A KR1020210012475A KR20210012475A KR20220109537A KR 20220109537 A KR20220109537 A KR 20220109537A KR 1020210012475 A KR1020210012475 A KR 1020210012475A KR 20210012475 A KR20210012475 A KR 20210012475A KR 20220109537 A KR20220109537 A KR 20220109537A
Authority
KR
South Korea
Prior art keywords
autonomous vehicle
point cloud
sensor
lidar
stereo camera
Prior art date
Application number
KR1020210012475A
Other languages
English (en)
Other versions
KR102498435B1 (ko
Inventor
김민영
최지동
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020210012475A priority Critical patent/KR102498435B1/ko
Publication of KR20220109537A publication Critical patent/KR20220109537A/ko
Application granted granted Critical
Publication of KR102498435B1 publication Critical patent/KR102498435B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0057—Frequency analysis, spectral techniques or transforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

특별한 마커나 특정한 보정 물체 없이 자율주행 자동차가 주행 중일 때 주변 객체를 이용하여 센서 보정을 수행할 수 있는 자율주행 자동차의 센서 시스템 교정 장치 및 그 방법이 개시된다. 본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 장치는: 자율주행 자동차가 주행하는 동안 상기 자율주행 자동차의 주변에 위치하는 객체들에 대해 카메라 데이터를 생성하도록 구성되는 스테레오 카메라; 상기 스테레오 카메라에 의해 생성되는 2 이상의 카메라 데이터를 병합하여 제1 포인트 클라우드 데이터를 생성하도록 구성되는 카메라 데이터 병합부; 상기 자율주행 자동차가 주행하는 동안 상기 객체들에 대해 라이다 데이터를 생성하도록 구성되는 라이다 센서; 상기 라이다 센서에 의해 생성되는 2 이상의 라이다 데이터를 병합하여 제2 포인트 클라우드 데이터를 생성하도록 구성되는 라이다 데이터 병합부; 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 변환 정보를 산출하도록 구성되는 변환정보 산출부; 및 상기 변환 정보를 기반으로 상기 스테레오 카메라 및 상기 라이다 센서를 보정하도록 구성되는 보정부를 포함한다.

Description

자율주행 자동차의 센서 시스템 교정 장치 및 그 방법{Apparatus and method for calibration of sensor system of autonomous vehicle}
본 발명은 자율주행 자동차의 센서 시스템 교정 장치 및 그 방법에 관한 것으로, 보다 상세하게는 특별한 마커나 특정한 보정 물체 없이 자율주행 자동차가 주행 중일 때 주변 객체를 이용하여 센서 보정을 수행할 수 있는 자율주행 자동차의 센서 시스템 교정 장치 및 그 방법에 관한 것이다.
자율주행 차를 위한 카메라와 라이다 센서의 장단점을 보완하는 센서 퓨전 연구가 활발하게 진행되고 있다. 스테레오 카메라에서 획득한 3D 데이터와, 라이다 센서에서 획득한 3D 데이터를 둘 다 활용하면, 안정적인 자율주행 시스템을 구축할 수 있다. 또한, 스테레오 카메라와 라이다 센서의 시야(field of view) 범위가 다르므로, 두 센서를 퓨전하여 사용할 경우 거리별로 좀 더 정확한 깊이 값을 이용할 수 있다.
스테레오 카메라와 라이다 센서를 보정하여 사용할 경우 좀 더 정확한 객체를 탐지할 수 있다. 스테레오 카메라와 라이다 센서의 보정을 위한 종래의 기술들은 특별한 마커나 특정한 보정 물체를 이용하는 방식으로, 센서 보정에 불편함이 있으며, 자율주행 자동차의 주행 중에 실시간으로 센서 보정을 할 수 없는 제약이 있다.
본 발명은 특별한 마커나 특정한 보정 물체 없이 자율주행 자동차가 주행 중일 때 주변 객체를 이용하여 센서 보정을 수행할 수 있는 자율주행 자동차의 센서 시스템 교정 장치 및 그 방법을 제공하기 위한 것이다.
본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 장치는: 자율주행 자동차가 주행하는 동안 상기 자율주행 자동차의 주변에 위치하는 객체들에 대해 카메라 데이터를 생성하도록 구성되는 스테레오 카메라; 상기 스테레오 카메라에 의해 생성되는 2 이상의 카메라 데이터를 병합하여 제1 포인트 클라우드 데이터를 생성하도록 구성되는 카메라 데이터 병합부; 상기 자율주행 자동차가 주행하는 동안 상기 객체들에 대해 라이다 데이터를 생성하도록 구성되는 라이다 센서; 상기 라이다 센서에 의해 생성되는 2 이상의 라이다 데이터를 병합하여 제2 포인트 클라우드 데이터를 생성하도록 구성되는 라이다 데이터 병합부; 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 변환 정보를 산출하도록 구성되는 변환정보 산출부; 및 상기 변환 정보를 기반으로 상기 스테레오 카메라 및 상기 라이다 센서를 보정하도록 구성되는 보정부를 포함한다.
상기 변환정보 산출부는: ICP 알고리즘을 이용하여 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 회전 행렬 및 이동 행렬을 구하여 상기 변환 정보를 산출하도록 구성될 수 있다.
상기 보정부는: 상기 회전 행렬 및 상기 이동 행렬을 기반으로 상기 라이다 센서에 의해 획득된 포인트 클라우드 데이터를 상기 스테레오 카메라의 이미지 평면에 투영하여 상기 라이다 센서를 보정하도록 구성될 수 있다.
상기 보정부는: 상기 자율주행 자동차의 주행 중에 실시간으로 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 오차율을 확인하고; 상기 오차율이 설정된 기준 오차 이하인 경우, 상기 라이다 센서 및 상기 스테레오 카메라의 보정을 수행하지 않고; 상기 오차율이 상기 기준 오차 보다 큰 경우, 상기 라이다 센서 및 상기 스테레오 카메라를 보정하도록 구성될 수 있다.
본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 장치는: 상기 자율주행 자동차의 주변 환경정보를 분석하여 상기 라이다 센서 및 상기 스테레오 카메라의 보정 시점을 결정하도록 구성되는 보정 제어부를 더 포함할 수 있다.
상기 보정 제어부는: 상기 자율주행 자동차의 주행 중에 상기 자율주행 자동차의 주변 환경 정보를 수집하도록 구성되는 주변환경정보 수집부; 수집된 상기 주변 환경 정보를 분석하여 상기 자율주행 자동차의 센서 보정 정확도를 예측하도록 구성되는 주변환경정보 분석부; 및 예측된 상기 센서 보정 정확도를 기반으로 상기 스테레오 카메라와 상기 라이다 센서의 보정 시점을 결정하도록 구성되는 보정시점 결정부를 포함할 수 있다.
본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 방법은: 스테레오 카메라에 의해, 자율주행 자동차가 주행하는 동안 상기 자율주행 자동차의 주변에 위치하는 객체들에 대해 카메라 데이터를 생성하는 단계; 카메라 데이터 병합부에 의해, 상기 스테레오 카메라에 의해 생성되는 2 이상의 카메라 데이터를 병합하여 제1 포인트 클라우드 데이터를 생성하는 단계; 라이다 센서에 의해, 상기 자율주행 자동차가 주행하는 동안 상기 객체들에 대해 라이다 데이터를 생성하는 단계; 라이다 데이터 병합부에 의해, 상기 라이다 센서에 의해 생성되는 2 이상의 라이다 데이터를 병합하여 제2 포인트 클라우드 데이터를 생성하는 단계; 변환정보 산출부에 의해, 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 변환 정보를 산출하는 단계; 및 보정부에 의해, 상기 변환 정보를 기반으로 상기 스테레오 카메라 및 상기 라이다 센서를 보정하는 단계를 포함한다.
상기 변환 정보를 산출하는 단계는: ICP 알고리즘을 이용하여 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 회전 행렬 및 이동 행렬을 구하여 상기 변환 정보를 산출하는 단계를 포함할 수 있다.
상기 보정하는 단계는: 상기 회전 행렬 및 상기 이동 행렬을 기반으로 상기 라이다 센서에 의해 획득된 포인트 클라우드 데이터를 상기 스테레오 카메라의 이미지 평면에 투영하여 상기 라이다 센서를 보정하는 단계를 포함할 수 있다.
상기 보정하는 단계는: 상기 자율주행 자동차의 주행 중에 실시간으로 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 오차율을 확인하는 단계; 상기 오차율이 설정된 기준 오차 이하인 경우, 상기 라이다 센서 및 상기 스테레오 카메라의 보정을 수행하지 않는 단계; 및 상기 오차율이 상기 기준 오차 보다 큰 경우, 상기 라이다 센서 및 상기 스테레오 카메라를 보정하는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 방법은: 보정 제어부에 의해, 상기 자율주행 자동차의 주변 환경정보를 분석하여 상기 라이다 센서 및 상기 스테레오 카메라의 보정 시점을 결정하는 단계를 더 포함할 수 있다.
상기 보정 시점을 결정하는 단계는: 상기 자율주행 자동차의 주행 중에 상기 자율주행 자동차의 주변 환경 정보를 수집하는 단계; 수집된 상기 주변 환경 정보를 분석하여 상기 자율주행 자동차의 센서 보정 정확도를 예측하는 단계; 및 예측된 상기 센서 보정 정확도를 기반으로 상기 스테레오 카메라와 상기 라이다 센서의 보정 시점을 결정하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 자율주행 자동차의 센서 시스템 교정 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.
본 발명의 실시예에 의하면, 특별한 마커나 특정한 보정 물체 없이 자율주행 자동차가 주행 중일 때 주변 객체를 이용하여 센서 보정을 수행할 수 있는 자율주행 자동차의 센서 시스템 교정 장치 및 그 방법이 제공된다.
도 1은 본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 방법의 순서도이다.
도 3은 도 2의 단계 S150을 설명하기 위한 개념도이다.
도 4 내지 도 5는 본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 방법을 설명하기 위한 예시도이다.
도 6은 본 발명의 다른 실시예에 따른 자율주행 자동차의 센서 시스템 교정 장치를 구성하는 보정 제어부의 구성도이다.
도 7은 본 발명의 다른 실시예에 따른 자율주행 자동차의 센서 시스템 교정 방법의 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 명세서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 본 명세서에서 사용되는 '~부'는 적어도 하나의 기능이나 동작을 처리하는 단위로서, 예를 들어 소프트웨어, FPGA 또는 하드웨어 구성요소를 의미할 수 있다. '~부'에서 제공하는 기능은 복수의 구성요소에 의해 분리되어 수행되거나, 다른 추가적인 구성요소와 통합될 수도 있다. 본 명세서의 '~부'는 반드시 소프트웨어 또는 하드웨어에 한정되지 않으며, 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 이하에서는 도면을 참조하여 본 발명의 실시예에 대해서 구체적으로 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 장치의 구성도이다. 도 1을 참조하면, 본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 장치(100)는 스테레오 카메라(110), 라이다 센서(120), 카메라 데이터 병합부(130), 라이다 데이터 병합부(140), 변환정보 산출부(150), 및 보정부(160)를 포함할 수 있다.
스테레오 카메라(stereo camera)(110)는 자율주행 자동차에 장착될 수 있다. 스테레오 카메라(110)는 자율주행 자동차의 상부나 전방부, 측방부, 후방부 등에 장착될 수 있다. 스테레오 카메라(110)는 자율주행 자동차가 주행하는 동안 자율주행 자동차의 주변에 위치하는 다양한 객체들(예를 들어, 주변 자동차나 사람, 도로 상의 차선이나 지시선, 신호등, 안내표지판, 주변 지형지물 등)에 대해 카메라 데이터를 생성할 수 있다.
라이다 센서(lidar sensor)(120)는 자율주행 자동차에 장착될 수 있다. 라이다 센서(120)는 자율주행 자동차의 상부나 전방부, 측방부, 후방부 등에 장착될 수 있다. 라이다 센서(120)는 스테레오 카메라(110)와 인접한 위치에 배치될 수 있다. 라이다 센서(120)는 자율주행 자동차가 주행하는 동안 자율주행 자동차의 주변에 위치하는 객체들에 대해 라이다 데이터를 생성할 수 있다.
카메라 데이터 병합부(130)는 스테레오 카메라(110)에 의해 생성되는 2 이상의 카메라 데이터(다수의 카메라 포인트 클라우드 데이터)를 병합하여 제1 포인트 클라우드 데이터를 생성할 수 있다. 스테레오 카메라(110)에 의해 획득할 수 있는 포인트 클라우드(point cloud)를 병합하여 스테레오 카메라(110)와 라이다 센서(120) 간의 보정 정확도를 높일 수 있다.
라이다 데이터 병합부(140)는 라이다 센서(120)에 의해 생성되는 2 이상의 라이다 데이터(다수의 라이다 포인트 클라우드 데이터)를 병합하여 제2 포인트 클라우드 데이터를 생성할 수 있다. 라이다 센서(120)에 의해 획득할 수 있는 포인트 클라우드를 병합하여 스테레오 카메라(110)와 라이다 센서(120) 간의 보정 정확도를 높일 수 있다.
변환정보 산출부(150)는 카메라 데이터 병합부(130)에 의해 생성된 제1 포인트 클라우드 데이터와, 라이다 데이터 병합부(140)에 의해 생성된 제2 포인트 클라우드 데이터 간의 변환 정보를 산출할 수 있다. 변환정보 산출부(150)는 반복 최근접점(ICP; Iterative Closest Point) 알고리즘을 이용하여 제1 포인트 클라우드 데이터와 제2 포인트 클라우드 데이터 간의 회전 행렬(rotation matrix) 및 이동 행렬(translation matrix)을 구하여 변환 정보를 산출할 수 있다. 변환정보 산출부(150)는 예를 들어 하기 수식 1을 이용하여 변환 정보를 산출할 수 있다.
[수식 1]
Figure pat00001
수식 1에서, ni는 카메라 데이터의 법선 벡터, RLp은 회전 행렬(rotation matrix), T는 이동 행렬(translation matrix), e는 카메라 데이터와 라이다 데이터 간의 오차, k는 보정에 활용되는 포인트 클라우드의 개수이다. 변환정보 산출부(150)는 카메라 데이터의 법선 벡터를 기준으로 가까운 라이다의 포인트 클라우드를 정렬하고, 수식 1의 오차 e를 최소화하는 회전 행렬과 이동 행렬을 도출하여 변환 정보를 산출할 수 있다.
보정부(160)는 변환정보 산출부(150)에 의해 산출된 변환 정보를 기반으로 스테레오 카메라(110) 및 라이다 센서(120)를 보정할 수 있다. 보정부(160)는 회전 행렬 및 이동 행렬을 기반으로 라이다 센서(120)에 의해 획득된 포인트 클라우드 데이터를 스테레오 카메라(110)의 이미지 평면에 투영하여 라이다 센서(120)를 보정할 수 있다.
실시예에서, 보정부(160)는 자율주행 자동차의 주행 중에 실시간으로 제1 포인트 클라우드 데이터와 제2 포인트 클라우드 데이터 간의 오차율을 확인하고, 오차율이 설정된 기준 오차 이하인 경우, 라이다 센서(120) 및 스테레오 카메라(110)의 보정을 수행하지 않을 수 있다.
포인트 클라우드 데이터 간의 오차율은 정합된 두 포인트 클라우드 데이터 간의 대응되는 점들 간의 거리들(예를 들어, 어느 한 포인트 클라우드 데이터의 점에서 가장 근접한 다른 포인트 클라우드 데이터의 점 간의 거리들)을 기초로 산출될 수 있다.
보정부(160)는 자율주행 자동차의 주행 중에 실시간으로 산출되는 오차율이 설정된 기준 오차 보다 큰 경우, 라이다 센서(120) 및 스테레오 카메라(110)를 보정할 수 있다.
상술한 바와 같은 본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 장치는 특별한 마커나 특정한 보정 물체를 필요로 하지 않고, 자율주행 자동차가 주행 중일 때 주변 객체들의 3D 형상을 이용하여 센서 보정이 가능하다.
또한, 본 발명의 실시예에 의하면, 자율주행 자동차가 주행하면서 실시간으로 오차율을 확인하여 오차율이 기준치보다 높은 경우 실시간으로 재보정이 가능하며, 포인트 클라우드의 누적 데이터를 활용함으로써 센서 보정의 정확도 및 정밀도를 높일 수 있다.
따라서, 라이다 센서(120)와 스테레오 카메라(110) 간의 오차율이 기준치 보다 높은 경우에만 센서 보정이 수행되도록 하여 센서 보정이 필요 이상으로 과도하게 반복 수행되지 않도록 할 수 있으며, 센서 보정에 요구되는 연산 자원 소모를 최소화할 수 있다.
도 2는 본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 방법의 순서도이다. 도 1 및 도 2를 참조하면, 스테레오 카메라(110)는 자율주행 자동차가 주행하는 동안 자율주행 자동차의 주변에 위치하는 다양한 객체들(예를 들어, 주변 자동차나 사람, 도로 상의 차선이나 지시선, 신호등, 안내표지판, 주변 지형지물 등)에 대해 카메라 데이터를 생성할 수 있다(S110).
라이다 센서(120)는 스테레오 카메라(110)와 인접한 위치에 배치될 수 있다. 라이다 센서(120)는 자율주행 자동차가 주행하는 동안 자율주행 자동차의 주변에 위치하는 객체들에 대해 라이다 데이터를 생성할 수 있다(S120).
카메라 데이터 병합부(130)는 스테레오 카메라(110)에 의해 생성되는 2 이상의 카메라 데이터(다수의 카메라 포인트 클라우드 데이터)를 병합하여 제1 포인트 클라우드 데이터를 생성할 수 있다(S130).
라이다 데이터 병합부(140)는 라이다 센서(120)에 의해 생성되는 2 이상의 라이다 데이터(다수의 라이다 포인트 클라우드 데이터)를 병합하여 제2 포인트 클라우드 데이터를 생성할 수 있다(S140).
변환정보 산출부(150)는 카메라 데이터 병합부(130)에 의해 생성된 제1 포인트 클라우드 데이터와, 라이다 데이터 병합부(140)에 의해 생성된 제2 포인트 클라우드 데이터 간의 변환 정보를 산출할 수 있다(S150).
도 3은 도 2의 단계 S150을 설명하기 위한 개념도이다. 도 4 내지 도 5는 본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 방법을 설명하기 위한 예시도로서, 도 4는 라이다 센서에 의해 획득된 라이다 데이터의 예시도이고, 도 5는 스테레오 카메라에 의해 획득된 스테레오 카메라 데이터의 예시도이다.
도 1 내지 도 5를 참조하면, 변환정보 산출부(150)는 ICP(Iterative Closest Point) 알고리즘을 이용하여 제1 포인트 클라우드 데이터(10)와 제2 포인트 클라우드 데이터(20) 간의 회전 행렬(rotation matrix) 및 이동 행렬(translation matrix)을 구하여 변환 정보(30)를 산출할 수 있다.
보정부(160)는 변환정보 산출부(150)에 의해 산출된 변환 정보를 기반으로 스테레오 카메라(110) 및 라이다 센서(120)를 보정할 수 있다(S160). 보정부(160)는 회전 행렬 및 이동 행렬을 기반으로 라이다 센서(120)에 의해 획득된 포인트 클라우드 데이터를 스테레오 카메라의 이미지 평면에 투영하여 라이다 센서(120)를 보정할 수 있다.
실시예에서, 보정부(160)는 자율주행 자동차의 주행 중에 실시간으로 제1 포인트 클라우드 데이터와 제2 포인트 클라우드 데이터 간의 오차율을 확인하고, 오차율이 설정된 기준 오차 이하인 경우, 라이다 센서(120) 및 스테레오 카메라(110)의 보정을 수행하지 않을 수 있다.
보정부(160)는 자율주행 자동차의 주행 중에 실시간으로 산출되는 오차율이 설정된 기준 오차 보다 큰 경우, 라이다 센서(120) 및 스테레오 카메라(110)를 보정할 수 있다.
상술한 바와 같은 본 발명의 실시예에 따른 자율주행 자동차의 센서 시스템 교정 방법에 의하면, 특별한 마커나 특정한 보정 물체를 필요로 하지 않고, 자율주행 자동차가 주행 중일 때 주변 객체들의 3D 형상을 이용하여 센서 보정이 가능하다.
또한, 본 발명의 실시예에 의하면, 변환 행렬을 이용하여 라이다 포인트 클라우드를 스테레오 카메라의 카메라 이미지 평면상으로 투영하여 평균 거리 오차를 측정한 결과, X축, Y축 모두 10 픽셀 이하로 측정되었으며, 비교적 정확히 라이다 센서와 스테레오 카메라가 맵핑되는 것을 알 수 있다.
또한, 본 발명의 실시예에 의하면, 자율주행 자동차가 주행하면서 실시간으로 오차율을 확인하여 오차율이 기준치보다 높은 경우 실시간으로 재보정이 가능하며, 포인트 클라우드의 누적 데이터를 활용함으로써 센서 보정의 정확도 및 정밀도를 높일 수 있다.
따라서, 라이다 센서(120)와 스테레오 카메라(110) 간의 오차율이 기준치 보다 높은 경우에만 센서 보정이 수행되도록 하여 센서 보정이 필요 이상으로 과도하게 반복 수행되지 않도록 할 수 있으며, 센서 보정에 요구되는 연산 자원 소모를 최소화할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 자율주행 자동차의 센서 시스템 교정 장치를 구성하는 보정 제어부의 구성도이다. 도 7은 본 발명의 다른 실시예에 따른 자율주행 자동차의 센서 시스템 교정 방법의 순서도이다. 도 6 및 도 7을 참조하면, 보정 제어부(170)는 자율주행 자동차의 주변 환경정보를 분석하여 라이다 센서(120) 및 스테레오 카메라(110)의 보정 시점을 결정할 수 있다.
보정 제어부(170)는 주변환경정보 수집부(172), 주변환경정보 분석부(174), 및 보정시점 결정부(176)를 포함할 수 있다. 주변환경정보 수집부(172)는 자율주행 자동차의 주행 중에 자율주행 자동차의 주변 환경 정보를 수집할 수 있다(S172).
주변환경정보 분석부(174)는 주변환경정보 수집부(172)에 의해 수집된 주변 환경 정보를 분석하여 자율주행 자동차의 센서 보정 정확도를 예측할 수 있다(S174).
보정시점 결정부(176)는 주변환경정보 분석부(174)에 의해 예측된 센서 보정 정확도를 기반으로 스테레오 카메라(110)와 라이다 센서(120)의 보정 시점을 결정할 수 있다(S176).
보정 제어부(170)는 예를 들어, 자율주행 자동차의 주행 중에 가속도 센서 등을 통해 수집되는 진동 정보, 충격 정보, 등을 수집하여 설정된 기준 보다 큰 진동이나 충격이 발생한 경우, 스테레오 카메라(110)와 라이다 센서(120) 간의 보정이 필요하다고 판단하여 센서 보정을 위한 프로세스를 개시할 수 있다.
또한, 보정 제어부(170)는 설정된 주기 동안 진동 정보, 충격 정보, 등을 수집하여 통계 처리(예를 들어, 평균 산출)를 통해 센서 보정을 위한 보정 주기를 결정할 수도 있다. 이 경우, 평균적인 진동/충격 값이 클수록 센서 보정 주기가 단축되고, 반대로 진동/충격의 평균값이 낮을수록 센서 보정 주기가 증가될 수 있다.
보정 제어부(170)는 진동 정보, 충격 정보 외에 도로 주행과 관련된 정보를 기반으로 라이다 센서와 스테레오 카메라 간의 보정을 위한 보정 주기 및/또는 보정 시점을 결정할 수도 있다. 도로 주행 관련 정보는 예를 들어, 차량이 주행하는 도로의 유형(예를 들어, 고속도로, 골목길, 비포장 도로 등), 차량의 주행 속도 데이터, 차량 주행 시간대 등일 수 있다.
예를 들어, 차량이 비포장 도로에서 주행할 경우 라이다 센서와 스테레오 카메라 간의 보정이 틀어질 가능성이 상대적으로 커지므로, 보정 제어부(170)는 비포장 도로에서의 주행 시간에 비례하여 보정 주기 또는 보정 시기를 단축할 수 있다. 반대로, 비포장 도로에서의 주행 시간이 상대적으로 짧은 경우, 보정 주기 또는 보정 시기가 연장될 수 있다.
다른 예로, 차량이 저속으로 주행하는 경우보다 고속으로 주행할 때 라이다 센서와 스테레오 카메라 간의 보정이 틀어질 가능성이 상대적으로 커지므로, 보정 제어부(170)는 차량의 주행 속도가 기준 속도 이상인 주행 시간(고속 주행 시간)에 비례하여 보정 주기 또는 보정 시기를 단축할 수 있다. 반대로, 고속 주행 시간이 짧을수록, 보정 주기 또는 보정 시기가 연장될 수 있다.
또 다른 예로, 조도에 민감한 스테레오 카메라의 경우 야간에 스테레오 카메라의 측정 정확도가 낮아져 스테레오 카메라의 활용도가 낮으므로, 라이다 센서와 스테레오 카메라 간의 보정 필요성이 낮으며, 보정을 하더라도 보정 정확도가 낮아진다. 따라서 보정 제어부(170)는 야간 등과 같이 스테레오 카메라의 정확도가 낮은 시간대 보다 주간 등과 같이 스테레오 카메라의 정확도가 높은 시간대에 센서 보정을 하도록 보정 시점을 결정할 수 있다.
보정 제어부(170)는 가속도 센서, 진동 센서 외에도, 차량의 주행 환경과 관련된 정보를 제공하는 하나 이상의 서버(기상청 서버, 전자지도 서버 등) 혹은 네비게이션 시스템 등으로부터 주변 환경 정보를 수집할 수 있다. 또 다른 예로, 보정 제어부(170)는 스테레오 카메라에 의해 획득되는 영상을 분석하여 조도나 주행 환경을 판단하여 주변 환경 정보를 수집할 수도 있다.
도 6 및 도 7의 실시예에 의하면, 라이다 센서(120)와 스테레오 카메라(110) 간의 보정이 적절한 시점, 또는 적절한 주기로 수행되도록 하여 센서 보정이 필요 이상으로 과도하게 반복 수행되지 않도록 할 수 있으며, 센서 보정에 요구되는 연산 자원 소모를 최소화할 수 있다.
이상에서 설명된 실시예들의 구성 중 적어도 일부는 하드웨어 구성요소, 소프트웨어 구성요소, 및/ 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(Digital Signal Processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
처리 장치는 운영 체제 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술 분야에서 통상의 지식을 가진 자는 처리 장치가 복수 개의 처리 요소(Processing Element) 및/또는 복수 유형의 처리요소를 포함할 수 있음을 이해할 것이다.
예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(Parallel Processor) 와 같은, 다른 처리 구성(Processing configuration)도 가능하다. 소프트웨어는 컴퓨터 프로그램(Computer Program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어 및/ 또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody) 될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
100: 자율주행 자동차의 센서 시스템 교정 장치
110: 스테레오 카메라
120: 라이다 센서
130: 카메라 데이터 병합부
140: 라이다 데이터 병합부
150: 변환정보 산출부
160: 보정부
170: 보정 제어부
172: 주변환경정보 수집부
174: 주변환경정보 분석부
176: 보정시점 결정부

Claims (13)

  1. 자율주행 자동차가 주행하는 동안 상기 자율주행 자동차의 주변에 위치하는 객체들에 대해 카메라 데이터를 생성하도록 구성되는 스테레오 카메라;
    상기 스테레오 카메라에 의해 생성되는 2 이상의 카메라 데이터를 병합하여 제1 포인트 클라우드 데이터를 생성하도록 구성되는 카메라 데이터 병합부;
    상기 자율주행 자동차가 주행하는 동안 상기 객체들에 대해 라이다 데이터를 생성하도록 구성되는 라이다 센서;
    상기 라이다 센서에 의해 생성되는 2 이상의 라이다 데이터를 병합하여 제2 포인트 클라우드 데이터를 생성하도록 구성되는 라이다 데이터 병합부;
    상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 변환 정보를 산출하도록 구성되는 변환정보 산출부; 및
    상기 변환 정보를 기반으로 상기 스테레오 카메라 및 상기 라이다 센서를 보정하도록 구성되는 보정부를 포함하는, 자율주행 자동차의 센서 시스템 교정 장치.
  2. 제1항에 있어서,
    상기 변환정보 산출부는:
    ICP 알고리즘을 이용하여 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 회전 행렬 및 이동 행렬을 구하여 상기 변환 정보를 산출하도록 구성되는, 자율주행 자동차의 센서 시스템 교정 장치.
  3. 제2항에 있어서,
    상기 보정부는:
    상기 회전 행렬 및 상기 이동 행렬을 기반으로 상기 라이다 센서에 의해 획득된 포인트 클라우드 데이터를 상기 스테레오 카메라의 이미지 평면에 투영하여 상기 라이다 센서를 보정하도록 구성되는, 자율주행 자동차의 센서 시스템 교정 장치.
  4. 제1항에 있어서,
    상기 보정부는:
    상기 자율주행 자동차의 주행 중에 실시간으로 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 오차율을 확인하고;
    상기 오차율이 설정된 기준 오차 이하인 경우, 상기 라이다 센서 및 상기 스테레오 카메라의 보정을 수행하지 않고;
    상기 오차율이 상기 기준 오차 보다 큰 경우, 상기 라이다 센서 및 상기 스테레오 카메라를 보정하도록 구성되는, 자율주행 자동차의 센서 시스템 교정 장치.
  5. 제1항에 있어서,
    상기 자율주행 자동차의 주변 환경정보를 분석하여 상기 라이다 센서 및 상기 스테레오 카메라의 보정 시점을 결정하도록 구성되는 보정 제어부를 더 포함하는, 자율주행 자동차의 센서 시스템 교정 장치.
  6. 제5항에 있어서,
    상기 보정 제어부는:
    상기 자율주행 자동차의 주행 중에 상기 자율주행 자동차의 주변 환경 정보를 수집하도록 구성되는 주변환경정보 수집부;
    수집된 상기 주변 환경 정보를 분석하여 상기 자율주행 자동차의 센서 보정 정확도를 예측하도록 구성되는 주변환경정보 분석부; 및
    예측된 상기 센서 보정 정확도를 기반으로 상기 스테레오 카메라와 상기 라이다 센서의 보정 시점을 결정하도록 구성되는 보정시점 결정부를 포함하는, 자율주행 자동차의 센서 시스템 교정 장치.
  7. 스테레오 카메라에 의해, 자율주행 자동차가 주행하는 동안 상기 자율주행 자동차의 주변에 위치하는 객체들에 대해 카메라 데이터를 생성하는 단계;
    카메라 데이터 병합부에 의해, 상기 스테레오 카메라에 의해 생성되는 2 이상의 카메라 데이터를 병합하여 제1 포인트 클라우드 데이터를 생성하는 단계;
    라이다 센서에 의해, 상기 자율주행 자동차가 주행하는 동안 상기 객체들에 대해 라이다 데이터를 생성하는 단계;
    라이다 데이터 병합부에 의해, 상기 라이다 센서에 의해 생성되는 2 이상의 라이다 데이터를 병합하여 제2 포인트 클라우드 데이터를 생성하는 단계;
    변환정보 산출부에 의해, 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 변환 정보를 산출하는 단계; 및
    보정부에 의해, 상기 변환 정보를 기반으로 상기 스테레오 카메라 및 상기 라이다 센서를 보정하는 단계를 포함하는, 자율주행 자동차의 센서 시스템 교정 방법.
  8. 제7항에 있어서,
    상기 변환 정보를 산출하는 단계는:
    ICP 알고리즘을 이용하여 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 회전 행렬 및 이동 행렬을 구하여 상기 변환 정보를 산출하는 단계를 포함하는, 자율주행 자동차의 센서 시스템 교정 방법.
  9. 제8에 있어서,
    상기 보정하는 단계는:
    상기 회전 행렬 및 상기 이동 행렬을 기반으로 상기 라이다 센서에 의해 획득된 포인트 클라우드 데이터를 상기 스테레오 카메라의 이미지 평면에 투영하여 상기 라이다 센서를 보정하는 단계를 포함하는, 자율주행 자동차의 센서 시스템 교정 방법.
  10. 제7항에 있어서,
    상기 보정하는 단계는:
    상기 자율주행 자동차의 주행 중에 실시간으로 상기 제1 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 간의 오차율을 확인하는 단계;
    상기 오차율이 설정된 기준 오차 이하인 경우, 상기 라이다 센서 및 상기 스테레오 카메라의 보정을 수행하지 않는 단계; 및
    상기 오차율이 상기 기준 오차 보다 큰 경우, 상기 라이다 센서 및 상기 스테레오 카메라를 보정하는 단계를 포함하는, 자율주행 자동차의 센서 시스템 교정 방법.
  11. 제7항에 있어서,
    보정 제어부에 의해, 상기 자율주행 자동차의 주변 환경정보를 분석하여 상기 라이다 센서 및 상기 스테레오 카메라의 보정 시점을 결정하는 단계를 더 포함하는, 자율주행 자동차의 센서 시스템 교정 방법.
  12. 제11항에 있어서,
    상기 보정 시점을 결정하는 단계는:
    상기 자율주행 자동차의 주행 중에 상기 자율주행 자동차의 주변 환경 정보를 수집하는 단계;
    수집된 상기 주변 환경 정보를 분석하여 상기 자율주행 자동차의 센서 보정 정확도를 예측하는 단계; 및
    예측된 상기 센서 보정 정확도를 기반으로 상기 스테레오 카메라와 상기 라이다 센서의 보정 시점을 결정하는 단계를 포함하는, 자율주행 자동차의 센서 시스템 교정 방법.
  13. 제7항 내지 제12항 중 어느 한 항에 기재된 자율주행 자동차의 센서 시스템 교정 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020210012475A 2021-01-28 2021-01-28 자율주행 자동차의 센서 시스템 교정 장치 및 그 방법 KR102498435B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210012475A KR102498435B1 (ko) 2021-01-28 2021-01-28 자율주행 자동차의 센서 시스템 교정 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210012475A KR102498435B1 (ko) 2021-01-28 2021-01-28 자율주행 자동차의 센서 시스템 교정 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20220109537A true KR20220109537A (ko) 2022-08-05
KR102498435B1 KR102498435B1 (ko) 2023-02-13

Family

ID=82826381

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210012475A KR102498435B1 (ko) 2021-01-28 2021-01-28 자율주행 자동차의 센서 시스템 교정 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102498435B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102525563B1 (ko) * 2022-11-30 2023-04-25 주식회사 테스트웍스 다중 라이다 및 카메라 센서를 이용한 영상 획득 방법 및 이를 수행하는 컴퓨팅 장치
KR20240054594A (ko) 2022-10-19 2024-04-26 경북대학교 산학협력단 라이다 센서의 폐색 분류 장치 및 방법과 이를 갖는 자율주행 자동차
CN118334256A (zh) * 2024-06-14 2024-07-12 广汽埃安新能源汽车股份有限公司 视觉信号测控方法、装置、电子设备和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230083999A1 (en) * 2021-09-12 2023-03-16 Continental Automotive Systems, Inc. Contact and audible sensor system to detect and warn driver of environmental conditions

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007218738A (ja) * 2006-02-16 2007-08-30 Kumamoto Univ 校正装置、物標検知装置および校正方法
KR102012179B1 (ko) * 2018-04-30 2019-08-20 충북대학교 산학협력단 3차원 평면 검출 기반의 라이다-카메라 캘리브레이션 장치 및 방법
JP2020047276A (ja) * 2018-09-19 2020-03-26 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド センサーキャリブレーション方法と装置、コンピュータ機器、媒体及び車両
KR20200084552A (ko) * 2019-01-03 2020-07-13 현대모비스 주식회사 차량용 카메라 및 라이다 센서의 캘리브레이션 장치 및 방법
KR20200084934A (ko) * 2018-12-20 2020-07-14 삼성전자주식회사 차량의 주행을 제어하는 장치 및 차량의 주행을 제어하는 장치가 캘리브레이션을 수행하는 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007218738A (ja) * 2006-02-16 2007-08-30 Kumamoto Univ 校正装置、物標検知装置および校正方法
KR102012179B1 (ko) * 2018-04-30 2019-08-20 충북대학교 산학협력단 3차원 평면 검출 기반의 라이다-카메라 캘리브레이션 장치 및 방법
JP2020047276A (ja) * 2018-09-19 2020-03-26 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド センサーキャリブレーション方法と装置、コンピュータ機器、媒体及び車両
KR20200084934A (ko) * 2018-12-20 2020-07-14 삼성전자주식회사 차량의 주행을 제어하는 장치 및 차량의 주행을 제어하는 장치가 캘리브레이션을 수행하는 방법
KR20200084552A (ko) * 2019-01-03 2020-07-13 현대모비스 주식회사 차량용 카메라 및 라이다 센서의 캘리브레이션 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240054594A (ko) 2022-10-19 2024-04-26 경북대학교 산학협력단 라이다 센서의 폐색 분류 장치 및 방법과 이를 갖는 자율주행 자동차
KR102525563B1 (ko) * 2022-11-30 2023-04-25 주식회사 테스트웍스 다중 라이다 및 카메라 센서를 이용한 영상 획득 방법 및 이를 수행하는 컴퓨팅 장치
CN118334256A (zh) * 2024-06-14 2024-07-12 广汽埃安新能源汽车股份有限公司 视觉信号测控方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
KR102498435B1 (ko) 2023-02-13

Similar Documents

Publication Publication Date Title
KR102498435B1 (ko) 자율주행 자동차의 센서 시스템 교정 장치 및 그 방법
JP6831414B2 (ja) 測位のための方法、測位のための装置、デバイス及びコンピュータ読み取り可能な記憶媒体
US10698106B2 (en) Obstacle detecting method and apparatus, device and storage medium
JP2023523243A (ja) 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム
US11216705B2 (en) Object detection based on machine learning combined with physical attributes and movement patterns detection
CN111461981B (zh) 点云拼接算法的误差估计方法和装置
CN110389580A (zh) 用于规划自动驾驶车辆的路径的漂移校正的方法
EP3637308A1 (en) Method and device for positioning vehicle, device, and computer readable storage medium
CN109752717A (zh) 用于关联车辆中的传感器数据的装置和方法
CN112651535A (zh) 局部路径规划方法、装置、存储介质、电子设备及车辆
CN110119138A (zh) 用于自动驾驶车辆的自定位方法、系统和机器可读介质
JP5742558B2 (ja) 位置判定装置およびナビゲーション装置並びに位置判定方法，プログラム
CN110389582A (zh) 利用多个线索跟踪对象
CN111127584A (zh) 建立视觉地图的方法和装置、电子设备和存储介质
CN111353453A (zh) 用于车辆的障碍物检测方法和装置
CN111986512A (zh) 一种目标距离确定方法及装置
CN110751040A (zh) 一种三维物体的检测方法和装置、电子设备、存储介质
EP3872692A1 (en) Compensation for vertical road curvature in road geometry estimation
CN114705121A (zh) 车辆位姿测量方法、装置及电子设备、存储介质
CN111103584A (zh) 用于获知车辆的环境中的物体的高度信息的设备和方法
KR20220160850A (ko) 소실점을 추정하는 방법 및 장치
JP2009260475A (ja) 情報処理装置及び情報処理方法及びプログラム
US12055406B2 (en) Navigation apparatus and operation method of navigation apparatus
CN112558036A (zh) 用于输出信息的方法和装置
US10591300B2 (en) Fixing magnetometer based azimuth according to sun positioning

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant