KR102364007B1 - 강인한 적응적 공분산과 이차원 선분 특징을 이용한 다중 이차원 라이다의 자동 캘리브레이션 시스템 - Google Patents

강인한 적응적 공분산과 이차원 선분 특징을 이용한 다중 이차원 라이다의 자동 캘리브레이션 시스템 Download PDF

Info

Publication number
KR102364007B1
KR102364007B1 KR1020200188129A KR20200188129A KR102364007B1 KR 102364007 B1 KR102364007 B1 KR 102364007B1 KR 1020200188129 A KR1020200188129 A KR 1020200188129A KR 20200188129 A KR20200188129 A KR 20200188129A KR 102364007 B1 KR102364007 B1 KR 102364007B1
Authority
KR
South Korea
Prior art keywords
line
lidar
unit
factor
covariance
Prior art date
Application number
KR1020200188129A
Other languages
English (en)
Inventor
김곤우
딘반남
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020200188129A priority Critical patent/KR102364007B1/ko
Application granted granted Critical
Publication of KR102364007B1 publication Critical patent/KR102364007B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/006Theoretical aspects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging

Abstract

본 발명은 다중 이차원 라이다의 자동 캘리브레이션 시스템에 관한 것으로서, 다중 이차원 라이다로부터 수신한 다중 라이다 데이터에서 이차원 선분 특징을 추출하기 위한 선 추출부, 상기 이차원 선분 특징을 이용하여 선분 간의 연관성을 추출하기 위한 선 연관부, 상기 선분 간의 연관성을 이용하여 선분들을 동기화하기 위한 동기화부, 동기화한 선분으로부터 팩터를 산출하여 팩터 그래프를 생성하기 위한 팩터 계산부, 상기 팩터 그래프를 최적화하기 위한 최적화부 및 최적화한 팩터 그래프를 이용하여 캘리브레이션 파라미터를 업데이트하기 위한 업데이트부를 포함한다.
본 발명에 의하면, 강인한 적응적 공분산과 이차원 선분 특징을 이용한 다중 이차원 라이다의 자동 캘리브레이션 기능을 제공함으로써, 보다 정교한 라이다 캘리브레이션을 구현하는 효과가 있다.

Description

강인한 적응적 공분산과 이차원 선분 특징을 이용한 다중 이차원 라이다의 자동 캘리브레이션 시스템 {Online self-calibration system of mutiple 2D LiDARs using ling features with robust adaptive covariance}
본 발명은 다중 이차원 라이다의 자동 캘리브레이션 시스템에 관한 것이다.
자율주행 자동차는 인간을 대신하여 주변 환경을 감지해야 하므로, 다양한 종류의 센서를 필요로 한다. 그 중에서도 장애물까지의 거리 정보를 획득하기 위한 다양한 센서 중에 라이다(LiDAR, Light Detection And Ranging) 센서가 대표적으로 사용되고 있다. 라이다 센서는 획득 가능한 거리 정보의 범위가 약 100m로 넓으며, 거리 정보의 정확도가 약 ±3cm로, 스테레오 카메라, 초음파 센서 등의 다른 거리 센서에 비해 정확도가 높다는 장점이 있기 때문이다.
라이다(LiDAR)는 자율주행 자동차에서 많이 사용하는 센서로서, 라이다 본체에서 레이저를 발사하고 반사되어 돌아오는 시간을 가지고 주변 물체의 거리를 측정하는 장치이다. 카메라와 달리 라이다는 빛의 영향을 덜 받기 때문에 주야간 관계 없이 주변 물체 감지가 가능하다.
다중 센서 시스템(Multiple Sensor System, MSS)은 일반적으로 자율 주행 차량(AV) 및 이동 로봇에 사용된다. MSS에 사용되는 센서로는 카메라, LiDAR(Light Detection and Ranging), IMU(Inertial Measurement Unit) 및 Radar(Radio Detection and Ranging) 등이 있다.
최근 3D 라이다(LiDAR)는 과거보다 저렴한 가격으로 다양한 로봇 응용 분야에서 사용되고 있다. 많은 실내 로봇 애플리케이션은 더 단순한 환경으로 인해 복잡한 센서 설정이 필요하지 않으나, 자율 주행 차와 같은 실외 애플리케이션은 다양한 복잡한 작업을 수행해야하므로, 사고를 예방하기 위해 다양한 센서를 사용하여 이러한 작업을 수행하며, 특히 AV 주변에 여러 개의 LiDAR 또는 카메라를 부착하여 예기치 않은 사고로 인한 사각 지대를 줄일 수 있다.
3D LiDAR는 주로 Localization, SLAM, 물체 감지 및 추적에서 사용된다. Velodyne의 데이터 시트에 따르면 VLP-16 LiDAR의 정확도는 약 3cm이다. 그러나 LiDAR 센서 측정의 정확도는 물체의 날카로운 모서리에서 낮아지며, 또한 시간이 지남에 따라 센서 측정의 정확도가 떨어질 수 있다. 이러한 불리한 조건에서도 기능을 자동으로 추출하여 주기적으로 캘리브레이션 파라미터를 찾는 것은 어렵다.
차량에 장착된 다중 LiDAR는 내부 및 외부 파라미터(parameter)에 대해 정확하게 캘리브레이션(calibration)되어야 한다.
다중 센서 시스템의 캘리브레이션 방법에는 높은 정밀도가 필요하다. 그러나 저가형 LiDAR를 사용할 때 포인트 클라우드의 증가된 불확실성은 캘리브레이션 파라미터(parameter)의 정확도에 치명적인 영향을 미칠 수 있다. 또한 작업 과정에서 물리적 변위가 센서 시스템의 위치를 약간 수정할 수 있다. 따라서 캘리브레이션 알고리즘은 매개 변수를 온라인으로 자체 조정해야 한다. 캘리브레이션 방법에 대한 광범위한 연구에도 불구하고 불확실성을 처리하여 고정밀성과 견고성을 이끌어내는 방법은 아직 해결되지 않았다.
최근 스마트 팩토리는 제조 경쟁력을 높이기 위해 자율 지상 차량(Autonomous Grond Vehicles, AGV)을 널리 채택했다. 자율 임무의 경우 AGV는 경로 계획을 수행하기 위해 환경 인식 및 현지화에 의존한다. 따라서 현지화는 AGV의 내비게이션 시스템에 없어서는 안될 핵심 역량이다. 최근에, 현대적인 지역화 또는 동시 지역화 및 매핑(SLAM) 시스템은 공장과 같은 GPS 거부 환경에서 상당한 정확도를 달성할 수 있다. SLAM은 종종 LiDAR, 추정 오류를 줄이기위한 관성 측정 장치(Inertial Measurement Units, IMU) 또는 인코더로서의 카메라 및 고유 수용 센서를 통합한다. 현지화 전략에는 EKF(Extended Kalman Filter), UKF(Unscented Kalman filter), PF(Particle Filter) 및 FGO(Factor Graph Optimization)를 포함하여 정기적으로 필터링을 사용하는 여러 센서 융합 기술이 필요하다.
최근 몇 년 동안 학계와 산업계에서 시각적 SLAM 또는 주행 거리 측정에 뛰어난 성과를 거두었다. 게다가 시각 관성 오도 메트리(Visual-Inertail Odometry, VIO)는 질감이있는 환경에서 유망한 성능을 보여주었다. 그러나 VIO는 어둡거나 기능이 없는 환경에서는 신뢰할 수 없다. 따라서 다중 센서 융합 기술은 LiDAR (Light Detection and Ranging) 센서를 결합하여 텍스처없는 환경 문제를 제한한다.
일반적으로 내비게이션 시스템을 작동하기 전에 센서 간의 캘리브레이션 매개 변수를 결정해야 한다. 두 LiDAR 사이의 작은 회전 각도 미끄러짐으로 인해 점 구름 정렬에 문제가 발생한다. 일반적으로 저비용 레이저의 노이즈 크기는 표준 LiDAR보다 2 배 더 많다. ICP(Iterative Closest Point) 방법과 같은 PCL(Point cloud) 전체를 처리하면 불확실한 영역에서 비틀거리게 될 수 있다. 따라서 전체 포인트 클라우드를 활용하는 보정 기술은 적합하지 않다.
ICP 방식을 채택하는 대신 선이나 모서리와 같은 피처 기반 방식(feature-based method)이 적용될 수 있다. 여기서 라인 기능은 저가 2D LiDAR를 사용할 때 코너 기능보다 더 견고하고 안정적이다. 또한 폴리라인(polylines)은 인간이 만든 환경을 견고하게 표현하는 자연스러운 방법이며 공장 환경에서 쉽게 관찰 할 수 있다. 따라서 강력한 라인 기능을 사용하여 캘리브레이션 파라미터를 추정한다. 반면, 작동 중 주변 온도의 변화는 재료의 곡선 또는 길이를 변경시킨다. 따라서 보정된 매개 변수를 업데이트해야 한다. 온라인 보정 접근 방식은 보정된 매개 변수를 수정하고, 매개 변수가 일반적으로 실행 중에 최적임을 보장할 수 있다.
대한민국 공개특허 10-2016-0057756
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 다중 이차원 라이다에 대한 자동 캘리브레이션 프레임 워크를 제공하는데 그 목적이 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명은 다중 이차원 라이다의 자동 캘리브레이션 시스템에 관한 것으로서, 다중 이차원 라이다로부터 수신한 다중 라이다 데이터에서 이차원 선분 특징을 추출하기 위한 선 추출부, 상기 이차원 선분 특징을 이용하여 선분 간의 연관성을 추출하기 위한 선 연관부, 상기 선분 간의 연관성을 이용하여 선분들을 동기화하기 위한 동기화부, 동기화한 선분으로부터 팩터를 산출하여 팩터 그래프를 생성하기 위한 팩터 계산부, 상기 팩터 그래프를 최적화하기 위한 최적화부 및 최적화한 팩터 그래프를 이용하여 캘리브레이션 파라미터를 업데이트하기 위한 업데이트부를 포함한다.
각 선분 팩터의 공분산을 산출하고, 산출된 공분산 값을 상기 팩터 그래프에 적용하기 위한 적응적 공분산부를 더 포함할 수 있다.
상기 적응적 공분산부는 퍼지 추론 시스템을 이용하여 각 선분 팩터의 공분산을 산출할 수 있다.
본 발명에 의하면, 강인한 적응적 공분산과 이차원 선분 특징을 이용한 다중 이차원 라이다의 자동 캘리브레이션 기능을 제공함으로써, 보다 정교한 라이다 캘리브레이션을 구현하는 효과가 있다.
또한, 본 발명에 의하면 타입2 퍼지 적응형 공분산(Type 2-Fuzzy adaptive covariance)과 함께 MAP(Maximum A Posteriori) 기반 최적화 측면에서 해당 단일 선 또는 다중 선 특성을 사용하여 팩터 그래프(Factor graph)를 제안할 수 있다.
또한, 본 발명에 의하면 비교적 저비용의 4 개의 라이다로 구성된 센서 시스템을 구축할 수 있다.
도 1은 본 발명의 실험을 위한 센서 시스템을 예시한 것이다.
도 2는 본 발명의 일 실시예에 따른 다중 이차원 라이다의 자동 캘리브레이션 시스템의 전체 구성도이다.
도 3은 세 포즈 Pi, Pj, Pk 와 상대적 변환을 나타낸 것이다.
도 4는 다중 센서 캘리브레이션 문제에 대한 일반적인 정의를 나타낸 것이다.
도 5는 선 특성 기반 팩터 그래프를 설정하는 것을 예시한 것이다.
도 6은 타입2(Type-2) FIS를 기반으로 한 적응적 스킴(sheme)이다.
본 명세서에서 개시된 실시 예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 개시에서 제안하고자 하는 실시 예는 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 당해 기술분야에서 통상의 지식을 가진 자에게 실시 예들의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시 예에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 개시된 실시 예들의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 상세한 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 명세서의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 발명에서는 강인한 적응적 공분산(robust adaptive covariance)과 이차원 선분 특징으로 이용한 다중 이차원 라이다의 자동 캘리브레이션 시스템을 제안한다. 예를 들어, 여러 개의 저가형 2D LiDAR에 대한 자동 보정 프레임 워크를 제안한다.
또한, 본 발명에서는 퍼지 추론(fuzzy inference) 시스템을 인식하는 강력한 적응 공분산을 사용하는 라인 기능 기반 최적화 알고리즘을 채택한다. 먼저, 두 가지 전략이 포함된 효율적인 선 특성 기반 팩터 그래프는 단일 선과 다중 선 대응을 사용한다. 다음으로 퍼지 추론 시스템은 엔지니어링 규칙을 모방하여 각 선 요소의 공분산을 그래프에 적용한다. 그 다음 실시간으로 온라인으로 실행되는 캘리브레이션 스키마(schema)에 대한 자체 실행 전략을 제안한다.
본 발명에서 FIS(Fuzzy Inference System)를 사용하여 팩터 그래프의 공분산을 온라인 캘리브레이션에 적용하는 온라인 캘리브레이션 프레임워크(framework)를 제안한다.
도 1은 본 발명의 실험을 위한 센서 시스템을 예시한 것이다.
도 1에서 라이다(LiDAR) 1, 2, 3, 4의 저비용 센서와 라이다 5의 고비용 센서를 포함하는 센서 시스템이 예시되어 있다.
도 2는 본 발명의 일 실시예에 따른 다중 이차원 라이다의 자동 캘리브레이션 시스템의 전체 구성도이다.
도 2를 참조하면, 본 발명의 다중 이차원 라이다의 자동 캘리브레이션 시스템은 선 추출부(110), 선 연관부(120), 동기화부(130), 팩터 계산부(140), 적응적 공분산부(150), 최적화부(160), 업데이트부(170)를 포함한다.
선 추출부(110)는 다중 이차원 라이다로부터 수신한 다중 라이다 데이터에서 이차원 선분 특징을 추출한다.
선 연관부(120)는 이차원 선분 특징을 이용하여 선분 간의 연관성을 추출한다.
동기화부(130)는 선분 간의 연관성을 이용하여 선분들을 동기화시킨다.
팩터 계산부(140)는 동기화한 선분으로부터 팩터(factor)를 산출하여 팩터 그래프를 생성한다.
공분산부(150)는 각 선분 팩터의 공분산을 산출하고, 산출된 공분산 값을 팩터 그래프에 적용하는 역할을 한다. 본 발명의 일 실시예에서 적응적 공분산부(150)는 퍼지 추론 시스템(Fuzzy Inference System, FIS)을 이용하여 각 선분 팩터의 공분산을 산출할 수 있다.
최적화부(160)는 팩터 그래프를 최적화하는 역할을 한다.
업데이트부(170)는 최적화한 팩터 그래프를 이용하여 캘리브레이션 파라미터를 업데이트한다.
도 3은 세 포즈 Pi, Pj, Pk 와 상대적 변환을 나타낸 것이다.
도 3에서 (a)는 탄젠트 공간이라 불리는 유클리디안 좌표계에서의 Pi 포즈를 나타낸 것이고, (b)는 세 포즈 간의 변환을 나타낸 것이다.
본 발명에서 세 포즈(pose)는
Figure 112020143592640-pat00001
,
Figure 112020143592640-pat00002
,
Figure 112020143592640-pat00003
로 나타낼 수 있으며, 각 점은 유클리드 공간 상의 위치를 나타낸다.
Figure 112020143592640-pat00004
는 Pi에서 Pj로의 변환이며, 다음 수학식과 같이 나타낼 수 있다.
Figure 112020143592640-pat00005
(1)
여기서,
Figure 112020143592640-pat00006
,
Figure 112020143592640-pat00007
이다.
본 발명에서는 유클리드 기하학의 선 표현에 기반으로 두고 설명한다.
먼저, 점 P1(x1, y1), P2(x2, y2)의 두 점을 통해 데카르트 평면에 선이 있다고 가정한다. 이에 따라 선의 표준 방정식은 다음과 같이 나타낼 수 있다.
Figure 112020143592640-pat00008
(2)
여기서,
Figure 112020143592640-pat00009
,
Figure 112020143592640-pat00010
이다.
본 발명에서 먼저 MAP 접근법을 사용하여 캘리브레이션 방법의 문제 공식을 정의하고 해결한다. 다음, 선 특성을 사용하여 팩터 그래프를 설정하는 방법에 대해 설명한다. 다음, FIS 적응 공분산을 기반으로 시스템 아키텍처를 설명한다.
도 4는 다중 센서 캘리브레이션 문제에 대한 일반적인 정의를 나타낸 것이다.
도 4에서 원점을 기반으로 다수의 센서가 위치한 것을 확인할 수 있다.
도 4를 참조하면, 센서 시스템에 측정 데이터 Y를 제공하는 n + 1 개의 개별 센서가 구비되어 있다. 그리고, Ω는 시스템의 예비 정보라고 할 때, 센서 설정 간의 최적 외부 파라미터 X는 사후 (MAP) 확률
Figure 112020143592640-pat00011
를 최대화해야 한다.
그리고, 이 문제는 QP(Quadratic programming) 비제약 최적화이며, 근접 형식 솔루션으로 해결할 수 있다.
확률 기반 알고리즘은 MLE(maximum likelihood estimation) 형식주의 측면에서 가우시안 분포를 사용하여 포인트 클라우드를 모델링함으로써 저비용 LiDAR의 노이즈 문제를 쉽게 처리할 수 있다.
확률론적 기반 솔루션을 적용함에 있어서, 각 레이저 데이터는 가중치가 적용된 라인 피팅 알고리즘을 사용하는 프로세스에 의해 처리된다. 그 다음 추출된 선(line)이 동기화되고, 선 연결이 수행된다.
주변 환경은 중력 방향과 직교하거나 평행 한 평면으로 구성되고, 따라서 작동 중에는 수직 평면에서만 선 특징를 얻을 수 있다고 가정하자(가정 1).
가정 1에서 두 개의 라이다 A와 B가 각각 두 개의 선 lA와 lB를 관찰할 수 있도록 한다. 다음, 변환 허용 오차 M을 갖는 A 좌표계에 선 lB를 투영하는 방식으로 선 AlB를 관찰한다. 선 AlB에서 선 lA 로의 방향과 선 AlB와 선 lA 사이의 거리가 충분히 가까워지면 선 lA와 lB가 일치하는 것으로 판단한다.
본 발명에서 선 특성을 기반으로 팩터 그래프를 설정한다.
적어도 하나의 선 특성을 동시에 관찰해야하는 두 센서 사이에 팩터를 설정한다.
도 5는 선 특성 기반 팩터 그래프를 설정하는 것을 예시한 것이다.
도 5에서 (a)는 두 센서가 하나의 선을 관찰하는 것이고, (b)는 두 개의 선을 관찰하는 것이다.
도 5에서 보는 바와 같이, 한 쌍의 라이다는 단일 선 또는 여러 선들을 동시에 감지할 수 있다.
라이다 범위의 모든 수직 평면은 전역 좌표에 대해 이동하지 않으며 모든 레이저 데이터가 거의 동시에 획득된다고 가정하자(가정 2).
가정 2를 사용하여 라이다 k와 m이 동시에 선(line) πkm 만 감지하면 라이다 간의 해당 회전을 결정할 수 있다.
그리고, 가정 2를 사용하여 라이다 k와 m이 두 선 πα, πβ 및 그 이상의 선들을 동시에 관찰할 수 있도록 하면, 두 센서 사이의 변환을 추정할 수 있다.
라이다 센서 k와 m 사이의 관계가 있으면 탄젠트 공간에 상대 변환을 포함한다. 다음 도 6에서 보는 바와 같이, 팩터ηkm를 그래프에 추가하고, 마지막으로 그래프 최적화를 수행하여 캘리브레이션 파라미터의 최적 값을 구한다.
본 발명에서 FIS 인식 강인한 적응적 공분산(FIS-aware robust adaptive covariance)을 설명하면 다음과 같다.
공분산 행렬 Qij가 포즈 i와 포즈 j 사이의 팩터 불확실성과 관련이 있다.
공분산 행렬 Qij의 각 대각선 요소는 측정 값에 해당하는 가중치를 나타낸다. 여기서 캘리브레이션 문제는 고정밀로 강력하게 추출되는 선분 기능에 의존한다. 따라서 N- 라인 알고리즘은 상수 공분산 행렬과 함께 추가될 수 있다.
일반적으로 단선 알고리즘은 각도와 관련된 팩터(factor)만 사용하도록 설계할 수 있으나, 결과가 좋지 않고 실제로 로컬 최적으로 떨어진다. 따라서 XY 값에 대한 이전 최적을 사용하면서 현재 관찰된 회전을 사용하여 팩터(factor)를 설계한다.
도 6은 타입2(Type-2) FIS를 기반으로 한 적응적 스킴(sheme)이다.
도 6 (a)와 같이, 각 시간 인스턴스에서 공분산 행렬을 업데이트하기 위해 엔지니어링 추론을 모방하는 FIS 기반 방법을 제안한다. 각 단계 시간에 대해 FIS 블록은 현재와 이전 최적 측정의 차이를 입력 1로 사용하고 현재 및 이전 측정의 오류를 입력 2로 사용한다. 다음, 오류를 FIS에 입력하여 공분산 행렬 Qi,j의 각 대각선 값을 계산한다. 여기서 공분산 행렬 Qi,j을 수학식으로 나타내면 다음과 같다.
Figure 112020143592640-pat00012
(3)
여기서,
Figure 112020143592640-pat00013
는 탄젠트 공간에 대한 공분산 행렬의 xy값이고,
Figure 112020143592640-pat00014
는 탄젠트 공간에 대한 공분산 행렬의 θ값이다.
도 6 (b)는 상태 변환 과정을 도시한 그래프이다.
도 6 (b)에서 영역 (1)과 (4)는 각각 상태 변경 전과 후의 안정 영역을 나타낸다. 영역 (3)은 이전 상태가 너무 많이 변하지 않는 영역이고, 영역 (2)는 이전 상태가 급격하게 변환되는 과정을 보여주고 있다.
이상 본 발명을 몇 가지 바람직한 실시 예를 사용하여 설명하였으나, 이들 실시 예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
110 선 추출부 120 선 연관부
130 동기화부 140 팩터 계산부
150 적응적 공분산부 160 최적화부
170 업데이트부

Claims (3)

  1. 다중 이차원 라이다로부터 수신한 다중 라이다 데이터에서 이차원 선분 특징을 추출하기 위한 선 추출부;
    상기 이차원 선분 특징을 이용하여 선분 간의 연관성을 추출하기 위한 선 연관부;
    상기 선분 간의 연관성을 이용하여 선분들을 동기화하기 위한 동기화부;
    동기화한 선분으로부터 팩터를 산출하여 팩터 그래프를 생성하기 위한 팩터 계산부;
    상기 팩터 그래프를 최적화하기 위한 최적화부;
    최적화한 팩터 그래프를 이용하여 캘리브레이션 파라미터를 업데이트하기 위한 업데이트부; 및
    각 선분 팩터의 공분산을 산출하고, 산출된 공분산 값을 상기 팩터 그래프에 적용하기 위한 적응적 공분산부를 포함하는 것을 특징으로 하는 다중 이차원 라이다의 자동 캘리브레이션 시스템.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 적응적 공분산부는 퍼지 추론 시스템을 이용하여 각 선분 팩터의 공분산을 산출하는 것을 특징으로 하는 다중 이차원 라이다의 자동 캘리브레이션 시스템.
KR1020200188129A 2020-12-30 2020-12-30 강인한 적응적 공분산과 이차원 선분 특징을 이용한 다중 이차원 라이다의 자동 캘리브레이션 시스템 KR102364007B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200188129A KR102364007B1 (ko) 2020-12-30 2020-12-30 강인한 적응적 공분산과 이차원 선분 특징을 이용한 다중 이차원 라이다의 자동 캘리브레이션 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200188129A KR102364007B1 (ko) 2020-12-30 2020-12-30 강인한 적응적 공분산과 이차원 선분 특징을 이용한 다중 이차원 라이다의 자동 캘리브레이션 시스템

Publications (1)

Publication Number Publication Date
KR102364007B1 true KR102364007B1 (ko) 2022-02-16

Family

ID=80474776

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200188129A KR102364007B1 (ko) 2020-12-30 2020-12-30 강인한 적응적 공분산과 이차원 선분 특징을 이용한 다중 이차원 라이다의 자동 캘리브레이션 시스템

Country Status (1)

Country Link
KR (1) KR102364007B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160057756A (ko) 2014-11-14 2016-05-24 한국전자통신연구원 차량 자율주행 시스템 및 이를 이용한 차량 주행 방법
KR20200084552A (ko) * 2019-01-03 2020-07-13 현대모비스 주식회사 차량용 카메라 및 라이다 센서의 캘리브레이션 장치 및 방법
KR102168288B1 (ko) * 2019-05-20 2020-10-21 충북대학교 산학협력단 다중 라이다를 이용한 다중 물체 추적 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160057756A (ko) 2014-11-14 2016-05-24 한국전자통신연구원 차량 자율주행 시스템 및 이를 이용한 차량 주행 방법
KR20200084552A (ko) * 2019-01-03 2020-07-13 현대모비스 주식회사 차량용 카메라 및 라이다 센서의 캘리브레이션 장치 및 방법
KR102168288B1 (ko) * 2019-05-20 2020-10-21 충북대학교 산학협력단 다중 라이다를 이용한 다중 물체 추적 시스템 및 방법

Similar Documents

Publication Publication Date Title
Nieto et al. Recursive scan-matching SLAM
CN112197770B (zh) 一种机器人的定位方法及其定位装置
CN111089585A (zh) 一种基于传感器信息融合的建图及定位方法
Lin et al. A decentralized framework for simultaneous calibration, localization and mapping with multiple LiDARs
Knorr et al. Online extrinsic multi-camera calibration using ground plane induced homographies
Meier et al. Visual‐inertial curve simultaneous localization and mapping: Creating a sparse structured world without feature points
CN105096341A (zh) 基于三焦张量和关键帧策略的移动机器人位姿估计方法
Schwendner et al. Using embodied data for localization and mapping
Li et al. Hybrid filtering framework based robust localization for industrial vehicles
Xiong et al. A hybrid lidar-based indoor navigation system enhanced by ceiling visual codes for mobile robots
Ghallabi et al. LIDAR-based high reflective landmarks (HRL) s for vehicle localization in an HD map
Manivannan et al. Vision based intelligent vehicle steering control using single camera for automated highway system
CN116681733B (zh) 一种空间非合作目标近距离实时位姿跟踪方法
Barrau et al. Invariant filtering for pose ekf-slam aided by an imu
Peng et al. Vehicle odometry with camera-lidar-IMU information fusion and factor-graph optimization
Hoang et al. Combining edge and one-point ransac algorithm to estimate visual odometry
KR102364007B1 (ko) 강인한 적응적 공분산과 이차원 선분 특징을 이용한 다중 이차원 라이다의 자동 캘리브레이션 시스템
Zhang et al. Stereo visual inertial mapping algorithm for autonomous mobile robot
Wang et al. Micro aerial vehicle navigation with visual-inertial integration aided by structured light
Deusch et al. Improving localization in digital maps with grid maps
CN116466712A (zh) 基于cml-avg激光雷达小车的自主巡航方法及系统
Fuchs et al. Advanced 3-D trailer pose estimation for articulated vehicles
Lee et al. Development of advanced grid map building model based on sonar geometric reliability for indoor mobile robot localization
US11514588B1 (en) Object localization for mapping applications using geometric computer vision techniques
Yu et al. Indoor Localization Based on Fusion of AprilTag and Adaptive Monte Carlo

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant