KR20210051030A - 센서 바이어스 보정 방법 및 장치 - Google Patents

센서 바이어스 보정 방법 및 장치 Download PDF

Info

Publication number
KR20210051030A
KR20210051030A KR1020190135767A KR20190135767A KR20210051030A KR 20210051030 A KR20210051030 A KR 20210051030A KR 1020190135767 A KR1020190135767 A KR 1020190135767A KR 20190135767 A KR20190135767 A KR 20190135767A KR 20210051030 A KR20210051030 A KR 20210051030A
Authority
KR
South Korea
Prior art keywords
inertial measurement
measurement sensor
coordinate system
bias
vehicle
Prior art date
Application number
KR1020190135767A
Other languages
English (en)
Inventor
이성수
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020190135767A priority Critical patent/KR20210051030A/ko
Publication of KR20210051030A publication Critical patent/KR20210051030A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Navigation (AREA)

Abstract

일 실시예에 따른 차량의 관성 측정 센서의 바이어스(bias) 보정 방법은, 차량의 카메라의 촬영 영상으로부터 인식된 랜드마크와 지도에 존재하는 랜드마크의 매칭을 통하여 획득된 인접한 카메라 프레임 간 회전 정보로부터 관성 측정 센서의 좌표계 상에서의 회전 정보를 획득하는 단계와, 관성 측정 센서의 좌표계 상에서의 회전 정보에 대응하는 관성 측정 센서의 측정값들에 기초하여 상기 관성 측정 센서의 바이어스를 보정하는 단계를 포함한다.

Description

센서 바이어스 보정 방법 및 장치{APPARATUS AND METHOD FOR CORRECTING BIAS IN SENSOR}
본 발명은 센서 바이어스(bias) 보정 방법 및 장치에 관한 것으로, 더욱 상세하게는 차량의 관성 측정 센서의 바이어스를 보정하는 방법 및 그 장치에 관한 것이다.
차량은 화석 연료, 전기 등을 동력원으로 하여 도로 또는 선로를 주행하는 운송 장치를 의미한다.
차량은 기술의 발달에 따라 운전자에게 다양한 기능을 제공할 수 있도록 발전해왔다. 특히, 차량의 전장화 추세에 따라, 사고 직전 또는 사고 순간에 사고를 방지하기 위해 동작하는 능동형 안전 시스템(ASS: Active Safety System)을 구비하는 차량이 등장하였다.
나아가, 최근에는 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위하여 차량 상태, 운전자 상태, 및 주변 환경과 같은 주행 환경에 대한 정보를 능동적으로 제공하는 첨단 운전자 지원 시스템(ADAS: Advanced Driver Assist System)이 탑재된 차량에 대한 연구가 활발히 진행되고 있다.
첨단 운전자 지원 시스템은 주행 환경을 감지하기 위해 감지 수단을 구비할 수 있으며, 감지 수단의 예로서 카메라, 관성 측정 센서(Inertial Measurement Sensor, Inertial Measurement Unit)를 포함할 수 있다.
관성 측정 센서는 자이로스코프, 가속도계 및 지자기 센서를 포함할 수 있고, 종류에 따라 자이로스코프와 가속도계만 포함할 수도 있다. 자이로스코프는 각속도를 측정하고 시간당 몇 도를 회전했는지가 필요할 때에 사용할 수 있고, 가속도계는 가속도를 측정하고 초기값을 계산할 때 중력가속도를 분해하여 얼마나 기울어졌는지를 측정하는데 사용할 수 있다.
이러한 관성 측정 센서의 바이어스 보정은 카메라를 이용한 Visual SLAM(Simultaneous Localization And Mapping) 또는 Visual Odometry 알고리즘을 통하여 수행할 수 있으나, 계산량이 많은 단점이 있고, 조명이나 날씨의 영향으로 또는 동적물체가 존재하는 경우에 영상 간의 피처 매칭(feature matching)이 잘 안 되는 구간에서 성능이 저하되는 단점이 있다.
한국공개특허공보, 제10-2019-0116249호 (2019.10.14. 공개)
해결하고자 하는 과제는 랜드마크 매칭을 통하여 획득한 카메라 움직임에 대한 회전 정보를 이용하여 관성 측정 센서의 바이어스를 보정하는 방법 및 장치를 제공하는 것이다.
다만, 본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
제 1 관점에 따른 차량의 관성 측정 센서의 바이어스 보정 방법은, 상기 차량의 카메라의 촬영 영상으로부터 인식된 랜드마크와 지도에 존재하는 랜드마크의 매칭을 통하여 획득된 인접한 카메라 프레임 간 회전 정보로부터 상기 관성 측정 센서의 좌표계 상에서의 회전 정보를 획득하는 단계와, 상기 관성 측정 센서의 좌표계 상에서의 회전 정보에 대응하는 상기 관성 측정 센서의 측정값들에 기초하여 상기 관성 측정 센서의 바이어스를 보정하는 단계를 포함한다.
제 2 관점에 따른 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체는, 상기 바이어스 보정 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함한다.
제 3 관점에 따른 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램은, 상기 바이어스 보정 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함한다.
제 4 관점에 따른 센서 바이어스 보정 장치는, 차량의 카메라의 촬영 영상을 획득하는 획득부와, 상기 촬영 영상 및 지도에 기초하여 상기 차량의 관성 측정 센서의 바이어스를 보정하는 제어부를 포함하고, 상기 제어부는, 상기 촬영 영상으로부터 인식된 랜드마크와 지도에 존재하는 랜드마크의 매칭을 통하여 획득된 인접한 카메라 프레임 간 회전 정보로부터 상기 관성 측정 센서의 좌표계 상에서의 회전 정보를 획득하며, 상기 관성 측정 센서의 좌표계 상에서의 회전 정보에 대응하는 상기 관성 측정 센서의 측정값들에 기초하여 상기 관성 측정 센서의 바이어스를 보정한다.
일 실시예에 따르면, 랜드마크 매칭을 통하여 획득한 카메라 움직임에 대한 회전 정보를 이용하여 관성 측정 센서의 바이어스를 보정할 수 있다. 이에 따라, Visual SLAM 또는 Visual Odometry 알고리즘을 이용하는 것에 대비하여 계산량이 줄어들어 신속히 바이어스를 보정할 수 있고, 영상 간의 피처 매칭(feature matching)이 필요가 없기 때문에 다양한 환경에서 안정적인 성능을 보장할 수 있는 효과가 있다.
도 1은 일 실시예에 따른 센서 바이어스 보정 장치를 포함하는 차량 운행 시스템의 구성도이다.
도 2는 일 실시예에 따른 카메라와 관성 측정 센서의 좌표계를 설명하기 위한 도면이다.
도 3 내지 도 7은 일 실시예에 따른 센서 바이어스 보정 방법을 설명하기 위한 흐름도이다.
도 8은 일 실시예에 따른 센서 바이어스 보정 방법에 따라 차량의 직진을 판단하는 예를 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 센서 바이어스 보정 방법에 따라 신뢰성 검증에 이용하기 위하여 회전 행렬을 축-앵글(axis-angle)로 표현한 예를 보인 도면이다.
도 10 및 도 11은 일 실시예에 따른 센서 바이어스 보정 방법에 따른 랜드마크 매칭 결과를 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다름을 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함하다' 또는 '구성하다' 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 일 실시예에 따른 센서 바이어스 보정 장치(100)를 포함하는 차량 운행 시스템(1)의 구성도이고, 도 2는 일 실시예에 따른 카메라와 관성 측정 센서의 좌표계를 설명하기 위한 도면이다.
일 실시예에 따른 차량 운행 시스템(1)은 차량(V) 및 센서 바이어스 보정 장치(100)를 포함할 수 있다.
차량(V)은 도로나 선로를 따라 주행하면서 인간, 물건 또는 동물 등을 하나의 위치에서 다른 위치로 이동시킬 수 있는 운송 수단의 일종이다. 일 실시예에 따른 차량(V)은 삼륜 또는 사륜 자동차, 모터사이클 등의 이륜 자동차, 건설 기계, 원동기장치자전거, 자전거 및 선로를 주행하는 열차 등을 포함할 수 있다.
도 1에 나타낸 실시예에서는 차량(V)과 센서 바이어스 보정 장치(100)가 독립적으로 구현되어 상호간에 통신을 통하여 연결된 경우를 나타내었으나, 센서 바이어스 보정 장치(100)는 차량(V)과 일체로 구현되거나 차량(V)에 탑재될 수 있다.
도 1의 차량(V)은 GPS(Global Positioning System) 모듈을 포함할 수 있고, 적어도 하나의 GPS 위성으로부터 항법 데이터(Navigation Data)를 포함하는 위성 신호를 수신할 수 있다. 차량(V)은 위성 신호에 기초하여 차량(V)의 현재 위치 및 차량(V)의 진행 방향 등을 획득할 수 있다.
또한, 도 1의 차량(V) 또는 센서 바이어스 보정 장치(100)는 정밀한 지도를 미리 저장할 수 있다. 여기서, 지도는 안전하고 정밀한 차량(V)제어를 위해 높은 정확도를 가지며, 도로의 평면 위치뿐만 아니라 고도, 경사, 곡률 등에 대한 정보를 포함하는 지도를 의미할 수 있다. 또한, 지도는 차선, 표지판, 신호등, 가드레일과 같은 도로 상의 랜드마크(landmark)에 대한 정보를 더 포함할 수 있다.
아울러, 도 1의 차량(V)은 첨단 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)이 탑재될 수 있다. 여기서, 첨단 운전자 보조 시스템이란 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위해 차량(V) 상태, 운전자 상태, 주변 환경 정보와 같은 주행 환경 정보를 제공하거나 능동적으로 차량(V)을 제어하는 시스템을 의미할 수 있다.
차량(V)에 탑재된 첨단 운전자 보조 시스템은 차량(V)의 주행 환경을 감지하기 위한 감지 수단을 포함할 수 있다. 일 실시예에 따른 감지 수단은 차량(V) 주변으로 펄스를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 에코 펄스를 수신하여 주행 환경을 감지하는 레이더(Radar), 차량(V) 주변으로 레이저를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 레이저를 수신하는 라이다(LiDAR), 및/또는 차량(V) 주변으로 초음파를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 에코 초음파를 수신하는 초음파 센서 등을 포함할 수 있다.
또한, 첨단 운전자 보조 시스템은 감지 수단으로서 카메라(C)를 포함할 수 있다. 카메라(C)는 차량(V)의 전방, 측방, 및/또는 후방을 향하도록 마련되어, 해당 방향으로의 영상을 획득할 수 있다. 획득된 영상은 영상처리 과정을 통해 차량(V) 주변의 물체뿐만 아니라 차선이나 표지판 등의 정보를 획득하는 기초가 될 수 있다.
한편, 차량(V)은 카메라(C)에 의해 획득된 영상 정보와, 차량(V) 내부 모듈간 통신 방식인 CAN(Controller Area Network) 통신 방식으로 전송되는 휠 회전 정보, 요 레이트(Yaw Rate) 정보와 같은 CAN DATA를 융합하여 차량(V) 제어에 이용할 수 있다. 이 때, 카메라(C)에 의해 획득된 영상은 카메라 좌표계를 따르는 반면, CAN DATA는 차량 좌표계를 따를 수 있다.
또한, 차량(V)은 관성 측정 수단으로서 관성 측정 센서(IMU)를 포함할 수 있다. 관성 측정 센서(IMU)는 자이로스코프, 가속도계 및 지자지 센서를 포함할 수 있고, 자이로스코프와 가속도계만 포함할 수도 있다.
도 2는 일 실시예에 따른 차량(V)의 개략적인 평면도로서, 차량(V)에 탑재된 카메라(C)의 좌표계와 관성 측정 센서(IMU)의 좌표계를 예시한다. 도 2를 참조하면, 차량(V)에 탑재된 카메라(C)는 OC를 원점으로 하고, 설치 위치 및 자세각에 따라 결정되는 XC축, YC축, ZC축으로 구성되는 카메라 좌표계를 가질 수 있다. 차량(V)에 탑재된 관성 측정 센서(IMU)는 차량(V)의 진행 방향으로의 XIMU축, 지면에 수직 방향으로의 ZIMU축, 및 XIMU축과 ZIMU축에 수직인 YIMU축으로 구성되는 차량 좌표계를 가질 수 있다. 이처럼, 동일한 차량(V)에 탑재된 카메라(C)와 관성 측정 센서(IMU)는 캘리브레이션(Calibration)을 통하여 상호간의 좌표계 변환 정보를 획득할 수 있다.
도 1을 참조하면, 일 실시예에 따른 센서 바이어스 보정 장치(100)는 차량(V)으로부터 위성 항법 신호, 카메라(C)의 촬영 영상 등을 획득하고, 차량(V)의 카메라(C)의 촬영 영상으로부터 인식된 랜드마크와 지도에 존재하는 랜드마크의 매칭을 통하여 획득된 인접한 카메라 프레임 간 회전 정보로부터 관성 측정 센서(IMU)의 좌표계 상에서의 회전 정보를 획득하고, 관성 측정 센서(IMU)의 좌표계 상에서의 회전 정보에 대응하는 관성 측정 센서(IMU)의 측정값들에 기초하여 관성 측정 센서(IMU)의 바이어스를 보정할 수 있다. 이러한 센서 바이어스 보정 장치(100)는 도 1에 나타낸 바와 같이 획득부(110) 및 제어부(120)를 포함할 수 있다.
센서 바이어스 보정 장치(100)의 획득부(110)는 차량(V)의 운행에 따른 카메라(C)의 촬영 영상을 획득할 수 있다. 여기서, 획득부(110)는 차량(V)과 통신을 수행하는 통신모뎀이나 차량(V)과 각종 정보를 입출력할 수 있는 통신 인터페이스를 포함할 수 있다. 예를 들어, 획득부(110)는 공지된 여러 가지 통신 방법으로 차량(V)과 통신함으로써 정보를 교환할 수 있다. 예컨대, 통신모뎀은 CDMA, GSM, W-CDMA, TD-SCDMA, WiBro, LTE, EPC 등의 공지된 통신 방법을 채택하여 기지국을 거쳐 차량(V)과 통신할 수 있다. 또는, 통신모뎀은 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), WFD(Wi-Fi Direct), UWB(Ultra wideband), 적외선 통신(IrDA; Infrared Data Association), BLE (Bluetooth Low Energy), NFC(Near Field Communication)와 같은 통신 방법을 채택하여 소정 거리 이내에서 차량(V)과 통신할 수도 있다.
제어부(120)는 획득부(110)가 차량(V)으로부터 카메라(C)에 의해 획득된 영상 등을 수신하고, 차량(V)의 카메라(C)의 촬영 영상으로부터 인식된 랜드마크와 지도에 존재하는 랜드마크의 매칭을 통하여 획득된 인접한 카메라 프레임 간 회전 정보로부터 관성 측정 센서(IMU)의 좌표계 상에서의 회전 정보를 획득하며, 관성 측정 센서(IMU)의 좌표계 상에서의 회전 정보에 대응하는 관성 측정 센서(IMU)의 측정값들에 기초하여 관성 측정 센서(IMU)의 바이어스를 보정할 수 있다. 예를 들어, 제어부(120)는 관성 측정 센서(IMU)의 바이어스를 보정하기 위한 바이어스 보정용 제어 신호를 차량(V)에 제공할 수 있다.
제어부(120)는 관성 측정 센서(IMU)의 좌표계 상에서의 회전 정보를 획득할 때에, 차량(V)의 운행에 따른 카메라(C)의 촬영 영상으로부터 인식된 랜드마크와 지도에 존재하는 랜드마크를 매칭하여 절대 좌표계 기준의 카메라 위치 및 자세각 정보를 획득할 수 있으며, 차량(V)의 직진에 따라 획득되는 절대 좌표계 기준의 카메라 위치 변화 및 자세각 변화에 기초하여 인접한 2개의 카메라 위치로부터 카메라(C)의 회전 행렬을 계산할 수 있고, 카메라(C)와 관성 측정 센서(IMU)의 캘리브레이션(Calibration)을 통하여 획득된 상호간의 좌표계 변환 정보에 기초하여 카메라(C)의 회전 행렬을 관성 측정 센서(IMU)의 회전 행렬로 변환하여 관성 측정 센서(IMU)의 좌표계 상에서의 회전 정보를 획득할 수 있다. 예를 들어, 제어부(120)는 인식된 랜드마크와 지도의 랜드마크를 매칭하여 절대 좌표계 기준의 카메라 위치 및 자세각 정보(T1, …, Tn)를 획득한 경우, 절대 좌표계 기준의 카메라 위치 및 자세각 정보로부터 인접한 2개의 카메라 위치로부터 구한 인접한 카메라의 회전 행렬(Tk,k+1 행렬)을 인접한 카메라 프레임 간 회전 정보로서 획득할 수 있다.
제어부(120)는 절대 좌표계 기준의 카메라 위치 및 자세각 정보를 획득할 때에, 위성 항법 신호 또는 차량 휠 속도를 이용하여 절대 좌표계 기준의 차량 위치 및 진행 방향을 추정할 수 있고, 촬영 영상으로부터 지도에 존재하는 랜드마크를 인식할 수 있으며, 추정된 절대 좌표계 기준의 차량 위치 및 진행 방향에 대한 정보를 이용하여 지도에 인식된 랜드마크를 매칭하여 절대 좌표계 기준의 카메라 위치 및 자세각 정보를 파악할 수 있다.
제어부(120)는 절대 좌표계 기준의 인접한 2개의 카메라 위치로부터 카메라(C)의 회전 행렬을 획득할 때에, 촬영 영상에서 인식된 랜드마크와 지도에 존재하는 랜드마크의 매칭 에러(Matching error) 또는 매칭 라티오(Matching ratio)와 기 설정된 임계치를 비교한 결과에 기초하여 유효성을 판정할 수 있다. 랜드마크는 연속형 랜드마크와 이산형 랜드마크를 포함할 수 있다. 이 경우에, 제어부(120)는 유효성을 검증할 때에, 연속형 랜드마크의 매칭 에러 또는 매칭 라티오를 기 설정된 제 1 임계치와 비교한 결과 및 이산형 랜드마크의 매칭 에러 또는 매칭 라티오를 기 설정된 제 2 임계치와 비교한 결과에 기초하여 유효성을 판정할 수 있다. 또한, 제어부(120)는 연속형 랜드마크가 인식된 개수 또는 이산형 랜드마크가 인식된 개수와 기 설정된 임계개수의 비교 결과를 더 고려하여 유효성을 판정할 수 있다.
제어부(120)는 절대 좌표계 기준의 인접한 2개의 카메라 위치로부터 카메라(C)의 회전 행렬을 획득할 때에, 획득된 절대 좌표계 기준의 카메라 위치 및 자세각 정보에 대하여 절대 좌표계 기준의 카메라 위치의 변화에 의한 이동 성분에 대응하는 이동 거리와 차량 휠 속도에 의한 이동 거리의 오차에 기초하여 절대 좌표계 기준의 카메라 위치 및 자세각 정보의 신뢰성을 검증할 수 있고, 신뢰성이 검증된 절대 좌표계 기준의 카메라 위치 변화에 기초하여 카메라(C)의 회전 행렬을 획득할 수 있다. 제어부(120)는 신뢰성을 검증할 때에, 절대 좌표계 기준의 카메라 자세각의 변화에 의한 회전 성분이 없는 경우에 신뢰성이 있다고 판정할 수 있다. 예를 들어, 제어부(120)는 차량의 좌륜 이동 거리와 우륜 이동 거리 및 차량의 좌우륜 거리에 기초하여 차량의 직진을 판단함으로써, 회전 성분이 없는 경우로 판정할 수 있다.
제어부(120)는 관성 측정 센서(IMU)의 바이어스를 보정할 때에, 인접한 카메라의 회전 행렬에서 회전 성분이 '0'인 경우, 관성 측정 센서(IMU)의 회전 행렬에 대응하는 관성 측정 센서(IMU)의 측정값들로서 각속도 값들의 평균 값을 관성 측정 센서(IMU)의 바이어스로 계산할 수 있다.
또는, 제어부(120)는 관성 측정 센서(IMU)의 바이어스를 보정할 때에, 관성 측정 센서(IMU)의 회전 행렬에 대응하는 관성 측정 센서(IMU)의 측정값들로서 각속도 값들로부터 회전 행렬을 계산할 수 있고, 관성 측정 센서(IMU)의 회전 행렬과 각속도 값들로부터 계산된 회전 행렬이 서로 같다는 조건을 이용하여 관성 측정 센서(IMU)의 바이어스를 계산할 수 있다.
또는, 제어부(120)는 관성 측정 센서(IMU)의 회전 행렬과 각속도 값들로부터 계산된 회전 행렬을 단위 쿼터니온(unit quaternion)으로 표현하고, 가우스 뉴턴(Gauss-Newton)법 또는 리븐버그 마크워트(Levenberg-Marquardt)법을 이용하여 관성 측정 센서(IMU)의 바이어스를 계산할 수 있다.
도 3 내지 도 7은 일 실시예에 따른 센서 바이어스 보정 방법을 설명하기 위한 흐름도이고, 도 8은 일 실시예에 따른 센서 바이어스 보정 방법에 따라 차량의 직진을 판단하는 예를 설명하기 위한 도면이며, 도 9는 일 실시예에 따른 센서 바이어스 보정 방법에 따라 신뢰성 검증에 이용하기 위하여 회전 행렬을 축-앵글(axis-angle)로 표현한 예를 보인 도면이고, 도 10 및 도 11은 일 실시예에 따른 센서 바이어스 보정 방법에 따른 랜드마크 매칭 결과를 설명하기 위한 도면이다.
이하, 도 1 내지 도 11을 참조하여 일 실시예에 따른 차량 운행 시스템(1)의 센서 바이어스 보정 장치(100)에 의하여 관성 측정 센서(IMU)의 바이어스를 보정하는 과정에 대해 자세히 살펴보기로 한다.
도 3을 참조하면, 획득부(110)는 차량(V)의 운행에 따른 카메라(C)의 촬영 영상을 획득하여 제어부(120)에 제공하고, 제어부(120)는 촬영 영상으로부터 인식된 랜드마크와 기 저장된 지도에 존재하는 랜드마크의 매칭을 통하여 관성 측정 센서(IMU)의 좌표계 상에서의 회전 정보를 획득한다(S310).
도 4를 참조하여 단계 S310에 대하여 살펴보면, 제어부(120)는 관성 측정 센서(IMU)의 좌표계 상에서의 회전 정보를 획득할 때에, 차량(V)의 운행에 따른 카메라(C)의 촬영 영상으로부터 인식된 랜드마크와 지도에 존재하는 랜드마크를 매칭하여 절대 좌표계 기준의 카메라 위치 및 자세각 정보를 획득할 수 있다(S410).
도 5를 참조하여 단계 S410에 대하여 살펴보면, 제어부(120)는 절대 좌표계 기준의 카메라 위치 및 자세각 정보를 획득할 때에, GPS 신호 또는 차량 휠 속도를 이용하여 절대 좌표계 기준의 차량 위치 및 진행 방향을 추정할 수 있다(S510).
단계 S510에서, 제어부(120)는 GPS 신호를 이용한 공지의 위치 측정법을 이용하여 절대 좌표계 기준의 차량 위치 및 진행방향 정보를 추정할 수 있다. GPS 신호에 의한 위치 정보를 최소 2개 이상 연속적으로 수신하는 경우에 절대 좌표계 기준의 차량 진행 방향을 쉽게 구할 수 있다.
GPS 신호가 수신되지 않는 구간에서 제어부(120)는 차량 휠 속도를 이용하여 절대 좌표계 기준 차량의 위치 및 진행방향 정보를 추정할 수 있다.
도 8을 참조하면, 차량 좌륜의 휠 속도에 기초하여 이동 거리 Sr이 계산되고, 차량 우륜의 휠 속도에 기초하여 이동 거리 Sl이 계산되면, 수학식 1 내지 수학식 3을 이용하여 차량 위치 (x', y')를 추정할 수 있다.
Figure pat00001
Figure pat00002
Figure pat00003
Figure pat00004
그리고, 시간 k에서 차량 위치 및 진행방향 [xk, yk, θk]가 주어졌을 때, 휠 속도에 의해 추정되는 시간 k+1에서 차량 위치 및 진행방향 [xk +1, yk +1, θk + 1]은 수학식 5와 같다.
Figure pat00005
위에서 설명한 바와 같이 제어부(120)는 GPS 신호 또는 차량 휠 속도를 이용하여 절대 좌표계 기준의 차량 위치 및 진행 방향을 추정할 수 있고, GPS 신호 또는 차량 휠 속도가 수신될 때마다 절대 좌표계 기준의 차량 위치 및 진행 방향에 대한 정보를 갱신한다.
그리고, 제어부(120)는 촬영 영상으로부터 지도에 존재하는 랜드마크를 인식할 수 있다(S520). 예를 들어, 제어부(120)는 지도에 랜드마크로서 존재하는 차선, 정지선, 신호등, 표지판 등을 인식할 수 있도록 사전에 딥러닝 등을 통하여 학습될 수 있고, 촬영 영상에 포함되어 있는 랜드마크를 딥러닝 알고리즘을 통하여 인식할 수 있다. 랜드마크는 연속형(continuous) 랜드마크와 이산형(discrete) 랜드마크로 분류할 수 있고, 연속형 랜드마크로는 차선, 정지선 등이 포함될 수 있으며, 이산형 랜드마크로는 신호등, 표지판 등이 포함될 수 있다(S520).
아울러, 제어부(120)는 추정된 절대 좌표계 기준의 차량 위치 및 진행 방향에 대한 정보를 이용하여 지도에 인식된 랜드마크를 매칭하여 절대 좌표계 기준의 카메라 위치 및 자세각 정보를 파악할 수 있다(S530).
그리고, 제어부(120)는 수학식 6의 해를 구하는 ICP(Iterative Closest Point) 알고리즘을 이용하여 지도에서 절대 좌표계 기준의 카메라 위치 및 자세각을 나타내는 위치 행렬 T를 구할 수 있다. 그런데, ICP 알고리즘은 잘못된 매칭에 의하여 구한 해가 부정확할 수 있다.
Figure pat00006
여기서, Zcl(i)는 영상에서 인식된 연속형 랜드마크의 복수 개의 점들 중에 i번째 영상 좌표를 나타내며, Pcl(i)는 지도와 매칭된 3차원 좌표를 의미하며, Czcl(i)와 Cpcl(i)는 각각 Zcl(i)와 Pcl(i)의 공분산 행렬이다. Zdl(j)는 영상에서 인식된 이산형 랜드마크들 중에 j번째 영상 좌표를 나타내며, Pdl(j)는 지도와 매칭된 3차원 좌표를 의미하며, Czdl(j)와 Cpdl(j)는 각각 Zdl(j)와 Pdl(j)의 공분산 행렬이다.
이처럼, 절대 좌표계 기준의 카메라 위치 및 자세각을 나타내는 위치 행렬을 산출할 때의 부정확성을 보완하기 위하여 단계 S530에서 파악된 절대 좌표계 기준의 카메라 위치 및 자세각 정보가 유효한지를 판단하고, 유효한 정보만 이용하여 센서 바이어스 보정을 수행할 필요가 있다.
도 6을 참조하여 유효성 및 신뢰성 검증 과정에 대하여 살펴보면, 제어부(120)는 위치 행렬을 산출할 때에, 획득된 절대 좌표계 기준의 카메라 위치 및 자세각 정보에 대하여 촬영 영상으로부터 인식된 랜드마크와 지도에 존재하는 랜드마크의 매칭 결과에 기초하여 유효성을 검증할 수 있다(S610).
예를 들어, 제어부(120)는 단계 S610에서 유효성을 검증할 때에, 촬영 영상에서 인식된 랜드마크와 지도에 존재하는 랜드마크의 매칭 에러 또는 매칭 라티오와 기 설정된 임계치를 비교한 결과에 기초하여 유효성을 판정할 수 있다. 예컨대, 매칭 에러가 기 설정된 임계치 이하이고, 매칭 라티오가 기 설정된 임계치 이상일 경우 해당하는 절대 좌표계 기준의 카메라 위치 및 자세각 정보가 유효하다고 판정할 수 있다.
여기서, 매칭 에러는 ICP 알고리즘에 의해 최종적으로 유효하게 매칭된 영상에서 인식된 랜드마크와 이에 대응하는 지도의 랜드마크 간의 영상 좌표계에서의 위치 오차를 평균 낸 값을 의미할 수 있다. 매칭 라티오는 매칭 에러가 임계치 이하인 랜드마크 수를 영상에서 인식된 랜드마크의 수로 나눈 결과를 의미할 수 있다. 하나의 차선 또는 정지선과 같은 연속형 랜드마크는 복수의 점들로 구성되어 있으므로 해당 복수의 점들을 이용하여 매칭 에러와 매칭 라티오를 구할 수 있다. 예컨대, 이산형 랜드마크의 매칭 에러가 임계치1 이하인 경우, 연속형 랜드마크의 매칭 에러가 임계치2 이하인 경우, 이산형 랜드마크의 매칭 라티오가 임계치3 이상인 경우, 연속형 랜드마크의 매칭 라티오가 임계치4 이상인 경우 등을 유효성 검증 조건을 설정할 수 있다.
또한, 제어부(120)는 단계 S610에서 유효성을 검증할 때에, 연속형 랜드마크가 인식된 개수 또는 이산형 랜드마크가 인식된 개수와 기 설정된 임계개수의 비교 결과를 더 고려하여 유효성을 판정할 수 있다. 예를 들어, 이산형 랜드마크가 최소 1개 이상 존재해야 하며, 영상에서 인식된 차선 또는 정지선과 같은 연속형 랜드마크의 합은 최소 2개 이상일 경우에 유효성이 있다고 판단할 수 있다.
아울러, 제어부(120)는 단계 S610을 통하여 유효성이 검증된 절대 좌표계 기준의 카메라 위치 및 자세각 정보에 대하여 추가로 신뢰성을 검증할 수 있다. 여기서, 제어부(120)는 절대 좌표계 기준의 카메라 위치의 변화에 의한 이동 성분에 대응하는 이동 거리와 차량 휠 속도에 의한 이동 거리의 오차에 기초하여 절대 좌표계 기준의 카메라 위치 및 자세각 정보의 신뢰성을 검증할 수 있다(S620).
예를 들어, 단계 S620에서 제어부(120)는 k 번째 카메라 위치 및 자세각을 나타내는 행렬 Tk과 두 번째 카메라 위치 및 자세각을 나타내는 행렬 Tk +1가 주어졌을 때, Tk과 Tk +1 사이의 카메라 움직임에 관한 행렬 Tk,k +1 = Tk - 1Tk + 1 이며, Tk,k +1의 회전은 도 9의 축-앵글(axis-angle)로 표현할 수 있는데, 차량이 직진하는 상황에서는 Tk,k +1 행렬에서 축-앵글로 표현된 회전 값(
Figure pat00007
k,k + 1)이 임계치 이하여야 한다. Tk,k +1에서 위치 성분 [tx, ty, tz]를 이용하여 구한
Figure pat00008
는 휠 속도에 의해 계산된 차량 이동 거리 S(도 8 참조)와 같아야 한다. 실시예에 따라 오차를 감안하여 |S-dk,k +1| 값이 임계치 이하일 때 단계 S620에서 신뢰성을 갖는다고 판정할 수 있다.
다음으로, 제어부(120)는 단계 S610 및 단계 S620을 통하여 유효성 및 신뢰성이 검증된 절대 좌표계 기준의 카메라 위치 변화에 기초하여 위치 행렬을 산출할 수 있다(S630).
도 10 및 도 11은 일 실시예에 따른 센서 바이어스 보정 방법에 따른 랜드마크 매칭 결과를 설명하기 위한 도면이다. 도 10와 도 11과 같이 인접한 주행 구간이지만, 유효한 경우가 있고 유효하지 경우가 발생할 수 있는데, 이는 ICP 기반의 지도 매칭 알고리즘은 초기 카메라 위치 및 자세각의 오차에 따라 잘못된 해로 수렴할 수 있고, 영상에서 인식된 랜드마크와 지도의 3차원 랜드마크 간 잘못된 매칭에 의해 결과가 부정확해 질 수 있기 때문이다. 실시예에 따르면, 지도 매칭 결과의 정확성을 확인하여 센서 바이어스 보정의 정확성을 향상시킬 수 있다. 카메라 외부 파라미터의 회전 성분이 1도 정도의 각도 오차가 발생해도 ADAS 또는 자율 주행 성능에 크게 영향을 미치기 때문에 지도 매칭 결과의 정확성을 확인하는 과정이 필요하다. 도 10은 유효하지 않다고 판단된 지도 매칭 결과의 예이고, 도 11은 유효하다고 판단된 지도 매칭의 예이다. 촬영 영상으로부터 인식된 차선(흰색)을 지도에 존재하는 차선(하늘색)에 매칭시켰을 때에 도 10의 예와 같이 불일치할 수 있고, 도 11의 예와 같이 일치한 결과를 나타낼 수 있다.
다시 도 4를 참조하면, 제어부(120)는 차량(V)의 직진에 따라 획득되는 절대 좌표계 기준의 카메라 위치 변화 및 자세각 변화에 기초하여 인접한 2개의 카메라 위치로부터 카메라(C)의 회전 행렬을 계산할 수 있다(S420). 예를 들어, 제어부(120)는 직진 주행 상황에서 카메라 위치 및 자세각 데이터(T1, …, Tn)와 인접한 2개의 카메라 위치로부터 Tk,k +1 행렬을 구할 수 있다.
이로써, 제어부(120)는 카메라(C)와 관성 측정 센서(IMU)의 캘리브레이션을 통하여 획득된 상호간의 좌표계 변환 정보에 기초하여 카메라(C)의 회전 행렬을 관성 측정 센서(IMU)의 회전 행렬로 변환하여 관성 측정 센서(IMU)의 좌표계 상에서의 회전 정보를 획득할 수 있다(S430).
다시 도 3을 참조하면, 제어부(120)는 관성 측정 센서(IMU)의 좌표계 상에서의 회전 정보에 대응하는 관성 측정 센서(IMU)의 측정값들에 기초하여 관성 측정 센서(IMU)의 바이어스를 보정할 수 있다(S320).
여기서, 제어부(120)는 관성 측정 센서(IMU)의 바이어스를 보정할 때에, 인접한 카메라의 회전 행렬에서 회전 성분이 '0'인 경우, 수학식 7을 이용하여 관성 측정 센서(IMU)의 회전 행렬에 대응하는 관성 측정 센서(IMU)의 측정값들로서 각속도 값들의 평균 값을 관성 측정 센서(IMU)의 바이어스로 계산할 수 있다.
Figure pat00009
여기서, ωx,i, ωy,i, ωz,i는 x, y, z축에 대한 각속도 값을 의미한다.
또는, 도 7을 참조하면, 제어부(120)는 관성 측정 센서(IMU)의 바이어스를 보정할 때에, 관성 측정 센서(IMU)의 회전 행렬 R에 대응하는 관성 측정 센서(IMU)의 측정값들로서 각속도 값들로부터 회전 행렬
Figure pat00010
을 계산할 수 있다(S710). 그리고, 제어부(120)는 관성 측정 센서(IMU)의 회전 행렬과 각속도 값들로부터 계산된 회전 행렬이 서로 같다는 조건을 이용하여 수학식 8을 이용하여 관성 측정 센서(IMU)의 바이어스를 계산할 수 있다(S720).
Figure pat00011
여기서, 여기서,
Figure pat00012
는 i번째 각속도 ωi에서 바이어스 값인 ωbias를 뺀 값을 이용하여 계산한 회전 행렬을 의미한다. 도 9를 참조하면, 각속도로부터 회전 행렬은 축-앵글(axis-angle)로 표현할 수 있는데 이를 계산하기 위해 (ωi-ωbias)의 놈(norm) |ωi-ωbias|이 회전량를 의미하고, (ωi-ωbias)/|ωi-ωbias|이 회전 축을 의미한다. 일반적으로 관성 측정 센서(IMU)의 바이어스는 시간에 따라 서서히 변하기 때문에 인접한 카메라 프레임 사이의 구간에서 관성 측정 센서(IMU)의 바이어스는 동일한 값라고 가정하여 관성 측정 센서(IMU)의 바이어스를 구할 수 있다.
또는, 제어부(120)는 수학식 8에서 관성 측정 센서(IMU)의 회전 행렬과 각속도 값들로부터 계산된 회전 행렬을 수학식 9와 같이 단위 쿼터니온(unit quaternion)으로 표현할 수 있다. 이 경우, 제어부(120)는 가우스 뉴턴(Gauss-Newton)법 또는 리븐버그 마크워트(Levenberg-Marquardt) 최적화 방법을 이용하여 관성 측정 센서(IMU)의 바이어스를 계산할 수 있다.
Figure pat00013
여기서, q는 회전행렬을 단위 쿼터니온(qx, qy, qz, qw)으로 표현한 것이다.
또한, 제어부(120)는 앞서 설명한 수학식 7 내지 수학식 9 중 어느 하나를 이용하여 관성 측정 센서(IMU)의 바이어스를 계산하는 과정을 여러 번에 걸쳐서 반복한 후에 계산된 복수의 바이어스 값들의 평균값을 이용하여 최종적으로 관성 측정 센서(IMU)의 바이어스를 보정함으로써, 정확성과 안정성을 향상시킬 수 있다.
한편, 상술한 일 실시예에 따른 센서 바이어스 보정 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
또한, 상술한 일 실시예에 따른 센서 바이어스 보정 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
지금까지 설명한 바와 같이 본 발명의 실시예들에 의하면, 랜드마크 매칭을 통하여 획득한 카메라 움직임에 대한 회전 정보를 이용하여 관성 측정 센서의 바이어스를 보정할 수 있다. 이에 따라, Visual SLAM 또는 Visual Odometry 알고리즘을 이용하는 것에 대비하여 계산량이 줄어들어 신속히 바이어스를 보정할 수 있고, 영상 간의 피처 매칭(feature matching)이 필요가 없기 때문에 다양한 환경에서 안정적인 성능을 보장할 수 있다.
본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
일 실시예에 따르면, 랜드마크 매칭을 통하여 획득한 카메라 움직임에 대한 회전 정보를 이용하여 관성 측정 센서의 바이어스를 보정할 수 있다. 이러한 본 발명은 자동차나 로봇 등의 자율 주행체를 이용하는 각종 분야에 이용할 수 있다.
1: 차량 운행 시스템
V: 차량
100: 센서 바이어스 보정 장치
110: 획득부
120: 제어부

Claims (9)

  1. 차량의 관성 측정 센서의 바이어스(bias) 보정 방법으로서,
    상기 차량의 카메라의 촬영 영상으로부터 인식된 랜드마크와 지도에 존재하는 랜드마크의 매칭을 통하여 획득된 인접한 카메라 프레임 간 회전 정보로부터 상기 관성 측정 센서의 좌표계 상에서의 회전 정보를 획득하는 단계와,
    상기 관성 측정 센서의 좌표계 상에서의 회전 정보에 대응하는 상기 관성 측정 센서의 측정값들에 기초하여 상기 관성 측정 센서의 바이어스를 보정하는 단계를 포함하는
    센서 바이어스 보정 방법.
  2. 제 1 항에 있어서,
    상기 관성 측정 센서의 좌표계 상에서의 회전 정보를 획득하는 단계는,
    상기 인식된 랜드마크와 상기 지도의 랜드마크를 매칭하여 절대 좌표계 기준의 카메라 위치 및 자세각 정보(T1, …, Tn)를 획득하는 단계와,
    상기 절대 좌표계 기준의 카메라 위치 및 자세각 정보로부터 인접한 2개의 카메라 위치로부터 구한 인접한 카메라의 회전 행렬(Tk,k +1 행렬)을 상기 인접한 카메라 프레임 간 회전 정보로서 획득하는 단계와,
    상기 관성 측정 센서와 상기 카메라간의 캘리브레이션 결과에 기초하여 상기 인접한 카메라의 회전 행렬을 상기 관성 측정 센서의 회전 행렬로 변환하여 상기 관성 측정 센서의 좌표계 상에서의 회전 정보로서 획득하는 단계를 포함하는
    센서 바이어스 보정 방법.
  3. 제 2 항에 있어서,
    상기 절대 좌표계 기준의 카메라 위치 및 자세각 정보(T1, …, Tn)를 획득하는 단계는,
    위성 항법 신호 또는 차량 휠 속도를 이용하여 절대 좌표계 기준의 차량 위치 및 진행 방향을 추정하는 단계와,
    상기 촬영 영상으로부터 상기 지도에 존재하는 랜드마크를 인식하는 단계와,
    상기 추정된 절대 좌표계 기준의 차량 위치 및 진행 방향에 대한 정보를 이용하여 상기 지도에 상기 인식된 랜드마크를 매칭하여 상기 절대 좌표계 기준의 카메라 위치 및 자세각 정보를 파악하는 단계를 포함하는
    센서 바이어스 보정 방법.
  4. 제 2 항에 있어서,
    상기 관성 측정 센서의 바이어스를 보정하는 단계는,
    상기 인접한 카메라의 회전 행렬에서 회전 성분이 '0'인 경우, 상기 관성 측정 센서의 회전 행렬에 대응하는 상기 측정값들로서 각속도 값들의 평균 값을 상기 관성 측정 센서의 바이어스로 계산하는
    센서 바이어스 보정 방법.
  5. 제 2 항에 있어서,
    상기 관성 측정 센서의 바이어스를 보정하는 단계는,
    상기 관성 측정 센서의 회전 행렬에 대응하는 상기 측정값들로서 각속도 값들로부터 회전 행렬을 계산하는 단계와,
    상기 관성 측정 센서의 회전 행렬과 상기 각속도 값들로부터 계산된 회전 행렬이 서로 같다는 조건을 이용하여 상기 관성 측정 센서의 바이어스를 계산하는
    센서 바이어스 보정 방법.
  6. 제 5 항에 있어서,
    상기 관성 측정 센서의 회전 행렬과 상기 각속도 값들로부터 계산된 회전 행렬을 단위 쿼터니온(unit quaternion)으로 표현하고, 가우스 뉴턴(Gauss-Newton)법 또는 리븐버그 마크워트(Levenberg-Marquardt)법을 이용하여 상기 관성 측정 센서의 바이어스를 계산하는
    센서 바이어스 보정 방법.
  7. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
    제 1 항 내지 제 6 항 중 어느 한의 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
    컴퓨터 판독 가능한 기록매체.
  8. 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
    제 1 항 내지 제 6 항 중 어느 한의 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
    컴퓨터 프로그램.
  9. 차량의 카메라의 촬영 영상을 획득하는 획득부와,
    상기 촬영 영상 및 지도에 기초하여 상기 차량의 관성 측정 센서의 바이어스를 보정하는 제어부를 포함하고,
    상기 제어부는, 상기 촬영 영상으로부터 인식된 랜드마크와 지도에 존재하는 랜드마크의 매칭을 통하여 획득된 인접한 카메라 프레임 간 회전 정보로부터 상기 관성 측정 센서의 좌표계 상에서의 회전 정보를 획득하며, 상기 관성 측정 센서의 좌표계 상에서의 회전 정보에 대응하는 상기 관성 측정 센서의 측정값들에 기초하여 상기 관성 측정 센서의 바이어스를 보정하는
    센서 바이어스 보정 장치.
KR1020190135767A 2019-10-29 2019-10-29 센서 바이어스 보정 방법 및 장치 KR20210051030A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190135767A KR20210051030A (ko) 2019-10-29 2019-10-29 센서 바이어스 보정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190135767A KR20210051030A (ko) 2019-10-29 2019-10-29 센서 바이어스 보정 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20210051030A true KR20210051030A (ko) 2021-05-10

Family

ID=75917939

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190135767A KR20210051030A (ko) 2019-10-29 2019-10-29 센서 바이어스 보정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20210051030A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113790738A (zh) * 2021-08-13 2021-12-14 上海智能网联汽车技术中心有限公司 一种基于智能云台imu的数据补偿方法
KR102358695B1 (ko) * 2020-09-07 2022-02-07 포티투닷 주식회사 영상 정보에 기초하여 추출된 차선 유지 구간별 수시 보정이 가능한 차량 모션 센서의 보정 장치와 보정 방법 및 이를 실행시키는 프로그램이 기록된 기록 매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190116249A (ko) 2017-01-06 2019-10-14 아이디에이치엘 홀딩스, 인크. 자이로스코프 스케일 캘리브레이션을 위한 방법, 장치 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190116249A (ko) 2017-01-06 2019-10-14 아이디에이치엘 홀딩스, 인크. 자이로스코프 스케일 캘리브레이션을 위한 방법, 장치 및 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102358695B1 (ko) * 2020-09-07 2022-02-07 포티투닷 주식회사 영상 정보에 기초하여 추출된 차선 유지 구간별 수시 보정이 가능한 차량 모션 센서의 보정 장치와 보정 방법 및 이를 실행시키는 프로그램이 기록된 기록 매체
CN113790738A (zh) * 2021-08-13 2021-12-14 上海智能网联汽车技术中心有限公司 一种基于智能云台imu的数据补偿方法

Similar Documents

Publication Publication Date Title
JP7073315B2 (ja) 乗物、乗物測位システム、及び乗物測位方法
CN108572663B (zh) 目标跟踪
KR102420476B1 (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
US11530924B2 (en) Apparatus and method for updating high definition map for autonomous driving
CN112189225B (zh) 车道线信息检测装置、方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质
CN108051002B (zh) 基于惯性测量辅助视觉的运输车空间定位方法及系统
KR101454153B1 (ko) 가상차선과 센서 융합을 통한 무인 자율주행 자동차의 항법시스템
US20190278273A1 (en) Odometry system and method for tracking traffic lights
US11417018B2 (en) Device and method for calibrating camera for vehicle
CN111263960B (zh) 用于更新高清晰度地图的设备和方法
EP2348279B1 (en) Road measurement device and method for measuring road
CN111795692B (zh) 经由多模式slam融合过程进行并行跟踪和定位的方法和设备
KR20140144921A (ko) 가상현실을 이용한 무인 자동차의 자율 주행 시뮬레이션 시스템
CN112567264A (zh) 用于获取坐标变换信息的装置和方法
KR20200120402A (ko) 차량의 추정 위치 획득 장치 및 방법
JP2021128207A (ja) 地図作成装置、地図作成システム、地図作成方法、およびプログラム
CN112805766A (zh) 用于更新详细地图的装置和方法
TW202020734A (zh) 載具、載具定位系統及載具定位方法
KR20210051030A (ko) 센서 바이어스 보정 방법 및 장치
US20210396527A1 (en) Apparatus and method for determining of correction information of vehicle sensor
JPWO2004048895A1 (ja) 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
KR20210041969A (ko) 지도 매칭을 이용한 온라인 카메라 캘리브레이션 장치 및 방법
WO2022141240A1 (en) Determining vehicle positions for autonomous driving based on monocular vision and semantic map
US11976939B2 (en) High-definition maps and localization for road vehicles
JP2023086431A (ja) 地図データ作成装置、及び地図データ作成方法

Legal Events

Date Code Title Description
A201 Request for examination