KR20190069957A - 관성측정장치와 단일이미지를 이용한 실시간 자동차 이동경로 예측 방법 - Google Patents

Abstract

개시된 발명은 관성측정장치와 단일이미지를 이용한 실시간 자동차 이동경로 예측 방법에 관한 것이다. 개시된 방법은, 차량 앞쪽에 장착한 단안 카메라와 차량 내부에 장착한 IMU 센서를 이용하여 특징점을 추출하고 매칭하는 단계; 상기 추출된 특징점에 기초하여 단일 영상에서의 초기맵을 생성하는 단계; 및 확장 칼만 필터를 사용하여 관성 측정 장치를 이용한 운동 모델을 예측하고 관측 모델을 보정하는 단계를 포함한다.

Description

관성측정장치와 단일이미지를 이용한 실시간 자동차 이동경로 예측 방법{Method for Real-time Odometry Estimation using Mono camera and IMU sensor}

본 발명은 관성측정장치와 단일이미지를 이용한 실시간 자동차 이동경로 예측 방법에 관한 것이다.

단안 카메라를 이용한 자동차 이동경로 예측 기술로 단안 카메라(1개의 영상)를 이용한 자동차 이동경로 예측 방법은 다양하게 존재한다. 도 1은 종래의 영상 내에서 특징점을 검출하는 방법을 나타낸 도면이다. 이와 같은 종래의 방식은 실시간으로 자동차 이동경로를 예측해야하기 때문에 특징점 검출 속도가 중요한 요인이 된다.

값비싼 스테레오 카메라가 아닌 단안 카메라를 사용하기 때문에 카메라 칼리브레이션 과정과 스테레오 매칭 과정이 필요하지 않다. 단일 영상으로는 깊이 정보를 얻을 수 없기 때문에 처음 두 프레임을 이용해 초기맵을 만드는 과정이 필요하고, 이를 기준으로 이동경로를 예측하기 때문에 초기맵의 정확도는 성능의 중요한 부분을 차지한다.

도 3은 평면환경에서 호모그래피 변환의 일례를 나타낸 도면이고, 도 4는 비평면환경에서 기초 행렬을 구하는 방법을 나타낸 도면이다. 초기맵을 생성하는 방법으로는, 평면환경(planar scene)에서는 도 3과 같은 호모그래피(Homography)변환 을 통해 구하게 되고, 비평면환경(non-planar scene)에서는 기초행렬(Fundamental matrix)을 도 4와 같이 구하게 된다. 따라서 호모그래피 매칭스코어와 기초행렬 매칭 스코어를 비교한 후 특정 한 방법을 선택한다.

도 2는 자동차의 이동 경로를 구하기 위한 번들 조정의 일례를 나타낸 도면이다.

전 프레임에서 특징점과 현재 프레임에서 추출된 특징점 매칭을 통해 자동차의 이동경로를 구하고, 번들조정(Bundle Adjustment)을 도 2와 같이 3차원 맵 포인드들의 재투영오차(reprojection error)가 최소가 되도록 최적화 작업을 진행한다.

관성측정장치를 이용한 자동차 이동경로 예측 기술로 관성측정장치를 이용하여 3방향의 가속도와 각속도를 얻을 수 있고, 이를 두 번 적분하여 이동경로를 구하는 방법이 있다. 실제 자동차 이동경로 시스템은 비선형이기 때문에 칼만 필터를 사용하여 이동경로를 예측할 경우 정확도가 떨어지는 문제점이 존재한다.

도 5는 특지점 매칭이 어려운 장소의 일례를 나타낸 도면이다.

단안 카메라의 문제점은 특징점 매칭을 통하여 자동차 이동경로를 예측해야 하는데, 도 5와 같이 나무나 울타리와 같이 패턴이 일정한 장소에서는 특징점 매칭이 어렵고 이로 인해 자동차 이동경로를 예측하는데 문제점이 존재한다.

도 6은 이동 경로 특징점 매칭의 문제를 나타낸 도면이고, 도 7은 종래의 이동경로를 보정하는 일례를 나타낸 도면이다.

도 6에 도시된 바와 같은 문제점을 해결하기 위해 BoW2(Bags of Words)방법을 사용하여Loop Closing이라는 알고리즘이 개발되어 과거에 방문했던 장소를 또 다시 방문 하였을 때, 도 7과 같이 과거의 장소를 기억하여 이동경로를 보정하는 방법이 제안되었지만, 이 또한 특징점매칭을 통하여 동일장소여부를 결정하기 때문에 본질적인 해결책은 될 수 없다. 또한 자동차가 빠르게 움직일 경우 영상내 번짐 효과(blur)로 인해 특징점 추출이 안되는 문제점이 존재한다.

도 8은 빛에 의해 왜곡되는 카메라 영상의 일례를 나타낸 도면이고, 도 9는 어두움으로 인해 특징점 매칭이 어려운 영상의 일례를 나타낸 도면이다.

도 8과 같이 카메라 영상은 빛(illumination)에 취약하기 때문에 햇빛에 의한 빛 번짐 현상이나 도 9와 같이 어두운 터널에서는 특징점 매칭에 한계가 있다.

한편, IMU 만을 사용하여 자동차의 이동경로를 예측하기 위해서는 두 번의 적분이 필요한데, 이는 Noise까지 더하게 되어 오차율이 커지는 문제점이 있다.

본 발명은 차량 앞쪽에 장착한 단안카메라와 차량 내부에 장착한 IMU 센서를 동시에 사용하여 단안카메라에서 얻어진 영상의 특징점 매칭율에 따라 센서들의 신뢰도를 다르게 설정하여 실시간 이동경로 예측의 정확도를 높이며 자동차의 움직임에 강인한 방법을 제안한다.

본 발명의 일 측면에 따르면, 차량 앞쪽에 장착한 단안 카메라와 차량 내부에 장착한 IMU 센서를 이용하여 특징점을 추출하고 매칭하는 단계; 상기 추출된 특징점에 기초하여 단일 영상에서의 초기맵을 생성하는 단계; 확장 칼만 필터를 사용하여 관성 측정 장치를 이용한 운동 모델을 예측하고 관측 모델을 보정하는 단계를 포함하는 것을 특징으로 하는 이동 경로 예측 방법이 제공된다.

본 발명은 차량 앞쪽에 장착한 단안카메라와 차량 내부에 장착한 IMU 센서를 동시에 사용하여 단안카메라에서 얻어진 영상의 특징점 매칭율에 따라 센서들의 신뢰도를 다르게 설정하여 실시간 이동경로 예측의 정확도를 높이며 자동차의 움직임에 강인한 장점이 있다.

도 1은 종래의 영상 내에서 특징점을 검출하는 방법을 나타낸 도면.
도 2는 자동차의 이동 경로를 구하기 위한 번들 조정의 일례를 나타낸 도면.
도 3은 평면환경에서 호모그래피 변환의 일례를 나타낸 도면이고, 도 4는 비평면환경에서 기초 행렬을 구하는 방법을 나타낸 도면.
도 4는 비평면환경에서 기초 행렬을 구하는 방법을 나타낸 도면.
도 5는 특지점 매칭이 어려운 장소의 일례를 나타낸 도면.
도 6은 이동 경로 특징점 매칭의 문제를 나타낸 도면이고, 도 7은 종래의 이동경로를 보정하는 일례를 나타낸 도면.
도 7은 종래의 이동경로를 보정하는 일례를 나타낸 도면.
도 8은 빛에 의해 왜곡되는 카메라 영상의 일례를 나타낸 도면이고, 도 9는 어두움으로 인해 특징점 매칭이 어려운 영상의 일례를 나타낸 도면.
도 9는 어두움으로 인해 특징점 매칭이 어려운 영상의 일례를 나타낸 도면.
도 10은 본 발명의 일 실시예에 따른 특징점 추출의 일례를 나타낸 도면.
도 11은 ORB Feature를 사용하여 특징점을 검출하고 매칭하는 일례를 나타낸 도면.
도 12는 호모그래피의 일례를 나타낸 도면이고, 도 13은 기초 행렬을 구하는 일례를 나타낸 도면.
도 13은 기초 행렬을 구하는 일례를 나타낸 도면.
도 14는 본 발명의 일 실시예에 따른 이동 경로 예측 방법의 전체적인 흐름을 도시한 순서도.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

최근 자율주행 자동차에 대한 연구가 진행됨에 따라 자동차에 여러 센서들을 장착하여 학습을 통한 정교한 3D 지도를 생성하려는 연구가 활발히 진행되고 있다. 특히 복잡한 환경에서 자율 주행을 수행하기 위해서는 초정밀 3차원 지도 생성이 필수적인데 이를 위해서는 자동차의 이동경로(Odometry)를 실시간으로 정확하게 예측할 수 있어야 한다. 현재 이동경로 예측 연구의 성능은 어떤 센서를 사용하느냐에 따라 성능이 좌지우지 되는데, 단안 카메라를 사용할 경우 영상의 특징점 들을 추출 한 후 정밀한 이동경로를 예측할 수 있다는 장점이 있지만, 빛에 민감하기 때문에 어두운 밤이나 터널과 같은 공간에서는 이용하기 힘들다는 단점이 존재하고, 차량이 빠르게 움직일 경우 영상의 번짐 효과(blur)로 인해 특징점 추출이 어려워 지고 이로 인해 특징점 매칭율이 낮아지는 문제점이 존재한다. 이를 보안하기 위해 관성측정장치(IMU) 센서를 이용하여 3방향의 가속도(x축, y축, z축)와 3방향의 각속도(roll, pith, yaw)를 취득 한 후 두번의 적분을 통해 이동경로를 예측하는 방법이 모색되었지만, 센서 특성상 노이즈가 추가되고 이를 두 번 적분할 경우 오차율이 크기 때문에 실 주행 환경에 적용하기에는 한계가 있다. 따라서 본 특허에서는 차량 앞쪽에 장착한 단안카메라와 차량 내부에 장착한 IMU 센서를 동시에 사용하여 단안카메라에서 얻어진 영상의 특징점 매칭율에 따라 센서들의 신뢰도를 다르게 설정하여 실시간 이동경로 예측의 정확도를 높이며 자동차의 움직임에 강인한 알고리즘을 제안한다.

이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.

본 발명은 단일 영상에서의 특징점 추출 및 매칭을 제공한다.

위의 표 1과 같이 실시간 이동경로를 예측하기 위해서는 특징점의 매칭 속도가 중요하다. 따라서 연산량이 상대적으로 큰 유클리디안 거리 매칭보다는 2진화 기술자(binary descriptor) 을 사용한다.

도 10은 본 발명의 일 실시예에 따른 특징점 추출의 일례를 나타낸 도면이다. 실 주행환경에서는 변화(shift), 회전(rotation), 크기(scale) 에 강인한(robust)한 특징점 들을 추출해야 한다.

도 11은 ORB Feature를 사용하여 특징점을 검출하고 매칭하는 일례를 나타낸 도면이다. 멀티스케일 FAST 코너 검출 기술 과 BRIEF 기술자를 사용하는 ORB Feature를 사용하여 특징점을 검출하고 매칭을 수행한다.

도 12는 호모그래피의 일례를 나타낸 도면이고, 도 13은 기초 행렬을 구하는 일례를 나타낸 도면이다.

단일 영상에서의 초기맵 생성은 초기맵을 정밀하게 생성해야 이를 기준으로 다음 프레임의 이동경로를 정확하게 예측할 수 있다. 평면 환경(Planar scene)에서는 도 1과 같은 호모그래피를 사용하여 초기맵을 생성하고, 비평면환경(Nonplanar Scene)환경에서는 도 12와 같은 8-point 알고리즘을 사용하여 도 13과 같은 기초행렬(Fundamental Matrix)를 구하는 것이 좋지만, 실 주행환경에서는 평면적 불확실성(Planar Ambiguity)가 존재한다. 따라서 호모그래피 모델과 기초행렬 모델 중 어떤 모델을 사용할지에 대한 임계점을 정한 후, 하나를 선택하여 초기맵을 생성한다.

확장 칼만 필터를 사용하여 관성측정 장치를 이용한 운동모델 예측과 관측 모델 보정이 이루어진다. 확장칼만필터에는 모션 모델(Motion Model)을 예측(prediction)하는 단계와 관측 모델(Observation Model)을 통하여 보정하는 단계로 이루어진다. 처리 소음(Process Noise)와 측정 소음(Measurement Noise)는 가우시안 분포로 가정하고, 입력값과 관측값을 통해 다음 상태의 해를 구한다. 선형 모델인 칼만필터와 다르게 운동 모델(Motion Model)과 관측 모델(Observation Model)을 비선형으로 확장한 후, 아래의 수학식 1과 같은 Talyer 식을 이용하여 운동 모델(g)와 관측 모델(h)을 선형화 과정으로 근사화한다.

x_t와 u_t는 각각 현재 시간의 상태백터와 제어입력값(Control Input)을 나타내고, Gt와 Ht는 Jacobian을 의미한다.

선형화된 운동 모델(Motion Model)과 관측모델(Observation Model)은 아래와 같은 수학식 2로 구성된다.

확장 칼만 필터를 사용하여 관성측정 장치를 이용한 운동모델 예측과 관측 모델 보정 시 예측단계(Prediction Step)에서는 과거의 제어 입력값(u_t-1)과 현재의 제어 입력값(u_t)을 통해 현재의 제어입력값의 가중치(u_t )와 분산∑을 예측한다.

보정단계(Correction Step)에서는 현재 관측 데이터(z_t)의 정확도에 따라 예측단계에서 관측된 상태의 보정비율을 K변수를 통해 결정한다. 이때 현재 관측 데이터는 단일이미지를 이용하여 결정된 특징점 매칭을 통해 예측된 이동경로 값이 사용된다.

아래의 수학식 3은 확장칼만필터의 의사코드(pseudocode)를 나타낸다.

위 수학식에서 Rt는 처리 노이즈(Process Noise), K는 칼만 이득(Kalman Gain)을 의미한다.

도 14는 본 발명의 일 실시예에 따른 이동 경로 예측 방법의 전체적인 흐름을 도시한 순서도이다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (1)

1. 차량 앞쪽에 장착한 단안 카메라와 차량 내부에 장착한 IMU 센서를 이용하여 특징점을 추출하고 매칭하는 단계;
   상기 추출된 특징점에 기초하여 단일 영상에서의 초기맵을 생성하는 단계;
   확장 칼만 필터를 사용하여 관성 측정 장치를 이용한 운동 모델을 예측하고 관측 모델을 보정하는 단계를 포함하는 것을 특징으로 하는 이동 경로 예측 방법.
   
   
   
   

Images