KR101803340B1

KR101803340B1 - 영상 기반 주행거리 측정 시스템 및 방법

Info

Publication number: KR101803340B1
Application number: KR1020160108416A
Authority: KR
Inventors: 김현진; 김표진; 임현
Original assignee: 서울대학교산학협력단
Priority date: 2016-08-25
Filing date: 2016-08-25
Publication date: 2017-12-29

Abstract

영상 기반 주행거리 측정 시스템 및 방법이 개시된다. 본 발명의 실시 예에 따른 영상 기반 주행거리 측정 시스템은 스테레오 카메라에서 촬영한 영상을 입력받는 영상 입력부; 입력받은 영상에서 검출되는 특징점의 위치정보를 이용하여 스테레오 카메라의 움직임을 추정하는 제1 VO(visual odometry) 수행부; 입력받은 영상에서 측광 정보(photometric information)를 이용하여 스테레오 카메라의 움직임을 추정하는 제2 VO 수행부; 및 미리 지정된 조건에 따라 제1 VO 수행부만을 활성화하거나, 제1 VO 수행부 및 제2 VO 수행부 모두 활성화시키는 제어부를 포함할 수 있다.

Description

영상 기반 주행거리 측정 시스템 및 방법{Visual odometry system and method}

본 발명은 영상 기반 주행거리 측정 시스템 및 방법에 관한 것이다.

영상 기반 주행거리 측정 방법(Visual Odometry, 이하 'VO'라 칭함)은 카메라의 움직임을 점진적으로 측정하는 과정을 말하는 것으로, 카메라로부터 수집되는 두 가지의 정보를 이용한다. 여기서, 두 가지의 정보는 픽셀 좌표계에서 특징적인 물체나 포인트의 위치 정보와, 영상 내의 각 픽셀의 밝기 정보이다.

VO 기술은 크게 2가지로 나눌 수 있는데, 특징 기반 VO(feature based VO method)와 직접식 VO(direct VO method 또는 Dense VO method로 지칭됨)으로 나뉠 수 있다.

특징 기반 VO는, 영상 시퀀스 상에서 추적되는 특징점의 위치 정보를 이용한다. 보다 상세하게는 영상 좌표계에서 예측된 특징점과, 측정된 특징점 간의 재투영 오차(reprojection error)을 최소화하면서, 최상의 카메라 움직임을 측정한다. 그러나, 특징점의 추출, 추적, 그리고 결과물을 매칭하는 것은 상당히 경험적, 발견적인데, 특징 기반 VO가 이러한 것에 상당히 의존적이라는 단점이 있다. 작은 직물(즉, 특징점이 드문) 환경이라든지, 충분한 밝기가 부족하거나, 움직임이 흐릿한 경우 특징 기반 VO의 성과는 급격하게 나빠진다.

직접식 VO는, 영상의 광학적 정보를 직접 이용하는 것으로, 최근 계산능력의 비약적인 발전에 도움 받아, 특징 기반 VO(feature based VO method)에 비해, 강건성, 연산시간, 정확성 측면에서 성공적인 결과를 보여주고 있다. 보다 상세하게는, 직접식 VO는, 3차원 세계에서 하나의 포인트(지점)는 서로 다른 카메라 자세에서도 동일한 밝기 세기를 나타낸다는 일정한 빛 밝기 가정(photo-consistency assumption)하에, 영상 프레임 간의 측광 오차(photometric error)를 최소화하면서, 카메라의 최적 자세를 찾기 위해 영상 전체의 세기 정보를 이용한다. 직접 VO의 단점은, 측광 오차 최소화가 갑작스런 조도 변화나, 지역적인 조도 변화에 매우 민감한 점이다. 즉, 일정한 빛 밝기 가정이 더 이상 유효하지 않게 된다.

종래의 기술에 따르면, 특징 기반 VO 또는 직접식 VO는 각각의 장단점이 있음에도 불구하고, 대부분의 연구가 어느 하나의 VO에만 관련되어 있다.

한국공개특허 10-2012-0046974호 (공개일자 2012년5월11일) - 이동 로봇 및 이동 로봇의 위치인식 및 지도작성 방법

따라서, 본 발명은 영상의 위치 정보 및 빛 세기 정보를 둘 다 이용하는 영상 기반 주행거리측정 시스템 및 방법을 제공하기 위한 것이다.

본 발명은 특징 기반 VO와 직접식 VO를 적용하면서 유발되는 두 가지의 다른 비용함수(즉, 재투영 오차와, 측광 오차)를 조율할 수 있는 영상 기반 주행거리 측정 시스템 및 방법을 제공하기 위한 것이다.

본 발명은 특징 기반 VO와 같이 계산상 부하가 가벼우면서도, 직접식 VO와 같이 정확한 결과물을 제공할 수 있는 영상 기반 주행거리 측정 시스템 및 방법을 제공하기 위한 것이다.

본 발명은 스테레오 카메라 영상에 대하여 영상의 위치 정보 및 세기 정보를 둘 다 이용하는 영상 기반 주행거리측정 시스템 및 방법을 제공하기 위한 것이다.

본 발명의 일 측면에 따르면, 스테레오 카메라에서 촬영한 영상을 입력받는 영상 입력부; 입력받은 영상에서 검출되는 특징점의 위치정보를 이용하여 상기 스테레오 카메라의 움직임을 추정하는 제1 VO(visual odometry) 수행부; 상기 입력받은 영상에서 측광 정보(photometric information)를 이용하여 상기 스테레오 카메라의 움직임을 추정하는 제2 VO 수행부; 및 미리 지정된 조건에 따라 상기 제1 VO 수행부만을 활성화하거나, 상기 제1 VO 수행부 및 상기 제2 VO 수행부 모두 활성화시키는 제어부를 포함하는 영상기반 주행거리 측정 시스템이 제공될 수 있다.

또한, 상기 제어부는 상기 제1 VO 수행부 만을 활성화하되, 산출되는 상기 스테레오 카메라의 위치 추정값의 오차가 지정된 범위를 초과하는 경우, 상기 제2 VO 수행부를 활성화시킬 수 있다.

또한, 상기 제어부는 상기 제1 VO 수행부가 특징 기반 VO(feature based Visual Odometry)를 수행하는 과정에서의 생성되는 정보 중 하나 이상을 이용하여 상기 스테레오 카메라의 위치 추정값의 오차를 산출할 수 있다.

또한, 상기 제어부는, 특징 기반 VO(feature based Visual Odometry)보다 상대적으로 높은 정확도가 필요한 경우, 상기 제1 VO 수행부 및 상기 제2 VO 수행부 모두 활성화시킬 수 있다.

또한, 상기 제어부가 상기 제1 VO 수행부 및 상기 제2 VO 수행부를 모두 활성화시키는 경우, 상기 제1 VO 수행부는 재투영 오차(reprojection error)가 지정된 제1 목표값보다 적은 제2 목표값 이하가 되도록 특징 기반 VO(feature based Visual Odometry)를 수행할 수 있다.

이때, 상기 제2 VO 수행부가 직접식 VO(dense Visual Odometry)를 수행하여 상기 재투영 오차가 커지더라도 상기 제1 목표값보다 적을 수 있다.

본 발명의 다른 측면에 따르면, (a) 스테레오 카메라에서 촬영한 영상을 입력받는 단계; (b) 상기 입력받은 영상에서 검출되는 특징점의 위치정보를 이용하여 상기 스테레오 카메라의 움직임을 추정하는 단계; 및 (c) 상기 입력받은 영상에서 측광 정보(photometric information)를 이용하여 상기 스테레오 카메라의 움직임을 추정하는 단계를 포함하되, 지정된 조건에 따라 상기 (b) 단계만 수행되거나, 상기 (b) 단계 및 상기(c)단계 모두 수행되는 것을 것을 특징으로 하는 영상기반 주행거리 측정 방법이 제공될 수 있다.

또한, 디폴트(default)로 상기 (b) 단계까지만 수행되되, 상기 (b)단계에서 산출되는 상기 스테레오 카메라의 위치 추정값의 오차가 지정된 범위를 초과하는 경우, 상기 (c)단계가 수행될 수 있다.

또한, 디폴트(default)로 상기 (b) 단계까지만 수행되되, 상대적으로 높은 정확도가 필요한 경우 상기 (c)단계가 수행될 수 있다.

또한, 지정된 조건에 따라 상기 (b) 단계 및 상기 (c)단계가 모두 수행되는 경우, 상기 (b)단계는 재투영 오차(reprojection error)가 지정된 제1 목표값보다 적은 제2 목표값 이하가 되도록 특징 기반 VO(feature based Visual Odometry)를 수행하는 단계를 포함할 수 있다.

본 발명의 실시예에 따르면, 영상의 위치 정보 및 빛 세기 정보를 둘 다 이용하는 영상 기반 주행거리측정 시스템 및 방법을 제공할 수 있다.

또한, 특징 기반 VO와 직접식 VO를 적용하면서 유발되는 두 가지의 다른 비용함수(즉, 재투영 오차와, 측광 오차)를 조율할 수 있다.

또한, 특징 기반 VO와 같이 계산상 부하가 가벼우면서도, 직접식 VO와 같이 정확한 결과물을 제공할 수 있다.

또한, 스테레오 카메라 영상에 대하여 영상의 위치 정보 및 세기 정보를 둘 다 이용할 수 있다.

도 1은 본 발명의 실시예에 따른 영상 기반 주행거리 측정 시스템의 구성 블록도.
도 2는 본 발명의 실시예에 따른 스테레오 영상의 VO에서 사용되는 표기법을 예시한 도면.
도 3은 본 발명의 실시예에 따른 영상 기반 주행거리 측정방법을 설명하기 위한 순서도.
도 4는 본 발명의 실시예에 다른 영상 기반 주행거리 측정방법을 EuRoC MAV 데이터 세트로 테스트한 결과를 예시한 테이블.
도 5 및 도 6은, 본 발명의 실시예에 다른 영상 기반 주행거리 측정방법을 비콘 룸 1 02로 테스트한 결과.
도 7은 본 발명의 실시예에 따른 측정방법을 KITTI 데이터 세트로 테스트한 결과를 예시한 테이블.
도 8 및 도 9는, 본 발명의 실시예에 다른 영상 기반 주행거리 측정방법을 주택지 20110930 33으로 테스트한 결과.
도 10은 각각의 VO 방법에 대한 계산 시간을 도시한 그래프.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 1은 본 발명의 실시예에 따른 영상 기반 주행거리 측정 시스템의 구성 블록도이다.

도 1을 참고하면, 본 발명의 실시예에 따른 영상 기반 주행거리 측정 시스템(100)은 영상입력부(102), 제1 VO 수행부(104), 제2 VO 수행부(106) 및 제어부(108)를 포함할 수 있다.

영상 입력부(110)는 카메라에서 촬영한 영상(image)을 입력 받는다.

본 실시예에서 카메라로는 스테레오 카메라가 이용되는 것을 가정하여 설명하지만, 기타 RGB 영상 및 깊이 영상을 획득할 수 있는 다양한 카메라를 활용할 수 있다.

제1 VO 수행부(104)는 입력받은 영상에서 검출되는 특징점의 위치정보를 이용하여 카메라의 움직임을 추정할 수 있다.

예를 들어, 제1 VO 수행부(104)는 영상 입력부(102)에 입력된 스테레오 영상에 대해서 재투영 오차(reprojection error)가 최소화 되도록 특징 기반 VO(feature based VO method)를 수행할 수 있다.

본 명세서에서 재투영 오차(reprojection error)가 최소화되는 것의 의미는, 문언적 수치상 재투영 오차값이 최소가 되는 경우일 뿐만 아니라, 재투영 오차값이 설정된 비용, 즉 미리 지정된 목표 오차값보다 작아질 때까지, 선형 또는 비선형 최적화를 반복적으로 수행하는 경우까지 포함할 수 있다.

제2 VO 수행부(106)는 측광 오차(Photometric error)가 최소화되도록 직접식 VO(Dense VO method)를 수행할 수 있다.

여기서, 측광 오차가 "최소화"되는 것의 의미는, 앞서 재투영 오차가 "최소화"되는 것과 같이 해석될 수 있으므로, 상세한 설명은 생략한다.

제어부(108)는 기 설정된 조건에 상응하는 이벤트가 발생하는지 여부를 판단하여, 제1 VO 수행부(104)만 활성화하거나, 제1 VO 수행부(104) 및 제2 VO 수행부(106)를 모두 활성시켜, 카메라의 움직임을 추정하여 주행거리를 측정할 수 있다.

이하, 제1 VO 수행부(104), 제2 VO 수행부(106) 및 제어부(106)에 대해서 상세히 후술한다.

우선 본 명세서에서 사용될 표기법(notation) 및 설정(setting)에 대해 설명하기로 한다.

도 2는 본 발명의 실시예에 따른 스테레오 영상의 VO에서 사용되는 표기법을 예시한 도면이다.

어깨첨자(superscript) (l)과 (r)은 스테레오 카메라 장치의 좌측과 우측 카메라를 각각 표시하기 위해 사용된다. k는 영상 프레임의 인덱스(index)를 나타내기 위해 사용된다. 스텝 k에서 좌측 카메라에서 획득되는 세기 영상(intensity image)은

로 표기된다.

세기 영상 매트릭스

에서, i번째 영상 패치(image patch)는

로 표기된다. 임의의 2차원 픽셀 포인트에 대해,

내의 픽셀 좌표는

와 같이 표기되며, 첫번째 아래첨자(subscript) i는 패치 인덱스(patch index)이고, j는 픽셀 인덱스(pixel index)이다.

특히, 특징 기반 VO에서 추출되고 추적되어지는 영상 패치의 중앙점(center point)은

로 표기된다.

좌측 카메라 좌표계

에서 정의된 3차원 포인트

는 카메라 투영 함수(camera projection function)

를 통해 픽셀 좌표계

로 매핑된다(수학식 (1) 참조).

(1)

카메라 투영 함수는 카메라 고유 파라미터(camera intrinsic parameter) f, p_x, p_y로 고유하게 결정된다.

반대로, 3차원 포인트

는 역 투영 함수(inverse projection function)

를 통해 깊이값

(본 실시예에 따른 스테레오 카메라의 변위 맵(disparity map)에서 또는 RGB-D 센서의 깊이 영상(depth image)로부터 계산됨)와

로 계산될 수 있다(수학식 (2) 참조).

(2)

좌측 카메라 프레임

과 키프레임

사이의 상대 위치 및 방향(relative position and orientation)은 강체 변환 행렬(rigid body transformation matrix)

를 가지고 나타낼 수 있다(수학식 (3) 참조).

(3)

여기서,

로서

의 동차 폼(homogenous form)이다. 본 발명에서 Lie 그룹 SE(3)의 최소 대표값(minimal representation), 즉 Lie 대수 SE(3) 파라미터

가 수치 비선형 최적화 알고리즘(numerical nonlinear optimization algorithm)에서 증가 변위(incremental displacements)를 표현하기 위해 주로 사용된다. Lie 대수 파라미터는 6 X 1 벡터

로 표기된다. 여기서,

는 변환 속도이고

는 회전 속도이다.

강체 변환 행렬

과 Lie 대수 파라미터 간의 지수맵은 다음 수학식 (4)와 같이 표기될 수 있다.

(4)

여기서,

은 Lie 대수 파라미터

에서 도출되는 4 X 4 트위스트 행렬이다. 앞서 정의된 표기 및 수학식에 대해서는 도 1에 도시되어 있다.

도 2를 참고하면, 목적하는 바는, 연속적인 스테레오 영상들에서 재투영 오차(reprojection error)와 수정된 측광 오차의 제곱합을 최소화하면서, 스텝 K와 키프레임 사이에서, 스테레오 카메라 장치의 최적 상대 움직임

를 추정하는 것이다.

다시 도 1을 참고하여, 본 발명의 실시예에 따른 먼저 제1 VO 수행부(104)에 대해서 설명한다.

제1 VO 수행부(104)는 입력되는 스테레오 카메라 영상에서 특징점 후보를 먼저 검출할 수 있다.

예를 들어, 제1 VO 수행부(104)는 두 개의 연속적인 좌우측 카메라의 영상들에, 비극대 비최소 억제(non-maximum and non-minimum suppression)를 수행할 수 있다.

이어서, 제1 VO 수행부(104)는 검출된 특징점 후보들을 이용하여 특징점을 매칭할 수 있다.

보다 상세하게는, 제1 VO 수행부(104)는 특징점 후보 근처의 U 방향과 V 방향의 영상 변화값의 분포가 특징점 매칭을 위한 서술자(descriptor)로 이용할 수 있다. 그리고, 제1 VO 수행부(104)는 서술자(descriptor)간의 유사도를 측정하기 위해서, SAD(sum of absolute differences)를 오차 행렬로서 사용할 수 있다.

여기서, 제1 VO 수행부(104)는 시간상, 공간상 다음 4개의 영상에서 원형 특징 매칭 방법(circular feature matching)으로 대응되는 특징점을 찾는 방식으로 특징점을 매칭할 수 있다.

예를 들어, 특징점 매칭은 현재 좌측 영상에서 시작되어, 직전 좌측 영상, 직전 우측 영상, 현재 우측 영상, 그리고 마지막으로 현재 좌측 영상 순으로 진행될 수 있다. 만일, 마지막 매칭된 특징점이 최초 시작된 특징점과 일치하면, 수행된 원형 특징점 매칭은 채택될 수 있다.

이어서, 제1 VO 수행부(104)는 RANSAC(random sample consensus) 프레임워크 상에서 카메라 좌측과 우측의 재투영 오차(reprojection error)의 제곱의 합을 최소화하는 최적의 카메라 움직임을 추정할 수 있다.

이하. 본 발명의 실시예에 따른 제1 VO 수행부(104)가 재투영 오차를 최소화하는 방법에 대해서 설명한다.

원형 매칭 프로세스(circular matching process)를 만족하는 특징점 지점에서 좌측 및 우측 재투영 오차(reprojection errors)를 최소화하는 방법으로, 제1 VO 수행부(104)는 연이은 두 개의 영상 프레임에서의 스테레오 카메라 장치의 상대적인 움직임

을 계산할 수 있다.

좌측 카메라 영상에서 매칭된 특징점의 재투영 오차는 다음 수학식 (5), (6)으로 표기될 수 있다.

(5)

(6)

여기서,

는 스테레오 카메라 영상의 상대적인 움직임이다.

여기서,

은 직전 좌측 카메라 영상에 있는 픽셀 포인트

로부터, 지정된 상대적 카메라 모션

를 가지는 현재 좌측 카메라 영상 프레임의 픽셀 좌표로, 일대일 매핑하는 좌측 카메라의 3차원 백워드 변형 함수(3D backward warping function)이다.

우측 카메라 영상에서의 특징점 재투영 오차는 수학식 (5) 및 수학식 (6)에서 어깨첨자(superscript) (l)을 (r)로 표기하여 나타낼 수 있다.

본 발명의 실시예에 따른 특징 기반 VO에 소요되는 에너지 함수는 하기의 수학식 (7)과 같이, 좌측 및 우측 재투영 오차의 제곱의 합으로 표현될 수 있다.

(7)

여기서, N은 원형 특징점 매칭(circular feature matching)에서 채택된 특징점의 개수이다.

상대적 카메라 모션

은 특징점 매칭에서 이상점(outlier)을 제외시키기 위해 RANSAC 모델 대신 사용될 수 있다. RANSAC 프로세스에서 모든 정상점(inlier) 특징점이 주어진 경우, 카메라의 최적의 상대 움직임은 가우스-뉴턴 방법에 의해 추정될 수 있다. 여기서, 상대적 움직임의 초기값이 영(zero)이더라도, 상술한 수학식 (7)이 풀어지는 경우, 모델 파라미터의 수렴하는 속도는 빠르며 (예를 들어, 10회 반복 이하이다), 한 반복(iteration) 당 부가되는 계산상 부하는 후술하는 직접식 VO에 비교할 만큼 가볍다는 장점이 있다.

종래의 기술에 따르면, 직접식 VO에 적용되는 종래의 일정한 빛 밝기 가정(photo-consistency assumption)은 카메라 영상 평면에서 동일한 3차원 지점은 동일한 밝기 세기를 가지는 것을 전제로 하는데, 이러한 가정은 현실에 적합하지 않다. 왜냐하면 빛 변화(예를 들어, 카메라 자세의 변화에 따른 하이라이트 및 그림자, 카메라의 자동 노출 제어 등)가 자주 발생하기 때문이다.

따라서, 본 발명의 실시예에서는 현재 및 키프레임 시간대에 광역 및 지역적 빛 변화를 고려한 수정된 빛 밝기 가정을 하기의 수학식으로 제안할 수 있다.

(8)

여기서,

와

는 i번째 좌측 영상에서, 빛 변화 모델의 조도 및 밝기 변화를 나타내는 파라미터이다. 이러한 빛 변화 모델의 파라미터들은 패치 영상별로 추정된다. 현재 및 키프레임 좌측 영상들간의 불규칙적인 빛 변화를 보충하기 위하여 카메라

의 상대적인 움직임이 있을 때마다 동일 시간대에 패치별로 빛 변화 모델의 파라미터들이 추정될 수 있다.

이하, 제2 VO 수행부(106)에 대해서 상세히 설명한다.

앞서, 제1 VO 수행부(104)를 설명할 때, 직전 및 현재 스테레오 카메라 영상이 입력되는 것을 가정하여 설명하였다. 이하, 설명의 편의와 발명의 이해를 도모하기 위해, 직전 좌측 카메라 영상을 키프레임 영상으로, 현재 좌측 카메라 영상을 현재 영상으로 가정하여 설명한다.

제2 VO 수행부(106)는 입력되는 영상에서 키프레임을 설정하고, 설정된 키프레임에 대해서 하나 이상의 평면적 패치(planar patch)를 선택할 수 있다.

이어서, 제2 VO 수행부(106)는 키프레임과 비교하기 위해 현재 영상 프레임프 변형시킬 때 적용되는 빛 변화 모델(illumination change model)을 설정할 수 있다. 본 발명의 실시예에 따르면, 키프레임과 현재 영상 프레임 사이에서 전역 빛 변화 및 지역 빛 변화를 반영하기 위해서는 선택된 평면적 패치마다 동일한 혹은 상이한 빛 변화 모델을 적용할 수 있다.

여기서, 적용되는 빛 변화 모델은 아핀 빛 변화 모델(affine illumination change model)일 수 있으며, 평면적 패치 단위로 빛 변화의 대비(contrast)와 빛 변화의 세기(brightness)를 추정하여 빛 변화 보정이 이루어지도록 한다.

이어서, 제2 VO 수행부(106)는 키프레임이 초기화된 후 평면적 패치를 가지는 키프레임, 현재 영상 프레임, 빛 변화 모델의 모델 파라미터를 가지고 잔상(residual image) 벡터를 획득할 수 있다.

이어서, 제2 VO 수행부(106)는 는 키프레임이 초기화된 후 평면적 패치를 가지는 키프레임, 현재 영상 프레임, 빛 변화 모델의 모델 파라미터를 가지고 잔상(residual image) 벡터를 획득할 수 있다.

이어서, 제2 VO 수행부(106)는 신규의 측광 오차를 최소화하기 위한 빛 변화 보정 행렬을 키프레임과 현재 영상 프레임의 그라디언트(gradient) 영상에서 산출할 수 있다.

여기서, 빛 변화 보정 행렬은 3차원 변형 함수(3D warping function)의 자코비안 행렬(Jacobian matrix)일 수 있다.

제2 VO 수행부(106)는, 앞서 획득한 잔상 벡터와, 대각 가중 행렬(diagonal weight matrix)을 결합하여 빛 변화 모델의 모델 파라미터에 대한 업데이트값을 산출하고, 이를 이전의 모델 파라미터의 추측치에 합산함으로써 업데이트가 수행하며, 수렴할 때까지 이 과정이 반복할 수 있다.

이어서, 제2 VO 수행부(106)는 프레임 투 프레임(frame-to-frame) 모션 추정 결과를 연관시켜 카메라의 전체 궤적을 획득할 수 있다.

이하, 본 발명의 실시예에 따른 제2 VO 수행부(106)가 측광 오차를 최소화하는 방법에 대해서 설명한다.

본 실시예에 따른 제2 VO 수행부(106)는, 스테레오 카메라 장치의 상대적인 움직임

과 더불어, 패치 별 빛 변화 모델 파라미터들 (예를 들어,

, 여기서 m은 키프레임 좌측 영상에서 패치들의 개수이다)은 수정된 측광 오류의 제곱의 합이 최소화되도록 추정할 수 있다.

아핀 빛 변화 모델 (affine illumination change model)에 기초하면, 좌측 카메라 영상의 i번재 패치의 j번재 픽셀의 수정된 측광 오차는 하기의 수학식으로 기재할 수 있다.

(9)

(10)

여기서, Z는 스테레오 카메라 장치의 상대적인 움직임과, 패치별 빛 변화 모델로 구성된 통합된 새로운 모델의 파라미터를 간단히 표시한 것이다.

수학식 (9)를 효율적으로 계산하기 위해서, 키프레임의 지역적인 맵이 임시적으로 변위 맵에서 생성되는데, 여기서 변위 맵은 키프레임 좌측 영상에서의 각 픽셀마다 세기 값을 포함할 수 있다.

본 발명의 실시예에 따른 제2 VO 수행부(106)는, 수정된 측광 오류들의 제곱의 가중된 합을 최소화하는 최적의 모델 파라미터

을 후술하는 비선형 가중 최소 자승법 문제(non-linear weighted least square problem)를 반복적으로 풀면서 획득할 수 있다.

(11)

여기서 n은 각 패치에서의 픽셀의 수이고,

은 이상점들에 대해 강건성을 지니기 위한 t-분배(distribution)에 의해 결정되어지는 가중 함수이다.

[수학식 11]에 기재된 바와 같이, 반복되어지는 재가중 비선형 자승법(IRLS, iteratively re-weighted nonlinear least square)함수를 풀기 위해서, 특징 기반 추정에서 사용되어진 가우스-뉴턴 방법이 적용될 수 있다. 또한, 가우스-뉴턴 알고리즘에서 자코비안 행렬을 계산하기 위해, 효율적 2차 최소화(ESM, efficient second-order minimization)를 통한 실시간 영상 기초의 평면 추적 방법(real-time image-based tracking of planes)이 적용될 수 있다.

본 실시예에서는 제2 VO 수행부(106)가 아핀 빛 변화 모델에 기초하여, 수정된 측광 오차를 수학식 (9) 및 수학식 (10)으로 풀어내고, 여기서 수정된 측광 오류들의 제곱의 가중된 합을 최소화하는 방법으로 최적화하는 것을 설명하였으나, 본 발명은 이에 한정되지 아니한다.

본 발명의 실시예에 따른 제2 VO 수행부(106)는 공지된 다양한 직접식 VO 방법 중 어느 하나를 수행할 수 있으며, 어떤 직접식 VO 방법이 적용될 지는 본 발명이 적용되는 환경에 따라 당업자가 본 발명의 기술적 사상 범주내에서 다양하게 선택할 수 있다.

본 실시예에 따른 영상 기반 주행거리 측정 시스템에 따르면, 종래의 직접식 VO와는 다르게, 수학식(11)을 푸는 과정에서 상대적인 카메라 움직임의 초기값이 영(zero) 가 아니라, 특징 기반 VO 방법으로 수학식 (7)을 풀어서 얻어지는 값이다.

또한, 본 실시예에 따른 영상기반 주행거리 측정 시스템에 따르면, 직접식 VO에서 카메라의 상대적 움직임의 근사치(덜부담되는(lightweight) 특징 기반 추정으로 산출되는)로 비선형 최적화를 수행한 경우, 종래의 선행 움직임에 대해 아무런 정보없이 비선형 최적화하는 방법에 비해, 수렴속도가 매우 빠르고 상대적으로 계산시간이 덜 소요된다는 장점이 있다. 다시 말해서, 재투영 오차와 수정된 측광 오류를 순차적으로 최소화하는 과정에서 요구되는 계산적인 부하가, 수정된 측광 오류 하나를 최소화(다시 말해, 직접식 VO 하나만 수행)하는데 요구되는 계산적 부하보다 적다.

따라서, 본 발명의 실시예에 따르면, 특징 기반 VO에 따라 계산적 부담이 적고, 직접식 VO에 따라 매우 정확한 추정이 가능하다는 장점이 있다.

다시 도 1을 참고하여, 본 발명의 실시예에 따른 제어부(108)에 대해서 설명한다.

제어부(108)는 기 설정된 조건에 상응하는 이벤트가 발생하는지 여부를 판단하여, 카메라의 움직임을 추정함에 있어서, 제1 VO 수행부(104)만 활성화하거나, 제1 VO 수행부(104) 및 제2 VO 수행부(106)를 모두 활성화 할 수 있다.

지금까지 상술한 영상 입력부(102), 제1 VO 수행부(104), 제2 VO 수행부(106) 및 제어부(108)은 본 발명의 이해와 설명의 편의를 도모하기 위해 별도의 구성부로 도 1에 예시되었으나, 본 발명의 기술적 사상은 도 1에 한정되지 아니한다. 즉, 본 발명의 실시예에 따른 영상 기반 주행거리 측정을 위해 상술한 구성부는 더 세분화 되어 구현될 수도 있고, 어느 하나의 구성부의 일부 기능이 다른 하나의 구성부의 일부 기능과 합쳐 구현될 수도 있고, 통합적으로 하나의 구성부로 구현될 수 도 있다. 따라서, 본 발명을 이해함에 있어서, 본 발명이 도 1에 예시된 구성이나, 그 명칭에 한정하여 해석되어서는 아니되며, 상술한 각 구성부의 기능을 수행하는 지 여부를 위주로 판단하여야 할 것이다.

도 3은 본 발명의 실시예에 따른 영상 기반 주행거리 측정방법을 설명하기 위한 순서도이다.

이하, 본 발명의 실시예에 따른 영상 기반 주행거리 측정 방법을 설명함에 있어서, 상술한 바와 같이 도 1의 구성은 일 예에 불과하므로, 주체를 영상 기반 주행거리 측정장치로 하여 설명한다.

<제1 실시예>

본 발명의 제1 실시예에 따르면 영상기반 주행거리 측정장치는 디폴트로 제1 VO 수행부(104) 및 제2 VO 수행부(106)를 모두 활성화할 수 있다.

도 3을 참고하면, 단계 S306은 단계 S308로 진행하는 것으로, 본 발명의 제1 실시예는 단계 S302, S304 및 S308가 순차적으로 실행되는 실시예이다.

이 경우, 입력되는 스테레오 카메라 영상에 대해서, 위치 정보 및 세기 정보를 모두 이용하여 카메라의 움직임을 추정할 수 있다는 장점이 있다.

또한, 특징 기반 VO와 직접식 VO를 적용하면서 유발되는 두 가지의 다른 비용함수(즉, 재투영 오차와, 측광 오차)를 조율하여 계산상 부하가 가벼우면서도, 정확하게 카메라의 움직임을 추정할 수 있다는 장점이 있다.

<제2 실시예>

본 발명의 제2 실시예에 따른 영상 기반 주행거리 측정장치는 기본적으로 제1 VO 수행부(104)만 활성화하되, 선택적으로 제2 VO 수행부(106)를 활성화시킬 수 있다.

보다 상세하게는, 영상 기반 주행거리 측정장치는 기 설정된 조건에 따라, 계산상 부하(computational load)를 줄이기 위해, 단계 S302에서 입력되는 영상에 대해서 단계 S304에서 제1 VO 수행부(104)만을 활성화 하여 특징 기반 VO 방법에 의하여 카메라의 움직임을 추정할 수 있다.

그리고, 단계 S306에서 영상 기반 주행거리 측정장치는 미리 지정된 조건을 만족하는 경우에, 단계 S308에서 제2 VO 수행부(106)를 활성화시켜 직접식 VO를 수행할 수 있다.

예를 들어, 미리 지정된 조건은, 위치 추정값의 오차가 지정된 범위를 초과하는 경우 일 수 있다.

예를 들어, 영상 기반 주행거리 측정장치는 제1 VO 수행부(104)가 특징 기반 VO를 수행하는 과정에서 생성되는 정보 중 하나 이상(예를 들어, 공분산 행렬(covariance matrix))을 이용하여, 위치 추정값의 오차를 산출 할 수 있다.

그리고, 영상 기반 주행거리 측정장치는 단계 S306에서 산출된 오차가 기 설정된 범위를 벗어나는 경우, 카메라 위치 추정의 정확도를 높이기 위해 선택적으로, 제2 VO 수행부(106)를 활성화시킬 수 있다(즉, 단계 S308을 실시할 수 있다). 이 경우, 제2 VO 수행부(106)는 입력 영상에 대해서 정확도가 높은 카메라의 움직임을 추정할 수 있는 장점이 있다.

<제3 실시예>

본 발명의 제3 실시예에 따르면, 영상 기반 주행거리 측정장치가 제1 VO 수행부(104)만 활성화하는 경우, 제1 VO 수행부(104)는 재투영 오차가 미리 설정된 목표 오차(e1)보다 적도록 최적화 과정을 수행하고, 영상 기반 주행거리 측정장치가 제1 VO 수행부(104) 및 제2 VO 수행부(106)를 모두 활성화하는 경우, 제1 VO 수행부(104)는 재투영 오차가 미리 설정된 목표 오차(e2)(이때. e2 는 e1 보다 적은 수이다)보다 적도록 최적화 과정을 수행할 수 있다. 이 경우, 제2 VO 수행부(106)가 직접식 VO를 수행하는 과정에서 재투영 오차가 다소 커지더라도, 결론적으로 다소 커진 재투영 오차는 기지정된 e1 보다 적게 되어, 기 목표한 최적화를 할 수 있다는 장점이 있다.

이하, 본 발명의 실시예에 따른 영상 기반 주행거리 측정 장치 및 그 방법을 EuRoC MAV 데이터세트와 KITTI 데이터세트의 다양한 환경에서 테스트하고 그 효과에 대해서 설명한다.

실내 비행 환경에 대해서 테스트 하기 위해서, EuRoC MAV 데이터 세트를 채택하였다. EuRoC MAV 데이터 세트는 논문 {M. Burri, J. Nikolic, P. Gohl, T. Schneider, J. Rehder, S. Omari, M. W. Achtelik, and R. Siegwart, "The euroc micro aerial vehicle datasets,"IJRR, 2016, 이하 '선행논문1'이라 칭함}에 공지된 데이터 세트로, 소형 비행 물체(MAV, Micro Aerial Vehicle)가 다양한 비행 및 영상 컨디션(MAV의 느리고/빠른 움직임, 좋고/나쁜 배열들, 그리고 밝고/어두운 장면 등)하에서 약간의 변덕스럽게 비행하는 동안에 획득된 동기화된 스테레오 카메라의 영상들로 구성되어져 있다.

KITTI 데이터 세트는 논문 {A. Geiger, P. Lenz, and R. Urtasun, "Are we ready for autonomous driving? the kitti vision benchmark suite," in CVPR. IEEE, 2012, pp. 3354??3361, 이하 '선행논문2'이라 칭함}에 공지된 데이터 세트로, 본 발명의 실시예에 따라 스테레오 영상 기반 주행거리 측정 장치 및 그 방법이 주행 장면에 적용될 수 있음을 보여 주기 위해 채택된다.

본 발명의 실시예에 따른 측정방법의 정성적이고 정량적인 분석을 위해, 3가지 형태의 오차 행렬(error metric)을 이용하였다. 여기서, 3가지 형태의 오차 행렬로는, 상대 자세 오차(RPE, relative pose error)의 평균 제곱근 오차(RMSE, root mean square error)와, 절대 경로 오차(ATE, absolute trajectory error), 그리고 측정장치의 총 주행 거리로 나눈 최종 드리프트 오차(FDE, final drift error)이다.

여기서, 상대 자세 오차(RPE)는 영상 기반 주행거리 측정장치의 상대적인 성능 오차를 의미하며, 시간이 지남에 따라 얼마나 오차가 생기는지 정도를 의미할 수 있다. 또한, 절대 경로 오차(ATE)는 영상 기반 주행거리 측정장치의 절대적인 성능 오차를 의미하며, 시간에 관계없이 실제 위치와의 절대적 오차를 의미할 수 있다. 또한, 최종 드리프트 오차(FDE)는 추정이 끝나는 맨 마지막 지점의 실제 및 추정 위치의 차이를 이동한 거리로 나눈 값으로써, 최종적으로 위치 추정이 끝났을 시에 이동한 거리 대비 얼마나 오차가 생겼는지를 판단할 수 있는 척도를 의미할 수 있다.

이러한 테스트 방법은 인텔 i5 3.2Ghz, 8GB 메모리의 데스크탑 컴퓨터에서 매트랩과 C++ 상에서 수행되었다.

EuRoC MAV 데이터 세트는, AscTec Firefly MAV의 전방에서, 아래 방향의 바라보는 위치에 설치된 VI(visual-inertial) 센서에 의해 20Hz 단위로 획득된 동기화된 스테레오 영상들이다. 핀홀 투영 모델(pinhole projection model)과, 방사상의 접선방향으로 왜곡된 모델(radial-tangential distortion model)을 위하여 본질적인/비본질적인 파라미터들이 미리 보정된 후, 왜곡되어지지 않고 정류된 스테레오 영상들에 대해서, 본 발명의 실시예에 따른 측정방법을 테스트 하였다.

MAV의 측정결과를 비교하기 위한 위치값(ground-truth position)은 두 개의 다른 시스템(하나는 머신홀 (Machine Hall)데이터의 레이저 추적기이고, 하나는 비콘 룸(vicion room)에서 비콘 움직임 획득 시스템(vicion motion capture system)임)에 의해 제공되어졌다.

본 발명의 실시예에 따른 측정방법(proposed)과, 다른 스테레오 VO 측정방법(libviso2, RTSVO, and PIVO)가 선행논문1의 7개 MAV 데이터세트에서 테스트되어졌다.

여기서, libviso2 및 RTSVO은 재투영 오차를 최소화 시키는, 널리 알려진 특징점 기반의 스테레오 카메라를 이용한 영상 기반 주행 거리 측정방법이므로, 상세한 설명은 생략한다. PIVO는 특징점을 사용하지 않고, 빛 변화를 보정하는 측광오차 비용 함수를 최소화 시켜서 카메라의 움직임을 추정하는 영상 기반 주행 거리 측정방법이다.

도 4는 EuRoC MAV 데이터 세트에 대하여, 본 발명의 실시예에 따른 영상 기반 주행거리 측정방법의 테스트 결과 테이블이다.

테스트는 앞서 상술한 3개의 오차 행렬에 대해서 이루어졌고, 그 결과는 도 4의 테이블1에 도시되어 있다. 여기서, 각각의 오차 행렬에 대한 테스트 결과 값에서 가장 작은 오차는 굵은 글씨로 표기하였다.

도 4를 참고하면, 사용된 VO에 상관없이 머신홀(Machine Hall) 01 및 02에서 전체적인 오차 값이 매우 작은 것을 알 수 있다. 왜냐하면, 다른 데이터 세트에 비하여 많은 구성물과 밝은 환경 조건하에서 MAV가 0.44 m/s 이하로 매우 천천히 비행하였기 때문이다.

머신홀 01 및 02에 비하여, 머신홀 04는 MAV가 0.93 m/s로 비행하면서 획득한 저품질의 영상들로 구성되어져 있고, 움직임의 흐릿함(motion blur) 와 심각한 빛의 변화들을 포함하고 있다. 따라서, 테스트된 모든 VO의 정확도가 이번에는 상대적으로 줄어든다.

도 4의 테이블 1을 참고할 때, 본 발명의 실시예에 따른 측정방법(proposed)은 RPE(Relative Pose Error)의 경우, 7개의 MAV 데이터 세트 전체에서 좋은 결과를 보여준다. 본 발명의 실시예에 따른 측정방법(proposed)은 RPE(Relative Pose Error)의 RMSE(root mean square error)가 0.043 dirft m/s 인데 비하여, libviso2, PIVO와 RTSVO 각각에 대해서는 0.058, 0.351, 0.053 이다. 비록 RTSVO가 절대 경로 오차(absolute Trajectory Error) 와 최종 드리프트 오차(final drift error)에서 가끔 더 나은 정확도를 보이나, 영상에서 움직임의 흐릿함(motion blur) 및 심각한 빛 변화로 인하여 특징점 검출 및 매칭이 실패하여, 비콘 룸 1 03에서 테스트 실패하였다.

도 5 및 도 6은, 비콘 룸 1 02에 대한, 본 발명의 실시예에 따른 영상 기반 주행거리 측정방법의 테스트 결과이다.

도 5를 참고하면, 본 발명의 실시예에 따른 측정 방법의 추정된 경로값이 추정결과를 비교하기 위한 경로값(ground-truth trajectory)(흑색)과 가장 일치하고, 본 발명의 실시예에 따른 측정 방법에 따른 각 축방향의 오차값도 다른 측정방법에 비하여 영에 매우 가깝다. 또한, 도 5(b)에 도시된 바와 같이, 절대 경로 오차(absolute Trajectory Error)도 가장 작은 증가를 보여주고 있다.

실외 도로 주행 영상에서의 적용가능성을 입증하기 위해, 본 발명의 실시예에 따른 측정방법을 KITTI 데이터 세트에 추가적으로 실험하였다. 승객의 차량 천장에 부착된, 한쌍의 흑백으로 출력되는 카메라에 의해 연속된 스테레오 영상 이미지들이 10hz 단위로 획득되어졌다. 왜곡되지 않은, 정류된 스테레오 영상들이 본 발명의 실시예에 따른 측정방법에 제공되어졌고, 테스트 결과를 비교하기 위한 각 시나리오의 주행 경로는 OXTS RT303 RTK GPS에 의해 획득되어졌다.

본 테스트에 사용된 KITTI 데이터 세트는 다양한 실외 주행 장면 시나리오를 포함하고 있다. 예를 들어, 보행자들, 움직이는 차량들, 그리고 구조가 없거나 구조가 있는 환경들을 포함하는 주택지, 도시 그리고 도로 등을 포함하고 있다.

도 7은 본 발명의 실시예에 따른 측정방법을 KITTI 데이터 세트로 테스트한 결과를 예시한 테이블이다.

도 7의 테이블 2를 참고하면, 239m 부터 2587m 까지의 여행거리에 상관없이 절대경로오차와 최종 드리프트 오차에서, 본 발명의 실시예에 따른 측정방법의 탁월한 결과를 볼 수 있다. 비록 본 발명의 실시예에 따른 측정방법의 절대경로오차 값이 경로의 길이에 따라 증가하기는 하나, 절대경로오차 및 최종 드리프트 오차에서 가장 작은 증가를 보여주고 있다.

주택지 20110930 33에 대한 측정결과는 도 8 및 도 9에 상세히 도시되어 있다.

도 8 및 도 9를 참고하면, 본 발명의 실시예에 따른 측정방법 결과 추정된 경로가, 재방문 장소 추적 및 탐색 기법(loop closing technique)의 도움 없이, 비교하기 위한 경로값(ground-thruth trajectory)과 매우 일치하는 것을 볼 수 있다.

도 10은 각각의 VO 방법에 대한 계산 시간을 도시한 그래프이다.

최적화되지 않은 코드들로 구현하더라도, 본 발명의 실시예에 따른 측정방법은 카메라의 상대적인 움직임을 계산하기 위하여 영상 프레임 당 대략 182 ms 소요됨을 알 수 있다. 이는 앞서 상술한 바와 같이 특징 기반 VO 하나만 수행할때보다 상대적으로 시간이 더 소요되나, 측광 오류 하나만 최소화하는 직접식 VO 보다는 속도면에서 우수함을 보여준다.

또한, 상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 영상 기반 주행거리 측정 시스템 102: 영상 입력부
104: 제1 VO 수행부 106: 제2 VO 수행부
108: 제어부

Claims

스테레오 카메라에서 촬영한 영상을 입력받는 영상 입력부;
입력받은 영상에서 검출되는 특징점의 위치정보를 이용하여 상기 스테레오 카메라의 움직임을 추정하는 제1 VO(visual odometry) 수행부;
상기 입력받은 영상에서 측광 정보(photometric information)를 이용하여 상기 스테레오 카메라의 움직임을 추정하는 제2 VO 수행부; 및
미리 지정된 조건에 따라 상기 제1 VO 수행부만을 활성화하거나, 상기 제1 VO 수행부 및 상기 제2 VO 수행부 모두 활성화시키는 제어부를 포함하되,
상기 제어부가 상기 제1 VO 수행부 및 상기 제2 VO 수행부를 모두 활성화시키는 경우,
상기 제1 VO 수행부는 재투영 오차(reprojection error)가 지정된 제1 목표값보다 적은 제2 목표값 이하가 되도록 특징 기반 VO(feature based Visual Odometry)를 수행하며,
상기 제2 VO 수행부가 직접식 VO(dense Visual Odometry)를 수행하여 상기 재투영 오차가 커지더라도 상기 제1 목표값보다 적은, 영상기반 주행거리 측정 시스템.
제1항에 있어서,
상기 제어부는
상기 제1 VO 수행부 만을 활성화하되,
산출되는 상기 스테레오 카메라의 위치 추정값의 오차가 지정된 범위를 초과하는 경우, 상기 제2 VO 수행부를 활성화시키는, 영상기반 주행거리 측정 시스템.
제2항에 있어서,
상기 제어부는
상기 제1 VO 수행부가 특징 기반VO(feature based Visual Odometry)를 수행하는 과정에서의 생성되는 정보 중 하나인 공분산 행렬을 이용하여 상기 스테레오 카메라의 위치 추정값의 오차를 산출하는, 영상기반 주행거리 측정 시스템.
제1항에 있어서,
상기 제어부는,
특징 기반 VO(feature based Visual Odometry)보다 상대적으로 높은 정확도가 필요한 경우, 상기 제1 VO 수행부 및 상기 제2 VO 수행부 모두 활성화시키는, 영상기반 주행거리 측정 시스템.
제1항에 있어서,
상기 제2 VO 수행부는,
상기 영상 중 하나의 영상 프레임을 RGB 영상과 깊이 영상을 가지는 키프레임으로 설정하는 단계;
상기 키프레임의 RGB 영상 내에서 하나 이상의 평면적 패치(planar patch)를 선택하는 단계;
상기 영상 중 현재 영상 프레임을 변형시킬 때 적용되는 빛 변화 모델(illumination change model)을 설정하는 단계;
상기 평면적 패치를 가지는 상기 키프레임, 상기 현재 영상 프레임, 상기 빛 변화 모델의 모델 파라미터를 가지고 잔상(residual image) 벡터를 획득하는 단계;
상기 키프레임과 상기 현재 영상 프레임의 그라이언트(gradient) 영상에서 산출된 빛 변화 보정 행렬에 대해 상기 잔상 벡터와 대각 가중 행렬을 결합하여 상기 모델 파라미터에 대한 업데이트값을 산출하여 적용시키는 단계;
상기 모델 파라미터에 대한 업데이트가 완료되면 프레임 투 프레임(frame-to-frame) 모션 추정 결과를 연관시켜 상기 카메라의 전체 궤적을 획득하는 단계를 수행하는, 영상기반 주행거리 측정 시스템.
삭제
(a) 스테레오 카메라에서 촬영한 영상을 입력받는 단계;
(b) 상기 입력받은 영상에서 검출되는 특징점의 위치정보를 이용하여 상기 스테레오 카메라의 움직임을 추정하는 단계; 및
(c) 상기 입력받은 영상에서 측광 정보(photometric information)를 이용하여 상기 스테레오 카메라의 움직임을 추정하는 단계를 포함하되,
지정된 조건에 따라 상기 (b) 단계만 수행되거나, 상기 (b) 단계 및 상기 (c) 단계 모두 수행되되,
지정된 조건에 따라 상기 (b) 단계 및 상기 (c) 단계가 모두 수행되는 경우,
상기 (b)단계는 재투영 오차(reprojection error)가 지정된 제1 목표값보다 적은 제2 목표값 이하가 되도록 특징 기반 VO(feature based Visual Odometry)를 수행하는 단계를 포함하는, 영상기반 주행거리 측정 방법.
제7항에 있어서,
디폴트(default)로 상기 (b) 단계까지만 수행되되,
상기 (b)단계에서 산출되는 상기 스테레오 카메라의 위치 추정값의 오차가 지정된 범위를 초과하는 경우, 상기 (c)단계가 수행되는, 영상기반 주행거리 측정 방법.
제7항에 있어서,
디폴트(default)로 상기 (b) 단계까지만 수행되되,
상대적으로 높은 정확도가 필요한 경우 상기 (c)단계가 수행되는, 영상기반 주행거리 측정 방법.
제7항에 있어서,
상기 (c) 단계는,
상기 영상 중 하나의 영상 프레임을 RGB 영상과 깊이 영상을 가지는 키프레임으로 설정하는 단계;
상기 키프레임의 RGB 영상 내에서 하나 이상의 평면적 패치(planar patch)를 선택하는 단계;
상기 영상 중 현재 영상 프레임을 변형시킬 때 적용되는 빛 변화 모델(illumination change model)을 설정하는 단계;
상기 평면적 패치를 가지는 상기 키프레임, 상기 현재 영상 프레임, 상기 빛 변화 모델의 모델 파라미터를 가지고 잔상(residual image) 벡터를 획득하는 단계;
상기 키프레임과 상기 현재 영상 프레임의 그라이언트(gradient) 영상에서 산출된 빛 변화 보정 행렬에 대해 상기 잔상 벡터와 대각 가중 행렬을 결합하여 상기 모델 파라미터에 대한 업데이트값을 산출하여 적용시키는 단계;
상기 모델 파라미터에 대한 업데이트가 완료되면 프레임 투 프레임(frame-to-frame) 모션 추정 결과를 연관시켜 상기 카메라의 전체 궤적을 획득하는 단계를 포함하는, 영상기반 주행거리 측정 방법.