KR102026376B1 - 구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 시스템 및 방법 - Google Patents

Abstract

구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 시스템 및 방법이 개시된다. 본 발명의 일 실시예에 따른 구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 시스템은, 카메라를 통해 현재 공간에 대한 컬러 영상 및 깊이 영상을 획득하는 영상 획득부; 상기 컬러 영상 및 상기 깊이 영상을 분석하여 공간 내 구조적 특징을 추출하는 구조적 특징 추출부; 상기 영상 획득부에서 획득되는 연속된 컬러 영상 및 깊이 영상 사이에서 상기 구조적 특징을 비교 및 추적하는 특징 추적부; 추적된 상기 구조적 특징을 기반으로 하여 상기 카메라의 회전 움직임을 추정하는 회전 움직임 추정부; 상기 회전 움직임이 보상되어 재투영 오차를 최소화하는 상기 카메라의 병진 움직임을 추정하는 병진 움직임 추정부; 및 상기 회전 움직임 및 상기 병진 움직임으로부터 상기 카메라의 6-자유도 이동 궤적을 추정하는 이동 궤적 추적부를 포함할 수 있다.

Description

구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 시스템 및 방법{Visual odometry system and method using structured environmental features}

본 발명은 구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 시스템 및 방법에 관한 것이다.

영상 기반 주행 거리 측정(Visual Odometry, VO) 알고리즘은 일련의 이미지에서 6-자유도(DoF) 회전 및 병진 카메라 움직임을 추정한다. 이는 증강 현실에서 자율 로봇에 이르는 애플리케이션을 위한 기본 도구에 해당한다.

많은 영상 기반 주행 거리 측정 기법(VO) 및 영상 기반 위치 측정 및 지도화 기법(Visual Simultaneous Localization and Mapping, V-SLAM)이 존재하며, 회전과 병진 움직임을 공동으로 추정하고 있다.

하지만, 이러한 기법에서는 SLAM 기법(루프 폐쇄(loop closure), 글로벌 3D 맵 구축) 없이는 회전 움직임 추정에서 드리프트(drift)를 피할 수 없다.

일반적인 영상 기반 주행 거리 측정 방법에 의할 때, 카메라의 6-자유도 이동 궤적 추정 오차에 가장 큰 영향을 미치는 요소들 중 하나는 카메라 회전 움직임 추정 내에서의 누적 오차이다. 하지만, 대부분의 영상 기반 주행 거리 측정 방법들은 이러한 카메라 회전 움직임 추정 내에서의 누적 오차 발생 및 해결에 큰 관심을 기울이지 않아, 시간이 지남에 따라 실제 이동 궤적 대비 매우 큰 궤적 추종 오차를 보여주었다.

이를 해결하기 위해 면(plane)을 기반으로 공간의 방향성을 인지하여 카메라의 방위를 추정하는 알고리즘들이 연구되었다. 하지만, 이러한 알고리즘에서는 카메라가 한쪽 면만 바라볼 경우, 수학적으로 해를 구할 수 없게 되어 카메라 위치 추정에 실패하게 된다. 또한, 공간에 면 정보가 충분히 존재하지 않을 경우, 면 정보만으로는 부정확한 카메라의 위치를 추정하게 되는 문제점이 있었다.

한국공개특허 10-2007-0090864호 (2007.09.06 공개) - 이동로봇에서 홈포지셔닝을 이용한 오도메트리 보정 방법

본 발명은 영상 내의 구조적인 규칙성에 해당하는 면(plane)과 선(line) 정보를 동시에 사용함으로써 면 정보가 부족하더라도 선 정보를 사용할 수 있고, 선 정보가 부족할 경우에는 면 정보를 사용함으로써 상호보완적으로 면과 선의 기하학적 특징을 이용하여 안정적이고 정확한 카메라 위치 추정이 가능한 구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 시스템 및 방법을 제공하기 위한 것이다.

본 발명은 영상 내에서 한쪽 면만 보이는 경우에도 그 면 위의 선 정보를 추적하고 이를 바탕으로 카메라의 움직임을 정확히 구할 수 있는 구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 시스템 및 방법을 제공하기 위한 것이다.

본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.

본 발명의 일 측면에 따르면, 영상 기반 주행 거리 측정 시스템으로서, 카메라를 통해 현재 공간에 대한 컬러 영상 및 깊이 영상을 획득하는 영상 획득부; 상기 컬러 영상 및 상기 깊이 영상을 분석하여 공간 내 구조적 특징을 추출하는 구조적 특징 추출부; 상기 영상 획득부에서 획득되는 연속된 컬러 영상 및 깊이 영상 사이에서 상기 구조적 특징을 비교 및 추적하는 특징 추적부; 추적된 상기 구조적 특징을 기반으로 하여 상기 카메라의 회전 움직임을 추정하는 회전 움직임 추정부; 상기 회전 움직임이 보상되어 재투영 오차를 최소화하는 상기 카메라의 병진 움직임을 추정하는 병진 움직임 추정부; 및 상기 회전 움직임 및 상기 병진 움직임으로부터 상기 카메라의 6-자유도 이동 궤적을 추정하는 이동 궤적 추적부를 포함하는 구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 시스템이 제공된다.

상기 구조적 특징 추출부는 상기 컬러 영상으로부터 선 정보를 추출하고, 상기 깊이 영상으로부터 면 정보를 추출할 수 있다.

상기 구조적 특징 추출부는 상기 컬러 영상의 선으로부터 소실 방향(VD)을 선 정보로 추출하고, 상기 깊이 영상의 평면으로부터 표면 법선 벡터를 면 정보로 추출할 수 있다.

상기 구조적 특징 추출부는 상기 소실 방향과 상기 표면 법선 벡터를 이용하여 구조적 규칙성을 나타내는 맨해튼 프레임(Manhattan frame)을 추출하고, 상기 특징 추적부는 상기 맨해튼 프레임을 추적하여, 상기 회전 움직임 추정부에서 SO(3)-매니폴드 제한 평균 시프트 알고리즘으로 누적 오차 없는 회전 움직임을 추정할 수 있다.

고정 길이 이상의 라인 특징을 검출하고, N개의 라인 특징이 검출되면 대응하는 큰 원 단위 법선 벡터를 계산하며, N개의 연관된 법선 벡터로부터 가능한 모든 라인 쌍들로부터 법선 벡터의 각 쌍의 외적을 취함으로써 상기 소실 방향이 계산될 수 있다.

상기 병진 움직임 추정부는 깊이가 있거나 없는 모든 추적된 특징점의 잔차 벡터를 최소화하도록 깊이를 가지는 특징에 대한 2개의 잔차 방정식과 깊이가 없는 특징에 대한 1개의 잔차 방정식에 대해 레벤버그 말쿼트(Levenberg-Marquardt, LM) 알고리즘을 사용하여 3-자유도 병진 움직임을 추정할 수 있다.

상기 공간은 직교 구조 환경(orthogonal structured environments)일 수 있다.

한편 본 발명의 다른 측면에 따르면, 영상 기반 주행 거리 측정 시스템에서 수행되는 영상 기반 주행 거리 측정 방법으로서, 카메라를 통해 현재 공간에 대한 컬러 영상 및 깊이 영상을 획득하는 단계; 상기 컬러 영상 및 상기 깊이 영상을 분석하여 공간 내 구조적 특징을 추출하는 단계; 상기 영상 획득부에서 획득되는 연속된 컬러 영상 및 깊이 영상 사이에서 상기 구조적 특징을 비교 및 추적하는 단계; 추적된 상기 구조적 특징을 기반으로 하여 상기 카메라의 회전 움직임을 추정하는 단계; 상기 회전 움직임이 보상되어 재투영 오차를 최소화하는 상기 카메라의 병진 움직임을 추정하는 단계; 및 상기 회전 움직임 및 상기 병진 움직임으로부터 상기 카메라의 6-자유도 이동 궤적을 추정하는 단계를 포함하는 구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 방법이 제공된다.

상기 구조적 특징 추출 단계는 상기 컬러 영상으로부터 선 정보를 추출하고, 상기 깊이 영상으로부터 면 정보를 추출하며, 상기 회전 움직임 추정 단계는 상기 선 정보와 상기 면 정보를 공동으로 사용하여 누적 오차 없는 상기 회전 움직임을 추정하고, 상기 병진 움직임 추정 단계는 깊이가 있는 특징점과 깊이가 없는 특징점을 모두 활용하여 상기 병진 움직임을 추정할 수 있다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명의 실시예에 따르면, 영상 내의 구조적인 규칙성에 해당하는 면과 선 정보를 동시에 사용함으로써 면 정보가 부족하더라도 선 정보를 사용할 수 있고, 선 정보가 부족할 경우에는 면 정보를 사용함으로써 상호보완적으로 면과 선의 기하학적 특징을 이용하여 안정적이고 정확한 카메라 위치 추정이 가능한 효과가 있다.

또한, 영상 내에서 한쪽 면만 보이는 경우에도 그 면 위의 선 정보를 추적하고 이를 바탕으로 카메라의 움직임을 정확히 구할 수 있는 효과도 있다.

도 1은 본 발명의 일 실시예에 따른 구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 시스템의 구성 블록도,
도 2는 본 발명의 일 실시예에 따른 구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 방법의 순서도,
도 3은 본 발명의 일 실시예에 따른 구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 알고리즘의 개념도,
도 4는 강한 직교 공간 규칙성을 갖는 구조적 환경의 예시도,
도 5는 직교 구조에서 선, 면 및 가우시안 구체 사이의 3D 기하 관계를 나타낸 도면,
도 6은 원시 RGB 영상에 중첩된 맨하탄 프레임의 선 및 면 정보와 소실 방향 및 표면 법선 벡터의 밀도 분포를 묘사한 동심 구체를 나타낸 도면,
도 7은 본 실시예에 따른 영상 기반 주행 거리 측정 방법과 기존의 VO 방법에 따른 회전 오차 및 병진 오차를 나타낸 그래프,
도 8은 본 실시예에 따른 영상 기반 주행 거리 측정 방법(LPVO)과 타 VO 방법에 따른 단일 루프와 다중 루프의 추정 궤적을 나타낸 도면.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

또한, 명세서에 기재된 "…부", "…유닛", "…모듈", "…기" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

도 1은 본 발명의 일 실시예에 따른 구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 시스템의 구성 블록도이고, 도 2는 본 발명의 일 실시예에 따른 구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 방법의 순서도이며, 도 3은 본 발명의 일 실시예에 따른 구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 알고리즘의 개념도이고, 도 4는 강한 직교 공간 규칙성을 갖는 구조적 환경의 예시도이며, 도 5는 직교 구조에서 선, 면 및 가우시안 구체 사이의 3D 기하 관계를 나타낸 도면이고, 도 6은 원시 RGB 영상에 중첩된 맨하탄 프레임의 선 및 면 정보와 소실 방향 및 표면 법선 벡터의 밀도 분포를 묘사한 동심 구체를 나타낸 도면이다.

본 발명의 일 실시예에 따른 구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 시스템은 카메라로부터 촬영된 연속된 영상들 내의 구조적 환경 특징을 파악하고, 이를 서로 추적, 비교하여 누적 오차가 없는 카메라의 회전 움직임을 추정한다. 그리고 회전 움직임 추정을 기반으로 하여 회전 움직임이 보정된 재투영 오차를 최소화할 수 있는 카메라의 병진 움직임을 다시 추정하여 전체 카메라 움직임을 얻는다. 카메라의 위치 추정 오차의 주된 요인인 회전 움직임에서의 누적 오차를 제거함으로써 카메라의 이동 궤적을 매우 정확하게 추정할 수 있는 것을 특징으로 한다.

도 1을 참조하면, 본 실시예에 따른 구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 시스템(100)은 영상 획득부(110), 구조적 특징 추출부(120), 특징 추적부(130), 회전 움직임 추정부(140), 병진 움직임 추정부(150), 이동 궤적 추적부(160)를 포함한다.

영상 획득부(110)는 카메라를 통해 현재 공간에 대한 컬러 영상과 깊이 영상을 획득한다(단계 S110).

구조적 특징 추출부(120)는 영상 획득부(110)에서 획득한 컬러 영상과 깊이 영상을 분석하여 공간 내 구조적 특징(구조적 환경 특징)을 추출한다(단계 S120).

영상 기반 주행 거리 측정 시스템(100)이 설치되는 장치(예컨대, 자율주행 로봇 등)가 이동하는 환경은 도 4에 도시된 것과 같이 직교 구조 환경(orthogonal structured environments)일 수 있다.

직교 구조 환경의 경우 본 실시예에서는 공간적 규칙성(spatial regularity) 인식을 위해서는 선(line) 및 면(plane) 프리미티브(primitive)를 공동으로 활용한다.

구조적 특징 추출부(120)는 깊이 영상으로부터 면 정보(예컨대, 표면 법선 벡터(surface normal vector))를 획득하고, 컬러 영상으로부터 선 정보를 추출한다. 면 정보와 선 정보는 환경의 규칙성을 정확하고 안정적으로 인식하는데 동시에 사용되며, 구조적 특징은 면 정보와 선 정보를 종합한 결과물일 수 있다.

특징 추적부(130)는 영상 획득부(110)에서 획득되는 연속된 영상 사이에서 구조적 특징을 비교 및 추적한다(단계 S130).

회전 움직임 추정부(140)는 추적된 구조적 특징을 기반으로 하여 카메라의 회전 움직임을 추정한다(단계 S140).

병진 움직임 추정부(150)는 전술한 추정에 의해 회전 움직임이 보상된 재투영 오차를 최소화하는 카메라의 병진 움직임을 추정한다(단계 S150).

이동 궤적 추적부(160)는 회전 움직임으로부터 카메라의 3 자유도 이동 궤적을 추적한다(단계 S160). 그리고 병진 움직임으로부터 나머지 3 자유도 이동 궤적을 추적한다.

여기서, 추정되는 3-자유도 회전 운동은 롤, 피치 요(roll, pitch, yaw / φ, θ, ψ)이다. 3-자유도 회전 운동을 바탕으로 3-자유도 병진 운동을 추정한다. 3-자유도 병진 운동은 가로, 세로, 높이(x, y, z) 방향의 움직임을 의미한다.

따라서, 각각 3 자유도 회전 운동 및 병진 운동을 추정한 뒤 이를 합하여 전체적인 6-자유도 카메라 움직임(x, y, z, φ, θ, ψ)을 알아낼 수 있다.

본 실시예에서 구조적 특징을 활용하기 위해 적용한기술은 다음과 같다.

- 가우시안 구체(Gaussian Sphere)

도 5를 참조하면, 가우시안 구체가 도시되어 있다. 가우시안 구체는 카메라의 투영 중심(center of projection, COP)에 위치한 단위 구이다. 가우시안 구체는 카메라 고유 파라미터를 알고 있을 때 선 및 법선 벡터와 같은 기하학적 요소를 나타내는 편리한 방법이다.

영상 내의 선(line)은 가우시안 구체 상에 큰 원(great circle)으로 투영된다. 큰 원은 단위 구와 선 및 투영 중심(COP)에 의해 정의된 평면 사이의 교차점이다.

각 선에 대한 큰 원은 가우시안 구체에서 단위 벡터로 표현될 수 있다.

영상에서 평행선을 나타내는 큰 원은 가우시안 구체의 두 정반점(antipodal point)에서 교차한다.

투영 중심(COP)에서 교차점까지의 단위 벡터는 영상에서 평행선을 나타내는 2 개의 큰 원의 법선 벡터의 외적(cross product)으로 계산된 소실 방향(vanishing direction, VD)이다.

평행선에 의해 정의된 3개의 직각 소실 방향(VD)는 완벽한 맨해튼 세계(perfect Manhattan world)에서 평면의 직각 표면 법선 벡터에 매칭된다. 이 벡터들이 맨해튼 프레임(Manhattan frame, MF)의 기초를 형성한다.

- 소실 방향(VD)으로의 회전 움직임

유클리디안(Euclidean) 3D 공간에서 6-자유도 카메라의 움직임은 3-자유도 회전 움직임

과 3-자유도 병진 움직임

으로 구성된 4 x 4 강체 변환 행렬

로 나타낼 수 있다.

가우시안 구체 상의 소실 방향(VD)

은 6-자유도 카메라 움직임에 의해

로 변환될 수 있다.

여기서,

는 호모지니어스 좌표계에서 소실 방향(VD)을 나타낸다. 수학식 (1)에서 소실 방향(VD)은 카메라의 회전 움직임에만 종속적임을 알 수 있다.

본 실시예에 따른 구조적 환경 특징을 이용한 영상 주행 거리 측정 방법은 직교 평면 기반 영상 주행 거리 측정 방법(Orthogonal Plane-based Visual Odometry, OPVO)을 기반으로 하고 있다.

구조적 특징 추출부(120)는 구조적 규칙성을 나타내는 맨해튼 프레임을 추출한다. 그리고 맨해튼 프레임은 특징 추적부(130)에 의해 추적되며, 회전 움직임 추정부(140)에 의해 SO(3)-매니폴드 제한 평균 시프트 알고리즘으로 누적 오차 없는(즉, 드리프트 없는(drift-free)) 회전이 추정될 수 있다.

병진 움직임 추정부(150)는 추적된 점(tracked point, 추적 점)으로부터 회전 움직임이 보상된(즉, 디로테이트된(derotated)) 재투영 오차(reprojection error)를 최소화하여 병진 움직임을 복구한다.

OPVO 회전 추정의 핵심은 탄젠트 공간 가우시안 맨해튼 프레임(TG-MF, tangent space Gaussian MF) 모델에 기반한 SO(3)-매니폴드 제한 평균 시프트 알고리즘을 사용하여 맨해튼 프레임을 추적하는 것이다. 가우시안 구체

에 대한 표면 법선 벡터의 밀도 분포가 주어지면, OPVO는 가우시안 커널을 사용하는 탄젠트 평면

에서의 평균 시프트 알고리즘을 통해 맨해튼 프레임 축 주위의 표면 법선 벡터 분포의 평균을 추론한다. 평균 시프트 알고리즘에 의해 발견된 모드는 SO(3)-매니폴드 상에 투영되어 직교성을 유지하므로, 카메라의 절대 방향이 추정될 수 있다.

병진 이동 추정을 위해 OPVO는 이전 단계에서 드리프트 프리 회전 추정을 이용하여 연속 프레임 간의 특징 대응을 순수 병진으로 변환한다. OPVO는 추적 점에서 디로테이트된 재투영 오차를 최소화하여 카메라의 3-자유도 병진 움직임을 복구한다. 이는 병진 움직임에만 종속된다.

다음으로, 단일 평면만 보일 때에도 안정적이고 정확한 드리프트 프리 회전 추정을 위해 선 정보 및 면 정보를 공동으로 활용할 필요가 있다. 그리고 보다 정확한 병진 움직임 추정을 위해 깊이 정보가 없는 추적 점을 추가로 시용한다.

맨해튼 프레임에 대한 상대적인 카메라 방향을 결정하기 위해 구조적 특징 추출부(120)는 컬러 영상(RGB 이미지)의 선에서 소실 방향을 추출한다. 그리고 깊이 영상의 평면에서 표면 법선 벡터를 추출한다.

소실 방향 벡터를 추출하기 위해, LSD를 사용하여 고정 길이(예컨대, 25 픽셀 등) 이상의 라인 특징(line feature)을 검출한다.

N개의 라인 특징이 검출되면, 대응하는 큰 원 단위 법선 벡터를 계산한다.

N개의 연관된 법선 벡터로부터 가능한 모든 라인 쌍들로부터 법선 벡터의 각 쌍의 외적을 취함으로써 소실 방향

을 계산한다.

또한, 깊이 영상으로부터 모든 픽셀 점에 대한 표면 법선 벡터를 추출한다. 원시 깊이 데이터에서 노이즈를 제거하기 위해 간단한 박스 필터로 깊이 영상을 사전 처리할 수 있다.

가우시안 구체

의 단위 표면 법선 벡터는 포인트 클라우드(point cloud)의 3D 점에서 로컬 표면에 접하는 두 접선 벡터의 외적에 의해 계산된다. 접선 벡터에서 노이즈를 제거하기 위해 특정 이웃 내에 있는 주변 접선 벡터를 평균화할 수 있다. 이는 적분 영상을 사용하여 효율적이고 신속하게 수행할 수 있다.

추출된 소실 방향과 표면 법선 벡터는 도 6에서 동심원 구체

에 대한 3D 점으로 표현된다. 내부 구면의 보라색 점은 선 정보에 추출된 소실 방향을 나타내고, 외부 구면의 회색 점은 면 정보에서 추출된 표면 법선 벡터이다. 선과 면에서 추출된 2가지 유형의 방향 벡터가 맨해튼 프레임 축을 중심으로 함께 모이는 것을 보여준다.

맨해튼 세계(MW)에서 방향 벡터 대부분이 맨해튼 프레임의 기본 축 주위에 분산되어 있지만, 실제 3D 세계는 완벽하고 노이즈가 없는 맨해튼 세계가 아니기 때문에 일부 다른 점들은 맨해튼 프레임 근처에 있지 않을 수 있다.

따라서, 방향 벡터의 밀도 분포가 회전 움직임 추정의 정확도에 직접적으로 영향을 미치므로 정확하고 신뢰성 있는 소실 방향과 표면 법선 벡터를 추출하는 것이 매우 중요하다.

본 실시예에서는 선 정보를 함께 사용함으로써 단일 평면만을 바라보는 경우에도 특징 추적부(130)에서 맨해튼 프레임 추적이 가능하게 한다.

이후 병진 움직임 추정부(150)에서는 모든 추적 점에 대한 병진 움직임 추정을 수행한다. 병진 움직임에만 종속하는 깊이 정보가 있거나 혹은 없는 추적 점을 기반으로 디로테이트된 재투영 오차를 최소화함으로써 카메라의 3-자유도 병진 움직임을 복구한다.

프레임-투-프레임 6-자유도 카메라 모션과 i번째 추적 점 특징 사이에는 다음과 같은 수학적 관계가 있다.

여기서,

는 시간 k에서 카메라 프레임의 점 특징의 3D 좌표계이고,

는 깊이에 의해 나눠져 정규화된

이다.

회전

과 병진

은 강체 변환을 형성한다.

k-1 시간에 알려진 깊이를 가진 특징에 대해서, 3번째 행에서

를 1번째 행과 2번째 행으로 대체함으로써 수학식 (2)의 1번째 행에서 2개의 제한 방정식을 각각 유도한다.

여기서,

은

과

의 h번째 행이다.

미지의 깊이를 가지는 특징에 대해서,

와

를 제거하기 위해 모든 행을 결합함으로써 수학식 (2)의 2번째 행으로부터 1개의 제한 방정식을 유도할 수 있다.

여기서,

이다.

깊이를 가지는 특징에 대한 2개의 잔차 방정식(residual equation)과 깊이가 없는 특징에 대한 1개의 잔차 방정식이 있다. 앞서 회전 움직임 추정부(140)에서 드리프트가 없는 회전 움직임

을 추정했으므로, 수학식 (3)과 (4)는 오직 카메라의 병진 움직임

의 함수이다.

깊이가 있거나 없는 모든 추적된 특징점의 잔차 벡터를 최소화하는, 최적의 3-자유도 병진 움직임은 다음의 최적화 문제를 풀어 획득할 수 있다.

여기서,

과

은 각각 알려진 깊이와 알려지지 않은 깊이를 갖는 추적된 특징의 수이다.

수학식 (5)를 풀기 위해 레벤버그 말쿼트(Levenberg-Marquardt, LM) 알고리즘을 사용한다.

깊이가 없는 추적 점에서의 3-자유도 병진을 추가로 제한함으로써 정확한 병진 움직임 추정이 가능해진다.

이에 의하면, 일반적인 특징 기반 영상 기반 주행 거리 측정 방법보다 영상에서 충분한 텍스처와 밝기의 존재에 덜 민감하다. 이는 병진만을 추정하기 위한 점들의 최소 개수가 회전과 병진을 모두 결정하기 위한 특징점들의 수보다 작기 때문이다.

도 7은 본 실시예에 따른 영상 기반 주행 거리 측정 방법과 기존의 VO 방법에 따른 회전 오차 및 병진 오차를 나타낸 그래프이다.

주행 중에 다수의 직교 평면이 항상 보여지는 것은 아니기 때문에 MWO와 OPVO는 카메라 추적에 실패하고 있다. 본 실시예에 따른 영상 기반 주행 거리 측정 방법(LPVO)이 안정적으로 카메라 이동을 추정하면서 가장 작은 회전 오차와 병진 오차를 보여주고 있다.

도 8은 본 실시예에 따른 영상 기반 주행 거리 측정 방법(LPVO)과 타 VO 방법에 따른 단일 루프와 다중 루프의 추정 궤적을 나타낸 도면이다.

도 8의 (a)에는 단일 루프(single-loop) 데이터셋에 의한 추적 궤적이 도시되어 있다. 본 실시예에 따른 영상 기반 주행 거리 측정 방법(LPVO)에 의할 경우, 시작점과 도착점이 거의 일치하지만, 다른 방법들의 경우에는 그렇지 않음을 확인할 수 있다.

본 실시예에 따른 영상 기반 주행 거리 측정 방법이 스퀘어 빌딩에서 추정 복도 궤적의 직교성을 보전하면서 강건하고 정확하게 6-자유도 카메라 모션을 추적한 것이다.

도 8의 (b)에는 다중 루프(multiple-loop) 데이터셋에 의한 추적 궤적이 도시되어 있다. 본 실시예에 따른 영상 기반 주행 거리 측정 방법(LPVO)에 의할 경우에만 시작점과 도착점이 만나고 있음을 확인할 수 있다.

추적된 궤적은 스퀘어 빌딩의 복도의 직교성을 보존하고 있어, 모션 추정의 높은 퀄리티를 보여주고 있다.

본 실시예에 따르면, 카메라 모션을 별도의 회전과 병진 추정으로 분리함으로써 구조적 환경에서 정확하고 저 드리프트(low-drift) 회전 추정을 수행할 수 있다. 절대 카메라 방향이 주어지면 깊이가 있거나 없는 모든 추적 점을 기준으로 회전 없는 재투영 오차를 최소화하는 최적의 병진 움직임을 복구할 수 있다.

상술한 본 실시예에 따른 구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 시스템
110: 영상 획득부 120: 구조적 특징 추출부
130: 특징 추적부 140: 회전 움직임 추정부
150: 병진 움직임 추정부 160: 이동 궤적 추적부

Claims (9)

1. 영상 기반 주행 거리 측정 시스템으로서,
   카메라를 통해 현재 공간에 대한 컬러 영상 및 깊이 영상을 획득하는 영상 획득부;
   상기 컬러 영상 및 상기 깊이 영상을 분석하여 공간 내 구조적 특징을 추출하는 구조적 특징 추출부;
   상기 영상 획득부에서 획득되는 연속된 컬러 영상 및 깊이 영상 사이에서 상기 구조적 특징을 비교 및 추적하는 특징 추적부;
   추적된 상기 구조적 특징을 기반으로 하여 상기 카메라의 회전 움직임을 추정하는 회전 움직임 추정부;
   상기 회전 움직임이 보상되어 재투영 오차를 최소화하는 상기 카메라의 병진 움직임을 추정하는 병진 움직임 추정부; 및
   상기 회전 움직임 및 상기 병진 움직임으로부터 상기 카메라의 6-자유도 이동 궤적을 추정하는 이동 궤적 추적부를 포함하되,
   상기 구조적 특징 추출부는 상기 컬러 영상으로부터 선 정보를 추출하고, 상기 깊이 영상으로부터 면 정보를 추출하며,
   상기 회전 움직임 추정부는 상기 선 정보와 상기 면 정보를 공동으로 사용하여 누적 오차 없는 상기 회전 움직임을 추정하고,
   상기 병진 움직임 추정부는 깊이가 있는 특징점과 깊이가 없는 특징점을 모두 활용하여 상기 병진 움직임을 추정하는 것을 특징으로 하는 구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 시스템.
   
2. 삭제
3. 제1항에 있어서,
   상기 구조적 특징 추출부는 상기 컬러 영상의 선으로부터 소실 방향(VD)을 선 정보로 추출하고, 상기 깊이 영상의 평면으로부터 표면 법선 벡터를 면 정보로 추출하는 것을 특징으로 하는 구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 시스템.
   
4. 제3항에 있어서,
   상기 구조적 특징 추출부는 상기 소실 방향과 상기 표면 법선 벡터를 이용하여 구조적 규칙성을 나타내는 맨해튼 프레임(Manhattan frame)을 추출하고,
   상기 특징 추적부는 상기 맨해튼 프레임을 추적하여,
   상기 회전 움직임 추정부에서 SO(3)-매니폴드 제한 평균 시프트 알고리즘으로 누적 오차 없는 회전 움직임을 추정하는 것을 특징으로 하는 구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 시스템.
   
5. 제3항에 있어서,
   고정 길이 이상의 라인 특징을 검출하고, N개의 라인 특징이 검출되면 대응하는 큰 원 단위 법선 벡터를 계산하며, N개의 연관된 법선 벡터로부터 가능한 모든 라인 쌍들로부터 법선 벡터의 각 쌍의 외적을 취함으로써 상기 소실 방향이 계산되는 것을 특징으로 하는 구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 시스템.
   
6. 제4항에 있어서,
   상기 병진 움직임 추정부는 깊이가 있거나 없는 모든 추적된 특징점의 잔차 벡터를 최소화하도록 깊이를 가지는 특징에 대한 2개의 잔차 방정식과 깊이가 없는 특징에 대한 1개의 잔차 방정식에 대해 레벤버그 말쿼트(Levenberg-Marquardt, LM) 알고리즘을 사용하여 3-자유도 병진 움직임을 추정하는 것을 특징으로 하는 구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 시스템.
   
7. 제1항에 있어서,
   상기 공간은 직교 구조 환경(orthogonal structured environments)인 것을 특징으로 하는 구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 시스템.
   
8. 영상 기반 주행 거리 측정 시스템에서 수행되는 영상 기반 주행 거리 측정 방법으로서,
   영상 획득부에서 카메라를 통해 현재 공간에 대한 컬러 영상 및 깊이 영상을 획득하는 단계;
   상기 컬러 영상 및 상기 깊이 영상을 분석하여 공간 내 구조적 특징을 추출하는 단계;
   상기 영상 획득부에서 획득되는 연속된 컬러 영상 및 깊이 영상 사이에서 상기 구조적 특징을 비교 및 추적하는 단계;
   추적된 상기 구조적 특징을 기반으로 하여 상기 카메라의 회전 움직임을 추정하는 단계;
   상기 회전 움직임이 보상되어 재투영 오차를 최소화하는 상기 카메라의 병진 움직임을 추정하는 단계; 및
   상기 회전 움직임 및 상기 병진 움직임으로부터 상기 카메라의 6-자유도 이동 궤적을 추정하는 단계를 포함하되,
   상기 구조적 특징 추출 단계는 상기 컬러 영상으로부터 선 정보를 추출하고, 상기 깊이 영상으로부터 면 정보를 추출하며,
   상기 회전 움직임 추정 단계는 상기 선 정보와 상기 면 정보를 공동으로 사용하여 누적 오차 없는 상기 회전 움직임을 추정하고,
   상기 병진 움직임 추정 단계는 깊이가 있는 특징점과 깊이가 없는 특징점을 모두 활용하여 상기 병진 움직임을 추정하는 것을 특징으로 하는 구조적 환경 특징을 이용한 영상 기반 주행 거리 측정 방법.
   
9. 삭제

Images