KR20190113226A

KR20190113226A - 실시간 3차원 지도 구축 장치 및 방법

Info

Publication number: KR20190113226A
Application number: KR1020180035623A
Authority: KR
Inventors: 유소희; 류수용; 임종우; 최병헌
Original assignee: 현대모비스 주식회사; 한양대학교 산학협력단
Priority date: 2018-03-28
Filing date: 2018-03-28
Publication date: 2019-10-08
Also published as: KR102508960B1

Abstract

본 발명은 실시간 3차원 지도 구축 장치에 관한 것으로, 차량에 장착된 카메라로부터 주기적으로 촬영되는 영상을 프레임 단위로 입력받는 영상 입력부; 상기 주기적으로 입력되는 각 영상 프레임에서 에지 추출이 용이하도록 피사체의 윤곽선과 영상 신호 분포를 이진화 처리하는 영상 처리부; 상기 영상 처리된 각 영상 프레임에서 에지를 추출하고, 상기 추출된 에지에서 세미-덴스(Semi-dense)의 후보자로 지정되는 복수의 에지점들을 추출하는 에지 및 에지점 추출부; 상기 영상 프레임이 새로 입력될 때 마다 계속해서 상기 복수의 에지점들을 추적하는 에지점 추적부; 및 상기 추적되는 에지점들에 대한 최적의 뎁스(depth)를 추정하고, 이 추정된 최적의 뎁스를 3차원 지도에 반영하여 업데이트하는 뎁스 추정부;를 포함한다.

Description

실시간 3차원 지도 구축 장치 및 방법{REAL TIME 3D MAP BUILDING APPARATUS AND METHOD}

본 발명은 실시간 3차원 지도 구축 장치 및 방법에 관한 것으로, 보다 상세하게는 세미-덴스(Semi-dense) SLAM(Simultaneous Localization And Mapping)을 현재 영상 프레임을 기반으로 적용시켜, 현재 상황에서의 자율주행 차량을 위한 3차원 지도를 실시간으로 구축하고, 또한 복수의 이전 영상 프레임과 현재 영상 프레임의 코스트 볼륨을 산출하여 현재의 3차원 지도를 업데이트 할 수 있도록 하는 실시간 3차원 지도 구축 장치 및 방법에 관한 것이다.

일반적으로 SLAM(Simultaneous Localization and Mapping)은 이동 로봇 등의 자율 주행에 주로 쓰이는 기술로서, 주변 환경의 지도를 이용하여 위치를 인식하거나, 역으로 위치를 인식하여 해당 지역의 지도를 만들고, 또한 위치 인식과 지도 작성 두 가지를 동시에 수행하는 기술을 말한다.

상기 SLAM을 이용하는 이동 로봇은, 카메라로 부터 획득한 영상에서, 키프레임, 및 랜드마크 등을 추출하여 SLAM 지도를 생성한다.

그리고 상기 이동 로봇은 상기 SLAM 지도가 생성된 지역을 이동할 때, 카메라로부터 획득한 영상에서, 키프레임, 및 랜드마크 등을 추출하고, 기 생성된 지도의 키프레임, 및 랜드마크 등과 비교하여 위치를 인식한다.

한편 세미-덴스(Semi-dense) SLAM은 기존의 SLAM에서 특징점을 사용하는 대신에 에지(edge) 점들을 특징점으로 사용하는 방법으로서, 그 외의 기술적 특징은 상기 기존의 SLAM과 큰 차이는 없다.

상기 세미-덴스(Semi-dense) SLAM은 키프레임을 기반으로 전반적인 3차원 환경 지도를 구축한다. 특징적으로 상기 세미-덴스(Semi-dense) SLAM은, 현재 프레임과 현재 키프레임 간의 에피폴 라인을 구하여 현재의 3차원 환경 지도(또는 3차원 지도)를 추정하고, 상기 추정한 3차원 환경 지도(또는 3차원 지도)를 키프레임의 3차원 환경 지도 정보에 업데이트하며, 현재 프레임이 새로운 키프레임인지 선정하여, 새로운 키프레임이 선정 될 경우 이전 키프레임의 정보들을 새로운 키프레임에 대한 정보로 변환하여 전파하는 방법을 사용한다.

또한 상기 세미-덴스(Semi-dense) SLAM에서의 키프레임과 현재 프레임간의 3차원 환경 지도 정보의 추정 방법은 확률론적 정보를 사용한 EKF(Extended Kalman Filter)를 사용하거나 단순한 필터링 방법을 사용한다. 이에 따라 종래의 세미-덴스(Semi-dense) SLAM은 모든 영상 프레임에 대한 전반적인 3차원 환경 지도(또는 3차원 지도)를 구축할 수 있게 해준다.

그러나 상기 모든 영상 프레임에 대한 환경 지도를 구축하는 방법은 현재 프레임에서의 3차원 환경 지도(또는 3차원 지도)를 바로 알기 힘들며, 해당 정보를 얻기 위해서는 추가적인 방법이 필요하게 되어 실제적으로 자율 주행 등의 실시간 3차원 환경 지도 정보가 필요한 곳에서 바로 정보를 전달해 줄 수 없는 문제점이 발생한다. 또한 상기와 같이 매 현재 프레임에 대해서 3차원 환경 지도(또는 3차원 지도)를 구축하게 되면, 종래의 SLAM 기술의 키프레임에 대한 3차원 환경 지도 업데이트 방법을 사용할 수 없게 되는 문제점이 있다.

본 발명의 배경기술은 대한민국 공개특허 10-2016-0013713호(2016.02.05. 공개, 자율주행차량의 전역경로 생성장치 및 방법)에 개시되어 있다.

본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 세미-덴스(Semi-dense) SLAM(Simultaneous Localization And Mapping)을 현재 영상 프레임을 기반으로 적용시켜, 현재 상황에서의 자율주행 차량을 위한 3차원 지도를 실시간으로 구축하고, 또한 복수의 이전 영상 프레임과 현재 영상 프레임의 코스트 볼륨을 산출하여 현재의 3차원 지도를 업데이트 할 수 있도록 하는 실시간 3차원 지도 구축 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명의 일 측면에 따른 실시간 3차원 지도 구축 장치는, 차량에 장착된 카메라로부터 주기적으로 촬영되는 영상을 프레임 단위로 입력받는 영상 입력부; 상기 주기적으로 입력되는 각 영상 프레임에서 에지 추출이 용이하도록 피사체의 윤곽선과 영상 신호 분포를 이진화 처리하는 영상 처리부; 상기 영상 처리된 각 영상 프레임에서 에지를 추출하고, 상기 추출된 에지에서 세미-덴스(Semi-dense)의 후보자로 지정되는 복수의 에지점들을 추출하는 에지 및 에지점 추출부; 상기 영상 프레임이 새로 입력될 때 마다 계속해서 상기 복수의 에지점들을 추적하는 에지점 추적부; 및 상기 추적되는 에지점들에 대한 최적의 뎁스(depth)를 추정하고, 이 추정된 최적의 뎁스를 3차원 지도에 반영하여 업데이트하는 뎁스 추정부;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 에지 및 에지점 추출부는, 주기적으로 입력되는 상기 영상 프레임별로 에지 및 에지점들을 추출하는 것을 특징으로 한다.

본 발명에 있어서, 상기 뎁스 추정부는, SAD(Sum of absolute differences) 코스트 값이 최소인 뎁스를 최적의 뎁스로 추정하는 것을 특징으로 한다.

본 발명에 있어서, 상기 영상 처리부, 에지 및 에지점 추출부, 에지점 추적부, 및 뎁스 추정부는 하나의 제어부로 통합될 수 있음을 특징으로 한다.

본 발명에 있어서, 상기 제어부는, 이전 영상 프레임의 에지점들의 3차원 지도 정보를 현재 영상 프레임으로 전파하고, 미리 지정된 개수의 이전 영상 프레임들과 현재 영상 프레임 간의 에지점들의 뎁스에 따른 SAD 코스트들을 산출하며, 상기 SAD 코스트들을 이용해 SAD 코스트 볼륨을 생성하여 현재 영상 프레임의 에지점들에 대한 최적의 새로운 3차원 거리 정보를 산출하고, 상기 에지점들에 대한 기존의 3차원 거리 정보와 상기 현재 영상 프레임에 기초하여 상기 새로 구한 3차원 거리 정보에, 미리 지정된 비율을 적용하여 기존의 3차원 거리를 보정하여 새로운 3차원 거리 정보로 업데이트 하는 것을 특징으로 한다.

본 발명에 있어서, 상기 제어부는, 상기 SAD 코스트 볼륨을 생성하기 위하여, 이전 영상 프레임들 및 현재 영상 프레임에서 세미-덴스의 후보자로 지정되는 에지들의 각 에지점마다 에피폴 라인을 산출하고; 상기 각 에지점들의 에피폴 라인을 각기 산출한 후, 상기 에피폴 라인들에 대하여 미리 지정된 복수의 뎁스로 샘플링 하여 현재 영상 프레임에서 이전 영상 프레임으로 재투영 하며; 이전 영상 프레임에 재투영 된 각 에지점과 현재 영상 프레임에서의 각 에지점의 패치를 비교하여 SAD 코스트를 산출하고; 이전 영상 프레임들 및 현재 영상 프레임에 대해서 상기 재투영 동작을 통한 패치 비교를 통해 SAD 코스트를 산출하고, 상기 산출한 SAD 코스트 값을 이용하여 SAD 코스트 볼륨을 생성하며; 상기 SAD 코스트 볼륨에서 최적의 뎁스 값을 찾아 3차원 환경 지도에 적용하는 것을 특징으로 한다.

본 발명에 있어서, 상기 제어부는, 이전 영상 프레임의 에지점들에 대한 뎁스를 3차원 지도에 반영하고, 이전 영상 프레임과 현재 영상 프레임의 비교를 통해 SAD 코스트를 산출하기 위하여, 상기 3차원 지도에 반영된 에지점을 현재 영상 프레임에 투영하는 전파 동작을 수행하는 것을 특징으로 한다.

본 발명에 있어서, 상기 SAD 코스트는, 차량에 장착된 카메라의 이동 방향과 이동 거리에 대응하여, 이전 영상 프레임 및 현재 영상 프레임에서의 에지점들에 대한 패치 비교를 통해 상기 패치 값이 같은 정도를 SAD 코스트라고 하는 것을 특징으로 한다.

본 발명의 다른 측면에 따른 실시간 3차원 지도 구축 방법은, 실시간 3차원 지도 구축 장치의 제어부가 이전 영상 프레임의 에지점들의 3차원 지도 정보를 현재 영상 프레임으로 전파하는 단계; 상기 제어부가 미리 지정된 개수의 이전 영상 프레임들과 현재 영상 프레임 간의 에지점들의 뎁스에 따른 SAD 코스트들을 산출하는 단계; 상기 제어부가 상기 SAD 코스트들을 이용해 SAD 코스트 볼륨을 생성하여 현재 영상 프레임의 에지점들에 대한 최적의 새로운 3차원 거리 정보를 산출하는 단계; 및 상기 제어부가 상기 에지점들에 대한 기존의 3차원 거리 정보와 상기 현재 영상 프레임에 기초하여 상기 새로 구한 3차원 거리 정보에, 미리 지정된 비율을 적용하여 기존의 3차원 거리를 보정하여 새로운 3차원 거리 정보로 업데이트 하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 SAD 코스트 볼륨을 생성하기 위하여, 상기 제어부가 이전 영상 프레임들 및 현재 영상 프레임에서 세미-덴스의 후보자로 지정되는 에지들의 각 에지점마다 에피폴 라인을 산출하는 단계; 상기 제어부가 상기 각 에지점들의 에피폴 라인을 각기 산출한 후, 상기 에피폴 라인들에 대하여 미리 지정된 복수의 뎁스로 샘플링 하여 현재 영상 프레임에서 이전 영상 프레임으로 재투영 하는 단계; 상기 제어부가 이전 영상 프레임에 재투영 된 각 에지점과 현재 영상 프레임에서의 각 에지점의 패치를 비교하여 SAD 코스트를 산출하는 단계; 상기 제어부가 이전 영상 프레임들 및 현재 영상 프레임에 대해서 상기 재투영 동작을 통한 패치 비교를 통해 SAD 코스트를 산출하고, 상기 산출한 SAD 코스트 값을 이용하여 SAD 코스트 볼륨을 생성하는 단계; 및 상기 제어부가 상기 SAD 코스트 볼륨에서 최적의 뎁스 값을 찾아 3차원 환경 지도에 적용하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 재투영은, 상기 제어부가 현재 영상 프레임의 에지점들에 대한 뎁스를 3차원 지도에 반영하고, 이전 영상 프레임과 현재 영상 프레임의 비교를 통해 SAD 코스트를 산출하기 위하여, 상기 3차원 지도에 반영된 에지점을 이전 영상 프레임에 투영하는 동작을 의미하는 것을 특징으로 한다.

본 발명에 있어서, 상기 에피폴 라인은, 에피폴 매칭을 통해 표현되는 정보로서, 상기 에피폴 매칭은 연속된 2개의 영상 프레임인 이전 영상 프레임과 현재 영상 프레임에 대하여 각각의 카메라 위치 정보를 알고 있다고 가정하고, 이전 영상에서의 한 에지점이 현재 영상 프레임에서 하나의 에피폴 라인으로 표현되고, 그 에피폴 라인 위를 서칭하며 가장 비슷한 점으로서, SAD 코스트 값이 최소인 에지점을 찾기 위한 정보인 것을 특징으로 한다.

본 발명에 있어서, 상기 패치는, 에지점을 중심으로 일정하게 지정된 사각의 윈도우 영역인 것을 특징으로 한다.

본 발명의 일 측면에 따르면, 본 발명은 세미-덴스(Semi-dense) SLAM을 현재 영상 프레임을 기반으로 적용시켜, 현재 상황에서의 자율주행 차량을 위한 3차원 지도를 실시간으로 구축할 수 있도록 한다.

또한 본 발명은 복수의 이전 영상 프레임과 현재 영상 프레임의 코스트 볼륨을 산출하여 현재의 3차원 지도를 업데이트 할 수 있도록 한다.

도 1은 본 발명의 일 실시예에 따른 실시간 3차원 지도 구축 장치의 개략적인 구성을 보인 예시도.
도 2는 본 발명의 일 실시예에 따른 실시간 3차원 지도 구축 방법을 설명하기 위한 흐름도.
도 3은 상기 도 2에 있어서, SAD(Sum of absolute differences) 코스트 볼륨을 산출하는 방법을 설명하기 위한 흐름도.
도 4는 상기 도 3에 있어서, 에피폴 라인 서칭(searching)에 따른 SAD 패치 매칭 방법을 보여주는 예시도.
도 5는 상기 도 3에 있어서, SAD 코스트 볼륨의 의미를 설명하기 위하여 보인 예시도.
도 6은 상기 도 3에 있어서, 현재 프레임과 이전 프레임간의 SAD 코스트 볼륨을 설명하기 위하여, 뎁스와 SAD 코스트 간의 관계를 예시적으로 보인 그래프.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시간 3차원 지도 구축 장치 및 방법의 일 실시예를 설명한다.

이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 발명에 따른 일 실시예는, 이전 영상 프레임에 대한 정보(예 : 에지점들의 뎁스(즉, 거리) 정보)들을 이용하여 현재 영상 프레임에 대한 3차원 환경 지도(또는 3차원 지도)를 실시간으로 구축하는 방법을 제공한다. 좀 더 구체적으로, 본 발명에 따른 일 실시예는 세미-덴스(Semi-dense) SLAM 기술을 현재 영상 프레임에 대해 적용시키기 위하여, 이전 영상 프레임에 대한 정보(예 : 에지점들의 뎁스(즉, 거리) 정보)들을 이용하여 현재 영상 프레임에 대한 코스트 볼륨을 구하는 방법을 제공한다.

도 1은 본 발명의 일 실시예에 따른 실시간 3차원 지도 구축 장치의 개략적인 구성을 보인 예시도이다.

도 1에 도시된 바와 같이, 본 실시예에 따른 실시간 3차원 지도 구축 장치는, 영상 입력부(110), 영상 처리부(121), 에지(edge) 및 에지점 추출부(122), 에지점 추적부(123), 및 뎁스(depth) 추정부(124)를 포함한다.

상기 영상 입력부(110)는 차량에 장착된 카메라(미도시)로부터 주기적으로 촬영되는 영상을 프레임 단위로 입력받는다.

상기 영상 처리부(121)는 상기 영상 입력부(110)를 통해 주기적으로 입력되는 각 영상 프레임(또는 프레임)에서 에지 추출이 용이하도록 피사체의 윤곽선과 영상 신호 분포를 이진화 처리한다.

상기 에지 및 에지점 추출부(120)는 상기 영상 처리부(120)를 통해 처리된 각 영상 프레임에서 에지를 추출하고, 상기 추출된 에지(edge)에서 복수의 에지점들(예 : 세미-덴스(Semi-dense)의 후보자(candidate)로 지정되는 에지점들)을 추출한다.

상기 추출된 에지 및 에지점들은 주기적으로 입력되는 상기 영상 프레임별로 추출되며, 상기 에지점 추적부(123)는 상기 영상 프레임이 새로 입력될 때 마다 계속해서 상기 복수의 에지점들을 추적한다.

상기 뎁스 추정부(124)는 상기 에지점 추적부(140)를 통해 추적되는 상기 에지점들에 대한 최적의 뎁스(depth)(또는 거리)(예 : SAD 코스트 최소인 뎁스)를 각기 추정하고, 이 추정된 최적의 뎁스(또는 거리)를 내부적으로 생성된 3차원 지도(미도시)에 반영하여 업데이트한다.

다만 상기 영상 처리부(121), 에지 및 에지점 추출부(122), 에지점 추적부(123), 및 뎁스 추정부(124)에 대한 동작은, 설명의 편의를 위하여 개별적으로 설명하였으나, 하나의 제어부(120)로 통합될 수도 있음에 유의한다. 여기서 상기 제어부(120)는 소프트웨어에 의해 프로그래머블 방식으로 동작하는 마이크로프로세서(미도시)로 구현될 수 있다.

도 2는 본 발명의 일 실시예에 따른 실시간 3차원 지도 구축 방법을 설명하기 위한 흐름도이다.

도 2를 참조하여, 이전 영상 프레임에 대한 정보(예 : 에지점들의 뎁스(즉, 거리) 정보)들을 이용하여 현재 영상 프레임에 대한 3차원 환경 지도(또는 3차원 지도)를 실시간으로 구축하는 방법을 설명한다.

상기 제어부(120)는 이전 영상 프레임의 에지(edge)점들의 3차원 환경 지도(또는 3차원 지도) 정보를 현재 영상 프레임으로 전파한다(S101).

여기서 상기 전파한다는 의미는, 상기 제어부(120)가 이전 영상 프레임의 에지점들에 대한 뎁스(또는 거리)를 3차원 지도에 반영하고, 이전 영상 프레임과 현재 영상 프레임의 비교를 통해 SAD 코스트를 산출하기 위하여, 상기 3차원 지도에 반영된 에지점을 현재 영상 프레임에 투영하는 동작을 의미한다.

상기 제어부(120)는 미리 지정된 개수의 이전 영상 프레임들과 현재 영상 프레임 간의 에지점들의 뎁스(depth)(또는 거리)에 따른 SAD(Sum of absolute differences) 코스트들을 산출한다(S102).

예컨대 상기 SAD 코스트는 차량에 장착된 카메라의 이동 방향과 이동 거리에 대응하여, 각 영상들(예 : 이전 영상 프레임 및 현재 영상 프레임 등)의 에지점들에 대한 패치(즉, 에지점을 중심으로 일정하게 지정된 사각의 윈도우 영역) 비교를 통해 패치 값이 같은 정도를 SAD 코스트라고 한다. 가령 상기 패치 값이 다를수록 SAD 코스트 값이 커지고, 패치 값이 같을수록 SAD 코스트 값이 작아진다. 따라서 SAD 코스트 값이 최소이면, 상기 에지점들에 대한 최적의 뎁스(depth)(또는 거리)가 추정되었다고 판단할 수 있다.

상기 제어부(120)는 상기 SAD 코스트(즉, 이전 영상 프레임과 현재 영상 프레임 간의 에지점들의 패치 비교를 통해 산출된 SAD 코스트)들을 이용해 SAD 코스트 볼륨을 생성하여(또는 산출하여), 현재 영상 프레임(즉, 현재 영상 프레임의 각 에니점들)의 에지점들에 대한 최적의(즉, SAD 코스트가 최소인) 새로운 3차원 거리 정보를 산출한다(S103).

또한 상기 제어부(120)는 에지점들에 대한 기존의 3차원 거리 정보(즉, 이전 영상 프레임들에 기초한 3차원 거리 정보)와 상기 현재 영상 프레임에 기초하여 새로 구한 3차원 거리 정보에 대하여 미리 지정된 비율을 적용하여(예 : 기존의 3차원 거리 정보와 새로 구한 3차원 거리 정보를 5:5로 반영하여, 또는 기존의 3차원 거리 정보와 새로 구한 3차원 거리 정보를 8:2로 반영하여 등) 보정된 새로운 3차원 거리 정보로 업데이트 한다(S104).

이미 상술한 바와 같이 본 발명에 따른 일 실시예는, 종래의 키프레임 기반 3차원 환경 지도를 구축하는 방법 대신, 현재 영상 프레임에 대한 3차원 환경 지도를 구축 할 수 있도록 하며, 그에 따라 종래 기술과는 다르게 이전 영상 프레임의 정보들을 이용하여 SAD 코스트 볼륨을 산출하여 3차원 환경 지도를 구축하는 방법을 제공한다.

이하 도 3을 참조하여, 상기 미리 지정된 개수의 이전 영상 프레임들과 현재 영상 프레임 간의 뎁스(depth)에 따른 SAD(Sum of absolute differences) 코스트 볼륨을 산출하는 방법에 대해서 보다 구체적으로 설명한다.

도 3은 상기 도 2에 있어서, SAD(Sum of absolute differences) 코스트 볼륨을 산출하는 방법을 설명하기 위한 흐름도이다.

상기 제어부(120)는 각 영상 프레임(즉, 이전 영상 프레임들 및 현재 영상 프레임 등)에서 세미-덴스(Semi-dense)의 후보자(candidate)로 지정되는 에지들의 각 에지점마다 에피폴(epipole) 라인을 산출한다(S201).

상기 제어부(120)는 상기 각 에지점들의 에피폴 라인을 각기 산출한 후, 상기 에피폴 라인들에 대하여 미리 지정된 복수의 뎁스(depth)로 샘플링 하여 현재 영상 프레임에서 이전 영상 프레임으로 재투영(re-projection) 한다(S202).

여기서 상기 재투영 한다는 의미는, 상기 도 2에서 설명한 전파한다는 의미와는 반대의 의미로서, 상기 제어부(120)가 현재 영상 프레임의 에지점들에 대한 뎁스(또는 거리)를 3차원 지도에 반영하고, 이전 영상 프레임과 현재 영상 프레임의 비교를 통해 SAD 코스트를 산출하기 위하여, 상기 3차원 지도에 반영된 에지점을 이전 영상 프레임에 투영하는 동작을 의미한다.

상기 제어부(120)는 이전 영상 프레임에 재투영(re-projection)된 점(즉, 각 에지점)과 현재 영상 프레임에서의 점(즉, 각 에지점)의 패치를 비교하여 SAD 코스트를 산출한다(S203, 도 4 참조).

상기 제어부(120)는 여러 영상 프레임(즉, 이전 영상 프레임들 및 현재 영상 프레임 등)에 대해서 상기 재투영 동작(S102 단계)을 통한 패치 비교를 통해 SAD 코스트를 산출하고, 상기 산출한 SAD 코스트 값을 이용하여 SAD 코스트 볼륨을 산출한다(S204).

상기 제어부(120)는 상기 SAD 코스트 볼륨에서 최적의 뎁스(depth) 값을 찾아(예 : 최소의 SAD 코스트 값을 갖는 뎁스 값을 찾아) 3차원 환경 지도(즉, 3차원 환경 지도의 해당 에지점)에 적용한다(S205, 도 6 참조).

도 4는 상기 도 3에 있어서, 에피폴 라인 서칭(searching)에 따른 SAD 패치 매칭 방법을 보여주는 예시도이고, 도 5는 상기 도 3에 있어서, SAD 코스트 볼륨의 의미를 설명하기 위하여 보인 예시도이며, 도 6은 상기 도 3에 있어서, 현재 프레임과 이전 프레임간의 SAD 코스트 볼륨을 설명하기 위하여, 뎁스와 SAD 코스트 간의 관계를 예시적으로 보인 그래프이다.

참고로 상기 에피폴 라인은 에피폴 매칭을 통해 표현되는 정보로서, 예컨대 상기 에피폴 매칭은 연속된 2개의 영상 프레임(즉, 이전 영상 프레임과 현재 영상 프레임)에 대하여 각각의 카메라 위치 정보를 알고 있다고 가정할 때, 이전 영상에서의 한 점(즉, 에지점)이 현재 영상 프레임에서 하나의 에피폴 라인으로 표현되고, 그 에피폴 라인 위를 서칭하며 가장 비슷한 점(예 : SAD 코스트 값이 최소인 에지점)을 찾는 방법이다.

도 4를 참조하면, 상기 에피폴 라인은 핀홀 카메라에서는 보통 직선의 형태로 나오게 되지만, 광각 카메라에서는 휘어진 곡선의 형태로 나온다. 따라서 구축할 3차원 환경 지도의 거리 범위를 정해 놓고 일정한 간격의 디스패리티(disparity)를 샘플링 하여 비교하면서 에피폴 라인 위를 서칭한다. 이때 샘플링한 점과 이전 영상에서의 점이 비슷한지 비교하는 방법은, 각 점에서 일정 크기의 패치(즉, 일종의 윈도우 영역)를 추출한 뒤, SAD 코스트를 사용하여 SAD 코스트 값이 가장 작게 나오는 샘플링 점(즉, 에지점)을 매칭시킨다.

한편 도 5에 도시된 바와 같이, 상기 코스트 볼륨은 복수의 이전 영상 프레임에 대해서 어느 한 에지점의 디스패리티(disparity)의 경향성 및 변화 과정을 보여준다. 즉, SAD 코스트 볼륨을 통해서 이전 영상 프레임들에 대해 다수의 디스패리티 값을 알 수 있으며, 이는 자동적으로 해당 에지점이 이전 영상 프레임들 중에서, 가령 장애물에 가려져서 안보이게 되어 오차가 크게 발생했을 경우, 그 오차까지 포함되어 계산되는 것을 방지해 주는 장점이 있다.

도 6을 참조하면, 실제 뎁스(True depth)가 22.3074m 인 에지점에 대해서 본 실시예에 따른 방식을 적용하여 샘플링 한 결과, 실제 뎁스(True depth)에 거의 근접한 뎁스 값(약 23m)이 산출됨을 알 수 있다. 도 6에서 각 그래프는 각 프레임에서 한 에지점에 대한 SAD 코스트를 나타내며, 이 SAD 코스트를 누적하여 SAD 코스트 볼륨을 생성하고, 여기에서 가장 많은 최소값이 있는 SAD 코스트의 뎁스를 3차원 환경 지도(즉, 3차원 환경 지도의 해당 에지점)에 적용하는 것이다.

상기와 같이 본 발명의 일 실시예에 따르면, 현재 영상 프레임에 대해서 3차원 환경 지도를 실시간으로 구축할 수 있으며, 이전 영상 프레임들과 현재 영상 프레임간의 SAD 코스트 볼륨을 사용하여 최적의 3차원 환경 지도 정보를 얻을 수 있도록 하는 효과가 있다.

이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.

110 : 영상 입력부
120 : 제어부
121 : 영상 처리부
122 : 에지(edge) 및 에지점 추출부
123 : 에지점 추적부
124 : 뎁스(depth) 추정부

Claims

차량에 장착된 카메라로부터 주기적으로 촬영되는 영상을 프레임 단위로 입력받는 영상 입력부;
상기 주기적으로 입력되는 각 영상 프레임에서 에지 추출이 용이하도록 피사체의 윤곽선과 영상 신호 분포를 이진화 처리하는 영상 처리부;
상기 영상 처리된 각 영상 프레임에서 에지를 추출하고, 상기 추출된 에지에서 세미-덴스(Semi-dense)의 후보자로 지정되는 복수의 에지점들을 추출하는 에지 및 에지점 추출부;
상기 영상 프레임이 새로 입력될 때 마다 계속해서 상기 복수의 에지점들을 추적하는 에지점 추적부; 및
상기 추적되는 에지점들에 대한 최적의 뎁스(depth)를 추정하고, 이 추정된 최적의 뎁스를 3차원 지도에 반영하여 업데이트하는 뎁스 추정부;를 포함하는 것을 특징으로 하는 실시간 3차원 지도 구축 장치.
제 1항에 있어서, 상기 에지 및 에지점 추출부는,
주기적으로 입력되는 상기 영상 프레임별로 에지 및 에지점들을 추출하는 것을 특징으로 하는 실시간 3차원 지도 구축 장치.
제 1항에 있어서, 상기 뎁스 추정부는,
SAD(Sum of absolute differences) 코스트 값이 최소인 뎁스를 최적의 뎁스로 추정하는 것을 특징으로 하는 실시간 3차원 지도 구축 장치.
제 1항에 있어서,
상기 영상 처리부, 에지 및 에지점 추출부, 에지점 추적부, 및 뎁스 추정부는 하나의 제어부로 통합될 수 있음을 특징으로 하는 실시간 3차원 지도 구축 장치.
제 4항에 있어서, 상기 제어부는,
이전 영상 프레임의 에지점들의 3차원 지도 정보를 현재 영상 프레임으로 전파하고; 미리 지정된 개수의 이전 영상 프레임들과 현재 영상 프레임 간의 에지점들의 뎁스에 따른 SAD 코스트들을 산출하며; 상기 SAD 코스트들을 이용해 SAD 코스트 볼륨을 생성하여 현재 영상 프레임의 에지점들에 대한 최적의 새로운 3차원 거리 정보를 산출하고; 상기 에지점들에 대한 기존의 3차원 거리 정보와 상기 현재 영상 프레임에 기초하여 상기 새로 구한 3차원 거리 정보에, 미리 지정된 비율을 적용하여 기존의 3차원 거리를 보정하여 새로운 3차원 거리 정보로 업데이트 하는 것을 특징으로 하는 실시간 3차원 지도 구축 장치.
제 5항에 있어서, 상기 제어부는,
상기 SAD 코스트 볼륨을 생성하기 위하여, 이전 영상 프레임들 및 현재 영상 프레임에서 세미-덴스의 후보자로 지정되는 에지들의 각 에지점마다 에피폴 라인을 산출하고; 상기 각 에지점들의 에피폴 라인을 각기 산출한 후, 상기 에피폴 라인들에 대하여 미리 지정된 복수의 뎁스로 샘플링 하여 현재 영상 프레임에서 이전 영상 프레임으로 재투영 하며; 이전 영상 프레임에 재투영 된 각 에지점과 현재 영상 프레임에서의 각 에지점의 패치를 비교하여 SAD 코스트를 산출하고; 이전 영상 프레임들 및 현재 영상 프레임에 대해서 상기 재투영 동작을 통한 패치 비교를 통해 SAD 코스트를 산출하고, 상기 산출한 SAD 코스트 값을 이용하여 SAD 코스트 볼륨을 생성하며; 상기 SAD 코스트 볼륨에서 최적의 뎁스 값을 찾아 3차원 환경 지도에 적용하는 것을 특징으로 하는 실시간 3차원 지도 구축 장치.
제 5항에 있어서, 상기 제어부는,
이전 영상 프레임의 에지점들에 대한 뎁스를 3차원 지도에 반영하고, 이전 영상 프레임과 현재 영상 프레임의 비교를 통해 SAD 코스트를 산출하기 위하여, 상기 3차원 지도에 반영된 에지점을 현재 영상 프레임에 투영하는 전파 동작을 수행하는 것을 특징으로 하는 실시간 3차원 지도 구축 장치.
제 5항에 있어서, 상기 SAD 코스트는,
차량에 장착된 카메라의 이동 방향과 이동 거리에 대응하여, 이전 영상 프레임 및 현재 영상 프레임에서의 에지점들에 대한 패치 비교를 통해 상기 패치 값이 같은 정도를 SAD 코스트라고 하는 것을 특징으로 하는 실시간 3차원 지도 구축 장치.
실시간 3차원 지도 구축 장치의 제어부가 이전 영상 프레임의 에지점들의 3차원 지도 정보를 현재 영상 프레임으로 전파하는 단계;
상기 제어부가 미리 지정된 개수의 이전 영상 프레임들과 현재 영상 프레임 간의 에지점들의 뎁스에 따른 SAD 코스트들을 산출하는 단계;
상기 제어부가 상기 SAD 코스트들을 이용해 SAD 코스트 볼륨을 생성하여 현재 영상 프레임의 에지점들에 대한 최적의 새로운 3차원 거리 정보를 산출하는 단계; 및
상기 제어부가 상기 에지점들에 대한 기존의 3차원 거리 정보와 상기 현재 영상 프레임에 기초하여 상기 새로 구한 3차원 거리 정보에, 미리 지정된 비율을 적용하여 기존의 3차원 거리를 보정하여 새로운 3차원 거리 정보로 업데이트 하는 단계;를 포함하는 것을 특징으로 하는 실시간 3차원 지도 구축 방법.
제 9항에 있어서, 상기 SAD 코스트 볼륨을 생성하기 위하여,
상기 제어부가 이전 영상 프레임들 및 현재 영상 프레임에서 세미-덴스의 후보자로 지정되는 에지들의 각 에지점마다 에피폴 라인을 산출하는 단계;
상기 제어부가 상기 각 에지점들의 에피폴 라인을 각기 산출한 후, 상기 에피폴 라인들에 대하여 미리 지정된 복수의 뎁스로 샘플링 하여 현재 영상 프레임에서 이전 영상 프레임으로 재투영 하는 단계;
상기 제어부가 이전 영상 프레임에 재투영 된 각 에지점과 현재 영상 프레임에서의 각 에지점의 패치를 비교하여 SAD 코스트를 산출하는 단계;
상기 제어부가 이전 영상 프레임들 및 현재 영상 프레임에 대해서 상기 재투영 동작을 통한 패치 비교를 통해 SAD 코스트를 산출하고, 상기 산출한 SAD 코스트 값을 이용하여 SAD 코스트 볼륨을 생성하는 단계; 및
상기 제어부가 상기 SAD 코스트 볼륨에서 최적의 뎁스 값을 찾아 3차원 환경 지도에 적용하는 단계;를 포함하는 것을 특징으로 하는 실시간 3차원 지도 구축 방법.
제 10항에 있어서, 상기 재투영은,
상기 제어부가 현재 영상 프레임의 에지점들에 대한 뎁스를 3차원 지도에 반영하고, 이전 영상 프레임과 현재 영상 프레임의 비교를 통해 SAD 코스트를 산출하기 위하여, 상기 3차원 지도에 반영된 에지점을 이전 영상 프레임에 투영하는 동작을 의미하는 것을 특징으로 하는 실시간 3차원 지도 구축 방법.
제 10항에 있어서, 상기 에피폴 라인은,
에피폴 매칭을 통해 표현되는 정보로서, 상기 에피폴 매칭은 연속된 2개의 영상 프레임인 이전 영상 프레임과 현재 영상 프레임에 대하여 각각의 카메라 위치 정보를 알고 있다고 가정하고, 이전 영상에서의 한 에지점이 현재 영상 프레임에서 하나의 에피폴 라인으로 표현되고, 그 에피폴 라인 위를 서칭하며 가장 비슷한 점으로서, SAD 코스트 값이 최소인 에지점을 찾기 위한 정보인 것을 특징으로 하는 실시간 3차원 지도 구축 방법.
제 10항에 있어서, 상기 패치는,
에지점을 중심으로 일정하게 지정된 사각의 윈도우 영역인 것을 특징으로 하는 실시간 3차원 지도 구축 방법.