KR101988555B1

KR101988555B1 - 조명 불변 영상을 사용한 slam 시스템 및 점구름 지도 생성 방법

Info

Publication number: KR101988555B1
Application number: KR1020170165643A
Authority: KR
Inventors: 김곤우; 양은성
Original assignee: 충북대학교 산학협력단
Priority date: 2017-12-05
Filing date: 2017-12-05
Publication date: 2019-06-12

Abstract

본 발명의 점구름 지도(Pointcloud map)를 생성하는 SLAM(Simultaneous Localization And Mapping) 시스템에서, 컬러 영상(Color image)이 입력되면, 이를 1차원의 IIC(Illumination Invariant Channel) 영상으로 변환하기 위한 IIT(Illumination Invariant Transform) 모듈, 변환된 영상에서 미리 정해진 기준치 이상인 정보량이 높은 점(Point)을 검출하여 선택하기 위한 점 선택(Point Selection) 모듈, 상기 점 선택 모듈에서 검출된 점과 상기 IIC 영상을 통해 키프레임(keyframe)을 선택하여 키프레임 영상을 생성하기 위한 키프레임 선택(Keyframe Selection) 모듈, 상기 키프레임 선택 모듈로부터 입력받은 키프레임 영상과 이전에 입력받은 키프레임 영상 간의 자세(Pose) 변화 정보와, 입력받은 키프레임 영상에서 선택된 점들의 깊이 정보를 추정하여 점구름(Pointcloud) 정보를 출력하기 위한 DSO(Direct Sparse Odometry) 모듈, 상기 DSO 모듈에서 출력된 자세 변화 정보와 점구름 정보를 자세 그래프 형태로 구성하기 위한 그래프 구성(Graph Construction) 모듈, 상기 키프레임 선택 모듈로부터 입력받은 키프레임 영상을 BBoWs(Binary Bag of Words) 형태로 구성하여 신(scene)을 생성하기 위한 BWSR(Bag of Words Scene Representation) 모듈, 이전에 입력받은 기존 신(scene)과 새로 입력받은 새로운 신 간의 매칭(matching)을 진행하고, 매칭률이 미리 정해진 임계값을 넘으면 루프 클로저(Loop Closure)가 검출된 것으로 가정하고, 기존 신과 새로운 신 간의 상관관계를 생성하기 위한 루프 클로저 검출(Loop Closure Detection) 모듈 및 상기 루프 클로저 검출 모듈로부터 입력받은 루프 클로저 상관관계를 이용하여 각 신(scene) 간의 기하학적인 상관관계를 검출하고, 이를 이용하여 점구름 지도(Pointcloud Map)를 최적화하여 출력하기 위한 지도 최적화 모듈을 포함한다.

Description

조명 불변 영상을 사용한 SLAM 시스템 및 점구름 지도 생성 방법 {Simultaneous localization and mapping system using illumination invariant image, and method for mapping pointcloud thereof}

본 발명은 SLAM(Simultaneous Localization And Mapping) 에 관한 것으로서, 더욱 상세하게는 조명 불변 영상을 사용한 SLAM 시스템에 관한 것이다.

로봇이란 사람의 모습을 한 인형 내부에 기계장치를 조립해 넣고, 손발과 그 밖의 부분을 본래의 사람과 마찬가지로 동작하도록 만든 자동인형을 말한다. 그러나 최근에는 사람의 모습 여부를 떠나서 자율적으로 어떠한 임무를 수행하는 자동 장치를 통칭하게 되었다.

특히 이동 로봇의 경우, 극한 환경 또는 위험 지역에서 사람을 대신하여 작업을 수행할 수 있기 때문에 많은 각광을 받고 있다. 또한 청소 로봇과 같이 자율적으로 집안을 돌아다니면서 가사 업무를 도와주는 가정용 이동 로봇도 다수 보급되었다.

이처럼 이동로봇이 실생활 공간에서 동작을 하기 위해서, 로봇은 특정 센서를 통해 로봇이 동작하는 주변환경에 관한 정보를 탐지하고 이를 기반으로 자신의 위치를 인식하는 것이 필요하다. 이러한 기술을 SLAM(Simultaneous Localization And Mapping) 이라고 한다.

최근에 증강현실이나 자동차의 자율주행에 관한 연구가 활발하게 진행됨에 따라, SLAM 문제의 중요성은 더욱 대두되고 있다. 특히, 자율주행 자동차가 효율적으로 주행하기 위해서는 센서로부터 취득한 정보를 통하여 주행중인 자동차 주변에 관한 정밀한 환경지도가 필수적이며, 이러한 지도작성에는 자동차의 정밀한 위치인식이 수반되어야 한다.

최근 모바일 통신기기 시장이 성장함에 따라, 카메라를 사용한 vSLAM(visual Simultaneous Localization And Mapping) 기술이 다양한 활용 가능성을 가진 것으로 급부상하고 있다. 이러한 vSLAM에는 영상에서의 특징을 검출하여 사용하는 특징 기반의 vSLAM과, 영상 전체의 정보를 사용하는 DM(Direct Methods) 기반의 vSLAM으로 크게 구분할 수 있다. 연산량의 이점과 여러 강인성이 보장되기 때문에 전통적으로 특징 기반의 vSLAM이 주류를 이루고 있었지만, 최근에 하드웨어 기술의 발전으로 보다 많은 양의 데이터를 실시간 연산 처리가 가능해짐에 따라, 영상 전체의 정보를 사용할 수 있는 DM 기반의 vSLAM이 주목받고 있다.

DM 기반의 vSLAM에서 영상 간의 자세변화량은 영상 간의 매칭을 통해 이루어진다. 그런데, 이러한 매칭 방법에 전체 영상을 사용하는 것은 너무 많은 정보가 오차로 작용하며, 더 나아가서 계산량의 증가로 이어진다는 문제점이 있다.

대한민국 등록특허 10-1439921

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 특징점 검출자와 기술자가 없는 DM(Direct Method)을 위한, 정보량이 높은 점을 영상에서 검출하는 방법을 제안하는데 그 목적이 있다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

이와 같은 목적을 달성하기 위한 본 발명의 점구름 지도(Pointcloud map)를 생성하는 SLAM(Simultaneous Localization And Mapping) 시스템에서, 컬러 영상(Color image)이 입력되면, 이를 1차원의 IIC(Illumination Invariant Channel) 영상으로 변환하기 위한 IIT(Illumination Invariant Transform) 모듈, 변환된 영상에서 미리 정해진 기준치 이상인 정보량이 높은 점(Point)을 검출하여 선택하기 위한 점 선택(Point Selection) 모듈, 상기 점 선택 모듈에서 검출된 점과 상기 IIC 영상을 통해 키프레임(keyframe)을 선택하여 키프레임 영상을 생성하기 위한 키프레임 선택(Keyframe Selection) 모듈, 상기 키프레임 선택 모듈로부터 입력받은 키프레임 영상과 이전에 입력받은 키프레임 영상 간의 자세(Pose) 변화 정보와, 입력받은 키프레임 영상에서 선택된 점들의 깊이 정보를 추정하여 점구름(Pointcloud) 정보를 출력하기 위한 DSO(Direct Sparse Odometry) 모듈, 상기 DSO 모듈에서 출력된 자세 변화 정보와 점구름 정보를 자세 그래프 형태로 구성하기 위한 그래프 구성(Graph Construction) 모듈, 상기 키프레임 선택 모듈로부터 입력받은 키프레임 영상을 BBoWs(Binary Bag of Words) 형태로 구성하여 신(scene)을 생성하기 위한 BWSR(Bag of Words Scene Representation) 모듈, 이전에 입력받은 기존 신(scene)과 새로 입력받은 새로운 신 간의 매칭(matching)을 진행하고, 매칭률이 미리 정해진 임계값을 넘으면 루프 클로저(Loop Closure)가 검출된 것으로 가정하고, 기존 신과 새로운 신 간의 상관관계를 생성하기 위한 루프 클로저 검출(Loop Closure Detection) 모듈 및 상기 루프 클로저 검출 모듈로부터 입력받은 루프 클로저 상관관계를 이용하여 각 신(scene) 간의 기하학적인 상관관계를 검출하고, 이를 이용하여 점구름 지도(Pointcloud Map)를 최적화하여 출력하기 위한 지도 최적화 모듈을 포함한다.

는 각 영역의 기울기의 평균 값이고 t_th는 전역 상수라고 할 때, 상기 점 선택 모듈은 변환된 영상을 r×r개의 영역으로 분할하여 RAGT(Region-Adaptive Gradient Threshold)를 산출하고, 산출된 RAGT를 이용하여 각 영역마다 기울기 임계 값

를 계산하고, 어느 영역의 임계 값이 RAGT를 초과하는 경우, 해당 영역 안에서의 가장 큰 기울기를 가지는 점을 선택하고, 어느 영역의 임계 값이 RAGT를 초과하지 못 할 경우, 해당 영역 안에서는 점을 선택하지 않는다.

본 발명의 SLAM(Simultaneous Localization And Mapping) 시스템에서의 점구름 지도 생성 방법에서, 컬러 영상(Color image)이 입력되면, 이를 1차원의 IIC(Illumination Invariant Channel) 영상으로 변환하는 단계, 변환된 영상에서 미리 정해진 기준치 이상인 정보량이 높은 점(Point)을 검출하여 선택하기 위한 점 선택 단계, 검출된 점과 상기 IIC 영상을 통해 키프레임(keyframe)을 선택하여 키프레임 영상을 생성하기 위한 키프레임 선택 단계, 상기 키프레임 선택 단계에서 생성된 키프레임 영상과 이전에 입력된 키프레임 영상 간의 자세(Pose) 변화 정보와, 입력받은 키프레임 영상에서 선택된 점들의 깊이 정보를 추정하여 점구름(Pointcloud) 정보를 출력하는 단계, 상기 자세 변화 정보와 상기 점구름 정보를 자세 그래프 형태로 구성하기 위한 그래프 구성 단계, 상기 키프레임 선택 단계에서 생성된 키프레임 영상을 BBoWs(Binary Bag of Words) 형태로 구성하여 신(scene)을 생성하는 단계, 이전에 입력된 기존 신(scene)과 새로 입력된 새로운 신 간의 매칭(matching)을 진행하고, 매칭률이 미리 정해진 임계값을 넘으면 루프 클로저(Loop Closure)가 검출된 것으로 가정하고, 기존 신과 새로운 신 간의 상관관계를 생성하기 위한 루프 클로저 검출 단계 및 상기 루프 클로저 상관관계를 이용하여 각 신(scene) 간의 기하학적인 상관관계를 검출하고, 이를 이용하여 점구름 지도(Pointcloud Map)를 최적화하여 출력하는 단계를 포함한다.

는 각 영역의 기울기의 평균 값이고 t_th는 전역 상수라고 할 때, 상기 점 선택 단계는 변환된 영상을 r×r개의 영역으로 분할하여 RAGT(Region-Adaptive Gradient Threshold)를 산출하고, 산출된 RAGT를 이용하여 각 영역마다 기울기 임계 값

본 발명에 의하면, 점구름 정보와 카메라의 자세 정보를 이용하여 최적화된 지도 정보를 획득할 수 있는 효과가 있다.

또한, 본 발명에 의하면, SLAM에서 조명 불변 영상을 사용함으로써, 조명 환경과 관계없이 동일한 지도를 생성할 수 있으며, 다른 시간에 취득된 영상을 통해서도 위치를 인식할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 SLAM 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 SLAM 시스템에서의 점구름 지도 생성 방법을 보여주는 흐름도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

DM(Direct Methods) 기반의 vSLAM(visual Simultaneous Localization And Mapping) 기술에 적용하기 위한 조명에 강인한 영상 처리 방법에 관하여 설명하면 다음과 같다.

카메라 센서의 입력 값은 조명의 강도와 빛을 반사시킨 물체의 반사율, 반사 각도등 여러가지 요소로부터 영향을 받는다. 따라서 본 발명에서는 조명으로부터의 영향을 제거하여, 조명의 강도나 종류에 상관 없이 동일한 영상을 취득할 수 있는 IIC(Illumination Invariant Channel)를 사용하여 영상을 취득한다.

F(λ)의 스펙트럼 감도를 가진 선형 영상 센서 R에, E(λ)의 스펙트럼 파워 분포를 가진 광원으로부터 표면 반사율이 S(λ)인 물체로부터 반사되어 입사된 센서 입력 값은 다음 식과 같다.

여기서,

와

는 광원과 반사면 간의 반사각을 나타내는 단위 벡터이고,

는 영상에서의 점 x에서의 빛의 세기이다.

수학식 1에서 조명 불변성을 보장하는 영상을 획득하기 위해서는 S^x(λ)를 남기고 E^x(λ)와 I^x를 최소화 해야한다. 수학식 1의 스펙트럼 감도 함수 F(λ)를 파장 λ_i에대한 Dirac delta 함수로 표현 할 수 있고, 식은 다음과 같다.

수학식 2에서 logarithm을 취하면 요소를 분해할 수 있고, 식은 다음과 같다.

수학식 3은 조명 강도와 기하 벡터 요소, 조명 스펙트럼 요소, 반사율 요소, 3가지 요소의 선형식으로 표현된다.

실험을 통해 자연광은 가시광선 영역 안에서는 4,000~25,000K의 색온도를 가진 Planckian 궤적을 따라가는 것을 확인하였다. 이러한 조건은 일출부터 일몰까지, 구름 여부와 관계 없이 다양한 대기조건에서 만족된다는 것을 확인할 수 있다. 따라서, 수학식 3에서 광원 스펙트럼 함수 E^x(λ_i)는 Planckian 요소로 근사될 수 있고, 근사된 식은 다음과 같다.

여기서, h는 Planck 상수이고, c는 광속이고, k_B는 Boltzmann 상수이고, T는 black-body 색온도를 나타낸다.

수학식 4에서의 첫번째 항과 세번째 항은 다른 파장을 가진 입력을 가함으로 제거될 수 있다. 본 발명에서는 각각 파장의 길이가 다른 카메라 센서의 RGB채널의 입력을 각 채널의 최대 스펙트럼 응답에 따른 α의 비율로 더해줌으로써, 수학식 4의 첫번째 항과 세번째 항을 소거하고, 이를 통해 1차원 색공간인 IIC를 구성한다. 각각 센서의 채널 입력을 R₁, R₂, R₃로 가정하고 채널 별로 파장의 길이는 λ₁<λ₂<λ₃이다. IIC Ι는 다음 수학식과 같다.

트루 컬러를 결정하는 데에는 최소 4개 이상의 스펙트럼 응답이 필요하지만, DM(direct method)에서는 색정보가 아닌 조명에 불변한 빛의 강도 정보가 필요하기 때문에 다음과 같은 3개의 채널로 구성된 IIC로도 충분하다는 것을 확인할 수 있다. 위 수학식 5를 만족시키기 위해서는 매개변수 α가 다음과 같은 수학식 6을 만족해야만 하고, 만족할 시 3번째 항은 소거되므로 색온도 T와는 독립적이다.

이를 간단하게 표현하면 다음 식과 같다.

수학식 7에 각 센서 채널의 최대 스펙트럼 응답을 적용하면 매개변수 α의 값을 결정할 수 있다. 이러한 최대 스펙트럼 응답 값은 일반적인 카메라의 데이터 시트를 참고하여 확인 할 수 있고, 기존 방식과는 달리 학습의 과정이 필요없다는 장점을 가지고 있다. 이렇게 구해진 α 값을 사용하여 단순 연산을 통해 IIC Ι를 취득할 수 있다.

본 발명에서는 이상에서 설명한 방법을 통해 취득된 IIC로부터 얻어진 조명 불변 이미지가 사용된다. 이러한 이미지를 통해 자연광 상태에서 조명의 강도나 방향으로 인해 그림자가 생긴 상황과 같은 환경에서도, 동일한 위치에서 동일한 점을 선택할 수 있다.

본 발명에서는 강인한 점 선택을 위해 다음과 같은 두 가지에 초점을 맞춘다.

(1) 선택된 점이 이미지 상에 고루 분포되어 있어야 한다.

(2) 점의 기울기가 주변의 점들과 비교하여 충분히 커야 한다.

이러한 제약조건을 만족시키기 위해 먼저 이미지를 r×r개의 영역으로 분할하여 RAGT(Region-Adaptive Gradient Threshold)를 얻는다. 이렇게 계산된 RAGT를 사용하여 각 영역마다 기울기 임계 값

를 계산한다.

는 각 영역의 기울기의 평균 값이고 t_th는 전역 상수이다.

본 발명에서 전 이미지 영역에 걸쳐서 동일한 점을 선택하기 위해, 이미지를 r×r개의 영역으로 나누고, 각 영역의 임계 값이 RAGT 를 초과하는 경우, 영역 안에서의 가장 큰 기울기를 가지는 점을 선택한다. 만약 영역의 임계 값이 RAGT를 넘지 못 할 경우, 그 영역 안에서는 점을 선택하지 않는다. 이러한 방법은 보다 다양한 분포의 점을 얻기 위한 방법이다. 예를 들어, 점을 충분히 얻기 위해서는 영역의 크기를 변경하고 임계 값을 낮춘 후, 다음과 같은 방법을 두 번 더 반복한다. 줄여진 영역의 크기는 각각 2r과 4r의 크기를 가진다. 이러한 방법을 통해 한 이미지 안에서 총 n_p개의 점을 선택한다.

DM의 경우 동일한 위치에서 취득된 영상이라고 할지라도 조명 상태에 따라서 매칭이 불가능한 문제를 가지고 있다. DM은 특징을 검출하지 않고 점을 선택한 후 점 간의 밝기 값을 매칭하기 때문에, 동일한 위치의 점이 선택되는 것과 동시에 동일한 밝기 값을 가지고 있는 것이 매우 중요한 이슈이다. 만약에 이것이 만족되지 않는다면 지도 작성 후 조명이 달라진 상황(예를 들어, 야외 환경에서 동일 위치를 다른 시간에 방문한 경우 등)에서 작성된 지도를 가지고 위치 인식이 불가능 할 수도 있다.

따라서, 본 발명에서는 이러한 DM방법을 SLAM에 적용하기 위해서 원본 이미지를 SLAM 프레임워크(framework)에 사용하는 것이 아닌, 조명 상황과 관계 없이 동일한 영상을 취득 가능한 IIC 영상을 사용함으로써, DM을 SLAM 기술에 확장시킨다. 즉, 본 발명에서는 조명 불변한 영상을 사용하여 점을 선택하고, 점의 밝기 값을 결정함으로써, 조명 변화와 관계 없이 동일한 위치의 점을 선택할 수 있고, 동일한 밝기 값을 취득할 수 있다.

본 발명에서는 제안한 IIC와 점 선택 알고리즘을 사용한 SLAM 프레임워크(framework)를 제공한다.

그리고, DM를 사용한 카메라 자세(pose) 정보 추정에는 DSO(Direct Sparse Odometry) 알고리즘을 사용한다.

DSO를 통해 취득된 자세정보와 점구름 정보는 GTSAM 라이브러리를 통해 자세 그래프 형태로 구성된다.

그리고, 전역 루프 클로저 검출(Loop Closure Detection, LCD)를 위해 영상정보의 상의 검출된 특징의 이진 기술자를 코드북 형태로 관리하며, 영상 간의 매칭을 진행하는 BBoWs(Binary Bag of Words) 알고리즘을 사용한다. 전체적인 동작 과정은 다음 도 1 및 도 2에 도시된 바와 같다.

도 1은 본 발명의 일 실시예에 따른 SLAM 시스템의 구성도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 SLAM 시스템은 IIT 모듈(110), 점 선택 모듈(120), 키프레임 선택 모듈(130), DSO 모듈(140), 그래프 구성 모듈(150), BWSR 모듈(160), 루프 클로저 검출 모듈(170), 지도 최적화 모듈(180)을 포함한다.

먼저 카메라로부터 컬러 영상(Color image)이 입력되면, IIT(Illumination Invariant Transform) 모듈(110)에서 컬러 영상을 1차원의 IIC 영상으로 변환한다.

그리고, 변환된 영상은 점 선택(Point Selection) 모듈(120)로 넘어가고, DM을 위한 점 선택 알고리즘을 통해 영상으로부터 정보량이 높은 점이 검출된다.

그리고, 키프레임 선택(Keyframe Selection) 모듈(130)은 검출된 점과 IIC 영상을 통해 키프레임(keyframe)을 선택한다.

키프레임 선택 모듈(130)에서 선택된 키프레임 영상(Keyframe image)은 두가지 모듈에서 사용되는데, 먼저 지도 작성을 위한 DSO(Direct Sparse Odometry) 모듈(140)에서 사용된다.

DSO 모듈(140)은 입력받은 영상과 이전에 입력받은 영상 간의 자세(Pose) 변화 정보와, 입력받은 영상에서 선택된 점들의 깊이 정보를 추정하여 점구름(Pointcloud) 정보를 출력한다.

이렇게 취득된 자세정보와 점구름 정보는 그래프 구성(Graph Construction) 모듈(150)에서 자세 그래프 형태로 구성되고, 이후 최적화되어 점구름(Pointcloud) 지도(Map)를 반환한다.

그리고, BWSR(Bag of Words Scene Representation) 모듈(160)에서는 입력받은 키프레임(keyframe) 이미지를 BBoWs 형태로 구성하여 신(scene)을 생성하고, 생성된 신(scene)을 루프 클로저 검출(Loop Closure Detection) 모듈(170)로 전달한다.

루프 클로저 검출 모듈(170)에서는 기존에 입력되었던 신(scene)과 새로 입력받은 신 간의 매칭을 진행하고, 매칭률이 임계값을 넘으면 루프 클로저(Loop Closure)가 검출된 것으로 가정하고, 기존 신과 새로운 신 간의 상관관계를 지도 최적화 모듈(180)에 전달한다.

지도 최적화 모듈(180)은 입력받은 루프 클로저 상관관계를 가지고 각 신(scene) 간의 기하학적인 상관관계를 찾아낸 후, 지도를 최적화한다. 최적화에는 GTSAM 라이브러리가 사용된다. 최종적으로, 최적화된 점구름 지도(Pointcloud Map)가 반환되고, 이러한 과정은 새로운 컬러 영상이 입력될 때마다 반복된다.

본 발명의 일 실시예에서

는 각 영역의 기울기의 평균 값이고 t_th는 전역 상수라고 할 때, 점 선택 모듈(120)은 변환된 영상을 r×r개의 영역으로 분할하여 RAGT(Region-Adaptive Gradient Threshold)를 산출하고, 산출된 RAGT를 이용하여 각 영역마다 기울기 임계 값

를 계산하고, 어느 영역의 임계 값이 RAGT를 초과하는 경우, 해당 영역 안에서의 가장 큰 기울기를 가지는 점을 선택하고, 어느 영역의 임계 값이 RAGT를 초과하지 못 할 경우, 해당 영역 안에서는 점을 선택하지 않을 수 있다.

도 2는 본 발명의 일 실시예에 따른 SLAM 시스템에서의 점구름 지도 생성 방법을 보여주는 흐름도이다.

도 2를 참조하면, 컬러 영상(Color image)이 입력되면(S200), 이를 1차원의 IIC(Illumination Invariant Channel) 영상으로 변환한다(S210).

그리고, 변환된 영상에서 미리 정해진 기준치 이상인 정보량이 높은 점(Point)을 검출하여 선택한다(S220).

그리고, 검출된 점과 IIC 영상을 통해 키프레임(keyframe)을 선택하여 키프레임 영상을 생성한다(S230).

그리고, S230 단계에서 생성된 키프레임 영상과 이전에 입력된 키프레임 영상 간의 자세(Pose) 변화 정보와, 입력받은 키프레임 영상에서 선택된 점들의 깊이 정보를 추정하여 점구름(Pointcloud) 정보를 출력한다(S240).

그리고, 자세 변화 정보와 점구름 정보를 자세 그래프 형태로 구성한다(S250).

그리고, S230 단계에서 생성된 키프레임 영상을 BBoWs(Binary Bag of Words) 형태로 구성하여 신(scene)을 생성한다(S260).

그리고, 이전에 입력된 기존 신(scene)과 새로 입력된 새로운 신 간의 매칭(matching)을 진행하고, 매칭률이 미리 정해진 임계값을 넘으면 루프 클로저(Loop Closure)가 검출된 것으로 가정하고, 기존 신과 새로운 신 간의 상관관계를 생성한다(S270).

그리고, 루프 클로저 상관관계를 이용하여 각 신(scene) 간의 기하학적인 상관관계를 검출하고, 이를 이용하여 점구름 지도(Pointcloud Map)를 최적화하여 출력한다(S280).

는 각 영역의 기울기의 평균 값이고 t_th는 전역 상수라고 할 때, S230 단계는 변환된 영상을 r×r개의 영역으로 분할하여 RAGT(Region-Adaptive Gradient Threshold)를 산출하고, 산출된 RAGT를 이용하여 각 영역마다 기울기 임계 값

이상에서 설명한 바와 같이, 본 발명에서는 컬러 이미지에 대한 점구름 정보와 카메라의 자세 정보를 사용하여 최적화 된 지도 정보를 획득할 수 있다. 또한, 조명 불변 영상을 사용함으로써, 조명 환경과 관계 없이 동일한 지도를 획득할 수 있을 뿐만 아니라, 다른 시간에 취득된 영상을 통해서도 위치 인식이 가능하다. 또한, 이 영상을 사용하여 BBoWs를 구성함으로써, 신(scene) 매칭을 보다 강인하게 적용할 수 있다. 이러한 구성을 통해 본 발며에서 제안하는 SLAM 프레임워크(framework)는 다양한 환경과 다양한 시간대에 기술을 적용할 수 있고, 환경과 상관 없이 위치 인식이 가능하다는 장점이 있다.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.

110 IIT 모듈 120 점 선택 모듈
130 키프레임 선택 모듈 140 DSO 모듈
150 그래프 구성 모듈 160 BWSR 모듈
170 루프 클로저 모듈 180 지도 최적화 모듈

Claims

점구름 지도(Pointcloud map)를 생성하는 SLAM(Simultaneous Localization And Mapping) 시스템에서,
컬러 영상(Color image)이 입력되면, 이를 1차원의 IIC(Illumination Invariant Channel) 영상으로 변환하기 위한 IIT(Illumination Invariant Transform) 모듈;
변환된 영상에서 미리 정해진 기준치 이상인 정보량이 높은 점(Point)을 검출하여 선택하기 위한 점 선택(Point Selection) 모듈;
상기 점 선택 모듈에서 검출된 점과 상기 IIC 영상을 통해 키프레임(keyframe)을 선택하여 키프레임 영상을 생성하기 위한 키프레임 선택(Keyframe Selection) 모듈;
상기 키프레임 선택 모듈로부터 입력받은 키프레임 영상과 이전에 입력받은 키프레임 영상 간의 자세(Pose) 변화 정보와, 입력받은 키프레임 영상에서 선택된 점들의 깊이 정보를 추정하여 점구름(Pointcloud) 정보를 출력하기 위한 DSO(Direct Sparse Odometry) 모듈;
상기 DSO 모듈에서 출력된 자세 변화 정보와 점구름 정보를 자세 그래프 형태로 구성하기 위한 그래프 구성(Graph Construction) 모듈;
상기 키프레임 선택 모듈로부터 입력받은 키프레임 영상을 BBoWs(Binary Bag of Words) 형태로 구성하여 신(scene)을 생성하기 위한 BWSR(Bag of Words Scene Representation) 모듈;
이전에 입력받은 기존 신(scene)과 새로 입력받은 새로운 신 간의 매칭(matching)을 진행하고, 매칭률이 미리 정해진 임계값을 넘으면 루프 클로저(Loop Closure)가 검출된 것으로 가정하고, 기존 신과 새로운 신 간의 상관관계인 루프 클로저 상관관계를 생성하기 위한 루프 클로저 검출(Loop Closure Detection) 모듈; 및
상기 루프 클로저 검출 모듈로부터 입력받은 루프 클로저 상관관계를 이용하여 각 신(scene) 간의 기하학적인 상관관계를 검출하고, 이를 반영한 점구름 지도(Pointcloud Map)를 출력하기 위한 지도 최적화 모듈을 포함하는 SLAM 시스템.
청구항 1에 있어서,

는 각 영역의 기울기의 평균 값이고 t_th는 전역 상수라고 할 때,
상기 점 선택 모듈은 변환된 영상을 r×r개의 영역으로 분할하여 RAGT(Region-Adaptive Gradient Threshold)를 산출하고, 산출된 RAGT를 이용하여 각 영역마다 기울기 임계 값
를 계산하고, 어느 영역의 임계 값이 RAGT를 초과하는 경우, 해당 영역 안에서의 가장 큰 기울기를 가지는 점을 선택하고, 어느 영역의 임계 값이 RAGT를 초과하지 못 할 경우, 해당 영역 안에서는 점을 선택하지 않는 것을 특징으로 하는 SLAM 시스템.
SLAM(Simultaneous Localization And Mapping) 시스템에서의 점구름 지도 생성 방법에서,
컬러 영상(Color image)이 입력되면, 이를 1차원의 IIC(Illumination Invariant Channel) 영상으로 변환하는 단계;
변환된 영상에서 미리 정해진 기준치 이상인 정보량이 높은 점(Point)을 검출하여 선택하기 위한 점 선택 단계;
검출된 점과 상기 IIC 영상을 통해 키프레임(keyframe)을 선택하여 키프레임 영상을 생성하기 위한 키프레임 선택 단계;
상기 키프레임 선택 단계에서 생성된 키프레임 영상과 이전에 입력된 키프레임 영상 간의 자세(Pose) 변화 정보와, 입력받은 키프레임 영상에서 선택된 점들의 깊이 정보를 추정하여 점구름(Pointcloud) 정보를 출력하는 단계;
상기 자세 변화 정보와 상기 점구름 정보를 자세 그래프 형태로 구성하기 위한 그래프 구성 단계;
상기 키프레임 선택 단계에서 생성된 키프레임 영상을 BBoWs(Binary Bag of Words) 형태로 구성하여 신(scene)을 생성하는 단계;
이전에 입력된 기존 신(scene)과 새로 입력된 새로운 신 간의 매칭(matching)을 진행하고, 매칭률이 미리 정해진 임계값을 넘으면 루프 클로저(Loop Closure)가 검출된 것으로 가정하고, 기존 신과 새로운 신 간의 상관관계인 루프 클로저 상관관계를 생성하기 위한 루프 클로저 검출 단계; 및
상기 루프 클로저 상관관계를 이용하여 각 신(scene) 간의 기하학적인 상관관계를 검출하고, 이를 반영한 점구름 지도(Pointcloud Map)를 출력하는 단계를 포함하는 SLAM 시스템에서의 점구름 지도 생성 방법.
청구항 3에 있어서,

는 각 영역의 기울기의 평균 값이고 t_th는 전역 상수라고 할 때,
상기 점 선택 단계는 변환된 영상을 r×r개의 영역으로 분할하여 RAGT(Region-Adaptive Gradient Threshold)를 산출하고, 산출된 RAGT를 이용하여 각 영역마다 기울기 임계 값
를 계산하고, 어느 영역의 임계 값이 RAGT를 초과하는 경우, 해당 영역 안에서의 가장 큰 기울기를 가지는 점을 선택하고, 어느 영역의 임계 값이 RAGT를 초과하지 못 할 경우, 해당 영역 안에서는 점을 선택하지 않는 것을 특징으로 하는 SLAM 시스템에서의 점구름 지도 생성 방법.