KR101880185B1 - 이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법 - Google Patents

Abstract

이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법이 제공된다. 이동체 포즈 추정을 위한 전자 장치는 하나 이상의 카메라 및 GPS/IMU(Global Positioning System/Inertial Measurement Unit) 센서가 구비된 이동체와 통신하는 통신 인터페이스부와, 하나 이상의 카메라가 이동체의 전후측방 중 적어도 하나를 촬영한 영상, GPS/IMU 센서가 센싱한 이동체의 위치정보와 방향 정보, 및 이동체의 위치와 방향을 보정하기 위한 기준이 되는 시맨틱 지도를 이용하여 이동체의 포즈를 추정하는 포즈 추정 프로그램이 저장되는 메모리와, 저장된 포즈 추정 프로그램을 실행하여 위치정보와 방향정보로부터 이동체의 초기 포즈 정보를 추정하고, 시맨틱 지도 내에서 초기 포즈 정보를 기준으로 시맨틱 비교 영역을 설정하고, 촬영된 영상을 분석하여 영상 분석 정보를 획득한 후, 설정된 시맨틱 비교 영역과 영상 분석 정보를 비교하여 이동체의 포즈를 최종 추정하는 프로세서를 포함하고, 시맨틱 지도, 시맨틱 비교 영역 및 영상 분석 정보는 도로와 비도로를 포함하는 다수의 클래스들로 분류된 지도 및/또는 영상이다.

Description

이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법{Electronic apparatus for estimating pose of moving object and method thereof}

본 발명은 이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법에 관한 것으로서, 보다 상세하게는, 카메라와 비교적 중저가 사양의 GPS/IMU 센서를 사용하여 이동체의 위치와 방향, 즉, 이동체의 포즈를 정확히 추정할 수 있는 이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법에 관한 것이다.

일반적으로 전장에서 사용되는 무인 로봇과 같은 무인 이동체는 운용자가 원격통제장치에서 주행영상을 통해 무인 로봇의 전방 상황을 확인하고, 상황도에서 이동할 경로를 확인하면서 무인 이동체의 주행을 통제한다.

그러나 급변하는 전장상황에서 주행영상과 상황도를 각각 확인하면서 운용하기에는 어려우므로 최근에는 증강현실 기술을 적용하여 주행영상 위에 경로계획과 각종 상황정보를 전시하는 추세이며, 보다 정확히 경로계획과 상황정보를 주행영상에 정합하여 전시하기 위해서는 무인 이동체 자체의 위치를 정확히 추정하는 기술을 필요로 한다.

예를 들어, 기존에는 위성 항법 시스템을 이용하여 무인 이동체의 위치를 추정하고 있다. 그러나, 기존의 위성 항법 시스템은 환경적 영향에 따라 발생하는 오차가 커서 이 위성 항법 시스템에만 의존해서는 위치를 정확히 계산하는 것이 불가능하다.

따라서, 이러한 문제를 해결하기 위해 제안된 기술 중 하나로서 고정밀 GPS/IMU(Global Positioning System/Inertial Measurement Unit) 센서를 이용하여 센서 레벨에서 현 무인 이동체의 포즈를 추정하는 방법과, 다른 기술로서 LiDAR 센서를 통해서 주변의 지형지물을 감지하고, 이를 획득된 3차원 지도 정보와 비교함으로써 맵 매칭을 수행하는 방법이 있다.

그러나, 고정밀 GPS/IMU 센서를 이용하는 방법은 높은 가격대를 형성하는 고정밀 센서에 의존하므로 일반적인 중저가 사양의 무인 이동체에 적용하기는 어렵다. 또한, GPS를 기반으로 하는 방법은 수신 상황(Open-sky가 아닌 경우)에 따라 통제할 수 없는 방식으로 오차가 증가할 수 있다.

또한, LiDAR 센서를 이용하는 방법은 3차원 지도의 유지 및 보수가 필요하다는 단점이 있다.

국내 공개특허 제10-2014-0016781호

전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 고정밀 센서에 의존하지 않고도 카메라와 비교적 중저가 사양의 GPS/IMU 센서를 사용하여 이동체의 위치와 방향, 즉, 이동체의 포즈를 정확히 추정할 수 있는 이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법을 제시하는 데 있다.

본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따르면, 이동체 포즈 추정을 위한 전자 장치는, 하나 이상의 카메라 및 GPS/IMU(Global Positioning System/Inertial Measurement Unit) 센서가 구비된 이동체와 통신하는 통신 인터페이스부; 상기 하나 이상의 카메라가 상기 이동체의 전후측방 중 적어도 하나를 촬영한 영상, 상기 GPS/IMU 센서가 센싱한 상기 이동체의 위치정보와 방향 정보, 및 상기 이동체의 위치와 방향을 보정하기 위한 기준이 되는 시맨틱 지도를 이용하여 상기 이동체의 포즈를 추정하는 포즈 추정 프로그램이 저장되는 메모리; 및 상기 저장된 포즈 추정 프로그램을 실행하여 상기 위치정보와 방향정보로부터 상기 이동체의 초기 포즈 정보를 추정하고, 상기 시맨틱 지도 내에서 상기 초기 포즈 정보를 기준으로 시맨틱 비교 영역을 설정하고, 상기 촬영된 영상을 분석하여 영상 분석 정보를 획득한 후, 상기 설정된 시맨틱 비교 영역과 영상 분석 정보를 비교하여 상기 이동체의 포즈를 최종 추정하는 프로세서;를 포함하고, 상기 시맨틱 지도, 시맨틱 비교 영역 및 상기 영상 분석 정보는 도로와 비도로를 포함하는 다수의 클래스들로 분류된 지도 및/또는 영상이다.

상기 프로세서는, 상기 촬영된 영상을 분석하여 픽셀단위로 도로 및 배경으로 분류한 영상 분석 정보를 획득하는 영상 분석부; 상기 이동체의 위치정보와 방향정보로부터 상기 이동체의 초기 포즈 정보를 추정하는 초기 포즈 추정부; 상기 시맨틱 지도에서 상기 추정된 초기 포즈 정보 중 위치정보와 방위각 정보를 이용하여 기준점을 정하고, 상기 기준점을 기준으로 사전에 설정된 범위를 갖는 영역을 상기 시맨틱 비교 영역으로서 설정하는 시맨틱 비교 영역 설정부; 상기 설정된 시맨틱 비교 영역의 원점부터 상기 영상 분석 정보를 맵 매칭하여 상기 시맨틱 비교 영역 내에서 상기 영상 분석 정보와 오차가 가장 낮은 영역의 위치정보와 방향정보를 확인하는 맵 매칭부; 및 상기 초기 포즈 정보와 상기 맵 매칭부에서 확인된 위치정보와 방향정보를 더하여 상기 이동체의 포즈를 최종 추정하는 최종 포즈 추정부;를 포함한다.

상기 영상 분석부는, CNN(Convolutional Neural Network)을 사용하는 시맨틱 분할(Semantic Segmentation) 알고리즘을 적용하여 상기 촬영된 영상의 각 픽셀이 상기 도로 및 배경 중 어느 클래스에 속하는지를 판단 및 분류한다.

상기 맵 매칭부는, 상기 획득된 영상 분석 정보의 이미지 좌표계를 월드 좌표계로 변환하는 좌표계 변환부; 상기 월드 좌표계로 변환된 영상 분석 정보를 상기 시맨틱 비교 영역의 원점부터 설정된 거리 및/또는 각도만큼 이동하면서 맵 매칭하여 상기 원점 및 이동한 위치들에서 오차를 산출하는 오차 산출부; 및 상기 원점 및 이동한 위치들에서 산출된 오차들 중 가장 낮은 오차가 산출된 위치에 해당하는 위치정보와 방향정보를 확인하는 확인부;를 포함한다.

상기 오차 산출부는, 상기 시맨틱 비교 영역의 픽셀마다 분류된 클래스 종류와 상기 영상 분석 정보의 픽셀마다 분류된 클래스 종류에 따라 상이한 오차 가중치를 설정하여 픽셀 단위로 상기 영상 분석 정보와 시맨틱 비교 영역의 오차를 산출하며, 상기 시맨틱 비교 영역의 클래스는 도로, 주차장 및 배경으로 분류되고, 상기 영상 분석 정보의 클래스는 도로 및 배경으로 분류된다.

상기 오차 산출부는, 다음의 식을 이용하여 오차를 산출한다.

여기서,

는 상기 영상 분석 정보와 상기 시맨틱 비교 영역의 오차를 산출하기 위해 정의된 목적함수,

는 상기 위치정보와 방향정보, (x, y)는 월드 좌표계에서 픽셀의 위치,

는 상기 시맨틱 비교 영역,

는 상기 시맨틱 지도,

는 상기 영상 분석 결과,

는 상기 오차 가중치이다.

한편, 본 발명의 다른 실시 예에 따르면, 전자 장치의 이동체 포즈 추정 방법은, (A) 상기 전자 장치가, GPS/IMU(Global Positioning System/Inertial Measurement Unit) 센서가 센싱한 상기 이동체의 위치정보와 방향정보 및 하나 이상의 카메라가 상기 이동체의 전후측방 중 적어도 하나를 촬영한 영상을 상기 이동체로부터 수신하는 단계; (B) 상기 전자 장치가, 상기 수신되는 위치정보와 방향정보로부터 상기 이동체의 초기 포즈 정보를 추정하는 단계; (C) 상기 전자 장치가, 상기 수신되는 촬영 영상을 분석하여 영상 분석 정보를 획득하는 단계; 및 (D) 상기 전자 장치가, 상기 이동체의 위치와 방향을 보정하기 위한 기준이 되는 시맨틱 지도 내에서 상기 추정된 초기 포즈 정보를 기준으로 시맨틱 비교 영역을 설정하고, 상기 설정된 시맨틱 비교 영역과 영상 분석 정보를 비교하여 상기 이동체의 포즈를 추정 및 보정하는 단계;를 포함하고, 상기 시맨틱 지도, 시맨틱 비교 영역 및 상기 영상 분석 정보는 도로와 비도로를 포함하는 다수의 클래스들로 분류된 지도 및/또는 영상이다.

상기 (C) 단계는, 상기 전자 장치가, 상기 수신된 이동체의 전후측방 중 적어도 하나를 촬영한 영상을 분석하여 픽셀단위로 도로 및 배경으로 분류한 영상 분석 정보를 획득하고, 상기 (D) 단계는, (D1) 상기 전자 장치가, 상기 시맨틱 지도에서 상기 추정된 초기 포즈 정보 중 위치정보와 방위각 정보를 기준점으로 정하고, 상기 기준점을 기준으로 사전에 설정된 범위를 갖는 영역을 상기 시맨틱 비교 영역으로서 설정하는 단계; (D2) 상기 전자 장치가, 상기 설정된 시맨틱 비교 영역의 원점부터 상기 영상 분석 정보를 맵 매칭하여 상기 시맨틱 비교 영역 내에서 상기 영상 분석 정보와 오차가 가장 낮은 영역의 위치정보와 방향정보를 확인하는 단계; 및 (D3) 상기 전자 장치가, 상기 초기 포즈 정보와 상기 (D2) 단계에서 확인된 위치정보와 방향정보를 더하여 상기 이동체의 포즈를 최종 추정하는 단계;를 포함한다.

상기 (D2) 단계는, 상기 전자 장치가, 상기 (C) 단계에서 획득된 영상 분석 정보의 이미지 좌표계를 월드 좌표계로 변환하고, 상기 월드 좌표계로 변환된 영상 분석 정보를 상기 시맨틱 비교 영역의 원점부터 설정된 거리 및/또는 각도만큼 이동하면서 맵 매칭하여 상기 원점 및 이동한 위치들에서 오차를 산출한 후, 상기 원점 및 이동한 위치들에서 산출된 오차들 중 가장 낮은 오차가 산출된 위치에 해당하는 위치정보와 방향정보를 확인한다.

상기 (D2) 단계에서, 상기 전자 장치는, 상기 시맨틱 비교 영역의 픽셀마다 분류된 클래스 종류와 상기 영상 분석 정보의 픽셀마다 분류된 클래스 종류에 따라 상이한 오차 가중치를 설정하여 픽셀 단위로 상기 영상 분석 정보와 시맨틱 비교 영역의 오차를 산출하며, 상기 시맨틱 비교 영역의 클래스는 도로, 주차장 및 배경으로 분류되고, 상기 영상 분석 정보의 클래스는 도로 및 배경으로 분류된다.

본 발명에 따르면, 단안 카메라와 비교적 오차가 큰 GPS/IMU 센서를 사용함으로써 저렴한 비용으로 보다 정확히 이동체의 위치 또는 포즈를 추정할 수 있는 효과가 있다.

또한, 본 발명에 따르면, 주행체의 위치와 바라보는 방향에 대한 정확한 정보를 알 수 있어 자율주행에 필요한 제어 신호를 정확히 생성할 수 있는 효과가 있다.

또한, 본 발명에 따르면, 증강현실(Augmented Reality) 기반으로 서비스를 제공하는 네비게이션이나 원격 조정과 같이 이동체의 정확한 포즈 예측이 필수적인 분야에도 적용할 수 있다.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시 예에 따른 이동체 포즈 추정 시스템을 도시한 도면,
도 2는 본 발명의 실시 예에 다른 프로세서를 보다 자세히 도시한 블록도,
도 3은 영상 분석의 일 예를 보여주는 도면,
도 4는 시맨틱 지도, 시맨틱 비교 영역 및 영상 분석 정보의 관계를 보여주는 도면,
도 5는 도 2에 도시된 맵 매칭부를 보다 자세히 도시한 블록도, 그리고,
도 6은 본 발명의 실시 예에 의한 전자 장치의 이동체 포즈 추정 방법을 설명하기 위한 흐름도이다.

이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.

본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다.

본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시 예들은 그것의 상보적인 실시 예들도 포함한다.

또한, 제1 엘리먼트 (또는 구성요소)가 제2 엘리먼트(또는 구성요소) 상(ON)에서 동작 또는 실행된다고 언급될 때, 제1 엘리먼트(또는 구성요소)는 제2 엘리먼트(또는 구성요소)가 동작 또는 실행되는 환경에서 동작 또는 실행되거나 또는 제2 엘리먼트(또는 구성요소)와 직접 또는 간접적으로 상호 작용을 통해서 동작 또는 실행되는 것으로 이해되어야 할 것이다.

어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다.

또한, 어떤 엘리먼트(또는 구성요소)가 구현됨에 있어서 특별한 언급이 없다면, 그 엘리먼트(또는 구성요소)는 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어 어떤 형태로도 구현될 수 있는 것으로 이해되어야 할 것이다.

또한, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시 예들을 기술하는데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다.

어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.

이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다.

도 1에 도시된 이동체 포즈 추정을 위한 전자 장치(200)의 각각의 구성은 기능 및 논리적으로 분리될 수 있음을 나타내는 것이며, 반드시 각각의 구성이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것은 아님을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.

또한, 상기 이동체 포즈 추정을 위한 전자 장치(200)는 소정의 데이터 프로세싱 장치에 설치되어 본 발명의 기술적 사상을 구현할 수도 있다.

또한, 본 발명의 실시 예에 따른 상기 이동체 포즈 추정을 위한 전자 장치(200)는 예를 들면, 데스크탑 PC(Personal Computer), 서버, 랩탑 PC(Laptop PC), 넷북 컴퓨터(Netbook Computer) 등 프로그램의 설치 및 실행이 가능한 모든 전자기기들 중 하나일 수 있다.

도 1은 본 발명의 실시 예에 따른 이동체 포즈 추정 시스템을 도시한 도면이다.

도 1을 참조하면, 본 발명의 실시 예에 따른 이동체 포즈 추정 시스템은 이동체(100) 및 이동체 포즈 추정을 위한 전자 장치(200)를 포함한다.

이동체(100)는 전자 장치(200)의 원격 조종에 의해 적진과 같은 사람이 직접 탐색하기 어려운 장소에 진입하여 주변 영상을 촬영하고, 촬영된 영상을 전자 장치(200)로 전송할 수 있다. 이동체(100)의 예로서 무인 로봇, 무인 자동차와 같은 무인 이동체를 들 수 있다.

이동체(100)는 카메라부(110), GPS/IMU(Global Positioning System/Inertial Measurement Unit) 센서(120) 및 통신 인터페이스 회로(130)를 포함할 수 있다.

카메라부(110)는 이동체(100)의 전후측방 중 적어도 하나를 촬영하여 촬영된 영상을 출력하는 하나 이상의 카메라를 포함할 수 있다. 이동체(100)의 전방은 이동체(100)가 진행하는 방향을 바라보는 방향이고, 후방은 이동체(100)가 진행하는 방향의 반대 방향을 바라보는 방향이고, 측방은 이동체(100)의 좌우측면을 바라보는 방향을 의미한다. 카메라부(110)가 하나의 카메라만 포함하면, 기본적으로 이동체(100)의 전방을 촬영하도록 설정될 수 있다.

GPS/IMU 센서(120)는 이동체(100)의 현재 위치와 방향을 센싱하여 이동체(100)의 위치정보와 방향정보를 출력할 수 있다. 본 발명의 실시 예에서 사용되는 GPS/IMU 센서(120)는 고가의 고정밀 센서가 아니라 고정밀 센서에 비해 상대적으로 오차가 큰 저정밀 센서일 수 있다.

GPS/IMU 센서(120)의 GPS 센서는 이동체(100)의 현재 위치를 센싱한다.

GPS/IMU 센서(120)의 IMU 센서는 관성 측정 장치로서 이동체(100)의 3차원 회전 자세를 제공한다. 이를 위하여, GPS/IMU 센서(120)는 3차원 공간에서 앞뒤, 상하, 좌우 3축으로의 이동을 감지하는 가속도 센서와 피치(Pitch), 롤(Roll), 요(Yaw)의 3축 회전을 검출하는 자이로스코프 센서를 포함할 수 있으며, 결과적으로 이동체(100)의 방향(피치, 롤, 요)을 센싱할 수 있다.

통신 인터페이스 회로(130)는 전자 장치(200)와 원격 통신이 가능하다. 예를 들어, 통신 인터페이스 회로(130)는 카메라부(110)에 의해 촬영된 전후측방 중 적어도 하나의 영상과, 센서(120)에 의해 센싱된 이동체(100)의 위치정보와 방향정보를 전자 장치(200)에게 전송하고, 전자 장치(200)로부터 원격 제어 신호를 수신할 수 있다.

한편, 본 발명의 실시 예에 따른 이동체 포즈 추정을 위한 전자 장치(200)는 원격 제어에 의해서 또는 자율주행방식에 의해 이동이 가능한 이동체(100)의 위치와 방향, 즉, 이동체의 포즈를 보다 정확히 추정할 수 있다. 또한, 전자 장치(200)는 이동체(100)를 원격 제어하여 주변 탐색, 주변 촬영, 촬영된 주변 영상과 타겟의 증강현실 제공 등 다양한 동작을 원격 감시할 수 있다.

이를 위하여, 본 발명의 실시 예에 다른 이동체 포즈 추정을 위한 전자 장치(200)는 버스(210), 통신 인터페이스부(220), 사용자 인터페이스부(230), 메모리(240) 및 프로세서(250)를 포함할 수 있다.

버스(210)는 통신 인터페이스부(220), 사용자 인터페이스부(230), 메모리(240) 및 프로세서(250)를 서로 연결하고, 제어 메시지, 상태정보, 및/또는 데이터와 같은 각종 신호를 전달하는 회로를 포함할 수 있다.

통신 인터페이스부(220)는 이동체(100)와 전자 장치(200) 간의 무선 통신을 위한 장치이다. 예를 들어, 통신 인터페이스부(220)는 이동체(100)에게 원격 제어 명령을 전송하고, 이동체(100)로부터 이동체의 전후측방 중 적어도 하나를 촬영한 영상과, GPS/IMU 센싱 정보, 즉, 이동체(100)의 위치정보와 방향정보를 수신할 수 있다.

사용자 인터페이스부(230)는 사용자로부터 입력된 명령 또는 데이터를 전자 장치(200)의 다른 구성요소(들)에 전달할 수 있다. 또한, 사용자 인터페이스부(230)는 터치패널, 마우스 또는 키보드 등을 통해 사용자로부터 입력받은 명령 또는 데이터에 따라 다수의 화면들을 모니터에 표시할 수 있다.

예를 들어, 사용자 인터페이스부(230)는 사용자로부터 이동체(100)의 진행 방향에 대한 명령을 입력받거나, 이동체(100)로부터 수신된 촬영 영상과 타겟을 증강현실로 표시하도록 하는 명령을 입력받고, 촬영 영상과 타겟 증강현실로 구현하여 표시할 수 있다.

메모리(240)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(240)에는 전자 장치(200)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.

또한, 메모리(240)에는 이동체(100)의 위치와 방향을 보정하기 위한 기준이 되는 시맨틱 지도가 저장될 수 있다. 시맨틱(Semantic)은 컴퓨터(본 발명의 경우, 전자 장치(200))가 알 수 있도록 하는 의미있는 정보를 의미한다.

시맨틱 지도는 사전에 사용자가 수동으로 또는 자동으로 설정할 수 있으며, 이동체(100)의 위치와 방향을 보정하기 위해 후술할 맵 매칭 시 기준이 되는 지도이다. 시맨틱 지도 역시 컴퓨터가 알 수 있는 정보이므로 시맨틱이라는 용어가 사용된다.

또한, 메모리(240)에는 이동체(100)로부터 수신된 촬영 영상과 이동체(100)의 위치정보와 방향정보가 시간 별로 매칭되어 저장될 수 있다.

메모리(240)에 저장되는 프로그램은 카메라부(110)가 이동체(100)의 전후측방 중 적어도 하나를 촬영한 영상, GPS/IMU 센서(120)가 센싱한 이동체(100)의 위치정보와 방향 정보, 및 메모리(240)에 저장된 시맨틱 지도를 이용하여 이동체(100)의 포즈를 추정하는 다양한 명령어를 포함하는 포즈 추정 프로그램을 포함할 수 있다. 이동체(100)의 포즈는 이동체(100)의 GPS 센서에 의해 측정되는 위치와 IMU 센서에 의해 측정되는 방향(피치, 롤, 요)을 포함한다.

프로세서(250)는 전자 장치(200)에 저장된 하나 이상의 프로그램을 실행하여 전자 장치(200)의 전반적인 동작을 제어한다.

예를 들어, 프로세서(250)는 메모리(240)에 저장된 포즈 추정 프로그램을 실행하여 이동체(100)로부터 수신된 위치정보와 방향정보로부터 이동체(100)의 초기 포즈 정보를 추정하고, 저장된 시맨틱 지도 내에서 초기 포즈 정보를 기준으로 시맨틱 비교 영역을 설정하고, 촬영된 영상을 분석하여 영상 분석 정보를 획득한 후, 설정된 시맨틱 비교 영역과 영상 분석 정보를 비교하여 이동체의 포즈를 최종 추정(또는 보정)할 수 있다.

여기서, 시맨틱 지도, 시맨틱 비교 영역 및 영상 분석 정보는 도로와 비도로를 포함하는 다수의 클래스들로 분류된 지도 및/또는 영상을 의미할 수 있다.

자세히 설명하면, 메모리(240)에 저장된 시맨틱 지도는 월드 좌표계로 표시되고, 후술할 도 4에 도시된 M(x,y)를 예로 들 수 있다. 본 발명의 경우, 시맨틱 지도의 클래스는 도로, 주차장 및 배경으로 분류될 수 있으며, 이는 일 예로서, 더 세부적으로 분류가능함은 물론이다. 또한, 시맨틱 지도 정보는 월드 좌표계를 기준으로 정의된 지리적 위치 정보를 가지고 있으며, 시맨틱 지도는 각 위치의 지형 지물 정보(예를 들어, 도로, 건물, 나무 등)를 포함할 수 있다.

또한, 시맨틱 비교 영역은 시맨틱 지도의 일부에 해당하므로 시맨틱 비교 영역의 클래스들도 도로, 주차장 및 배경으로 분류될 수 있다.

또한, 영상 분석 정보의 클래스들은 도로와 비도로, 즉, 도로와 배경으로 분류될 수 있다.

클래스 분류는 사용자가 사전에 다수의 이미지 객체에 대해 수동으로 도로, 배경, 주차장 등의 클래스를 설정할 수 있다. 즉, 사용자가 포즈 추정 프로그램에 클래스 별로 기준값을 부여하면, 프로세서(250)가 기준값을 기준으로 실시간으로 입력되는 영상에 대해 도로, 배경, 주차장 등의 클래스를 분류할 수 있다.

도 2는 본 발명의 실시 예에 다른 프로세서(250)를 보다 자세히 도시한 블록도, 도 3은 영상 분석의 일 예를 보여주는 도면, 그리고, 도 4는 시맨틱 지도, 시맨틱 비교 영역 및 영상 분석 정보의 관계를 보여주는 도면이다.

도 2를 참조하면, 프로세서(250)는 영상 분석부(251), 초기 포즈 추정부(253), 시맨틱 비교 영역 설정부(255), 맵 매칭부(257) 및 최종 포즈 추정부(259)를 포함할 수 있다.

영상 분석부(251)는 카메라부(110)에 의해 촬영된 영상을 분석하여 픽셀단위로 도로 및 배경으로 분류한 영상 분석 정보를 획득할 수 있다. 즉, 영상 분석부(251)는 영상 분석 과정을 통해 도로를 포함한 다수의 클래스들로 픽셀을 분류하여 영상 분석 정보를 획득할 수 있다.

영상 분석부(251)는 도 3에 도시된 것처럼, 촬영된 영상(예를 들어, 이동체(100)의 전방 영상, 310)에 CNN(Convolutional Neural Network)을 사용하는 시맨틱 분할(Semantic Segmentation) 알고리즘을 적용하여, 촬영된 영상의 각 픽셀이 도로 및 배경 중 어느 클래스에 속하는지를 판단 및 분류하고, 분류된 클래스로 이루어진 영상 분석 정보(320)를 생성할 수 있다. 도 3에 도시된 영상 분석 정보(320)에서 점선 해칭은 도로 클래스, 흰색 공백은 배경 클래스를 의미한다.

다시 도 2를 참조하면, 초기 포즈 추정부(253)는 GPS/IMU 센서(120)에 의해 센싱된 이동체(100)의 위치정보와 방향정보로부터 이동체(100)의 초기 포즈 정보를 추정할 수 있다.

초기 포즈 추정부(253)는 이동체(100)에 카메라부(110)와 GPS/IMU 센서(120)가 고정 설치되어 있으므로, 카메라부(110)의 포즈는 GPS/IMU 센서(120)의 포즈와 강체 운동 관계로 표현할 수 있다. 관계식은 항법센서인 GPS/IMU 센서(120)와 카메라부(110) 간의 거리와 자세 차이값을 기반으로 항법센서의 좌표계를 카메라 기준의 좌표계로 변환해주는 식이다.

시맨틱 비교 영역 설정부(255)는 메모리(240)에 저장된 시맨틱 지도에서 초기 포즈 정보 중 위치정보와 방위각 정보(Yaw)를 이용하여 기준점을 정하고, 기준점을 기준으로 사전에 설정된 범위를 갖는 영역을 시맨틱 비교 영역으로서 설정할 수 있다.

도 4를 참조하면, 시맨틱 비교 영역 설정부(255)는 시맨틱 지도에서 초기 포즈 정보의 위치정보와 방위각 정보에 해당하는 S(x1, y1)를 기준점으로 정하고, 기준점인 S(x1, y1)를 기준으로 좌우로 12미터, 전방으로 36미터의 범위를 갖는 영역을 시맨틱 비교 영역으로서 설정할 수 있다. 이 때, 기준점 S(x1, y1)에서 전방과 좌우는 이동체(100)의 진행방향을 기준으로 하며, 따라서, 기준점의 전방은 이동체(100)의 전방과 일치할 수 있다. 시맨틱 비교 영역의 크기(좌우 12미터, 전방 36미터)는 일 예로서 이에 한정되지 않음은 물론이다.

도 4에서 점선 해칭은 도로 클래스(class1), 사선 해칭은 주차장 클래스(class2), 흰 공백은 배경 클래스(class3)를 의미한다.

한편, 맵 매칭부(257)는 시맨틱 비교 영역 설정부(255)에서 설정된 시맨틱 비교 영역의 원점부터 영상 분석 정보(320)를 맵 매칭하여 시맨틱 비교 영역 내에서 영상 분석 정보(320)와 오차가 가장 낮은 영역의 위치정보와 방향정보를 확인할 수 있다. 시맨틱 비교 영역은 월드 좌표계를 기준으로 정의된 영상 분석 정보(320a)와 비교될 영역이므로, 영상 분석 정보(320a)는 초기 포즈 정보를 기준으로 설정된 범위(즉, 시맨틱 비교 영역) 내에서만 이루어진다.

도 5는 도 2에 도시된 맵 매칭부(257)를 보다 자세히 도시한 블록도이다.

도 5를 참조하면, 본 발명의 실시 예에 따른 맵 매칭부(257)는 좌표계 변환부(257a), 오차 산출부(257b) 및 확인부(257c)를 포함할 수 있다.

좌표계 변환부(257a)는 영상 분석부(251)에서 획득된 영상 분석 정보(320)의 이미지 좌표계를 월드 좌표계로 변환할 수 있다. 즉, 좌표계 변환부(257a)는 도 3에 도시된 영상 분석 정보(320)를 GPS/IMU 센서(120)로부터의 피치와 롤 정보를 더 이용하여 도 4의 우측에 도시된 영상 분석 정보(320a)로 변환할 수 있다. 이는 전방 영상을 위에서 본 모습, 즉, 정면도 형태의 영상 분석 정보(320a)로 변환한 것이다.

일반적으로, 카메라 포즈와 카메라 캘리브레이션 매트릭스가 주어져 있다면 월드 좌표계의 한 점

이 이미지 좌표계의 점

에 어떻게 대응되는지 표현할 수 있다. 따라서, 좌표계 변환부(257a)는 영상 분석 정보(320)를 Homography를 통해 월드 좌표계를 기준으로 정의할 수 있다. 한 평면을 다른 평면에 투영(Projection) 시켰을 때 투영된 대응점들 사이에서는 일정한 변환 관계가 성립하며, 이 변환 관계를 Homography라고 한다.

오차 산출부(257b)는 월드 좌표계로 변환된 영상 분석 정보(320a)를 시맨틱 비교 영역의 원점부터 설정된 거리 및/또는 각도만큼 이동하면서 맵 매칭하여 원점 및 이동한 위치들 각각에서의 오차를 산출할 수 있다.

도 4에서 시맨틱 비교 영역은 기준점 S(x1, y1)을 기준으로 설정된 범위를 가지며, 이 때, 시맨틱 비교 영역의 형태는 점선의 네모(320a)와 위치와 방향이 다를 뿐 동일한 형태를 갖는다. 오차 산출부(257b)는 시맨틱 비교 영역 내의 한 모서리를 원점으로 정하고, 원점부터 영상 분석 정보(320a)를 매칭하여 오차를 산출하고, 설정된 거리(예를 들어, 0.3미터씩)만큼 설정된 방향으로 영상 분석 정보(320a)를 이동하여 오차를 산출하고, 다시 설정된 거리만큼 설정된 방향으로 이동하여 오차를 산출하는 동작을 반복한다.

또한, 오차 산출부(257b)는 원점부터 설정된 거리만큼 이동하고 또한 설정된 각도(예를 들어, 0.1도씩, ±3도까지)만큼 회전하면서 오차를 산출할 수 있다.

오차 산출부는, 다음의 [수학식 1]을 이용하여 오차를 산출할 수 있다.

[수학식 1]에서,

는 영상 분석 정보(320a)와 시맨틱 비교 영역의 오차를 산출하기 위해 정의된 목적함수,

는 위치정보와 방향정보로서 위도(북거) 오차, 경도(동거) 오차 및 방위각 오차를 의미한다. 또한, (x, y)는 월드 좌표계에서 픽셀의 위치,

는 시맨틱 비교 영역,

는 시맨틱 지도,

는 영상 분석 결과(320a),

는 오차 가중치 또는 코스트(cost)를 의미한다.

[수학식 1]은 월드 좌표계로 정의된 영상 분석 정보(320a)와 시맨틱 비교 영역의 차이, 즉, 오차를 측정할 수 있도록 정의된 목적 함수이다. 다시 말하면, [수학식 1]에서, 시맨틱 비교 영역 내에서 코스트의 합이 최소가 될 때의 위치와 각도가 이동체(100)의 오차를 의미한다. 맵 매칭부(257)는 이 목적 함수를 최적화하여 이동체(100)의 최종 포즈를 보다 정확히 예측할 수 있다.

이 때, 오차 산출부(257b)는, 시맨틱 비교 영역의 픽셀마다 분류된 클래스 종류와 영상 분석 정보(320a)의 픽셀마다 분류된 클래스 종류에 따라 상이한 코스트(즉, 오차 가중치)를 설정하여 픽셀 단위로 영상 분석 정보(320a)와 시맨틱 비교 영역의 오차를 산출할 수 있다.

[표 1]은 시맨틱 비교 영역의 클래랙스와 영상 분석 정보(320a)의 클래스에 따라 설정된 코스트의 일 예를 보여준다.

[표 1]을 참조하면, 코스트(

)는 맵 매칭 시 동일한 위치에 해당하는 시맨틱 비교 영역(또는 시맨틱 지도(

))의 픽셀과 영상 분석 정보(320a)의 픽셀의 클래스가 동일할수록 낮게 설정될 수 있다. 또한, [표 1]에서 코스트가 클수록 동일한 위치에 해당하는 시맨틱 비교 영역의 픽셀과 영상 분석 정보(320a)의 픽셀의 클래스 간의 유사도는 낮아짐을 알 수 있다.

또한, [표 1]에서 시맨틱 지도의 클래스 중 주차 공간은 영상 분석 결과(320a)와 대응되는 좌표에서 도로로도 분류되고 배경으로도 분류될 수 있으므로 코스트로서 0.5가 설정되어 있다.

또한, 영상 분석 결과(320a)의 오검출과 미검출을 고려하여, 시맨틱 비교 영역의 원점에서 영상 분석 정보(320a)를 맵 매칭한 경우, 동일한 위치의 픽셀의 클래스가 각각 배경과 도로인 경우에는 0.9, 각각 배경과 배경인 경우에는 0.4가 코스트로서 설정되어 있다. 이러한 코스트는 변경가능하다. 이는 시맨틱 비교 영역과 영상 분석 정보(320a)가 각각 배경과 도로이면, 시맨틱 분할 알고리즘 적용 시 실제 배경이 도로로 잘못 분류(오검출)되었음을 의미할 수도 있기 때문에, 이를 고려하여 0.9라는 상대적으로 높은 코스트가 적용된 것이다.

확인부(257c)는 시맨틱 비교 영역 내의 원점 및 이동한 위치들에서 각각 산출된 오차들 중 가장 낮은 오차가 산출된 위치에 해당하는 위치정보와 방향정보를 확인할 수 있다. 즉, 확인부(257c)는 오차가 가장 낮은 위치에서 회전된 각도를 가장 낮은 오차가 산출된 위치에 해당하는 방향정보로서 확인한다.

다시 도 2를 참조하면, 최종 포즈 추정부(259)는 초기 포즈 추정부(253)에서 추정된 이동체(100)의 초기 포즈 정보와 확인부(257c)에서 확인된 위치정보와 방향정보를 더하여 이동체(100)의 포즈를 최종 추정(즉, 보정)할 수 있다.

예를 들어, 확인부(257c)에서 시맨틱 비교 영역의 원점을 기준으로 1도 회전한 후, 0.3m 우로 이동한 위치에서의 오차가 가장 낮은 것으로 확인되면, 1도와 (x,y)=(0.3, 0)을 이용하여 초기 포즈 정보의 위치정보와 방향정보를 보정할 수 있다.

상술한 동작에 의해 이동체(100)의 위치정보와 방향정보가 보정되면, 즉, 최종 포즈가 추정되면, 프로세서(250)는 최종 포즈 정보를 참조하여 이동체(100)의 자율주행에 필요한 제어신호를 생성할 수 있다.

또한, 프로세서(250)는 최종 포즈 정보를 이용하여 지도 상의 보다 정확한 위치에 이동체(100)에 의해 촬영된 전방 영상과 타겟을 증강 현실로 구현할 수 있으며, 이로써 적군의 무기와 같은 타겟의 위치를 보다 정확히 예측할 수 있다.

한편, 이동체(100)로부터 수신되는 촬영된 영상이 이동체(100)의 전방, 후방, 좌측방 및 우측방을 모두 촬영한 4개의 영상인 경우, 프로세서(250)는 각 영상 별로 상술한 시맨틱 분할 알고리즘을 적용하고, 시맨틱 비교 영역을 설정한 후 맵 매칭함으로써, 각 영상 별로 이동체(100)의 오차를 보정할 수도 있다. 그리고, 각 영상 별로 보정된 이동체(100)의 오차를 고려하여 타겟의 위치를 보다 정확히 증강현실로 입체적으로 표시할 수도 있다.

도 6은 본 발명의 실시 예에 의한 전자 장치(200)의 이동체 포즈 추정 방법을 설명하기 위한 흐름도이다.

도 6의 이동체 포즈 추정 방법은 도 1 내지 도 5를 참조하여 설명한 전자 장치(200)에 의해 구현될 수 있으므로, 상세한 설명은 생략한다.

도 6을 참조하면, 전자 장치(200)는 이동체(100)의 GPS/IMU 센서(120)가 센싱한 이동체(100)의 위치정보와 방향정보 및 하나 이상의 카메라가 이동체의 전후측방 중 적어도 하나를 촬영한 영상을 이동체(100)로부터 수신할 수 있다(S610).

전자 장치(200)는 수신된 촬영 영상을 분석하여 영상 분석 정보를 획득하고(S620), 수신된 이동체(100)의 위치정보와 방향정보로부터 이동체(100)의 초기 포즈 정보를 추정할 수 있다(S630). S620단계에서, 전자 장치(200)는 이동체(100)의 전후측방 중 적어도 하나를 촬영한 영상을 분석하여 픽셀단위로 도로 및 배경으로 분류한 영상 분석 정보를 획득할 수 있다.

전자 장치(200)는 이동체(100)의 위치와 방향을 보정하기 위한 기준이 되는 시맨틱 지도 내에서 초기 포즈 정보를 기준으로 시맨틱 비교 영역을 설정하고, 설정된 시맨틱 비교 영역과 영상 분석 정보를 비교하여 이동체(100)의 포즈를 추정 및 보정할 수 있다(S640).

S640단계를 자세히 설명하면, 전자 장치(200)는 추정된 초기 포즈 정보 중 위치정보와 방위각 정보를 시맨틱 지도에서 기준점으로 정하고, 기준점을 기준으로 사전에 설정된 범위를 갖는 영역을 시맨틱 비교 영역으로서 설정할 수 있다(S642),

그리고, 전자 장치(200)는 S642단계에서 설정된 시맨틱 비교 영역의 원점부터 영상 분석 정보를 맵 매칭하여 시맨틱 비교 영역 내에서 영상 분석 정보와 오차가 가장 낮은 영역의 위치정보와 방향정보를 확인할 수 있다(S644). S644단계에서, 전자 장치(200)는 영상 분석 정보를 월드 좌표계로 변환한 후, 맵 매칭을 할 수 있으며, [수학식 1] 및 [표 1]을 참조하여 각 위치에서 맵 매칭하여 오차를 산출할 수 있다.

전자 장치(200)는 S630단계에서 추정된 이동체(100)의 초기 포즈 정보와 S644단계에서 확인된 위치정보와 방향정보를 더하여 이동체(100)의 포즈를 최종 추정할 수 있다(S646).

한편 본 발명에 따른 전자 장치의 이동체 포즈 추정 방법은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써, 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음은 통상의 기술자가 쉽게 이해할 수 있다.

즉, 본 발명에 따른 전자 장치의 이동체 포즈 추정 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 형태로 구현되어, 컴퓨터 판독 가능한 기록매체에 기록될 수 있으며, 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록매체에는 하드 디스크와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 메모리, USB 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

따라서, 본 발명은 전자 장치의 이동체 포즈 추정 방법을 구현하기 위하여 상기 전자 장치를 제어하는 컴퓨터 상에서 또는 상기 전자 장치에서 수행되는 컴퓨터 판독 가능한 기록매체에 저장된 프로그램을 함께 제공한다.

한편, 이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시 예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주하여야 할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100: 이동체 110: 카메라부
120: GPS/IMU 센서 130: 통신 인터페이스 회로
200: 전자 장치 210: 버스
220: 통신 인터페이스부 230: 사용자 인터페이스부
240: 메모리 250: 프로세서

Claims (11)

1. 하나 이상의 카메라 및 GPS/IMU(Global Positioning System/Inertial Measurement Unit) 센서가 구비된 이동체와 통신하는 통신 인터페이스부;
   상기 하나 이상의 카메라가 상기 이동체의 전후측방 중 적어도 하나를 촬영한 영상, 상기 GPS/IMU 센서가 센싱한 상기 이동체의 위치정보와 방향 정보, 및 상기 이동체의 위치와 방향을 보정하기 위한 기준이 되는 시맨틱 지도를 이용하여 상기 이동체의 포즈를 추정하는 포즈 추정 프로그램이 저장되는 메모리; 및
   상기 저장된 포즈 추정 프로그램을 실행하여 상기 위치정보와 방향정보로부터 상기 이동체의 초기 포즈 정보를 추정하고, 상기 시맨틱 지도 내에서 상기 초기 포즈 정보를 기준으로 시맨틱 비교 영역을 설정하고, 상기 촬영된 영상을 분석하여 영상 분석 정보를 획득한 후, 상기 설정된 시맨틱 비교 영역과 영상 분석 정보를 비교하여 상기 이동체의 포즈를 최종 추정하는 프로세서;를 포함하고,
   상기 시맨틱 지도, 시맨틱 비교 영역 및 상기 영상 분석 정보는 도로와 비도로를 포함하는 다수의 클래스들로 분류된 지도 및/또는 영상이며,
   상기 프로세서는,
   상기 촬영된 영상을 분석하여 픽셀단위로 도로 및 배경으로 분류한 영상 분석 정보를 획득하는 영상 분석부;
   상기 이동체의 위치정보와 방향정보로부터 상기 이동체의 초기 포즈 정보를 추정하는 초기 포즈 추정부;
   상기 시맨틱 지도에서 상기 추정된 초기 포즈 정보 중 위치정보와 방위각 정보를 이용하여 기준점을 정하고, 상기 기준점을 기준으로 사전에 설정된 범위를 갖는 영역을 상기 시맨틱 비교 영역으로서 설정하는 시맨틱 비교 영역 설정부;
   상기 설정된 시맨틱 비교 영역의 원점부터 상기 영상 분석 정보를 맵 매칭하여 상기 시맨틱 비교 영역 내에서 상기 영상 분석 정보와 오차가 가장 낮은 영역의 위치정보와 방향정보를 확인하는 맵 매칭부; 및
   상기 초기 포즈 정보와 상기 맵 매칭부에서 확인된 위치정보와 방향정보를 더하여 상기 이동체의 포즈를 최종 추정하는 최종 포즈 추정부;를 포함하는 것을 특징으로 하는 이동체 포즈 추정을 위한 전자 장치.
2. 삭제
3. 제1항에 있어서,
   상기 영상 분석부는,
   CNN(Convolutional Neural Network)을 사용하는 시맨틱 분할(Semantic Segmentation) 알고리즘을 적용하여 상기 촬영된 영상의 각 픽셀이 상기 도로 및 배경 중 어느 클래스에 속하는지를 판단 및 분류하는 것을 특징으로 하는 이동체 포즈 추정을 위한 전자 장치.
4. 제1항에 있어서,
   상기 맵 매칭부는,
   상기 획득된 영상 분석 정보의 이미지 좌표계를 월드 좌표계로 변환하는 좌표계 변환부;
   상기 월드 좌표계로 변환된 영상 분석 정보를 상기 시맨틱 비교 영역의 원점부터 설정된 거리 및/또는 각도만큼 이동하면서 맵 매칭하여 상기 원점 및 이동한 위치들에서 오차를 산출하는 오차 산출부; 및
   상기 원점 및 이동한 위치들에서 산출된 오차들 중 가장 낮은 오차가 산출된 위치에 해당하는 위치정보와 방향정보를 확인하는 확인부;를 포함하는 것을 특징으로 하는 이동체 포즈 추정을 위한 전자 장치.
5. 제4항에 있어서,
   상기 오차 산출부는,
   상기 시맨틱 비교 영역의 픽셀마다 분류된 클래스 종류와 상기 영상 분석 정보의 픽셀마다 분류된 클래스 종류에 따라 상이한 오차 가중치를 설정하여 픽셀 단위로 상기 영상 분석 정보와 시맨틱 비교 영역의 오차를 산출하며,
   상기 시맨틱 비교 영역의 클래스는 도로, 주차장 및 배경으로 분류되고, 상기 영상 분석 정보의 클래스는 도로 및 배경으로 분류되는 것을 특징으로 하는 이동체 포즈 추정을 위한 전자 장치.
6. 제5항에 있어서,
   상기 오차 산출부는, 다음의 식을 이용하여 오차를 산출하는 것을 특징으로 하는 이동체 포즈 추정을 위한 전자 장치:
   

   

   
   여기서,

   

   는 상기 영상 분석 정보와 상기 시맨틱 비교 영역의 오차를 산출하기 위해 정의된 목적함수,

   

   는 상기 위치정보와 방향정보, (x, y)는 월드 좌표계에서 픽셀의 위치,

   

   는 상기 시맨틱 비교 영역,

   

   는 상기 시맨틱 지도,

   

   는 상기 영상 분석 결과,

   

   는 상기 오차 가중치임.
7. 전자 장치의 이동체 포즈 추정 방법에 있어서,
   (A) 상기 전자 장치가, GPS/IMU(Global Positioning System/Inertial Measurement Unit) 센서가 센싱한 상기 이동체의 위치정보와 방향정보 및 하나 이상의 카메라가 상기 이동체의 전후측방 중 적어도 하나를 촬영한 영상을 상기 이동체로부터 수신하는 단계;
   (B) 상기 전자 장치가, 상기 수신되는 위치정보와 방향정보로부터 상기 이동체의 초기 포즈 정보를 추정하는 단계;
   (C) 상기 전자 장치가, 상기 수신되는 촬영 영상을 분석하여 영상 분석 정보를 획득하는 단계; 및
   (D) 상기 전자 장치가, 상기 이동체의 위치와 방향을 보정하기 위한 기준이 되는 시맨틱 지도 내에서 상기 추정된 초기 포즈 정보를 기준으로 시맨틱 비교 영역을 설정하고, 상기 설정된 시맨틱 비교 영역과 영상 분석 정보를 비교하여 상기 이동체의 포즈를 추정 및 보정하는 단계;를 포함하고,
   상기 시맨틱 지도, 시맨틱 비교 영역 및 상기 영상 분석 정보는 도로와 비도로를 포함하는 다수의 클래스들로 분류된 지도 및/또는 영상이며,
   상기 (C) 단계는,
   상기 전자 장치가, 상기 수신된 이동체의 전후측방 중 적어도 하나를 촬영한 영상을 분석하여 픽셀단위로 도로 및 배경으로 분류한 영상 분석 정보를 획득하고,
   상기 (D) 단계는,
   (D1) 상기 전자 장치가, 상기 시맨틱 지도에서 상기 추정된 초기 포즈 정보 중 위치정보와 방위각 정보를 기준점으로 정하고, 상기 기준점을 기준으로 사전에 설정된 범위를 갖는 영역을 상기 시맨틱 비교 영역으로서 설정하는 단계;
   (D2) 상기 전자 장치가, 상기 설정된 시맨틱 비교 영역의 원점부터 상기 영상 분석 정보를 맵 매칭하여 상기 시맨틱 비교 영역 내에서 상기 영상 분석 정보와 오차가 가장 낮은 영역의 위치정보와 방향정보를 확인하는 단계; 및
   (D3) 상기 전자 장치가, 상기 초기 포즈 정보와 상기 (D2) 단계에서 확인된 위치정보와 방향정보를 더하여 상기 이동체의 포즈를 최종 추정하는 단계;를 포함하는 것을 특징으로 하는 전자 장치의 이동체 포즈 추정 방법.
8. 삭제
9. 제7항에 있어서,
   상기 (D2) 단계는,
   상기 전자 장치가, 상기 (C) 단계에서 획득된 영상 분석 정보의 이미지 좌표계를 월드 좌표계로 변환하고, 상기 월드 좌표계로 변환된 영상 분석 정보를 상기 시맨틱 비교 영역의 원점부터 설정된 거리 및/또는 각도만큼 이동하면서 맵 매칭하여 상기 원점 및 이동한 위치들에서 오차를 산출한 후, 상기 원점 및 이동한 위치들에서 산출된 오차들 중 가장 낮은 오차가 산출된 위치에 해당하는 위치정보와 방향정보를 확인하는 것을 특징으로 하는 전자 장치의 이동체 포즈 추정 방법.
10. 제9항에 있어서,
    상기 (D2) 단계에서, 상기 전자 장치는,
    상기 시맨틱 비교 영역의 픽셀마다 분류된 클래스 종류와 상기 영상 분석 정보의 픽셀마다 분류된 클래스 종류에 따라 상이한 오차 가중치를 설정하여 픽셀 단위로 상기 영상 분석 정보와 시맨틱 비교 영역의 오차를 산출하며,
    상기 시맨틱 비교 영역의 클래스는 도로, 주차장 및 배경으로 분류되고, 상기 영상 분석 정보의 클래스는 도로 및 배경으로 분류되는 것을 특징으로 하는 전자 장치의 이동체 포즈 추정 방법.
11. 제10항에 있어서,
    상기 전자 장치는, 다음의 식을 이용하여 오차를 산출하는 것을 특징으로 하는 전자 장치의 이동체 포즈 추정 방법:
    

    

    
    여기서,

    

    는 상기 영상 분석 정보와 상기 시맨틱 비교 영역의 오차를 산출하기 위해 정의된 목적함수,

    

    는 상기 위치정보와 방향정보, (x, y)는 월드 좌표계에서 픽셀의 위치,

    

    는 상기 시맨틱 비교 영역,

    

    는 상기 시맨틱 지도,

    

    는 상기 영상 분석 결과,

    

    는 상기 오차 가중치임.
    

Images