KR20180102428A

KR20180102428A - 지도 데이터를 생성하는 전자 장치 및 그 동작 방법

Info

Publication number: KR20180102428A
Application number: KR1020170029057A
Authority: KR
Inventors: 최믿음; 백아론; 박창수; 이정은
Original assignee: 삼성전자주식회사
Priority date: 2017-03-07
Filing date: 2017-03-07
Publication date: 2018-09-17
Anticipated expiration: 2037-03-07
Also published as: EP3579215A1; CN110392908B; WO2018164377A1; KR102414676B1; US20210142667A1; CN110392908A; US11183056B2; EP3579215A4

Abstract

전자 장치 및 방법이 제공된다. 전자 장치는, 전자 장치가 이동하는 중에 미리 정해진 간격에 따른 복수의 노드 마다 위치 데이터와 영상 데이터를 획득하는 적어도 하나의 센싱부, 및 영상 데이터로부터 오브젝트를 추출하고, 추출된 오브젝트를 식별하기 위한 제1 오브젝트 데이터를 생성하고, 오브젝트가 추출된 영상 데이터에 대응하는 제1 노드의 위치 데이터와, 제1 노드에 대응하는 제1 오브젝트 데이터를 저장하는 프로세서를 포함할 수 있다.

Description

지도 데이터를 생성하는 전자 장치 및 그 동작 방법{ELECTRONIC APPARATUS AND OPERATING METHOD FOR GENERATING A MAP DATA}

본 개시는 지도 데이터를 생성하는 전자 장치 및 그 동작 방법에 관한다.

정보통신 기술과 자동차 산업의 융합으로 인해 빠르게 자동차의 스마트화가 진행되고 있다. 스마트화로 인해, 자동차는 단순한 기계적 장치에서 스마트카로 진화하고 있으며, 특히 스마트카의 핵심기술로 자율 주행이 주목 받고 있다.

자율 주행이란 운전자가 핸들과 가속페달, 브레이크 등을 조작하지 않아도 스스로 목적지까지 찾아가는 기술을 말한다.

최근 자율 주행과 관련된 다양한 부가 기능들이 지속적으로 개발되고 있으며, 각종 데이터를 이용하여 주행 환경을 인지하고 판단하여 자동차를 제어함으로써 탑승자에게 안전한 자율 주행 경험을 제공할 수 있는 방법에 대한 연구가 요구되고 있다.

지도 데이터를 생성하는 전자 장치 및 방법을 제공하는 데 있다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다. 해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

일 측면에 따른 전자 장치는, 전자 장치가 이동하는 중에 미리 정해진 간격에 따른 복수의 노드 마다 위치 데이터와 영상 데이터를 획득하는 적어도 하나의 센싱부, 및 영상 데이터로부터 오브젝트를 추출하고, 추출된 오브젝트를 식별하기 위한 제1 오브젝트 데이터를 생성하고, 오브젝트가 추출된 영상 데이터에 대응하는 제1 노드의 위치 데이터와, 제1 노드에 대응하는 제1 오브젝트 데이터를 저장하는 프로세서를 포함할 수 있다.

다른 일 측면에 따른 전자 장치의 동작 방법은, 전자 장치가 이동하는 중에 미리 미리 정해진 간격에 따른 복수의 노드 마다 위치 데이터와 영상 데이터를 획득하는 단계, 영상 데이터로부터 오브젝트를 추출하는 단계, 추출된 오브젝트를 식별하기 위한 제1 오브젝트 데이터를 생성하는 단계, 및 오브젝트가 추출된 영상 데이터에 대응하는 제1 노드의 위치 데이터와, 제1 노드에 대응하는 제1 오브젝트 데이터를 저장하는 단계를 포함할 수 있다.

또 다른 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는 상술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.

도 1은 일 실시 예에 따른 전자 장치가 동작하는 예를 설명하기 위한 도면이다.
도 2는 일 실시 예에 따른 전자 장치가 동작하는 예를 설명하기 위한 흐름도이다.
도 3은 일 실시 예에 따라 노드 간의 엣지를 생성하는 일 예를 설명하기 위한 흐름도이다.
도 4는 일 실시 예에 따라 노드 간의 엣지를 생성하는 일 예를 설명하기 위한 도면이다.
도 5는 일 실시 예에 따라 영상 데이터를 이용하여 노드 간의 엣지를 생성하는 일 예를 설명하기 위한 도면이다.
도 6은 일 실시 예에 따라 오브젝트를 이용하여 노드 간의 엣지를 생성하는 일 예를 설명하기 위한 흐름도이다.
도 7 내지 도 8은 일 실시 예에 따라 오브젝트를 이용하여 노드 간의 엣지를 생성하는 일 예를 설명하기 위한 도면이다.
도 9는 일 실시 예에 따라 지도 데이터를 생성하는 예를 설명하기 위한 흐름도이다.
도 10은 일 실시 예에 따라 지도 데이터를 생성하는 예를 설명하기 위한 도면이다.
도 11은 일 실시 예에 따른 실내에서 전자 장치가 동작하는 예를 설명하기 위한 도면이다.
도 12는 일 실시 예에 따른 복수의 전자 장치 간의 데이터 연동 예를 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 전자 장치의 블록 구성도(block diagram)이다.
도 14는 다른 실시예에 따른 전자 장치의 블록 구성도(block diagram)이다.
도 15는 일 실시예에 따른 차량의 블록 구성도(block diagram)이다.

실시 예들에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 “…부”, “…모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

이하에서는 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다.

본 명세서에서 차량(1)은 차량(1)의 운전을 보조 또는 제어하는 전자 장치(100)(이하, 전자 장치(100))를 포함할 수 있다.

도 1은 일 실시 예에 따른 전자 장치가 동작하는 예를 설명하기 위한 도면이다.

도 1을 참조하면, 차량(1) 내에 포함된 전자 장치(100)는, 차량(1)이 도로 상에서 주행하는 중에 센싱부(110)를 통해 주변 환경을 인지할 수 있고, 주변에서 검출한 오브젝트(예컨대, 표지판)(10)를 이용하여 지도 데이터를 보다 정밀하게 업데이트할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는, 차량(1)으로부터 오브젝트(예컨대, 표지판)(10)까지의 거리, 오브젝트(10)의 형상, 크기(예컨대, 크기 150cm x 100cm, 사각형 평면) 등을 포함하는 오브젝트 데이터를 생성하고, 오브젝트 데이터를 이용함으로써 지도 데이터의 업데이트를 보다 용이하고 효율적으로 할 수 있다.

일 실시 예에 따른 오브젝트 데이터는, 오브젝트를 식별하기 위한 데이터일 수 있다.

예를 들어, 오브젝트 데이터는 오브젝트의 형상, 크기, 모양, 색상, 재질, 곡률, 면적, 부피 등을 포함할 수 있다. 또한, 오브젝트 데이터는 오브젝트로부터 추출된 텍스트, 패턴, 로고 등을 포함할 수 있다. 또한, 오브젝트 데이터는, 오브젝트를 센싱한 전자 장치(100)의 위치로부터 오브젝트 간의 거리, 오브젝트의 위치(예컨대, 3DoF(x, y, yaw angle) 또는, 6DoF(x, y, z, roll angle, pitch angle, yaw angle)의 좌표 정보), 오브젝트의 방위(direction)를 포함할 수 있다. 또한, 오브젝트 데이터는 오브젝트의 편평도, 반사율을 포함할 수 있다. 다만, 이에 한정되는 것은 아니다.

일 실시 예에 따르면, 전자 장치(100)는 지도 업데이트를 위해, 차량 주행 중에 획득한 주변의 전체 영상 대신, 오브젝트 데이터를 저장해 놓음으로써, 저장 용량을 최소화하고, 지도 업데이트 시의 연산량을 최소화하여 프로세서의 로드를 줄일 수 있다.

자율 주행 차량은 도로 상에서 주행을 하는 경우 다양한 센서 정보들을 이용하여 주변 환경에 대한 지도 데이터를 생성, 업데이트하고, 지도 데이터 상에서 차량의 현재 위치를 추정(localization)할 수 있다. 이 때, 차량은 보다 정밀한 지도 데이터를 보유할 수록, 지도 데이터 상에서 보다 정확한 차량의 위치를 추정할 수 있게 된다.

일 실시 예에 따르면, 전자 장치(100)는 차량(1)이 주행하는 중에 주변에서 검출한 오브젝트(10)에 관한 데이터를 이용하여, 보다 정밀한 지도 데이터로 업데이트 함으로써, 지도 데이터 상에서의 차량의 현재 위치를 보다 정확하게 추정할 수 있다.

또한, 도 1은 전자 장치(100)가 차량(1)에 포함된 것으로 도시하였으나, 이에 한정되지 않는다. 일 실시 예에 따르면, 이동 가능한 장치 또는 로봇(미도시)은 전자 장치(100)를 포함할 수 있다. 이와 관련하여, 후술할 도 11 내지 도 12에 관한 설명에서 상술하기로 한다.

도 2는 일 실시 예에 따른 전자 장치가 동작하는 예를 설명하기 위한 흐름도이다.

단계 S201에서, 전자 장치(100)는 전자 장치(100)가 이동하는 중에 미리 정해진 간격에 따른 복수의 노드 마다 위치 데이터와 영상 데이터를 획득할 수 있다.일 실시 예에 따라, 전자 장치(100)는 시간 간격 또는 거리 간격에 따라 복수의 노드를 결정할 수 있다.

일 실시 예에 따른 노드(node)는, 센싱부(110, 도 13)를 통해 데이터가 획득된 시점의 전자 장치(100)를 포함하는 차량(1, 도 1)의 위치를 의미할 수 있다.

일 실시 예에 따라, 전자 장치(100)를 포함한 차량(1, 도 1)이 이동하는 경우, 미리 정해진 시간 간격(예컨대, 1초)에 따른 각 노드(node) 마다 차량(1, 도 1)의 위치가 측정될 수 있다. 예를 들어, 시점 t에서의 전자 장치(100)의 위치를 노드 A라고 할 때, 시점 t+1에서의 전자 장치(100)의 위치를 노드 A에 인접한 노드 B로 설명할 수 있다. 전자 장치(100)를 포함하는 차량(1, 도 1)이 지나간 경로는, 연속된 노드(node)들의 집합일 수 있다.

또한, 일 실시 예에 따라, 전자 장치(100)를 포함한 차량(1, 도1)이 이동하는 경우, 전자 장치(100)는 미리 정해진 거리 간격(예컨대, 1m)에 따른 각 노드(node) 마다 차량(1, 도1)의 위치 데이터와 영상 데이터를 획득할 수 있다.

일 실시 예에 따른 전자 장치(100)는, Odometery 센서(230), 가속도 센서(231), IMU(225), GPS(224) 등을 포함하는 센싱부(110)를 통해, 각 노드에서의 위치 데이터를 획득할 수 있다.

일 실시 예에 따라, 노드(node)의 위치 데이터는, 노드의 위치 좌표 값을 포함할 수 있다. 일 실시 예에 따라, 위치 데이터는, 3DoF(x, y, yaw angle) 또는, 6DoF(x, y, z, roll angle, pitch angle, yaw angle)로 획득될 수 있고, 이에 제한되지 않는다. 예를 들어, 노드 A의 위치 데이터는 (1m, 2m, 3도), 노드 B의 위치 데이터는 (2m, 2m, 3.1도)로 획득될 수 있다.

또한, 일 실시 예에 따른 전자 장치(100)는, 라이다(Lidar) 센서(227), 이미지 센서(228) 등을 포함하는 센싱부(110)를 통해, 각 노드에서의 영상 데이터를 획득할 수 있다.

일 실시 예에 따라, 각 노드에서 획득되는 영상 데이터는, 3D 포인트 클라우드(PointCloud), 이미지 등을 포함할 수 있다.

일 실시 예에 따라, 전자 장치(100)는 센싱부(110)를 통해 전자 장치(100)의 주변 환경을 인지할 수 있다. 센싱부(110)는 라이다(Lidar) 센서(227)를 포함할 수 있다. 라이다(Lidar) 센서(227)는, 움직이는 전자 장치(100)의 주변 객체의 형태, 주변 객체와의 상대 거리, 주변 지형 등을 인지할 수 있다. 예를 들면, 라이다 센서(227)는 차량(1, 도 1) 주변의 표지판, 도로의 형태, 앞차와의 거리 등에 대한 정보를 획득할 수 있다.

구체적으로, 라이다 센서(227)는 레이저 빔을 출력하여 객체의 형태에 관한 정보를 획득할 수 있다. 라이다 센서(227)는 단일 레이저 출력기 또는 복수의 레이저 출력기를 포함할 수 있다. 단일 레이저 출력기는 수직축(z 축)을 중심으로 회전 가능하며, xy 평면상의 수평 각도 및 xy 평면과 z 축간의 수직 각도 또한 조절 가능하고, 기울기 또한 조절 가능하다. 복수의 레이저 출력기 각각은 단일 레이저 출력기와 동일한 레이저 출력기일 수 있다. 복수의 레이저 출력기 또한 독립적으로 회전, 각도 및 기울기의 조절이 가능하다.

라이다(Lidar) 센서(227)는 레이저 출력기를 이용하여 레이저 빔을 출력하고, 적어도 하나의 레이저 수신기를 통해 객체로부터의 반사 신호를 획득할 수 있다.

일 실시 예에 따라, 반사 신호는 객체로부터 반사된 초음파, 적외선, 가시광선 또는 레이저 빔을 포함할 수 있으며, 상기 예시에 제한되지 않는다.

단계 S202에서, 전자 장치(100)는 영상 데이터로부터 오브젝트를 추출할 수 있다.

일 실시 예에 따라 전자 장치(100)가 추출할 오브젝트는, 이동하는 전자 장치(100)의 주변에서 관찰될 수 있는 물체 중 시간의 흐름에도 위치, 형상, 크기 등의 변화의 가능성이 적은 물체일 수 있다. 예를 들어, 오브젝트는, 표지판, 간판, 노면 표지, 신호등, 기둥, 철탑, 기념비, 다리, 연석, 가드 레일, 건물, 레인(lane) 등일 수 있으며, 이에 제한되지 않는다.

일 실시 예에 따라, 전자 장치(100)는 도로 상의 표지판을 지도 업데이트를 위해 이용할 오브젝트로 결정 또는 변경할 수 있다. 또한, 오브젝트에 관한 정보는 전자 장치(100)에 기 설정되어 있을 수 있다.

단계 S203에서, 전자 장치(100)는 추출된 오브젝트를 식별하기 위한 제1 오브젝트 데이터를 생성할 수 있다.

일 실시 예에 따라 오브젝트 데이터는, 오브젝트의 형상, 크기, 모양, 색상, 재질, 오브젝트를 센싱한 전자 장치(100)의 위치로부터 오브젝트 간의 거리 등을 포함할 수 있으며, 이에 한정되지 않는다.

예를 들어, 전자 장치(100)의 프로세서(120)는 센싱부(110)를 통해 획득한 센서 정보들을 이용하여, 오브젝트의 형상, 크기 등을 결정할 수 있다. 또한, 전자 장치(100)의 프로세서(120)는 센싱부(110)를 통해 획득한 센서 정보들을 이용하여, 오브젝트를 추출한 시점의 차량(1, 도 1)과 오브젝트 간의 상대 거리, 상대 각도 등을 결정할 수 있다.

단계 S204에서, 전자 장치(100)는 오브젝트가 추출된 영상 데이터에 대응하는 제1 노드의 위치 데이터와, 제1 노드에 대응하는 제1 오브젝트 데이터를 저장할 수 있다.

일 실시 예에 따라, 특정 오브젝트가 검출된 시점의 전자 장치(100)를 포함한 차량(1, 도 1)의 위치를 제1 노드(node)로 설명할 수 있다. 예를 들어, 오브젝트(예컨대, 표지판 A)가 검출된 시점의 차량(1, 도 1)의 위치를 제1 노드라고 할 때, 전자 장치(100)는 제1 노드의 위치 데이터와, 제1 노드에서 검출된 오브젝트에 관한 형상, 모양, 오브젝트까지의 거리 데이터 등을 포함하는 제1 오브젝트 데이터를, 제1 노드에 매칭시켜 저장부(140)에 저장할 수 있다.

일 실시 예에 따라, 전자 장치(100)는 동일한 경로를 반복적으로 주행할 때, 동일한 오브젝트를 다시 검출할 수 있다. 전자 장치(100)는 동일한 오브젝트를 서로 다른 시점에 반복적으로 검출했을 때, 이미 저장된 오브젝트에 관한 데이터와 현재 생성한 오브젝트에 관한 데이터를 비교할 수 있다. 전자 장치(100)는 기 저장된 오브젝트 데이터를 이용하여, 노드의 보다 정확한 위치 데이터를 산출할 수 있다.

예를 들어, 동일한 오브젝트가 노드 A와 노드 B에서 관찰된 경우, 노드 A와 오브젝트 간의 상대 위치, 노드 B와 오브젝트 간의 상대 위치를 이용하여, 노드 A와 노드 B 간의 상대 위치를 산출할 수 있다.

일 실시 예에 따라, 전자 장치(100)는 오브젝트를 이용하여 노드의 위치 데이터를 보정하고, 나아가, 보정된 노드의 위치 데이터에 기초하여 지도 데이터를 갱신할 수 있다. 이와 관련된 실시 예에 대해서는, 후술할 도 6 내지 도 8에 관한 설명에서 상술하기로 한다.

도 3은 일 실시 예에 따라 노드 간의 엣지 생성의 예를 설명하기 위한 흐름도이다. 도 4는 일 실시 예에 따라 노드 간의 엣지를 생성하는 일 예를 설명하기 위한 도면이다. 도 5는 일 실시 예에 따라 영상 데이터를 이용하여 노드 간의 엣지를 생성하는 일 예를 설명하기 위한 도면이다.

일 실시 예에 따르면, 두 개의 노드 사이의 엣지(edge)를 생성함은, 두 개의 노드 사이의 상대 위치 데이터와 상대 위치 데이터의 에러 값을 산출함을 의미할 수 있다.

도 4를 참조하면, 일 실시 예에 따라, 프로세서(120, 도 13)는, 적어도 두 개의 노드(node)와, 두 개의 노드 사이의 엣지(edge)들의 집합으로서 경로 그래프(path graph)를 생성할 수 있다. 복수의 노드들을 점으로 표시하고, 인접한 노드들을 엣지(edge)로 연결함으로써 그래프가 생성될 수 있다. 예를 들어, 경로 그래프(p40)는 노드(node 41)와 노드(node 42)를 연결한 엣지(e41)를 포함할 수 있다.

도 3의 단계 S301에서, 전자 장치(100)의 프로세서(120)는 노드 별 위치 데이터와 영상 데이터를 이용하여, 인접한 노드 간의 상대 위치 데이터와 상대 위치 데이터에 대응하는 에러 값을 산출할 수 있다.

일 실시 예에 따르면, 전자 장치(100)는 두 개의 노드 사이의 상대 위치 데이터를 산출할 수 있다.

일 실시 예에 따라, 두 개의 노드 사이의 상대 위치 데이터는, 두 개의 노드 사이의 상대 거리, 상대 각도 등을 포함할 수 있다. 예를 들어, 노드 A 의 위치 데이터가 (1m, 2m, 3도)이고, 노드 B의 위치 데이터가 (2m, 2m, 3.1도)일 때, 노드 A와 노드 B의 상대 위치 데이터는 (1m, 0m, 0.1도)일 수 있다.

일 실시예에 따라, 전자 장치(100)는 Odometery 센서(230)를 이용하여, 이동하는 차량의 위치의 변화 값(이동 거리, 회전 각도 등)을 획득할 수 있다. 예를 들어, Odometery 센서(230)는 차량이 주행하는 중에 바퀴 회전 수 등을 측정함으로써, 차량의 위치 변화 값을 계산할 수 있다.

일 실시 예에 따라, 전자 장치(100)는 두 개의 노드의 상대 위치 데이터에 대응하는 에러 값을 산출할 수 있다.

일 실시 예에 따라, 두 개의 노드 사이의 엣지(edge)의 에러 값은 error covariance로 산출될 수 있다. 예컨대, 두 개의 노드 사이의 상대 위치 데이터가 3DoF로 표현된 경우, 상대 위치 데이터의 에러 값은 3 by 3 매트릭스(Matrix)로 산출될 수 있다. 또한, 두 개의 노드 사이의 상대 위치 데이터가 6Dof로 표현된 경우, 상대 위치 데이터의 에러 값은 6 by 6 매트릭스로 산출될 수 있다.

일 실시 예에 따르면, 전자 장치(100)는 두 개의 노드의 영상 데이터(예컨대, 3D 포인트 클라우드)를 스캔 매칭하여 두 개의 노드의 상대 위치 데이터, 상대 위치 데이터의 에러 값을 산출할 수 있다.

도 5에 도시한 바와 같이, 전자 장치(100)는 노드(node 51)에서 획득된 영상 데이터(d51)와 노드(node 52)에서 획득된 영상 데이터(d52)를 스캔 매칭하여, 영상 데이터를 비교함으로써 에러 값을 산출할 수 있다.

예를 들어, 전자 장치(100)는 차량(1, 도 1)이 주행하는 중, 연속된 노드에 대응하는 영상 데이터를 스캔 매칭하여, 연속된 노드 간의 엣지를 생성할 수 있다.

또한, 예를 들어, 차량(1, 도 1)이 주행하는 중에 비슷한 지점을 반복적으로 지나가는 경우, 첫번째 노드에서의 영상 데이터와 다시 지나간 시점의 두번째 노드에서의 영상 데이터를 스캔 매칭하여, 인접한 지점을 나타내는 노드 간의 엣지를 생성할 수 있다.

도 3의 단계 S302에서, 전자 장치(100)의 프로세서(120)는 에러 값이 최소화되도록, 노드 별 위치 데이터를 보정할 수 있다.

일 실시 예에 따라, 프로세서(120)는 인접한 노드 간의 상대 위치 데이터에 대응하는 에러 값에 기초하여, 에러 값이 최소화되도록 노드 별 위치 데이터를 보정할 수 있다. 프로세서(120)는 보정된 노드 별 위치 데이터에 기초하여 노드의 집합인 경로 그래프를 보정함으로써, 보다 정확도가 높아진 경로 그래프를 생성할 수 있다.

도 6은 일 실시 예에 따라 오브젝트를 이용하여 노드 간의 엣지를 생성하는 일 예를 설명하기 위한 흐름도이다. 도 7 내지 도 8은 일 실시 예에 따라 오브젝트를 이용하여 노드 간의 엣지를 생성하는 일 예를 설명하기 위한 도면이다.

도 6의 단계 S601에서, 전자 장치(100)의 프로세서(120, 도13)는 제1 오브젝트 데이터에 대응하는 오브젝트가, 기 저장된 제2 오브젝트 데이터에 대응하는 오브젝트와 동일한 것으로 판단할 수 있다.

도 7을 참조하여 설명하면, 일 실시 예에 따라, 차량(1, 도 1)이 주행하는 중, 미리 정해진 시간 간격에 따른 복수의 노드들과, 인접한 노드 사이를 연결한 엣지들의 집합인 경로 그래프(p71)가 생성될 수 있다.

도 7에 도시한 바와 같이, 전자 장치(100)는 차량(1, 도 1)이 주행하는 중에, 미리 정해진 시간 간격에 따른 각각의 노드에서 차량(1, 도 1) 주변의 영상 데이터를 획득하고, 영상 데이터로부터 오브젝트(71)를 추출할 수 있다. 전자 장치(100)의 프로세서(120)는 추출된 오브젝트에 관련된 오브젝트 데이터를 생성할 수 있다. 예를 들어, 전자 장치(100)는 노드(node 71)에서 관찰된 오브젝트(71)에 대한 상대 거리, 상대 각도, 오브젝트(71)의 크기, 형상 등을 포함하는 제1 오브젝트 데이터를 생성할 수 있다.

한편, 전자 장치(100)는 동일한 오브젝트(71)에 대한 제2 오브젝트 데이터를 저장하고 있을 수 있다. 일 실시 예에 따라, 차량(1, 도 1)이 경로 그래프(p71)가 생성될 때와 유사한 경로를 지나가면서 동일한 오브젝트(71)를 관찰한 적이 있는 경우, 동일한 오브젝트(71)의 형상, 크기, 오브젝트(71)에 대한 상대 거리, 상대 각도 등을 포함하는 제2 오브젝트 데이터를 기 생성하고 저장하고 있을 수 있다.

일 실시 예에 따라, 제 1 오브젝트 데이터와 제2 오브젝트 데이터는, 소정 시간의 시간 간격이 존재하는 서로 다른 시점에 동일한 오브젝트를 관찰함에 따라 각각 생성될 수 있다.

일 실시 예에 따라, 전자 장치(100)의 프로세서(120)는 제1 오브젝트 데이터에 포함된 오브젝트의 형상, 크기 등에 관한 데이터와, 제2 오브젝트 데이터에 포함된 오브젝트의 형상, 크기 등에 관한 데이터를 비교함으로써, 동일한 오브젝트를 관찰함에 따라 생성된 오브젝트 데이터인지를 판단할 수 있다.

예를 들어, 프로세서(120)는 제1 오브젝트 데이터와 제2 오브젝트 데이터 간의 유사도가 미리 설정된 임계치 이상인 경우, 제1 오브젝트 데이터와 제2 오브젝트 데이터를, 동일한 오브젝트를 서로 다른 시점에 관찰한 것으로 판단할 수 있다.

도 6의 단계 S602에서, 전자 장치(100)의 프로세서(120)는 제1 오브젝트 데이터와 제2 오브젝트 데이터를 이용하여, 제1 노드와 제2 노드의 상대 위치 데이터, 제1 노드와 제2 노드의 상대 위치 데이터에 대응하는 에러 값을 산출할 수 있다.

일 실시 예에 따라, 제1 노드와 제2 노드의 상대 위치 데이터, 제1 노드와 제2 노드의 상대 위치 데이터에 대응하는 에러 값을 산출함은, 제1 노드와 제2 노드 사이의 엣지(edge)를 생성함을 의미할 수 있다.

도 7을 참조하면, 일 실시 예에 따르면, 전자 장치(100)는, 전체 영상 데이터가 아닌, 제1 노드(node 71)와 제2 노드(node 72)에서 각각 관찰된 동일한 오브젝트(71)에 기초한 각각의 오브젝트 데이터를 이용해서, 제1 노드(node 71)와 제2 노드(node 72)의 엣지를 생성할 수 있다.

일 실시 예에 따라, 프로세서(120)는 제1 노드(node 71)와 제2 노드(node 72) 사이의 엣지를 생성하기 위해, 제1 노드(node 71)에 대응하는 제1 오브젝트 데이터와 제2 노드(node 72)에 대응하는 제2 오브젝트 데이터를 이용할 수 있다.

예를 들어, 프로세서(120)는 제1 노드(node 71)와 오브젝트(71)간의 상대 위치를 포함하는 제1 오브젝트 데이터와, 제2 노드(node 72)와 오브젝트(71)간의 상대 위치를 포함하는 제2 오브젝트 데이터에 기초하여, 예컨대, 삼각 측량법을 이용하여, 제1 노드(node 71)와 제2 노드(node 72) 간의 상대 위치 데이터를 산출할 수 있다.

도 6의 단계 S603에서, 전자 장치(100)의 프로세서(120)는 에러 값이 최소화되도록, 제1 노드와 제2 노드의 위치 데이터를 보정할 수 있다.

일 실시 예에 따르면, 전자 장치(100)의 프로세서(120)는 경로 그래프를 구성하는 엣지들의 에러 값의 합이 최소가 되도록 각각의 노드의 위치 데이터를 보정할 수 있다.

일 실시 예에 따라, 전자 장치(100)는 이동하는 차량 또는 로봇이 자신의 위치를 측정하면서 동시에 주변 환경의 지도를 작성하는 슬램(SLAM, Simultaneous Localizaion And Mapping) 기술을 이용할 수 있다. 전자 장치(100)는 그래프(Graph) 기반의 슬램(SLAM) 기술을 이용하여, 인접한 두 개의 노드의 상대 위치를 기초로, 루프 클로징(loop-closing)을 수행할 수 있다. 전자 장치(100)는 두 개의 노드 사이의 상대 거리, 상대 각도 등을 이용하여, 두 개의 노드를 연결하는 루프 클로져 엣지(loop-closure edge)를 생성함으로써, 보정된 결과 값을 도출할 수 있다.

도 6의 단계 S604에서, 전자 장치(100)의 프로세서(120)는 보정된 제1 노드와 제2 노드의 위치 데이터에 기초하여, 제1 노드와 제2 노드를 포함하는 경로 그래프를 보정할 수 있다.

일 실시 예에 따르면, 프로세서(120)는 보정된 위치 데이터에 기초하여 경로 그래프를 보정함으로써, 보다 정확한 노드 별 위치 데이터를 가진 경로 그래프를 생성할 수 있다.

도 8을 참조하면, 일 실시 예에 따른 전자 장치(100)는 차량(1, 도 1)이 주행하는 중에 관찰되는 복수의 오브젝트들을 이용함으로써, 보다 정확도 높은 경로 그래프를 생성할 수 있다.

일 실시 예에 따라, 전자 장치(100)는 차량(1, 도1)이 주행하는 중에, 노드(node 81)에서 오브젝트 A(81)를 검출하고, 노드(node 83)에서 오브젝트 B(83)를 검출할 수 있다. 이 때, 차량(1, 도 1)의 주행 경로는 경로 그래프(p81)로 생성될 수 있다.

한편, 다른 시점에, 전자 장치(100)는 차량(1, 도 1)이 주행하는 중에, 노드(node 82)에서 오브젝트(81)를 검출하고, 노드(node 84)에서 오브젝트(83)를 검출했을 수 있다. 이 때, 차량(1, 도 1)의 주행 경로가 경로 그래프(p82)로 생성될 수 있다. 일 실시 예에 따라, 전자 장치(100)는, 오브젝트 A(81)에 관한 오브젝트 데이터와, 오브젝트 B(83)에 관한 오브젝트 데이터를 저장하고 있을 수 있다.

일 실시 예에 따른 전자 장치(100)의 프로세서는(120)는, 기 저장된 복수의 오브젝트 데이터를 이용해서, 노드들의 위치 데이터를 보정하고 정확도 높은 경로 그래프를 생성할 수 있다.

도 9는 일 실시 예에 따라 지도 데이터를 생성하는 예를 설명하기 위한 흐름도이다. 도 10은 일 실시 예에 따라 지도 데이터를 생성하는 예를 설명하기 위한 도면이다.

도 9의 단계 S901에서, 전자 장치(100)의 프로세서(120)는, 보정된 경로 그래프와 노드 별 영상 데이터를 이용하여, 지도 데이터를 생성할 수 있다.

도 10을 참조하면, 예를 들어, 프로세서(120)는 노드(node 101)에 대응하는 영상 데이터(d101), 노드(node 102)에 대응하는 영상 데이터(d102)를 포함하는 지도 데이터(50)를 생성할 수 있다.

일 실시 예에 따라, 지도 데이터는, 3차원 포인트 클라우드(3D Point Cloud), 2D 격자(grid) 지도, 3D Voxel 지도 등의 형식으로 구현될 수 있으며, 이에 제한되지 않는다. 또한, 일 실시 예에 따라, 지도 데이터는 지도 생성 시 지도에 포함되는 데이터의 종류에 따라 다양한 형식(예를 들어, feature map, semantic map, dense map, texture map 등)으로 구현될 수 있다.

예를 들어, 프로세서(120)는 보정된 경로 그래프의 각 노드의 위치 데이터에 기초하여, 각 노드에 대응하는 3D 포인트 클라우드 형식의 영상 데이터를 이용하여, 3D 포인트 클라우드 형식의 지도 데이터를 생성할 수 있다. 또한, 프로세서(120)는 각 노드에 대응하는 3D 포인트 클라우드 형식의 영상 데이터를 3D Voxel 형식으로 변환한 지도 데이터를 생성할 수도 있다. 또한, 프로세서(120)는 각 노드에 대응하는 포인트 클라우드 또는 이미지 형식의 영상 데이터로부터 추출된 도로의 지면만을 이용하여, 2D 격자(grid) 형식의 지도 데이터를 생성할 수도 있다.

도 9의 단계 S902에서, 전자 장치(100)의 프로세서(120, 도 13)는 생성된 지도 데이터를 저장할 수 있다. 단계 S903에서, 전자 장치(100)의 프로세서(120)는 지도 데이터를 생성할 때 이용된 경로 그래프를 저장할 수 있다.

또한, 도 2에서 설명한 바와 같이, 일 실시 예에 따른 전자 장치(100)는, 오브젝트가 관찰된 노드에 대응하여 오브젝트 데이터를 저장할 수 있다.

일 실시 예에 따라, 프로세서(120)는 경로 그래프와 오브젝트 데이터를 저장해 놓고, 추후 차량(1, 도 1)이 주행하면서 획득한 노드 별 위치 데이터, 오브젝트 데이터를 부가하여, 경로 그래프를 확장시킬 수 있다.

일 실시 예에 따르면, 프로세서(120)는 기 저장된 경로 그래프를 기초로, 추가적으로 획득되는 노드 별 위치 데이터, 오브젝트 데이터를 이용하여, 기 저장된 경로 그래프를 보정함으로써 보다 정밀한 위치 데이터를 가진 경로 그래프로 업데이트할 수 있다. 나아가, 프로세서(120)는 보다 정밀한 위치 데이터에 기초하여, 지도 데이터를 보다 정밀한 지도 데이터로 업데이트할 수 있다.

한편, 전자 장치(100)는 지도 데이터를 생성한 이후, 지도 데이터를 생성할 때 이용된 각 노드 별 영상 데이터를 삭제할 수 있다. 일 실시 예에 따라, 전자 장치(100)는 지도 데이터를 업데이트하기 위해, 기 저장된 노드 별 위치 데이터를 포함하는 경로 그래프와 오브젝트 데이터를 이용하기 때문에, 지도 데이터를 생성한 이후에는 지도 데이터를 생성할 때 이용한 각 노드 별 영상 데이터를 삭제할 수 있다.

한편, 일 실시 예에 따라, 명세서 전반에서 전자 장치(100)가 동작들을 수행하는 것으로 설명하고 있으나, 이에 한정되지 않는다. 전자 장치(100)가 모든 동작을 수행할 수도 있고, 서버(미도시)가 전자 장치(100)의 일부 동작들을 수행할 수도 있다.

일 실시 예에 따라, 전자 장치(100)는 서버(미도시)와 연동하여 데이터를 저장 또는 처리할 수 있다. 일 실시 예에 따라, 전자 장치(100)가 획득한 데이터들을 서버(미도시)로 전송하고, 서버가 데이터들을 처리할 수 있다. 예컨대, 전자 장치(100)가 획득한 전자 장치(100)의 위치 데이터, 영상 데이터, 오브젝트 데이터를 서버로 전송하고, 서버가 전자 장치(100)의 위치 데이터, 영상 데이터, 오브젝트 데이터를 이용하여 경로 그래프를 생성, 보정하고 지도 데이터를 생성, 갱신할 수 있으며, 이에 한정되는 것은 아니다.

도 11은 일 실시 예에 따른 실내에서 전자 장치가 동작하는 예를 설명하기 위한 도면이다.

일 실시 예에 따라, 이동 가능한 로봇(2)은 전자 장치(100)를 포함할 수 있다.

예를 들어, 쇼핑몰, 공항, 병원, 공장, 가정 등에서 각종 서비스 제공을 위한 로봇, 위험 상황 감지를 위한 로봇 등은 전자 장치(100)를 포함할 수 있다.

예를 들어, 전자 장치(100)를 포함한 로봇(2)은 센싱부(110)를 이용하여 실내에서 이동하는 중에 미리 정해진 시간 간격 또는 거리 간격에 따른 복수의 노드 마다 위치 데이터와 영상 데이터를 획득할 수 있다. 전자 장치(100)는 영상 데이터로부터 오브젝트를 추출할 수 있다.

일 실시 예에 따라, 오브젝트는, 이동하는 로봇(2)이 주변에서 관찰할 수 있는 물체 중 시간의 흐름에도 위치, 형상, 크기 등의 변화의 가능성이 적은 물체일 수 있다. 예를 들어, 오브젝트는, 비상구 표지, 안내 텍스트, 태그(NFC, RFID 태그 등), 소화전, 포스터, 방 번호, 안내 표지판, 에스컬레이터, 엘리베이터, 계단, 센서(온도, 습도, 공기질, 기압 등을 센싱하는 센서), CCTV, 기둥, 천장, 바닥, 벽, 유리 등일 수 있으며, 이에 한정되지 않는다.

도 11에 도시한 바와 같이, 일 실시 예에 따라 전자 장치(100)를 포함하는 로봇(2)은 실내에서 이동하는 중에 벽에 설치된 비상구 표지(11)를 센싱할 수 있다.

일 실시 예에 따라 전자 장치(100)는 비상구 표지(11)를 식별하기 위한 오브젝트 데이터(예컨대, 비상구 표지의 크기, 형상, 재질, 안내 표지판으로부터 인식되는 텍스트 정보, 비상구 표지(11)를 센싱한 전자 장치(100)와 비상구 표지(11) 간의 거리 데이터 등)를 생성할 수 있다.

일 실시 예에 따라, 전자 장치(100)는 오브젝트 데이터를 이용하여, 경로 그래프를 보정하고, 지도 데이터를 업데이트 할 수 있다.

도 12는 일 실시 예에 따른 복수의 전자 장치 간의 데이터 연동 예를 설명하기 위한 도면이다.

일 실시 예에 따라, 차량(1)에 포함된 전자 장치(100)는, 로봇(2)에 포함되어 동작하는 전자 장치(100)와 연동하여 동작할 수 있다. 또한, 일 실시 예에 따라, 차량(1)에 포함된 전자 장치(100)는, 다른 차량에 포함된 전자 장치와 연동하여 동작할 수 있다. 또한, 로봇(2)에 포함된 전자 장치(100)는, 다른 로봇에 포함된 전자 장치와 연동하여 동작할 수도 있다.

도 12에 도시한 바와 같이, 도로 상에서 주행하는 차량(1)과 건물 내에서 이동하는 로봇(2)이 연동하여 동작할 수 있다. 예를 들어, 차량(1)이 도로 상에서 주행함에 따라 획득하는 위치 데이터, 영상 데이터와, 로봇(2)이 실내에서 이동함에 따라 획득하는 위치 데이터, 영상 데이터가 조합하여 경로 그래프(p120)가 생성되고 지도 데이터가 생성될 수 있다.

일 실시 예에 따르면, 실내외를 구분하지 않고 전자 장치(100)를 포함하는 차량(1) 또는 로봇(2)이 획득한 위치 데이터, 영상 데이터, 오브젝트 데이터는 지도 데이터의 업데이트에 이용될 수 있다.

일 실시 예에 따라, 복수의 전자 장치(100) 각각은 도 1 내지 도 11에서 설명한 전자 장치(100)의 동작들을 수행할 수 있다. 복수의 전자 장치(100)가 획득한 데이터는, 연동하여 동작 가능한 다른 전자 장치 간에 서로 공유될 수 있다.

또한, 일 실시 예에 따라, 연동하는 복수의 전자 장치 중 적어도 하나의 전자 장치가 다른 전자 장치로부터 데이터를 수신하여 저장, 처리할 수 있다.

또한, 일 실시 예에 따라 서버(미도시)가 복수의 전자 장치에서 획득되는 데이터를 수집하고, 서버가 데이터를 저장, 처리할 수 있으며, 이에 한정되지 않는다.

도 13은 일 실시예에 따른 전자 장치의 블록 구성도(block diagram)이다.

전자 장치(100)는 일 실시 예에 따라, 센싱부(110) 및 프로세서(120)를 포함할 수 있다. 도 13에 도시된 전자 장치(100)는 본 실시 예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 13에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

일 실시 예에 따라, 센싱부(110)는 도로 상에서 주행 중인 차량(1, 도 1)의 주변에 위치한 객체들을 포함하는 주변 영상을 획득할 수 있다.

센싱부(110)는 주변 영상을 획득하기 위한 다수의 센서들을 포함할 수 있다. 예를 들어, 센싱부(110)는 LIDAR 센서 및 RADAR 센서와 같은 거리 센서, 및 카메라와 같은 이미지 센서를 포함할 수 있다.

또한, 센싱부(110)는 다수의 센서들의 위치 및/또는 배향을 수정하도록 구성되는 하나 이상의 액추에이터들을 포함할 수 있는 바, 차량(1, 도 1)의 전방, 후방, 및 측방 각각의 방향에 위치한 객체를 센싱할 수 있다.

또한, 센싱부(110)는 이미지 센서(image sensor)를 이용하여 주변에 위치한 객체의 형태 및 차로의 형태 등을 센싱할 수 있다.일 실시예에 따라, 프로세서(120)는 적어도 하나의 프로세서로 구성될 수 있다.

일 실시 예에 따라, 프로세서(120)는 영상 데이터로부터 오브젝트를 추출하고, 추출된 오브젝트의 형상을 포함하는 제1 오브젝트 데이터를 생성할 수 있다.

프로세서(120)는 오브젝트가 추출된 영상 데이터에 대응하는 제1 노드의 위치 데이터와, 제1 오브젝트 데이터를 저장부(140)에 저장할 수 있다.

또한, 프로세서(120)는 제1 오브젝트 데이터에 대응하는 오브젝트가, 기 저장된 제2 오브젝트 데이터에 대응하는 오브젝트와 동일한 것으로 판단되면, 제1 오브젝트 데이터와 제2 오브젝트 데이터를 이용하여, 제1 노드와 제2 오브젝트 데이터에 대응하는 제2 노드의 상대 위치 데이터, 제1 노드와 제2 노드의 상대 위치 데이터에 대응하는 에러 값을 산출할 수 있다. 또한, 프로세서(120)는 에러 값이 최소화되도록, 제1 노드와 제2 노드의 위치 데이터를 보정할 수 있다.

또한, 프로세서(120)는 보정된 제1 노드와 제2 노드의 위치 데이터에 기초하여, 제1 노드와 제2 노드를 포함하는 경로 그래프를 보정할 수 있다.

또한, 프로세서(120)는 노드 별 위치 데이터와 영상 데이터를 이용하여, 인접한 노드 간의 상대 위치 데이터와 상대 위치 데이터에 대응하는 에러 값을 산출하고, 에러 값이 최소화되도록, 노드 별 위치 데이터를 보정할 수 있다.

또한, 프로세서(120)는, 노드 별 위치 데이터, 인접한 노드 간의 상대 위치 데이터 및 상대 위치 데이터에 대응하는 에러 값을 포함하는 경로 그래프를 생성할 수 있다.

또한, 프로세서(120)는, 보정된 노드 별 위치 데이터에 기초하여, 경로 그래프를 보정할 수 있다. 또한, 프로세서(120)는, 보정된 경로 그래프와 노드 별 영상 데이터를 이용하여, 지도 데이터를 생성하고, 생성된 지도 데이터를 저장할 수 있다.또한, 프로세서(120)는, 지도 데이터를 생성한 이후, 지도 데이터를 생성할 때 이용된 경로 그래프를 저장할 수 있다. 또한, 프로세서(120)는 지도 데이터를 생성할 때 이용된 노드 별 영상 데이터를 삭제할 수 있다.

또한, 프로세서(120)는, 경로 그래프가 저장된 이후에, 차량(1, 도 1)이 주행하는 중에 획득되는 위치 데이터를 이용하여, 경로 그래프를 확장할 수 있다.

도 14는 다른 실시 예에 따른 전자 장치의 블록 구성도(block diagram)이다.

전자 장치(100)는 센싱부(110), 프로세서(120), 출력부(130), 저장부(140), 입력부(150), 및 통신부(160)를 포함할 수 있다.

센싱부(110)는 차량(1, 도 1)이 위치해 있는 주변 환경에 관한 정보를 감지하도록 구성되는 다수의 센서들을 포함할 수 있고, 센서들의 위치 및/또는 배향을 수정하도록 구성되는 하나 이상의 액추에이터들을 포함할 수 있다. 예를 들어, 센싱부(110)는 GPS(Global Positioning System)(224), IMU(Inertial Measurement Unit)(225), RADAR 센서(226), LIDAR 센서(227), 이미지 센서(228) 및 Odometery 센서(230)를 포함할 수 있다. 또한, 센싱부(110)는 온/습도 센서(232), 적외선 센서(233), 기압 센서(235), 근접 센서(236), 및 RGB 센서(illuminance sensor)(237) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.

또한, 센싱부(110)는 차량(1, 도 1)의 움직임을 센싱할 수 있는 움직임 센싱부(238)를 포함할 수 있다. 움직임 센싱부(238)는 지자기 센서(Magnetic sensor)(229), 가속도 센서(Acceleration sensor)(231), 및 자이로스코프 센서(234)를 포함할 수 있다.

GPS(224)는 차량(1, 도 1)의 지리적 위치를 추정하도록 구성되는 센서일 수 있다. 즉, GPS(224)는 지구에 대한 차량(1, 도 1)의 위치를 추정하도록 구성되는 송수신기를 포함할 수 있다.

IMU(225)는 관성 가속도에 기초하여 차량(1, 도 1)의 위치 및 배향 변화들을 감지하도록 구성되는 센서들의 조합이 될 수 있다. 예를 들어, 센서들의 조합은, 가속도계들 및 자이로스코프들을 포함할 수 있다.

RADAR 센서(226)는 무선 신호를 사용하여 차량(1, 도 1)이 위치해 있는 환경 내의 물체들을 감지하도록 구성되는 센서일 수 있다. 또한, RADAR 센서(226)는, 물체들의 속도 및/또는 방향을 감지하도록 구성될 수 있다.

LIDAR 센서(227)는 레이저를 사용하여 차량(1, 도 1)이 위치해 있는 환경 내의 물체들을 감지하도록 구성되는 센서일 수 잇다. 보다 구체적으로, LIDAR 센서(227)는 레이저를 방출하도록 구성되는 레이저 광원 및/또는 레이저 스캐너와, 레이저의 반사를 검출하도록 구성되는 검출기를 포함할 수 잇다. LIDAR 센서(227)는 코히런트(coherent)(예컨대, 헤티로다인 검출을 사용함) 또는 비코히런트(incoherent) 검출 모드에서 동작하도록 구성될 수 있다.

이미지 센서(228)는 차량(1, 도 1) 외부의 환경을 기록하도록 구성되는 스틸 카메라 또는 비디오 카메라가 될 수 있다. 예를 들어, 이미지 센서(228)는 다수의 카메라들을 포함할 수 있고, 다수의 카메라들은 차량(1, 도 1)의 내부 및 외부 상의 다수의 위치들에 배치될 수 있다.

Odometery 센서(230)는 차량(1, 도 1)의 위치를 추정하고, 이동 거리를 측정할 수 있다. 예를 들어, Odometery 센서(230)는 차량(1, 도 1)의 바퀴의 회전 수를 이용하여 차량(1, 도 1)의 위치 변화 값을 측정할 수 있다.

또한, 3G, LTE, GNSS(Global Navigation Satellite System), GSM(global system for mobile communication), 로란-C(LORAN-C), NELS, WLAN, bluetooth등 센서와 통신 수단 등을 활용하여 삼변측량(trilateration), 삼각측량(triangulation) 등의 방식으로 전자 장치(100)의 위치가 측정될 수 있다.

또한, 전자 장치(100)가 실내에 위치한 경우, indoor-gps, bluetooth, WLAN, VLC, active badge, GSM(global system for mobile communication), RFID, visual tags, WIPS, WLAN, 초음파, 지자기 등의 센서를 활용하여 전자 장치(100)의 위치가 측정될 수 있다.

일 실시 예에 따른 전자 장치(100)의 위치를 측정하는 방법은 상술한 예에 한정되는 것은 아니며, 전자 장치(100)의 위치 데이터가 획득될 수 있는 다른 방법이 적용될 수 있음은 물론이다.

저장부(140)는 마그네틱 디스크 드라이브, 광학 디스크 드라이브, 플래쉬 메모리를 포함할 수 있다. 또는 저장부(140)는 휴대 가능한 USB 데이터 저장 장치가 될 수 있다. 저장부(140)는 본원과 관련되는 예들을 실행하기 위한 시스템 소프트웨어를 저장할 수 있다. 본원과 관련되는 예들을 실행하기 위한 시스템 소프트웨어는 휴대 가능한 저장 매체에 저장될 수 있다.

통신부(160)는 다른 디바이스와 무선으로 통신하기 위한 적어도 하나의 안테나를 포함할 수 있다. 예를 들어, 통신부(160)는 와이파이 또는 블루투스를 통해 무선으로 셀룰러 네트워크 또는 다른 무선 프로토콜 및 시스템과 통신하기 위해 이용될 수 있다. 프로세서(120)에 의해 제어되는 통신부(160)는 무선 신호를 송수신할 수 있다. 예를 들어, 프로세서(120)는, 통신부(160)가 셀룰러 네트워크와 무선 신호를 송수신하기 위해, 저장부(140)에 포함된 프로그램을 실행시킬 수 있다.

입력부(150)는 차량(1, 도 1)을 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 입력부(150)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다. 또한, 입력부(150)는 마이크를 포함할 수 있는 바, 마이크는 차량(1, 도 1)의 탑승자로부터 오디오(예를 들어, 음성 명령)를 수신하도록 구성될 수 있다.

출력부(130)는 오디오 신호 또는 비디오 신호를 출력할 수 있으며, 출력 장치(280)는 디스플레이(281), 및 음향 출력부(282)를 포함할 수 있다.

디스플레이(281)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 출력부(130)의 구현 형태에 따라, 출력부(130)는 디스플레이(281)를 2개 이상 포함할 수도 있다.

음향 출력부(282)는 통신부(160)로부터 수신되거나 저장부(140)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(282)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.

입력부(150) 및 출력부(130)는 네트워크 인터페이스를 포함할 수 있고, 터치 스크린으로 구현될 수 있다.

프로세서(120)는, 저장부(140)에 저장된 프로그램들을 실행함으로써, 센싱부(110), 통신부(160), 입력부(150), 저장부(140), 및 출력부(130)를 전반적으로 제어할 수 있다.

도 15는 일 실시 예에 따른 차량의 블록 구성도(block diagram)이다.

차량(1)은 일 실시 예에 따라, 전자 장치(100) 및 주행 장치(200)를 포함할 수 있다. 도 15에 도시된 차량(1)은 본 실시 예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 15에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

전자 장치(100)는 센싱부(110) 및 프로세서(120)를 포함할 수 있다.

센싱부(110)와 프로세서(120)에 대한 설명은 도 11, 도 12에서 상술하였으므로, 생략하기로 한다.

주행 장치(200)는 브레이크 유닛(221), 조향 유닛(222) 및 스로틀(223)을 포함할 수 있다.

조향 유닛(222)은 차량(1)의 방향을 조절하도록 구성되는 매커니즘들의 조합이 될 수 있다.

스로틀(223)은 엔진/모터(211)의 동작 속도를 제어하여, 차량(1)의 속도를 제어하도록 구성되는 매커니즘들의 조합이 될 수 있다. 또한, 스로틀(223)은 스로틀 개방량을 조절하여 엔진/모터(211)로 유입되는 연료공기의 혼합 가스 양을 조절할 수 있으며, 스로틀 개방량을 조절하여 동력 및 추력을 제어할 수 있다.

브레이크 유닛(221)은 차량(1)을 감속시키도록 구성되는 매커니즘들의 조합이 될 수 있다. 예를 들어, 브레이크 유닛(221)은 휠/타이어(214)의 속도를 줄이기 위해 마찰을 사용할 수 있다.

상기 살펴 본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.

본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

100 : 전자 장치
110 : 센싱부
120 : 프로세서

Claims

전자 장치에 있어서,
상기 전자 장치가 이동하는 중에 미리 정해진 간격에 따른 복수의 노드 마다 위치 데이터와 영상 데이터를 획득하는 적어도 하나의 센싱부; 및
상기 영상 데이터로부터 오브젝트를 추출하고,
상기 추출된 오브젝트를 식별하기 위한 제1 오브젝트 데이터를 생성하고,
상기 오브젝트가 추출된 상기 영상 데이터에 대응하는 제1 노드의 위치 데이터와, 상기 제1 노드에 대응하는 상기 제1 오브젝트 데이터를 저장하는 프로세서를 포함하는, 전자 장치.
제1 항에 있어서,
상기 프로세서는,
상기 제1 오브젝트 데이터에 대응하는 상기 오브젝트가, 기 저장된 제2 오브젝트 데이터에 대응하는 오브젝트와 동일한 것으로 판단되면,
상기 제1 오브젝트 데이터와 상기 제2 오브젝트 데이터를 이용하여, 상기 제1 노드와 상기 제2 오브젝트 데이터에 대응하는 제2 노드의 상대 위치 데이터, 상기 제1 노드와 상기 제2 노드의 상대 위치 데이터에 대응하는 에러 값을 산출하고,
상기 에러 값이 최소화되도록, 상기 제1 노드와 상기 제2 노드의 위치 데이터를 보정하는, 전자 장치.
제2 항에 있어서,
상기 프로세서는,
상기 보정된 상기 제1 노드와 상기 제2 노드의 위치 데이터에 기초하여, 상기 제1 노드와 상기 제2 노드를 포함하는 경로 그래프를 보정하는, 전자 장치.
제1 항에 있어서,
상기 프로세서는,
상기 노드 별 위치 데이터와 영상 데이터를 이용하여, 인접한 노드 간의 상대 위치 데이터와 상기 상대 위치 데이터에 대응하는 에러 값을 산출하고,
상기 에러 값이 최소화되도록, 상기 노드 별 위치 데이터를 보정하는, 전자 장치.
제4 항에 있어서,
상기 프로세서는,
상기 노드 별 위치 데이터, 상기 인접한 노드 간의 상대 위치 데이터 및 상기 상대 위치 데이터에 대응하는 에러 값을 포함하는 경로 그래프를 생성하는, 전자 장치.
제5 항에 있어서,
상기 프로세서는,
상기 보정된 노드 별 위치 데이터에 기초하여, 상기 경로 그래프를 보정하는, 전자 장치.
제6 항에 있어서,
상기 프로세서는,
상기 보정된 경로 그래프와 상기 노드 별 영상 데이터를 이용하여, 지도 데이터를 생성하고, 상기 생성된 지도 데이터를 저장하는, 전자 장치.
제7 항에 있어서,
상기 프로세서는,
상기 지도 데이터를 생성한 이후, 상기 지도 데이터를 생성할 때 이용된 상기 경로 그래프를 저장하고,
상기 지도 데이터를 생성할 때 이용된 상기 노드 별 영상 데이터를 삭제하는, 전자 장치.
제8 항에 있어서,
상기 프로세서는,
상기 경로 그래프가 저장된 이후에 상기 차량이 주행하는 중에 획득되는 상기 위치 데이터를 이용하여, 상기 경로 그래프를 확장하는, 전자 장치.
제1 항에 있어서,
상기 제1 오브젝트 데이터는,
상기 오브젝트의 크기, 색깔, 상기 제1 노드와 상기 오브젝트 간의 거리를 나타내는 거리 데이터 및 상기 제1 노드에 대한 상기 오브젝트의 방위(direction)를 나타내는 방위 데이터 중 적어도 하나를 더 포함하는, 전자 장치.
전자 장치의 동작 방법에 있어서,
상기 전자 장치가 이동하는 중에 미리 정해진 간격에 따른 복수의 노드 마다 위치 데이터와 영상 데이터를 획득하는 단계;
상기 영상 데이터로부터 오브젝트를 추출하는 단계;
상기 추출된 오브젝트를 식별하기 위한 제1 오브젝트 데이터를 생성하는 단계; 및
상기 오브젝트가 추출된 상기 영상 데이터에 대응하는 제1 노드의 위치 데이터와, 상기 제1 노드에 대응하는 상기 제1 오브젝트 데이터를 저장하는 단계를 포함하는, 동작 방법.
제11 항에 있어서,
상기 제1 오브젝트 데이터에 대응하는 상기 오브젝트가, 기 저장된 제2 오브젝트 데이터에 대응하는 오브젝트와 동일한 것으로 판단하는 단계;
상기 제1 오브젝트 데이터와 상기 제2 오브젝트 데이터를 이용하여, 상기 제1 노드와 상기 제2 오브젝트 데이터에 대응하는 제2 노드의 상대 위치 데이터, 상기 제1 노드와 상기 제2 노드의 상대 위치 데이터에 대응하는 에러 값을 산출하는 단계; 및
상기 에러 값이 최소화되도록, 상기 제1 노드와 상기 제2 노드의 위치 데이터를 보정하는 단계를 더 포함하는, 동작 방법.
제12 항에 있어서,
상기 보정된 상기 제1 노드와 상기 제2 노드의 위치 데이터에 기초하여, 상기 제1 노드와 상기 제2 노드를 포함하는 경로 그래프를 보정하는 단계를 더 포함하는, 동작 방법.
제11 항에 있어서,
상기 노드 별 위치 데이터와 영상 데이터를 이용하여, 인접한 노드 간의 상대 위치 데이터와 상기 상대 위치 데이터에 대응하는 에러 값을 산출하는 단계; 및
상기 에러 값이 최소화되도록, 상기 노드 별 위치 데이터를 보정하는 단계를 더 포함하는, 동작 방법.
제14 항에 있어서,
상기 노드 별 위치 데이터, 상기 인접한 노드 간의 상대 위치 데이터 및 상기 상대 위치 데이터에 대응하는 에러 값을 포함하는 경로 그래프를 생성하는 단계를 더 포함하는, 동작 방법.
제15 항에 있어서,
상기 보정된 노드 별 위치 데이터에 기초하여, 상기 경로 그래프를 보정하는 단계를 더 포함하는, 동작 방법.
제16 항에 있어서,
상기 보정된 경로 그래프와 상기 노드 별 영상 데이터를 이용하여, 지도 데이터를 생성하는 단계; 및
상기 생성된 지도 데이터를 저장하는 단계를 더 포함하는, 동작 방법.
제17 항에 있어서,
상기 지도 데이터를 생성한 이후, 상기 지도 데이터를 생성할 때 이용된 상기 경로 그래프를 저장하는 단계; 및
상기 지도 데이터를 생성할 때 이용된 상기 노드 별 영상 데이터를 삭제하는 단계를 더 포함하는, 동작 방법.
제11 항에 있어서,
상기 제1 오브젝트 데이터는,
상기 오브젝트의 크기, 색깔, 상기 제1 노드와 상기 오브젝트 간의 거리를 나타내는 거리 데이터 및 상기 제1 노드에 대한 상기 오브젝트의 방위(direction)를 나타내는 방위 데이터 중 적어도 하나를 더 포함하는, 동작 방법.
제 11항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.