KR20220072146A - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20220072146A
KR20220072146A KR1020200159444A KR20200159444A KR20220072146A KR 20220072146 A KR20220072146 A KR 20220072146A KR 1020200159444 A KR1020200159444 A KR 1020200159444A KR 20200159444 A KR20200159444 A KR 20200159444A KR 20220072146 A KR20220072146 A KR 20220072146A
Authority
KR
South Korea
Prior art keywords
information
height information
point
axis
map data
Prior art date
Application number
KR1020200159444A
Other languages
English (en)
Inventor
장은솔
김명곤
류제웅
백아론
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200159444A priority Critical patent/KR20220072146A/ko
Priority to PCT/KR2021/015228 priority patent/WO2022114551A1/ko
Priority to EP21898377.3A priority patent/EP4220082A4/en
Publication of KR20220072146A publication Critical patent/KR20220072146A/ko
Priority to US18/139,448 priority patent/US20230266143A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/383—Indoor data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves

Abstract

전자 장치가 개시된다. 전자 장치는 주행 공간에 대응되며 Z축 정보를 포함하는 맵 데이터가 저장된 메모리, 카메라 및 프로세서를 포함한다. 프로세서는 전자 장치가 주행하는 동안 제1 위치에서 카메라에 의해 획득된 제1 이미지에 기초하여 맵 데이터의 일 지점에 포함된 오브젝트의 제1 높이 정보를 획득하고, 제1 위치와 상이한 제2 위치에서 카메라에 의해 획득된 제2 이미지에 기초하여 맵 데이터의 일 지점에 포함된 오브젝트의 제2 높이 정보를 획득하고, 제1 높이 정보 및 제2 높이 정보에 기초하여 일 지점에 대응되는 Z축 정보를 업데이트한다.

Description

전자 장치 및 그 제어 방법{ELECTRONIC APPARATUS AND CONTROLLING METHOD THEREOF}
본 발명은 화각 정보에 기초하여 맵 데이터를 업데이트하는 전자 장치 및 그 제어 방법에 관한 것이다.
최근 가이드 봇(Guide Bot) 또는 리테일 봇(Retail Bot)과 같이 특정 공간 내에서 사용자에게 서비스를 제공하는 전자 장치가 상용화되고 있다. 전자 장치에 구비된 다양한 종류의 측정 장치를 통해 특정 공간 내에서의 주행을 위한 맵을 생성하는 경우, 기존의 전자 장치는 측정 장치의 종류에 따라 상이한 화각 특성을 고려하지 않고 맵을 생성하는 결과 서로 상이한 측정 장치를 구비한 전자 장치들 간에 생성된 맵을 공유할 수 없는 문제점이 있었다.
이에 특정 공간 내에서 전자 장치가 최적의 주행을 할 수 있도록 다양한 측정 장치의 화각 특성을 고려하여 맵을 생성하는 방법에 대한 지속적인 요구가 있었다.
본 개시는 상술한 필요성에 따른 것으로, 본 발명의 목적은 측정 장치의 화각 특성을 고려하여 맵 데이터를 업데이트하는 전자 장치 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치는, 주행 공간에 대응되며 Z축 정보를 포함하는 맵 데이터가 저장된 메모리, 카메라 및 상기 전자 장치가 주행하는 동안 제1 위치에서 상기 카메라에 의해 획득된 제1 이미지에 기초하여 상기 맵 데이터의 일 지점에 포함된 오브젝트의 제1 높이 정보를 획득하고, 상기 제1 위치와 상이한 제2 위치에서 상기 카메라에 의해 획득된 제2 이미지에 기초하여 상기 맵 데이터의 일 지점에 포함된 오브젝트의 제2 높이 정보를 획득하고, 상기 제1 높이 정보 및 상기 제2 높이 정보에 기초하여 상기 일 지점에 대응되는 Z축 정보를 업데이트하는 프로세서를 포함할 수 있다.
여기서, 상기 제2 이미지에 의해 획득된 상기 제2 높이 정보는, 상기 제1 이미지에 의해 획득된 상기 제1 높이 정보 외에 제3 높이 정보를 포함하며, 상기 프로세서는, 상기 제3 높이 정보에 기초하여 상기 일 지점에 대응되는 Z축 정보를 추가로 업데이트할 수 있다.
또한, 상기 프로세서는, 상기 제1 높이 정보 및 상기 제2 높이 정보에 기초하여 획득된 최소 높이 정보 및 최대 높이 정보에 기초하여 상기 일 지점에 대응되는 Z축 정보를 업데이트할 수 있다.
또한, 상기 프로세서는, 상기 제1 이미지 또는 제2 이미지 중 적어도 하나에 기초하여 복수의 오브젝트가 식별되면, 상기 제1 높이 정보 및 상기 제2 높이 정보에 기초하여 상기 복수의 오브젝트 각각의 높이 정보를 획득하고, 상기 획득된 높이 정보에 기초하여 상기 일 지점에 대응되는 Z축 정보를 업데이트할 수 있다.
한편, 상기 프로세서는, 상기 제1 높이 정보 및 상기 제2 높이 정보에 기초하여 상호 이격된 제1 오브젝트 영역 및 제2 오브젝트 영역이 식별되면, 상기 제1 오브젝트 영역의 최소 높이 정보 및 최대 높이 정보를 획득하고, 상기 제2 오브젝트 영역의 최소 높이 정보 및 최대 높이 정보를 획득하고, 상기 획득된 정보에 기초하여 상기 일 지점에 대응되는 Z축 정보를 업데이트할 수 있다.
또한, 상기 프로세서는, 상기 제1 높이 정보 및 상기 제2 높이 정보에 기초하여 상기 일 지점에 대응되는 확률 분포를 획득하고, 상기 획득된 확률 분포에 대한 분산 값에 기초하여 상기 일 지점에 대응되는 Z축 정보를 업데이트할 수 있다.
한편, 라이다 센서를 더 포함하며, 상기 라이다 센서에 의해 획득된 제3 이미지에 기초하여 상기 맵 데이터의 일 지점에 포함된 오브젝트의 제4 높이 정보를 획득하고, 상기 획득된 제4 높이 정보에 기초하여 상기 맵 데이터의 상기 일 지점에 대응되는 Z축 정보를 업데이트할 수 있다.
또한, 통신 인터페이스를 더 포함하며, 상기 프로세서는, 외부 장치로부터 상기 맵 데이터의 일 지점에 대한 제5 높이 정보가 수신되면, 상기 수신된 제5 높이 정보에 기초하여 상기 일 지점에 대응되는 Z축 정보를 업데이트할 수 있다.
또한, 상기 맵 데이터는 X축 정보 및 Y축 정보를 더 포함하고, 상기 X축 정보 및 상기 Y축 정보는 상기 맵 데이터 상의 일 지점을 나타내며, 상기 프로세서는, 상기 맵 데이터 상에서 Z축 정보의 업데이트가 완료되지 않은 지점을 회피하여 상기 전자 장치의 주행 경로를 설정할 수 있다.
여기서, 상기 프로세서는, 상기 업데이트된 맵 데이터 및 상기 전자 장치의 폼 팩터(Form Factor) 정보에 기초하여 상기 전자 장치의 주행 경로를 설정할 수 있다.
한편, 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은, 상기 전자 장치가 주행하는 동안 제1 위치에서 카메라에 의해 획득된 제1 이미지에 기초하여 맵 데이터의 일 지점에 포함된 오브젝트의 제1 높이 정보를 획득하는 단계, 상기 제1 위치와 상이한 제2 위치에서 상기 카메라에 의해 획득된 제2 이미지에 기초하여 상기 맵 데이터의 일 지점에 포함된 오브젝트의 제2 높이 정보를 획득하는 단계 및 상기 제1 높이 정보 및 제2 높이 정보에 기초하여 상기 일 지점에 대응되는 Z축 정보를 업데이트하는 단계를 포함할 수 있다.
여기서, 상기 제2 이미지에 의해 획득된 상기 제2 높이 정보는, 상기 제1 이미지에 의해 획득된 상기 제1 높이 정보 외에 제3 높이 정보를 포함하며, 상기 제어 방법은, 상기 제3 높이 정보에 기초하여 상기 일 지점에 대응되는 Z축 정보를 추가로 업데이트하는 단계를 더 포함할 수 있다.
또한, 상기 Z축 정보를 업데이트하는 단계는, 상기 제1 높이 정보 및 상기 제2 높이 정보에 기초하여 획득된 최소 높이 정보 및 최대 높이 정보에 기초하여 상기 일 지점에 대응되는 Z축 정보를 업데이트할 수 있다.
또한, 상기 Z축 정보를 업데이트하는 단계는, 상기 제1 이미지 또는 제2 이미지 중 적어도 하나에 기초하여 복수의 오브젝트가 식별되면, 상기 제1 높이 정보 및 상기 제2 높이 정보에 기초하여 상기 복수의 오브젝트 각각의 높이 정보를 획득하는 단계 및 상기 획득된 높이 정보에 기초하여 상기 일 지점에 대응되는 Z축 정보를 업데이트하는 단계를 더 포함할 수 있다.
한편, 상기 Z축 정보를 업데이트하는 단계는, 상기 제1 높이 정보 및 상기 제2 높이 정보에 기초하여 상호 이격된 제1 오브젝트 영역 및 제2 오브젝트 영역이 식별되면, 상기 제1 오브젝트 영역의 최소 높이 정보 및 최대 높이 정보를 획득하는 단계, 상기 제2 오브젝트 영역의 최소 높이 정보 및 최대 높이 정보를 획득하는 단계 및 상기 획득된 정보에 기초하여 상기 일 지점에 대응되는 Z축 정보를 업데이트하는 단계를 포함할 수 있다.
또한, 상기 Z축 정보를 업데이트하는 단계는, 상기 제1 높이 정보 및 상기 제2 높이 정보에 기초하여 상기 일 지점에 대응되는 확률 분포를 획득하는 단계 및 상기 획득된 확률 분포에 대한 분산 값에 기초하여 상기 일 지점에 대응되는 Z축 정보를 업데이트하는 단계를 포함할 수 있다.
한편, 라이다 센서에 의해 획득된 제3 이미지에 기초하여 상기 맵 데이터의 일 지점에 포함된 오브젝트의 제4 높이 정보를 획득하는 단계를 더 포함하며, 상기 Z축 정보를 업데이트하는 단계는, 상기 획득된 제4 높이 정보에 기초하여 상기 맵 데이터의 상기 일 지점에 대응되는 Z축정보를 업데이트할 수 있다.
또한, 외부 장치로부터 상기 맵 데이터의 일 지점에 대한 제5 높이 정보가 수신되면, 상기 수신된 제5 높이 정보에 기초하여 상기 일 지점에 대응되는 Z축 정보를 업데이트하는 단계를 더 포함할 수 있다.
또한, 상기 맵 데이터는 X축 정보 및 Y축 정보를 더 포함하고, 상기 X축 정보 및 상기 Y축 정보는 상기 맵 데이터 상의 일 지점을 나타내며, 상기 제어 방법은, 상기 맵 데이터 상에서 Z축 정보의 업데이트가 완료되지 않은 지점을 회피하여 상기 전자 장치의 주행 경로를 설정하는 단계를 더 포함할 수 있다.
여기서, 상기 업데이트된 맵 데이터 및 상기 전자 장치의 폼 팩터(Form Factor) 정보에 기초하여 상기 전자 장치의 주행 경로를 설정하는 단계를 더 포함할 수 있다.
본 개시의 다양한 실시 예에 따르면, 다양한 센서를 구비한 전자 장치가 효율적으로 주행할 수 있으므로 사용자에게 제공되는 서비스의 품질이 제고될 수 있다.
도 1은 센서의 화각 특성을 고려한 오브젝트 식별 방법을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 3a 및 3b는 본 개시의 일 실시 예에 따른 맵 데이터 업데이트 방법을 설명하기 위한 도면이다.
도 4a 내지 4d는 본 개시의 일 실시 예에 따른 맵 데이터를 업데이트하는 다양한 방법을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 전자 장치가 구비한 다양한 종류의 센서를 이용한 오브젝트 식별 방법을 설명하기 위한 도면이다.
도 6a 및 6b는 본 개시의 일 실시 예에 따른 전자 장치와 외부 장치간의 통신 연결을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 주행 경로 설정 방법을 설명하기 위한 도면이다.
도 8a 및 8b는 본 개시의 일 실시 예에 따른 전자 장치의 폼 팩터를 고려한 경로 설정 방법을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 기능적 구성을 구체적으로 설명하기 위한 블록도이다.
도 10은 본 개시의 일 실시 예에 따른 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 개시에서 사용자라는 용어는 전자 장치를 사용하는 사람을 지칭할 수 있다. 또한, 전자 장치가 동작하는 특정 공간은 실내 공간인 것을 전제로 전자 장치의 동작을 설명하도록 한다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1은 센서의 화각 특성을 고려한 오브젝트 식별 방법을 설명하기 위한 도면이다.
도 1을 참조하면, 실내 공간에 대응되는 맵 데이터는 X축 정보, Y축 정보 및 Z축 정보를 포함할 수 있다. 맵 데이터에 포함된 일 지점(10)에 대응되는 정보는 X축 정보, Y축 정보 및 Z축 정보를 포함하는 지점일 수 있다. 일 지점(10)에 대응되는 정보는 X축 범위, Y축 범위 및 Z축 범위에 관한 정보를 포함할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 사용자에게 서비스를 제공하는 로봇으로 구현될 수 있으나, 이에 한정되지는 않는다.
전자 장치(100)는 맵 데이터에 포함된 일 지점(10)에 포함된 오브젝트(300)를 일정한 화각(200)을 갖는 센서를 이용해 식별할 수 있다. 일 예에 따른 전자 장치(100)는 일 지점(10)에 대응되는 X축 범위, Y축 범위 및 Z축 범위에 포함된 오브젝트(300)를 식별하고, 식별된 오브젝트가 위치하는 Z축 범위에 기초하여 일 지점(100)에 대응되는 맵 데이터를 업데이트할 수 있다.
오브젝트(300)는 실내 공간의 일 지점(10)에 위치하는 물체로서, 오브젝트(300)가 전자 장치(100)의 주행 경로를 기준으로 임계 거리 내에 위치하여 전자 장치(100)의 주행을 방해하는 경우 본 명세서에서는 오브젝트(300)를 '장애물'이라는 용어로 설명하도록 한다. 종래의 전자 장치는 맵 데이터에 포함된 일 지점(10)에 대응되는 정보 중에서 X축 정보 및 Y축 정보에만 기초하여 맵 데이터를 업데이트하는 결과, Z축 정보를 반영하지 못한 맵 데이터가 생성되므로 다양한 크기를 갖는 전자 장치의 주행에 있어 해당 맵 데이터를 활용하기 어려운 문제점이 있었다. 혹은 Z축에 대한 정보를 반영하더라도 전자 장치의 화각(200) 범위를 고려하지 않아 정확하지 않은 Z축 정보에 기초한 맵 데이터를 생성하는 문제점이 있었다.
본 명세서에서는 상술한 문제점을 해결하기 위해 맵 데이터에 포함된 화각 정보를 반영한 Z축 정보를 고려하여 맵 데이터를 업데이트하는 전자 장치 및 제어 방법에 관하여 설명하도록 한다.
이에 따라, 이하에서는 다양한 센서를 구비한 전자 장치의 효율적 주행을 위해 Z축 정보를 고려하여 맵 데이터를 업데이트할 수 있는 다양한 실시 예에 대해 좀더 구체적으로 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 2를 참조하여, 본 개시의 일 실시 예에 따른 전자 장치(100)는 메모리(110), 카메라(120) 및 프로세서(130)를 포함할 수 있다.
메모리(110)는 본 개시의 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 메모리(110)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현될 수 있다. 또한, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
일 실시 예에 따른 메모리(110)는 전자 장치가 주행하는 실내 공간에 대응되며 Z축 정보를 포함하는 맵 데이터를 저장할 수 있다.
카메라(120)는 카메라의 화각(Field of View; FoV) 내에 영역에 대한 촬영을 수행하여 영상을 획득할 수 있다.
카메라(120)는 객체, 예를 들어 사용자(200)에 의해 반사되어 수신되는 가시광 또는 신호를 이미지 센서로 포커싱하는 렌즈 및 가시광 또는 신호를 감지할 수 있는 이미지 센서를 포함할 수 있다. 여기서, 이미지 센서는 복수의 픽셀로 구분되는 2D의 픽셀 어레이를 포함할 수 있다.
일 실시 예에 따른 카메라(120)는 일정한 화각(Field of View)을 가지며, 일 예에 따른 화각은 카메라(120)를 각뿔의 꼭지점으로 하는 사각뿔의 형상을 취할 수 있다. 또한, 본 개시의 일 실시 예에 따른 카메라(120)는 뎁스 카메라로 구현될 수 있다.
프로세서(130)는 전자 장치(100)의 동작을 전반적으로 제어한다. 구체적으로, 프로세서(130)는 전자 장치(100)의 각 구성과 연결되어 전자 장치(100)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 프로세서(130)는 메모리(110) 및 카메라(120)와 연결되어 전자 장치(100)의 동작을 제어할 수 있다.
일 실시 예에 따라 프로세서(130)는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), NPU(Neural Processing Unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)) 등 다양한 이름으로 명명될 수 있으나, 본 명세서에서는 프로세서(130)로 기재한다.
프로세서(130)는 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 또한, 프로세서(130)는 SRAM 등의 휘발성 메모리를 포함할 수 있다.
일 실시 예에 따른 프로세서(130)는 전자 장치(100)가 주행하는 동안 제1 위치에서 카메라(120)에 의해 획득된 제1 이미지에 기초하여 맵 데이터의 일 지점에 포함된 오브젝트의 제1 높이 정보를 획득할 수 있다.
여기서, 맵 데이터의 일 지점에 포함된 오브젝트는 실내 공간에 위치하는 장애물일 수 있다. 장애물은 공간의 바닥에 위치하는 의자 및 테이블과 같은 가구일 수 있으며, 공간의 천장에 위치하는 조명장치 및 스크린일 수도 있고, 공간에 떠 있는 드론일 수도 있다.
여기서, 높이 정보는 일 지점에 포함된 오브젝트가 위치하는 Z축 범위에 관한 정보일 수 있다. 다시 말해 제1 높이 정보는 실내 공간에 위치하는 장애물의 높이에 대응되는 정보일 수 있다. 일 에에 따른 프로세서(130)는 상기 예시한 의자의 경우 바닥면(Z = 0)부터 의자의 높이까지의 Z축 범위에 관한 정보를 제1 높이 정보로 식별할 수 있으며, 조명장치의 경우 조명장치의 하부면으로부터 천장면까지의 Z축 범위에 관한 정보를 제1 높이 정보로 식별할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(130)는 제1 위치와 상이한 제2 위치에서 카메라(120)에 의해 획득된 제2 이미지에 기초하여 맵 데이터의 일 지점에 포함된 오브젝트의 제2 높이 정보를 획득할 수 있다. 일 예에 따른 프로세서(130)는 획득된 제1 높이 정보 및 제2 높이 정보에 기초하여 일 지점에 대응되는 Z축 정보를 업데이트할 수 있다.
여기서, 제2 이미지에 의해 획득된 제2 높이 정보는 제1 이미지에 의해 획득된 제1 높이 정보 외에 제3 높이 정보를 포함할 수 있다. 구체적으로, 전자 장치(100)가 제2 이미지를 획득한 제2 위치는 전자 장치(100)가 제1 이미지를 획득한 제1 위치보다 오브젝트에서 더 멀리 떨어진 위치일 수 있다. 카메라(120)가 일정한 화각을 가지는 경우 오브젝트에서 더 멀리 떨어진 위치인 제2 위치에서 획득한 제2 이미지는 제1 위치에서 획득한 제1 이미지보다 오브젝트에 대해 더 넓은 Z축 범위에 걸친 높이 정보(제3 높이 정보)를 포함할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(130)는 제3 높이 정보에 기초하여 일 지점에 대응되는 Z축 정보를 추가로 업데이트할 수 있다. 즉, 프로세서(130)는 제1 위치에서 획득한 제1 이미지에 포함된 제1 높이 정보에 대응되는 맵 데이터는 업데이트하지 않고, 제2 위치에서 획득한 제2 이미지에 포함된 제2 높이 정보 중 제1 높이 정보에 포함되지 않은 부분인 제3 높이 정보에 대응되는 맵 데이터만을 업데이트할 수 있다.
한편, 본 개시의 일 실시 예에 따른 프로세서(130)는 제1 높이 정보 및 제2 높이 정보에 기초하여 획득된 최소 높이 정보 및 최대 높이 정보에 기초하여 일 지점에 대응되는 Z축 정보를 업데이트할 수 있다.
또한, 본 개시의 일 실시 예에 따른 프로세서(130)는 제1 이미지 또는 제2 이미지 중 적어도 하나에 기초하여 복수의 오브젝트가 식별되면, 제1 높이 정보 및 제2 높이 정보에 기초하여 복수의 오브젝트 각각의 높이 정보를 획득할 수 있다. 프로세서(130)는 획득된 높이 정보에 기초하여 일 지점에 대응되는 Z축 정보를 업데이트할 수 있다.
여기서, 본 개시의 일 실시 예에 따른 프로세서(130)는 제1 높이 정보 및 제2 높이 정보에 기초하여 상호 이격된 제1 오브젝트 영역 및 제2 오브젝트 영역이 식별되면 제1 오브젝트 영역 및 제2 오브젝트 영역의 최소 높이 정보 및 최대 높이 정보를 획득할 수 있다. 프로세서(130)는 획득된 정보에 기초하여 일 지점에 대응되는 Z축 정보를 업데이트할 수 있다.
또한, 본 개시의 일 실시 예에 따른 프로세서(130)는 제1 높이 정보 및 제2 높이 정보에 기초하여 일 지점에 대응되는 확률 분포를 획득하고, 획득된 확률 분포에 대한 분산 값에 기초하여 일 지점에 대응되는 Z축 정보를 업데이트할 수 있다.
한편 본 개시의 일 실시 예에 따른 전자 장치(100)는 라이다 센서를 포함하며, 일 예에 따른 프로세서(130)는 라이다 센서에 의해 획득된 제3 이미지 에 기초하여 맵 데이터의 일 지점에 포함된 오브젝트의 제4 높이 정보를 획득할 수 있다. 라이다(LIDAR) 센서는 레이저를 통해 센서와 오브젝트 사이의 거리를 측정하는 장비이다. 일 예에 따른 라이다 센서는 광학 펄스를 오브젝트를 향해 조사하고 반사된 신호의 특징에 기초하여 오브젝트와의 거리를 맵핑할 수 있다. 라이다 센서는 각뿔 모양의 화각을 갖지 않고, 오직 일방향으로만 광학 펄스를 조사하므로 뎁스 카메라와 같은 장비와 상이한 광학 특성을 가질 수 있다.
본 개시의 일 실시 예에 따른 프로세서(130)는 획득된 제4 높이 정보에 기초하여 맵 데이터의 일 지점에 대응되는 Z축 정보를 업데이트할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 통신 인터페이스를 더 포함하며, 일 예에 따른 프로세서(130)는 외부 장치로부터 맵 데이터의 일 지점에 대한 제5 높이 정보가 수신되면 수신된 제5 높이 정보에 기초하여 일 지점에 대응되는 Z축 정보를 업데이트할 수 있다.
한편, 맵 데이터는 X축 정보 및 Y축 정보를 더 포함하고, X축 정보 및 Y축 정보는 맵 데이터 상의 일 지점을 나타낼 수 있다. 구체적으로 맵 데이터에 포함된 X축 정보 및 Y축 정보는 맵 데이터 상의 일 지점의 형태에 대응되는 정보일 수 있다. 예를 들어, 일 지점이 정사각형 형태의 Cell이라면 Cell의 변 길이에 대응되는 X축 범위 및 Y축 범위에 관한 정보가 맵 데이터에 포함될 수 있다.
일 예에 따른 프로세서(130)는 맵 데이터 상에서 Z축 정보의 업데이트가 완료되지 않은 지점을 회피하여 전자 장치(100)의 주행 경로를 설정할 수 있다.
여기서, 일 예에 따른 프로세서(130)는 업데이트된 맵 데이터 및 전자 장치(100)의 폼 팩터(Form Factor) 정보에 기초하여 전자 장치(100)d의 주행 경로를 설정할 수 있다.
도 3a 및 3b는 본 개시의 일 실시 예에 따른 맵 데이터 업데이트 방법을 설명하기 위한 도면이다.
도 3a는 전자 장치(100)가 제1 위치(100)에서 획득한 제1 이미지에 기초하여 제1 높이 정보를 획득하는 방법을 설명하기 위한 도면이다. 일 예에 따른 전자 장치(100)는 제1 위치(31)에서 카메라(120)를 통해 제1 이미지를 획득할 수 있다.
일 예에 따른 카메라(120)는 상부면(210) 및 하부면(220) 사이에 형성된 일정 범위의 화각(200)을 갖는다. 이 경우 맵 데이터의 일 지점(10)에 대응되는 제1 높이 정보는 일 지점(10)에 대응되는 Z축 정보(바닥 ~ 천장) 중 카메라(120)의 화각(200)이 커버하는 범위(230) 내의 Z축 범위 내에서 획득될 수 있다. 다시 말해 본 개시의 일 실시 예에 따른 전자 장치(100)가 제1 높이 정보를 획득하는 과정에서 고려하는 화각(200)은 수직 화각일 수 있다.
화각(200)의 상부면(210)보다 위의 영역(240) 및 화각(200)의 하부면(220)보다 아래의 영역(250)에 대해서는 일 지점(10)에 대응되는 Z축 정보가 획득되지 않으므로 프로세서(130)는 해당 영역(240, 250)에 대해서는 일 지점(10)에 대응되는 Z축 정보를 업데이트하지 않을 수 있다.
도 3b는 전자 장치(100)가 제2 위치(100)에서 획득한 제2 이미지에 기초하여 제2 높이 정보를 획득하는 방법을 설명하기 위한 도면이다. 일 예에 따른 전자 장치(100)는 제2 위치(32)에서 카메라(120)를 통해 제2 이미지를 획득할 수 있다.
이 경우 일 지점(10)에 대응되는 Z축 정보(바닥 ~ 천장)는 카메라(120)의 화각(200)이 커버하는 범위(230) 내에 포함되게 된다. 따라서 일 지점(10)에 포함된 오브젝트(300)에 대한 제2 높이 정보는 일 지점(100)에 대응되는 모든 Z축 범위에 대하여 획득되게 된다. 여기서, 일 예에 따른 화각(200)은 제1 높이 정보를 획득하는 과정과 마찬가지로 수직 화각일 수 있다. 결과적으로, 오브젝트(300) 및 빈 공간(400)에 관한 Z축 정보가 제2 높이 정보로서 식별될 수 있다.
일 예에 따른 전자 장치(100)가 제1 위치(31)에서 제2 위치(32)로 이동하는 경우 기존에 Z축 정보가 업데이트되지 않은 영역(240, 250)에 대해서도 Z축 정보를 업데이트할 수 있게 된다.
반면, 전자 장치(100)가 제2 위치(32)에서 제1 위치(31)로 이동하는 경우 일 예에 따른 프로세서(130)는 화각(200)이 커버하는 범위(230)에 대해서는 오브젝트(300)가 식별되지 않으나, 그 외 영역(240, 250)에 대해서는 Z축 정보를 업데이트하지 않기 때문에 프로세서(130)는 일 지점(10)은 여전히 주행이 불가능한 영역으로 식별할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 카메라(120)의 화각 특성을 고려해 측정 장치의 화각에 포함된 오브젝트에 대한 높이 정보에 기초해 맵 데이터를 업데이트하고, 화각에 포함되지 않은 영역에 대해서는 맵 데이터에 포함된 Z축 정보를 업데이트하지 않기 때문에 장치 상에 카메라가 구비된 높이 및 구비된 카메라의 화각 특성이 상이한 전자 장치의 주행에도 활용 가능한 맵 데이터를 생성할 수 있게 된다.
도 4a 내지 4d는 본 개시의 일 실시 예에 따른 맵 데이터를 업데이트하는 다양한 방법을 설명하기 위한 도면이다.
도 4a를 참조하여, 본 개시의 일 실시 예에 따른 프로세서(130)는 제1 높이 정보 및 제2 높이 정보에 기초하여 획득된 최소 높이 정보 및 최대 높이 정보에 기초하여 일 지점에 대응되는 Z축 정보를 업데이트할 수 있다.
도 4a에는 실내 공간에 위치한 복수의 지점(10, 20, 30, 40, 50) 및 오브젝트(300)가 도시되어 있다. 오브젝트(300)는 단일 오브젝트일 수 있으나, 복수의 오브젝트로 구성된 오브젝트의 그룹일 수도 있다. 일 예에 따른 프로세서(130)는 오브젝트(300)의 하부면(412)에 대응되는 최소 높이 정보 및 오브젝트(300)의 상부면(411)에 대응되는 최대 높이 정보를 획득할 수 있다.
일 예에 따른 프로세서(130)는 획득된 최소 높이 정보 및 최대 높이 정보에 기초하여 복수의 지점(10, 20, 30, 40, 50)에 대응되는 Z축 정보를 업데이트할 수 있다.
도 4b에서는 복수의 지점(10, 20, 30, 40, 50)에 포함된 오브젝트(300)가 상호 이격된 복수의 오브젝트로 구성된 오브젝트의 그룹인 것을 전제로 설명하도록 한다.
일 예에 따른 프로세서(130)는 제1 이미지 또는 제2 이미지 중 적어도 하나에 기초하여 복수의 오브젝트 각각의 높이 정보를 획득하고, 획득된 높이 정보에 기초하여 복수의 지점(10, 20, 30, 40, 50)에 대응되는 Z축 정보를 업데이트할 수 있다.
여기서, 프로세서(130)는 제1 높이 정보 및 제2 높이 정보에 기초하여 상호 이격된 제1 오브젝트 영역 및 제2 오브젝트 영역이 식별되면 제1 오브젝트 영역 및 제2 오브젝트 영역의 최소 높이 정보 및 최대 높이 정보를 획득할 수 있다.
구체적으로, 일 예에 따른 프로세서(130)는 복수의 오브젝트의 하부면(422) 및 상부면(421)에 대한 높이 정보를 획득할 수 있다. 도 4b에서는 상대적으로 상부에 위치한 오브젝트에 대응되는 영역이 제1 오브젝트 영역, 상대적으로 하부에 위치한 오브젝트에 대응되는 영역이 제2 오브젝트 영역으로 식별될 수 있다.
본 개시의 일 실시 예에 따른 프로세서(130)는 획득된 높이 정보에 기초하여 복수의 지점(10, 20, 30, 40, 50)에 대응되는 Z축 정보를 업데이트할 수 있다. 이를 통해 전자 장치(100)는 공간 내에 위치하는 오브젝트의 정확한 위치를 반영한 맵을 생성할 수 있게 된다.
도 4c는 공간 내에 위치하는 오브젝트에 대응되는 복셀을 통해 맵 데이터를 생성하는 방법을 설명하기 위한 도면이다.
복셀(Voxel)은 부피 요소를 갖는 오브젝트를 렌더링하기 위해 사용되며, 2차원적인 픽셀(Pixel)을 3차원의 형태로 구현한 것을 의미한다. 즉, 복셀은 일정한 방법으로 공간을 분할한 결과 생성되는 부피를 가진 단위이다. 본 개시의 일 실시 예에 따른 복셀은 공간을 빈틈없이 채울 수 있는 직육면체의 형상을 가질 수 있다.
도 4c를 참조하여, 일 예에 따른 프로세서(130)는 공간 내에 위치한 오브젝트(300)에 대응되는 복수의 복셀(430)에 관한 정보에 기초하여 Z축 정보를 업데이트할 수 있다. 복수의 복셀(430)은 동일한 크기와 모양을 갖는 단일 규격일 수도 있으나, 도시한 바와 같이 각기 다른 크기와 모양을 가져도 무방하다.
그 결과, 일 예에 따른 전자 장치(100)는 공간 내에 위치하는 오브젝트(300)의 실제 형태를 구체적으로 반영한 맵 데이터를 생성할 수 있다.
도 4d는 오브젝트가 위치하는 영역에 대한 확률 분포에 기초하여 맵 데이터를 생성하는 방법을 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 프로세서(130)는 제1 높이 정보 및 제2 높이 정보에 기초하여 복수의 지점(10, 20, 30, 40, 50) 각각에 대응되는 확률 분포를 획득하고, 획득된 확률 분포에 기초하여 복수의 지점(10, 20, 30, 40, 50) 각각에 대응되는 Z축 정보를 업데이트할 수 있다.
도 4d를 참조하여, 일 예에 따른 프로세서(130)는 복수의 지점(10, 20, 30, 40, 50)에는 각각 확률 분포(441, 442, 443, 444, 445)를 획득할 수 있다. 본 개시의 일 실시 예에 따른 확률 분포는 복수의 지점에 대한 Z축 정보에 대응되는 확률 분포로서, Z축 정보에 포함된 Z축 범위 내에 오브젝트(300)가 위치할 확률을 나타내는 확률 분포일 수 있다.
일 예에 따른 프로세서(130)는 확률 분포(441, 442, 443, 444, 445)에 기초하여 각 지점에 대응되는 Z축 범위 중 확률 분포 상의 확률이 임계값 이상인 범위만을 오브젝트가 위치하는 영역으로 식별할 수 있다. 여기서, 프로세서(130)는 확률 분포에 대한 분산 값에 기초하여 오브젝트가 위치하는 영역을 식별할 수도 있다.
일 예에 따른 프로세서(130)는 복수의 지점(10, 20, 30, 40, 50)에 대해 오브젝트가 위치하는 영역으로 식별된 Z축 범위에 기초하여 복수의 지점(10, 20, 30, 40, 50) 각각에 대응되는 Z축 정보를 업데이트할 수 있다.
통상적으로 전자 장치(100)에 구비된 카메라(120)는 다양한 요인에 의한 측정 오차를 가지므로, 확률 분포에 기초하여 Z축 정보를 업데이트하는 경우 카메라(120)의 측정 오차에도 불구하고 실내 공간에 위치하는 오브젝트의 위치를 정확하게 반영한 맵 데이터를 생성할 수 있게 된다.
도 5는 본 개시의 일 실시 예에 따른 전자 장치가 구비한 다양한 종류의 센서를 이용한 오브젝트 식별 방법을 설명하기 위한 도면이다.
도 5를 참조하여 본 개시의 일 실시 예에 따른 전자 장치(100)는 카메라(120), 라이다 센서(140) 및 소나(160)를 구비할 수 있다.
일 예에 따른 카메라(120)는 뎁스 카메라(Depth Camera)로 구현될 수 있다. 카메라(120)는 상부면 및 하부면 사이의 영역으로 표현되는 화각(210)을 가질 수 있다. 본 개시의 일 실시 예에 따른 전자 장치(100)는 카메라(120)를 통해 획득된 이미지에서 일 지점(10)에 포함된 오브젝트(310)및 빈 공간(410, 420)에 대한 높이 정보를 획득할 수 있다.
본 개시의 일 실시 예에 따른 라이다 센서(140)는 오직 일방향으로만 광학 펄스를 조사하므로 직선 형태의 화각(220)을 가질 수 있다. 본 개시의 일 실시 예에 따른 전자 장치(100)는 라이다 센서(140)를 통해 획득된 이미지에서 일 지점(10)에 포함된 오브젝트(320)에 대한 높이 정보를 획득할 수 있다. 이 경우 전자 장치(100)가 획득한 오브젝트(320)에 대한 높이 정보는 하나의 Z 값에 대한 정보만을 포함하나, 그만큼 측정의 정확도는 높아질 수 있다.
본 개시의 일 실시 예에 따른 소나(SONAR, 160)는 음파에 의해 오브젝트의 방위 및 거리를 측정할 수 있는 장비이다. 일 예에 따른 소나(160)는 카메라(120)와 달리 원추 형상의 화각(230)을 가질 수 있다. 일 예에 따른 전자 장치(100)는 소나(160)를 통해 획득된 이미지에서 일 지점(10)에 포함된 오브젝트(330)에 대한 높이 정보를 획득할 수 있다.
일 예에 따른 전자 장치(100)는 소나의 화각(230) 중에서 측정의 신뢰도가 임계값 이상인 영역만을 측정 화각(미도시)으로 설정하고, 측정 화각 내에서 획득된 오브젝트(330)에 대한 높이 정보에 기초하여 일 지점(10)에 대응되는 맵 데이터를 업데이트할 수 있다. 여기서, 측정 화각은 카메라(120)와 마찬가지로 사각뿔의 형상을 가질 수 있다.
일 예에 따른 전자 장치(100)는 카메라(120), 라이다 센서(140) 및 소나(160)와 같은 측정 장치의 화각 특성을 고려해 측정 장치의 화각에 포함된 오브젝트에 대한 높이 정보에 기초해 맵 데이터를 업데이트하기 때문에 장치 상에 측정 장치가 구비된 높이 및 구비된 측정 장치의 화각 특성이 상이한 전자 장치의 주행에도 활용 가능한 맵 데이터를 생성할 수 있게 된다.
도 6a 및 6b는 본 개시의 일 실시 예에 따른 전자 장치와 외부 장치간의 통신 연결을 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 통신 인터페이스를 포함할 수 있다. 일 예에 따른 전자 장치(100)는 외부 장치로부터 맵 데이터의 일 지점(10)에 대한 높이 정보가 수신되면 수신된 높이 정보에 기초하여 일 지점에 대응되는 Z축 정보를 업데이트할 수 있다.
도 6a에서는 외부 장치에 대응되는 서버(500)가 도시되어 있다. 실내 공간에는 위치하는 복수의 로봇(100-1, 100-2)은 각 로봇의 화각(200-1, 200-2) 특성에 기초하여 일 지점(10)에 포함된 오브젝트(300)의 높이 정보를 획득할 수 있다. 실내 공간에 위치하는 일 로봇(100-1)은 스스로 획득한 오브젝트(300)의 높이 정보 및 다른 로봇(100-2)이 획득한 오브젝트(300)의 높이 정보에 기초하여 일 지점(10)에 대응되는 맵 데이터를 업데이트할 수 있다.
실내 공간에 위치하는 다른 로봇(100-2)은 스스로 획득한 오브젝트(300)에 대한 높이 정보를 서버(500)로 송신(610)할 수 있다. 서버(500)는 다른 로봇(100-2)로부터 수신된 정보 및 서버(500)에 저장된 맵 데이터에 기초하여 일 로봇(100-1)로 업데이트 정보를 송신(620)할 수 있다.
도 6b를 참조하여, 실내 공간에 위치하는 일 로봇(100-1)은 다른 로봇(100-2)로부터 직접 오브젝트(300)에 대한 높이 정보를 수신(630)할 수 있다. 일 예에 따른 일 로봇(100-1)은 수신한 높이 정보 및 스스로 획득한 높이 정보에 기초하여 일 지점(10)에 대응되는 맵 데이터를 업데이트할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 주행 경로 설정 방법을 설명하기 위한 도면이다. 도 7에는 출발지(701)부터 목적지(702)에 이르는 주행 경로(730)가 표시된 주행 맵(700)이 도시되어 있다. 일 예에 따른 전자 장치(100)의 메모리(110)에 저장된 맵 데이터는 주행 맵(700) 상의 각 지점에 대응되는 X축 정보 및 Y축 정보를 포함할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 맵 데이터의 일 지점에 대응되는 Z축 정보가 모든 Z축 범위에 대해 업데이트된 경우, 해당 지점을 업데이트가 완료된 지점(710)으로 식별할 수 있다.
업데이트가 완료된 지점(710)은 전자 장치(100)의 주행을 방해하는 장애물이 위치하고 있는 지점일 수도 있고, 장애물 없이 빈 공간만으로 이루어진 지점일 수도 있다. 이에 반해 업데이트가 완료되지 않은 지점(720)은 해당 지점에 대응되는 Z축 정보가 모든 Z축 범위에 대해 업데이트되지 않았기 때문에, 전자 장치(100)는 업데이트된 Z축 범위에서 장애물이 식별되지 않았다고 하더라도 해당 지점(720)에 장애물이 위치하지 않는다고 판단할 수 없다.
따라서 이 경우, 전자 장치(100)는 업데이트가 완료되지 않은 지점(720)을 주행이 불가능한 영역으로 식별하고, 해당 지점(720)들을 회피하여 목적지(702)까지 주행 경로(730)를 설정할 수 있다. 구체적으로, 전자 장치(100)는 업데이트가 완료된 지점(710) 중에서 장애물이 포함되지 않은 지점의 위치에 기초하여 주행 경로(730)를 설정할 수 있다.
도 8a 및 8b는 본 개시의 일 실시 예에 따른 전자 장치의 폼 팩터를 고려한 경로 설정 방법을 설명하기 위한 도면이다. 도 8a 및 8b에서는 전자 장치(100)가 로봇으로 구현된 것을 전제로 설명한다.
여기서 폼 팩터(Form Factor)란 로봇(100)의 구조화된 형태를 의미하며, 로봇(100)의 형상, 크기 및 구동부의 특성을 포함하는 개념이다. 일 예에 따른 폼 팩터 정보는 로봇(100)이 실내 공간의 바닥에 위치한 오브젝트를 통과할 수 있는 높이(이하, 승월 가능 높이) 및 로봇(100)의 높이(이하, 전고)에 대한 정보를 포함할 수 있다.
여기서 승월 가능 높이는 구동부의 특성에 기초하여 결정되는 높이일 수 있으며, 로봇(100)이 천장에 위치한 오브젝트를 통과할 수 있는지 여부는 로봇(100)의 전고에 기초하여 결정될 수 있다. 본 개시의 일 실시 예에 따른 로봇(100)은 업데이트된 맵 데이터 및 각 로봇의 폼 팩터 정보에 기초하여 로봇의 주행을 방해하는 오브젝트, 즉 장애물을 식별하여 주행 경로를 설정할 수 있다.
도 8a는 상대적으로 작은 크기를 가지는 로봇(100-1) 및 이에 대응되는 폼 팩터 정보(810)를 도시한 것이다. 여기서 로봇(100-1)은 승월 가능 높이(811)가 0.1m 이며, 전고(812)는 1.0m임에 대응되는 폼 팩터 정보(810)를 가질 수 있다.
예를 들어 맵 데이터의 일 지점에 포함된 오브젝트가 0m~0.1m 및 1.2m~3m에 위치한다면, 일 예에 따른 로봇(100-1)은 바닥으로부터 0.1m 높이까지 위치하는 오브젝트를 승월할 수 있고, 로봇의 높이(1.0m)보다 낮은 Z축 범위에 오브젝트가 위치하지 않으므로 해당 지점을 장애물이 위치하지 않은 주행 가능 영역으로 식별하여 주행 경로를 설정할 수 있다.
도 8b는 상대적으로 큰 크기를 가지는 로봇(100-2) 및 이에 대응되는 폼 팩터 정보(820)를 도시한 것이다. 여기서 로봇(100-2)은 승월 가능 높이(821)가 0.2m 이며, 전고(822)는 1.5m임에 대응되는 폼 팩터 정보(810)를 가질 수 있다.
도 8a에서 예시한 바와 같이 맵 데이터의 일 지점에 포함된 오브젝트가 0m~0.1m 및 1.2m~3m에 위치한다면, 로봇(100-2)은 로봇의 높이(1.5m)보다 낮은 Z축 범위에 오브젝트가 위치하므로 해당 지점을 장애물이 위치한 주행 불가 영역으로 식별하여 주행 경로를 설정할 수 있다.
본 개시의 일 실시 예에 따른 로봇(100)이 생성하는 맵 데이터는 로봇(100)에 구비된 센서의 화각 내에 포함된 오브젝트의 높이 정보에 기초하여 생성되기 때문에 폼 팩터 정보가 상이한 다양한 로봇이 업데이트된 맵 데이터 및 각 로봇의 폼 팩터 정보에 기초하여 주행 경로를 설정할 수 있게 된다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 기능적 구성을 구체적으로 설명하기 위한 블록도이다.
도 9에 따르면, 전자 장치(100')는 메모리(110), 카메라(120), 프로세서(130), 라이다 센서(140), 통신 인터페이스(150), 소나(160) 및 구동부(170)를 포함한다. 도 9에 도시된 구성 중 도 2에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
통신 인터페이스(150)는 다양한 타입의 데이터를 입력 및 출력할 수 있다. 예를 들어 통신 인터페이스(150)는 AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 블루투스(Bluetooth), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN(Wide Area Network), 이더넷(Ethernet), IEEE 1394, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), MHL(Mobile High-Definition Link), AES/EBU(Audio Engineering Society/ European Broadcasting Union), 옵티컬(Optical), 코액셜(Coaxial) 등과 같은 통신 방식을 통해 외부 장치(예를 들어, 소스 장치), 외부 저장 매체(예를 들어, USB 메모리), 외부 서버(예를 들어 웹 하드)와 다양한 타입의 데이터를 송수신할 수 있다.
구동부(170)는 전자 장치(100)를 주행시킬 수 있는 장치이며, 프로세서(130)의 제어에 따라 구동부(170)는 주행 방향 및 주행 속도를 조절할 수 있다. 이를 위해, 구동부(170)는 전자 장치(100)가 주행하기 위한 동력을 발생시키는 동력발생장치(예: 사용 연료(또는 에너지원)에 따라 가솔린 엔진(engine), 디젤 엔진, LPG(liquefied petroleum gas) 엔진, 전기 모터 등), 주행 방향을 조절하기 위한 조향 장치(예: 기계식 스티어링(manual steering), 유압식 스티어링(hydraulics steering), 전자식 스티어링(electronic control power steering; EPS) 등), 동력에 따라 전자 장치(100)를 주행시키는 주행 장치(예: 바퀴, 프로펠러 등) 등을 포함할 수 있다. 여기서, 구동부(170)는 전자 장치(100)의 주행 타입(예: 휠 타입, 보행 타입, 비행 타입 등)에 따라 변형 실시될 수 있다.
도 10은 본 개시의 일 실시 예에 따른 제어 방법을 설명하기 위한 흐름도이다.
본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은 전자 장치가 주행하는 동안 제1 위치에서 카메라에 의해 획득된 제 1 이미지에 기초하여 맵 데이터의 일 지점에 포함된 오브젝트의 제1 높이 정보를 획득한다(S1010). 이어서 제1 위치와 상이한 제2 위치에서 카메라에 의해 획득된 제2 이미지에 기초하여 맵 데이터의 일 지점에 포함된 오브젝트의 제2 높이 정보를 획득한다(S1020). 마지막으로 제1 높이 정보 및 제2 높이 정보에 기초하여 일 지점에 대응되는 Z축 정보를 업데이트한다(S1030).
여기서, 제2 이미지에 의해 획득된 제2 높이 정보는 제1 이미지에 의해 획득된 제1 높이 정보 외에 제3 높이 정보를 포함하며, 제3 높이 정보에 기초하여 일 지점에 대응되는 Z축 정보를 추가로 업데이트하는 단계를 더 포함할 수 있다.
또한, Z축 정보를 업데이트하는 단계(S1030)는 제1 높이 정보 및 제2 높이 정보에 기초하여 획득된 최소 높이 정보 및 최대 높이 정보에 기초하여 일 지점에 대응되는 Z축 정보를 업데이트할 수 있다.
또한, Z축 정보를 업데이트하는 단계(S1030)는 제1 이미지 또는 제2 이미지 중 적어도 하나에 기초하여 복수의 오브젝트가 식별되면 제1 높이 정보 및 제2 높이 정보에 기초하여 복수의 오브젝트 각각의 높이 정보를 획득하는 단계 및 획득된 높이 정보에 기초하여 일 지점에 대응되는 Z축 정보를 업데이트하는 단계를 더 포함할 수 있다.
한편, Z축 정보를 업데이트하는 단계(S1030)는 제1 높이 정보 및 제2 높이 정보에 기초하여 상호 이격된 제1 오브젝트 영역 및 제2 오브젝트 영역이 식별되면 제1 오브젝트 영역의 최소 높이 정보 및 최대 높이 정보를 획득하는 단계, 제2 오브젝트 영역의 최소 높이 정보 및 최대 높이 정보를 획득하는 단계 및 획득된 정보에 기초하여 일 지점에 대응되는 Z축 정보를 업데이트하는 단계를 포함할 수 있다.
또한, Z축 정보를 업데이트하는 단계(S1030)는 제1 높이 정보 및 제2 높이 정보에 기초하여 일 지점에 대응되는 확률 분포를 획득하는 단계 및 획득된 확률 분포에 대한 분산 값에 기초하여 일 지점에 대응되는 Z축 정보를 업데이트하는 단계를 포함할 수 있다.
한편, 라이다 센서에 의해 획득된 제3 이미지에 기초하여 맵 데이터의 일 지점에 포함된 오브젝트의 제4 높이 정보를 획득하는 단계를 더 포함하며, Z축 정보를 업데이트하는 단계(S1030)는 획득된 제4 높이 정보에 기초하여 맵 데이터의 일 지점에 대응되는 Z축정보를 업데이트할 수 있다.
또한, 외부 장치로부터 맵 데이터의 일 지점에 대한 제5 높이 정보가 수신되면 수신된 제5 높이 정보에 기초하여 일 지점에 대응되는 Z축 정보를 업데이트하는 단계를 더 포함할 수 있다.
또한, 맵 데이터는 X축 정보 및 Y축 정보를 더 포함하고, X축 정보 및 Y축 정보는 맵 데이터 상의 일 지점을 나타내며, 맵 데이터 상에서 Z축 정보의 업데이트가 완료되지 않은 지점을 회피하여 전자 장치의 주행 경로를 설정하는 단계를 더 포함할 수 있다.
여기서, 업데이트된 맵 데이터 및 전자 장치의 폼 팩터(Form Factor) 정보에 기초하여 전자 장치의 주행 경로를 설정하는 단계를 더 포함할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버 또는 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서(130) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치(100)의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자 장치(100)에서의 처리 동작을 특정 기기가 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해 되어져서는 안될 것이다.
100: 전자 장치 110: 메모리
120: 카메라 130: 프로세서

Claims (20)

  1. 전자 장치에 있어서,
    주행 공간에 대응되며 Z축 정보를 포함하는 맵 데이터가 저장된 메모리;
    카메라; 및
    상기 전자 장치가 주행하는 동안 제1 위치에서 상기 카메라에 의해 획득된 제1 이미지에 기초하여 상기 맵 데이터의 일 지점에 포함된 오브젝트의 제1 높이 정보를 획득하고, 상기 제1 위치와 상이한 제2 위치에서 상기 카메라에 의해 획득된 제2 이미지에 기초하여 상기 맵 데이터의 일 지점에 포함된 오브젝트의 제2 높이 정보를 획득하고,
    상기 제1 높이 정보 및 상기 제2 높이 정보에 기초하여 상기 일 지점에 대응되는 Z축 정보를 업데이트하는 프로세서;를 포함하는, 전자 장치.
  2. 제1항에 있어서,
    상기 제2 이미지에 의해 획득된 상기 제2 높이 정보는,
    상기 제1 이미지에 의해 획득된 상기 제1 높이 정보 외에 제3 높이 정보를 포함하며,
    상기 프로세서는,
    상기 제3 높이 정보에 기초하여 상기 일 지점에 대응되는 Z축 정보를 추가로 업데이트하는, 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 높이 정보 및 상기 제2 높이 정보에 기초하여 획득된 최소 높이 정보 및 최대 높이 정보에 기초하여 상기 일 지점에 대응되는 Z축 정보를 업데이트하는, 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 이미지 또는 제2 이미지 중 적어도 하나에 기초하여 복수의 오브젝트가 식별되면, 상기 제1 높이 정보 및 상기 제2 높이 정보에 기초하여 상기 복수의 오브젝트 각각의 높이 정보를 획득하고, 상기 획득된 높이 정보에 기초하여 상기 일 지점에 대응되는 Z축 정보를 업데이트하는, 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 높이 정보 및 상기 제2 높이 정보에 기초하여 상호 이격된 제1 오브젝트 영역 및 제2 오브젝트 영역이 식별되면, 상기 제1 오브젝트 영역의 최소 높이 정보 및 최대 높이 정보를 획득하고,
    상기 제2 오브젝트 영역의 최소 높이 정보 및 최대 높이 정보를 획득하고, 상기 획득된 정보에 기초하여 상기 일 지점에 대응되는 Z축 정보를 업데이트하는, 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 높이 정보 및 상기 제2 높이 정보에 기초하여 상기 일 지점에 대응되는 확률 분포를 획득하고, 상기 획득된 확률 분포에 대한 분산 값에 기초하여 상기 일 지점에 대응되는 Z축 정보를 업데이트하는, 전자 장치.
  7. 제1항에 있어서,
    라이다 센서;를 더 포함하며,
    상기 라이다 센서에 의해 획득된 제3 이미지에 기초하여 상기 맵 데이터의 일 지점에 포함된 오브젝트의 제4 높이 정보를 획득하고, 상기 획득된 제4 높이 정보에 기초하여 상기 맵 데이터의 상기 일 지점에 대응되는 Z축 정보를 업데이트하는, 전자 장치.
  8. 제1항에 있어서,
    통신 인터페이스;를 더 포함하며,
    상기 프로세서는,
    외부 장치로부터 상기 맵 데이터의 일 지점에 대한 제5 높이 정보가 수신되면, 상기 수신된 제5 높이 정보에 기초하여 상기 일 지점에 대응되는 Z축 정보를 업데이트하는, 전자 장치.
  9. 제1항에 있어서,
    상기 맵 데이터는 X축 정보 및 Y축 정보를 더 포함하고,
    상기 X축 정보 및 상기 Y축 정보는 상기 맵 데이터 상의 일 지점을 나타내며,
    상기 프로세서는,
    상기 맵 데이터 상에서 Z축 정보의 업데이트가 완료되지 않은 지점을 회피하여 상기 전자 장치의 주행 경로를 설정하는, 전자 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 업데이트된 맵 데이터 및 상기 전자 장치의 폼 팩터(Form Factor) 정보에 기초하여 상기 전자 장치의 주행 경로를 설정하는, 전자 장치.
  11. 전자 장치의 제어 방법에 있어서,
    상기 전자 장치가 주행하는 동안 제1 위치에서 카메라에 의해 획득된 제1 이미지에 기초하여 맵 데이터의 일 지점에 포함된 오브젝트의 제1 높이 정보를 획득하는 단계;
    상기 제1 위치와 상이한 제2 위치에서 상기 카메라에 의해 획득된 제2 이미지에 기초하여 상기 맵 데이터의 일 지점에 포함된 오브젝트의 제2 높이 정보를 획득하는 단계; 및
    상기 제1 높이 정보 및 상기 제2 높이 정보에 기초하여 상기 일 지점에 대응되는 Z축 정보를 업데이트하는 단계;를 포함하는, 제어 방법.
  12. 제11항에 있어서,
    상기 제2 이미지에 의해 획득된 상기 제2 높이 정보는,
    상기 제1 이미지에 의해 획득된 상기 제1 높이 정보 외에 제3 높이 정보를 포함하며,
    상기 제어 방법은,
    상기 제3 높이 정보에 기초하여 상기 일 지점에 대응되는 Z축 정보를 추가로 업데이트하는 단계;를 더 포함하는, 제어 방법.
  13. 제11항에 있어서,
    상기 Z축 정보를 업데이트하는 단계는,
    상기 제1 높이 정보 및 상기 제2 높이 정보에 기초하여 획득된 최소 높이 정보 및 최대 높이 정보에 기초하여 상기 일 지점에 대응되는 Z축 정보를 업데이트하는, 제어 방법.
  14. 제11항에 있어서,
    상기 Z축 정보를 업데이트하는 단계는,
    상기 제1 이미지 또는 제2 이미지 중 적어도 하나에 기초하여 복수의 오브젝트가 식별되면, 상기 제1 높이 정보 및 상기 제2 높이 정보에 기초하여 상기 복수의 오브젝트 각각의 높이 정보를 획득하는 단계; 및
    상기 획득된 높이 정보에 기초하여 상기 일 지점에 대응되는 Z축 정보를 업데이트하는 단계;를 더 포함하는, 제어 방법.
  15. 제11항에 있어서,
    상기 Z축 정보를 업데이트하는 단계는,
    상기 제1 높이 정보 및 상기 제2 높이 정보에 기초하여 상호 이격된 제1 오브젝트 영역 및 제2 오브젝트 영역이 식별되면, 상기 제1 오브젝트 영역의 최소 높이 정보 및 최대 높이 정보를 획득하는 단계;
    상기 제2 오브젝트 영역의 최소 높이 정보 및 최대 높이 정보를 획득하는 단계; 및
    상기 획득된 정보에 기초하여 상기 일 지점에 대응되는 Z축 정보를 업데이트하는 단계;를 포함하는, 제어 방법.
  16. 제11항에 있어서,
    상기 Z축 정보를 업데이트하는 단계는,
    상기 제1 높이 정보 및 상기 제2 높이 정보에 기초하여 상기 일 지점에 대응되는 확률 분포를 획득하는 단계; 및
    상기 획득된 확률 분포에 대한 분산 값에 기초하여 상기 일 지점에 대응되는 Z축 정보를 업데이트하는 단계;를 포함하는, 제어 방법.
  17. 제11항에 있어서,
    라이다 센서에 의해 획득된 제3 이미지에 기초하여 상기 맵 데이터의 일 지점에 포함된 오브젝트의 제4 높이 정보를 획득하는 단계;를 더 포함하며,
    상기 Z축 정보를 업데이트하는 단계는,
    상기 획득된 제4 높이 정보에 기초하여 상기 맵 데이터의 상기 일 지점에 대응되는 Z축정보를 업데이트하는, 제어 방법.
  18. 제11항에 있어서,
    외부 장치로부터 상기 맵 데이터의 일 지점에 대한 제5 높이 정보가 수신되면, 상기 수신된 제5 높이 정보에 기초하여 상기 일 지점에 대응되는 Z축 정보를 업데이트하는 단계;를 더 포함하는, 제어 방법.
  19. 제11항에 있어서,
    상기 맵 데이터는 X축 정보 및 Y축 정보를 더 포함하고,
    상기 X축 정보 및 상기 Y축 정보는 상기 맵 데이터 상의 일 지점을 나타내며,
    상기 제어 방법은,
    상기 맵 데이터 상에서 Z축 정보의 업데이트가 완료되지 않은 지점을 회피하여 상기 전자 장치의 주행 경로를 설정하는 단계;를 더 포함하는, 제어 방법.
  20. 제19항에 있어서,
    상기 업데이트된 맵 데이터 및 상기 전자 장치의 폼 팩터(Form Factor) 정보에 기초하여 상기 전자 장치의 주행 경로를 설정하는 단계;를 더 포함하는, 제어 방법.
KR1020200159444A 2020-11-25 2020-11-25 전자 장치 및 그 제어 방법 KR20220072146A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200159444A KR20220072146A (ko) 2020-11-25 2020-11-25 전자 장치 및 그 제어 방법
PCT/KR2021/015228 WO2022114551A1 (ko) 2020-11-25 2021-10-27 전자 장치 및 그 제어 방법
EP21898377.3A EP4220082A4 (en) 2020-11-25 2021-10-27 ELECTRONIC DEVICE AND ITS CONTROL METHOD
US18/139,448 US20230266143A1 (en) 2020-11-25 2023-04-26 Electronic apparatus and controlling method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200159444A KR20220072146A (ko) 2020-11-25 2020-11-25 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20220072146A true KR20220072146A (ko) 2022-06-02

Family

ID=81754770

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200159444A KR20220072146A (ko) 2020-11-25 2020-11-25 전자 장치 및 그 제어 방법

Country Status (4)

Country Link
US (1) US20230266143A1 (ko)
EP (1) EP4220082A4 (ko)
KR (1) KR20220072146A (ko)
WO (1) WO2022114551A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000161915A (ja) * 1998-11-26 2000-06-16 Matsushita Electric Ind Co Ltd 車両用単カメラ立体視システム
KR102106889B1 (ko) * 2014-12-11 2020-05-07 한화디펜스 주식회사 소형통합제어장치
GB2550347A (en) * 2016-05-13 2017-11-22 The Imp College Of Science Tech & Medicine Real-Time Height Mapping
JP6831210B2 (ja) * 2016-11-02 2021-02-17 東芝ライフスタイル株式会社 電気掃除機
KR20210012677A (ko) * 2019-07-26 2021-02-03 엘지전자 주식회사 사람의 머리를 회피하여 이동하는 로봇 및 이의 동작 제어 방법

Also Published As

Publication number Publication date
US20230266143A1 (en) 2023-08-24
EP4220082A1 (en) 2023-08-02
EP4220082A4 (en) 2024-05-01
WO2022114551A1 (ko) 2022-06-02

Similar Documents

Publication Publication Date Title
US11632536B2 (en) Method and apparatus for generating three-dimensional (3D) road model
KR102348127B1 (ko) 전자 장치 및 그의 제어 방법
CN110378965B (zh) 确定路侧成像设备坐标系转换参数的方法、装置、设备
CN108362295B (zh) 车辆路径引导设备和方法
US11758111B2 (en) 3D lidar system using a dichroic mirror for autonomous driving vehicles
JP7112993B2 (ja) レーザレーダの内部パラメータ精度検証方法とその装置、機器及び媒体
CN113657224B (zh) 车路协同中用于确定对象状态的方法、装置、设备
US10240934B2 (en) Method and system for determining a position relative to a digital map
US11781863B2 (en) Systems and methods for pose determination
US20160070981A1 (en) Operating device, operating system, operating method, and program therefor
US11625851B2 (en) Geographic object detection apparatus and geographic object detection method
JP2015518600A5 (ko)
KR20240040132A (ko) 위치파악 참조 데이터를 생성하고 사용하는 방법 및 시스템
US20200218289A1 (en) Information processing apparatus, aerial photography path generation method, program and recording medium
CN113561963B (zh) 一种泊车方法、装置及车辆
US20190152487A1 (en) Road surface estimation device, vehicle control device, and road surface estimation method
KR102491386B1 (ko) 전자 장치 및 그 제어 방법
WO2021249469A1 (zh) 栅格地图生成方法、装置及计算机可读存储介质
US20200250399A1 (en) 3d data generating device, 3d data generating method, 3d data generating program, and computer-readable recording medium storing 3d data generating program
JP2018147052A (ja) 情報処理装置、情報処理方法、情報処理プログラム、および移動体
CN111712687A (zh) 航测方法、飞行器及存储介质
KR102252295B1 (ko) 실내 토폴로지맵 생성 방법 및 이를 위한 자율주행 로봇
KR20220072146A (ko) 전자 장치 및 그 제어 방법
US20180189927A1 (en) Information processing apparatus, information processing method, and computer program product
KR20210061722A (ko) 고정밀 지도 제작 방법, 고정밀 지도 제작 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
A201 Request for examination