KR20230035363A - 자율 이동 디바이스를 위한 맵을 생성하기 위한 방법, 장치, 및 디바이스 - Google Patents

자율 이동 디바이스를 위한 맵을 생성하기 위한 방법, 장치, 및 디바이스 Download PDF

Info

Publication number
KR20230035363A
KR20230035363A KR1020237004203A KR20237004203A KR20230035363A KR 20230035363 A KR20230035363 A KR 20230035363A KR 1020237004203 A KR1020237004203 A KR 1020237004203A KR 20237004203 A KR20237004203 A KR 20237004203A KR 20230035363 A KR20230035363 A KR 20230035363A
Authority
KR
South Korea
Prior art keywords
plane
mobile device
autonomous mobile
area
map
Prior art date
Application number
KR1020237004203A
Other languages
English (en)
Inventor
씬웨이 창
Original Assignee
드림 이노베이션 테크놀로지 (쑤저우) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 드림 이노베이션 테크놀로지 (쑤저우) 컴퍼니 리미티드 filed Critical 드림 이노베이션 테크놀로지 (쑤저우) 컴퍼니 리미티드
Publication of KR20230035363A publication Critical patent/KR20230035363A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/383—Indoor data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

자율 이동 디바이스를 위한 맵 생성 방법 및 장치, 및 디바이스 및 저장 매체는 컴퓨터들의 기술 분야에 속한다. 방법은 자율 이동 디바이스가 이동하는 작동 영역에서 자율 이동 디바이스에 의해 수집되는 제1 이미지를 취득하는 단계(201)로서, 제1 이미지는 작동 영역의 상단의 이미지인 단계; 제1 이미지에 따라 타깃 특징을 추출하는 단계로서, 타깃 특징은 자율 이동 디바이스 바로 위에 제1 평면을 표시하기 위해 사용되는 단계(202); 타깃 특징에 근거하여 작동 영역의 영역 윤곽을 결정하는 단계(203); 및 작동 영역 내의 자율 이동 디바이스의 영역 윤곽 및 제1 위치 정보에 근거하여, 작동 영역의 영역 맵을 발생시키는 단계(204)를 포함한다. 방법에 의해, 집 윤곽 취득 효율이 개선될 수 있으며, 그것에 의해 영역 맵 발생 효율을 개선한다.

Description

자율 이동 디바이스를 위한 맵을 생성하기 위한 방법, 장치, 디바이스 및 저장 매체
본 출원은 컴퓨터들의 기술 분야에 속하는, 자율 이동 디바이스를 위한 맵을 생성하기 위한 방법, 장치, 디바이스 및 저장 매체에 관한 것이다.
스마트 디바이스들의 기술의 발전에 따라, 자율 이동 디바이스들은 맵들을 구축하는 능력을 갖는다. 자율 이동 디바이스는 자율 이동할 수 있고 하나 이상의 작업을 완료할 수 있는 자율 이동 디바이스일 수 있다. 하나 이상의 작업은 예를 들어, 청소, 걸레질, 깎기, 식사 배달 등일 수 있다. 청소 로봇과 같은 자율 이동 디바이스는 작업 프로세스 동안 카메라에 의해 캡처되는 영역 이미지들에 기초하여 작동 영역의 영역 맵을 생성할 수 있다. 영역 맵은 자율 이동 디바이스가 위치되는 작동 영역의 맵이다.
관련 기술에서, 자율 이동 디바이스를 위한 영역 맵을 생성하는 방법은 자율 이동 디바이스의 이동 동안, 작동 영역의 에지를 따라 이동하기 위해 자율 이동 디바이스를 제어함으로써 작동 영역의 영역 맵을 생성하는 단계를 포함한다.
그러나, 자율 이동 디바이스가 영역 맵을 생성할 때, 그것은 작동 영역의 에지를 따라 이동하기 위해 자율 이동 디바이스를 제어할 필요가 있고, 맵 생성은 덜 효율적이다.
본 출원은 자율 이동 디바이스를 위한 맵을 생성할 때 자율 이동 디바이스가 작동 영역의 에지를 따라 이동하도록 제어될 필요가 있어, 낮은 맵 생성 효율을 초래한다는 문제를 해결할 수 있는, 자율 이동 디바이스를 위한 맵을 생성하기 위한 방법, 장치, 디바이스 및 저장 매체를 제공한다. 본 출원은 이하의 해결책들을 제공한다:
제1 양태에서, 자율 이동 디바이스를 위한 맵을 생성하기 위한 방법이 제공된다. 상기 방법은,
상기 자율 이동 디바이스가 이동하는 작동 영역에서 상기 자율 이동 디바이스에 의해 캡처되는 제1 이미지를 취득하는 단계로서, 상기 제1 이미지는 상기 작동 영역 위의 이미지인 단계;
상기 제1 이미지에 따라 타깃 특징을 추출하는 단계로서, 상기 타깃 특징은 상기 자율 이동 디바이스 바로 위에 제1 평면을 표시하도록 구성되는 단계;
상기 타깃 특징에 기초하여 상기 작동 영역의 영역 윤곽을 결정하는 단계; 및
상기 작동 영역 내의 자율 이동 디바이스의 영역 윤곽 및 제1 위치 정보에 기초하여 상기 작동 영역의 영역 맵을 발생시키는 단계를 포함한다.
선택적으로, 상기 타깃 특징은 직선 특징 및/또는 벽 코너 특징을 포함하며; 상기 타깃 특징에 기초하여 상기 작동 영역의 영역 윤곽을 결정하는 단계는,
상기 직선 특징 및/또는 상기 벽 코너 특징에 기초하여, 상기 제1 평면, 상기 제1 평면에 연결된 제2 평면, 및 상기 제1 평면 및 상기 제2 평면의 교차 라인을 결정하는 단계; 및
상기 교차 라인에 기초하여 상기 작동 영역의 영역 윤곽을 결정하는 단계를 포함한다.
선택적으로, 상기 방법은,
상기 제2 평면 내에 제1 장애물이 있는 것으로 결정될 때 상기 제2 평면의 에지 정보를 취득하는 단계로서, 상기 제1 장애물은 상기 제2 평면에 근접하고 상기 작동 영역의 표면에 근접한 객체인 단계; 및
상기 제2 평면의 에지 정보에 따라 상기 작동 영역의 영역 윤곽을 조정하는 단계를 더 포함한다.
선택적으로, 상기 타깃 특징은 타킷 객체의 객체 특징을 더 포함하며, 상기 타킷 객체는 상기 작동 영역 위에 배치된 객체이고; 상기 직선 특징 및/또는 상기 벽 코너 특징에 기초하여 상기 제1 평면, 상기 제1 평면에 연결된 제2 평면, 및 상기 제1 평면 및 상기 제2 평면의 교차 라인을 결정하는 단계는,
상기 객체 특징에 기초하여 상기 제1 평면을 결정하는 단계; 및
상기 직선 특징 및/또는 상기 벽 코너 특징과 조합하여 상기 제1 평면에 기초하여, 상기 제1 평면에 연결된 제2 평면 및 상기 제1 평면 및 상기 제2 평면의 교차 라인을 결정하는 단계를 포함한다.
선택적으로, 상기 작동 영역 내의 자율 이동 디바이스의 영역 윤곽 및 제1 위치 정보에 기초하여 상기 작동 영역의 영역 맵을 발생시키기 전에, 상기 방법은,
상기 제1 이미지에 기초하여, 상기 자율 이동 디바이스와 상기 타킷 객체 사이의 상대적 위치 관계를 결정하는 단계; 및
상기 자율 이동 디바이스와 상기 타킷 객체 사이의 상대적 위치 관계에 기초하여, 상기 작동 영역 내의 자율 이동 디바이스의 제1 위치 정보를 힉득하는 단계를 더 포함한다.
선택적으로, 상기 방법은,
상기 하나 이상의 작동 영역 각각에 대응하는 영역 맵에 기초하여 타킷 맵을 발생시키는 단계를 더 포함한다.
선택적으로, 상기 방법은,
상기 작동 영역 내의 제2 장애물을 식별하는 단계;
상기 작동 영역 내의 제2 장애물의 제2 위치 정보를 취득하는 단계; 및
상기 제2 위치 정보에 따라 상기 영역 맵 내의 제2 장애물을 마킹하는 단계를 더 포함한다.
제2 양태에서, 자율 이동 디바이스를 위한 맵을 생성하기 위한 장치가 제공된다. 상기 장치는,
상기 자율 이동 디바이스가 이동하는 작동 영역에서 상기 자율 이동 디바이스에 의해 캡처되는 제1 이미지를 취득하도록 구성된 취득 모듈로서, 상기 제1 이미지는 상기 작동 영역 위의 이미지인 취득 모듈;
상기 제1 이미지에 따라 타깃 특징을 추출하도록 구성된 추출 모듈로서, 상기 타깃 특징은 상기 자율 이동 디바이스 바로 위에 제1 평면을 표시하도록 구성된 추출 모듈;
상기 타깃 특징에 기초하여 상기 작동 영역의 영역 윤곽을 결정하도록 구성된 결정 모듈; 및
상기 작동 영역 내의 자율 이동 디바이스의 영역 윤곽 및 제1 위치 정보에 기초하여 상기 작동 영역의 영역 맵을 발생시키도록 구성된 맵 발생 모듈을 포함한다.
제3 양태에서, 자율 이동 디바이스가 제공되고, 상기 자율 이동 디바이스는,
이미지들을 취득하도록 구성된 이미지 취득 구성요소; 및
처리 구성요소를 포함하며, 상기 처리 구성요소는,
작동 영역에서 상기 이미지 취득 구성요소에 의해 캡처되는 제1 이미지를 취득하며, 상기 작동 영역은 상기 자율 이동 디바이스가 이동하는 영역이고, 상기 제1 이미지는 상기 자율 이동 디바이스의 상부 영역의 이미지이고;
상기 제1 이미지에 따라 타깃 특징을 추출하도록 구성되며, 상기 타깃 특징은 상기 상부 영역의 제1 평면을 표시하도록 구성되고, 상기 제1 평면은 상기 자율 이동 디바이스 위의 평면이고;
상기 타깃 특징에 기초하여 상기 작동 영역의 영역 윤곽을 결정하고;
상기 작동 영역 내의 자율 이동 디바이스의 영역 윤곽 및 제1 위치 정보에 기초하여 상기 작동 영역의 영역 맵을 발생시키도록 구성된다.
제4 양태에서, 컴퓨터 판독가능 저장 매체가 제공되고, 프로그램은 상기 저장 매체에 저장되고, 상기 프로그램은 제1 양태에 따른 자율 이동 디바이스를 위한 맵을 생성하기 위한 방법을 구현하기 위해 프로세서에 의해 실행된다.
본 출원의 실시예들에서, 자율 이동 디바이스가 이동하는 작동 영역에서 자율 이동 디바이스에 의해 캡처되는 제1 이미지를 취득함으로써; 제1 이미지에 따라 타깃 특징을 추출하며, 타깃 특징은 자율 이동 디바이스 바로 위에 제1 평면을 표시하도록 구성됨으로써; 타깃 특징에 기초하여 작동 영역의 영역 윤곽을 결정함으로써; 그리고 작동 영역 내의 자율 이동 디바이스의 영역 윤곽 및 제1 위치 정보에 기초하여 작동 영역의 영역 맵을 발생시킴으로써, 본 출원은 자율 이동 디바이스를 위한 영역 맵을 생성할 때 자율 이동 디바이스가 작동 영역의 에지를 따라 이동하도록 제어될 필요가 있어, 낮은 맵 생성 효율을 초래한다는 문제를 해결할 수 있다. 집 윤곽이 제1 이미지에 따라 결정되기 때문에, 작동 영역의 에지로 이동하기 위해 자율 이동 디바이스를 제어할 필요가 없어, 본 출원은 집 윤곽의 취득 효율을 개선할 수 있으며, 그것에 의해 맵 발생 효율을 개선한다.
위의 설명은 본 출원의 기술적 해결책들의 개요일 뿐이다. 본 출원의 기술적 수단의 더 분명한 이해를 갖고 명세서의 내용들에 따라 그들을 구현하기 위해, 이하의 상세한 설명은 본 출원의 바람직한 실시예들 및 첨부 도면들을 참조하여 주어진다.
도 1은 본 출원의 일 실시예에 의해 제공되는 자율 이동 디바이스의 개략 구조도이다.
도 2는 본 출원의 일 실시예에 의해 제공되는 자율 이동 디바이스를 위한 맵을 생성하기 위한 방법의 흐름도이다.
도 3은 본 출원의 일 실시예에 의해 제공되는 자율 이동 디바이스를 위한 맵을 생성하기 위한 장치의 블록도이다.
도 4는 본 출원의 일 실시예에 의해 제공되는 자율 이동 디바이스를 위한 맵을 생성하기 위한 장치의 블록도이다.
본 출원의 특정 실시예들은 첨부 도면들 및 구현들을 참조하여 아래데 더 상세히 설명될 것이다. 이하의 예들은 본 출원을 예시하기 위해 사용되지만, 본 출원의 범위를 제한하도록 의도되지 않는다.
도 1은 본 출원의 일 실시예에 의해 제공되는 자율 이동 디바이스의 개략 구조도이다. 자율 이동 디바이스는 청소 로봇, 대걸레 로봇 등과 같은, 자동 이동 기능을 갖는 디바이스일 수 있다. 본 출원의 실시예에서, 자율 이동 디바이스가 위치되는 작동 영역은 집, 차고 등과 같은, 지붕을 갖는 영역이다. 도 1에 도시된 바와 같이, 자율 이동 디바이스는 적어도 자율 이동 디바이스 상에 설치된 제1 이미지 취득 구성요소(110) 및 제1 이미지 취득 구성요소(110)에 통신 연결된 제어 구성요소(120)를 포함한다.
제1 이미지 취득 구성요소(110)의 취득 범위는 자율 이동 디바이스 위의 영역을 포함한다. 이러한 방식으로, 자율 이동 디바이스가 작동 영역에서 작업할 때, 제1 이미지 취득 구성요소(110)는 제1 이미지를 획득하기 위해 작동 영역 위의 이미지를 취득할 수 있다. 작동 영역은 자율 이동 디바이스가 이동하는 영역이다. 예를 들어, 작동 영역이 집이면, 제1 이미지 취득 구성요소(110)는 집의 지붕의 이미지를 취득할 수 있다.
제1 이미지 취득 구성요소(110)는 카메라, 비디오 카메라 등으로서 구현될 수 있다. 제1 이미지 취득 구성요소들(110)의 수는 하나 이상일 수 있다. 이러한 실시예는 제1 이미지 취득 구성요소(110)의 유형 및 수량을 제한하지 않는다.
제어 구성요소(120)는 자율 이동 디바이스가 이동하는 작동 영역에서 자율 이동 디바이스에 의해 캡처되는 제1 이미지를 취득하고; 제1 이미지에 따라 타깃 특징을 추출하고; 타깃 특징에 기초하여 작동 영역의 영역 윤곽을 결정하고; 작동 영역 내의 자율 이동 디바이스의 영역 윤곽 및 제1 위치 정보에 기초하여 작동 영역의 영역 맵을 발생시키도록 구성된다.
여기서, 타깃 특징은 자율 이동 디바이스 바로 위에 제1 평면을 표시하도록 구성된다. 일 예에서, 타깃 특징은 직선 특징 및/또는 벽 코너 특징을 포함한다. 다른 예에서, 타깃 특징은 직선 특징 및/또는 벽 코너 특징에 더하여 타킷 객체의 객체 특징을 더 포함할 수 있다. 타킷 객체는 작동 영역 위에 배치된 객체이다. 타킷 객체는 샹들리에, 천장 램프, 벽걸이 캐비넷, 및/또는 천장 팬 등일 수 있다. 이러한 실시예는 타킷 객체의 유형을 제한하지 않는다. 타킷 객체의 객체 특징은 이미지 인식 알고리즘을 통해 획득되는 특징 벡터 및/또는 속성 정보일 수 있고, 이러한 실시예는 객체 특징의 콘텐츠를 제한하지 않는다.
영역 맵은 작동 영역의 맵이다. 선택적으로, 영역 맵은 2차원 맵 또는 3차원 맵일 수 있고, 영역 맵의 맵은 이러한 실시예에서 제한되지 않는다.
선택적으로, 자율 이동 디바이스는 근접 센서(130) 및/또는 제2 이미지 취득 구성요소(140)를 더 포함할 수 있다. 근접 센서(130) 및/또는 제2 이미지 취득 구성요소(140)는 작동 영역 내의 장애물들을 감지하도록 구성된다. 장애물들은 제1 장애물 및/또는 제2 장애물을 포함한다. 제1 장애물은 벽걸이 캐비넷, 침대, 에어콘 등과 같은, 제2 평면 및 작동 영역의 표면에 가까운 객체를 지칭한다. 제2 장애물은 자율 이동 디바이스가 침대, 소파, 캐비넷 등과 같은, 작동 영역에서 이동할 때 접촉하는 객체를 지칭한다. 대응적으로, 제어 구성요소(120)는 작동 영역 내의 장애물 관련 정보를 수신하고; 장애물 관련 정보에 따라 대응하는 처리를 수행하도록 구성될 수 있다. 장애물 관련 정보는 근접 센서(130)에 의해 수집되는 근접 정보 및/또는 제2 이미지 취득 구성요소(140)에 의해 수집되는 이미지 정보를 포함하지만, 이들에 제한되지 않는다. 일 예에서, 제어 구성요소(120)는 제1 장애물이 장애물 관련 정보에 따라 제2 평면 내에 존재하는지를 결정한다. 제1 장애물이 제2 평면 내에 존재하는 경우에, 제2 평면의 에지 정보가 취득된다. 제2 평면의 에지 정보에 따르면, 작동 영역의 영역 윤곽이 조정된다. 다른 예에서, 제어 구성요소(120)는 장애물 관련 정보에 기초하여 작동 영역 내의 제2 장애물을 식별하고, 작동 영역 내의 제2 장애물의 제2 위치 정보를 취득하고; 제2 위치 정보에 따라 영역 맵 내의 제2 장애물을 마킹한다.
장애물 관련 정보는 제1 이미지 취득 구성요소(110)에 의해 수집되는 이미지 정보를 더 포함할 수 있고, 장애물 관련 정보의 콘텐츠는 이러한 실시예에서 제한되지 않는다.
제2 이미지 취득 구성요소(140)의 취득 범위는 작동 영역의 지면과 같은, 자율 이동 디바이스가 이동되는 평면을 포함할 수 있다.
게다가, 본 실시예에서, 제어 구성요소(120)는 설명을 위한 일 예로서 자율 이동 디바이스 내에 설치된다. 실제 구현에서, 제어 구성요소(120)는 또한 이동 전화, 태블릿 컴퓨터, 컴퓨터 및 다른 사용자 단말들과 같은, 다른 디바이스들로 구현될 수 있다. 이러한 실시예는 제어 구성요소(120)의 구현을 제한하지 않는다.
이러한 실시예에서, 자율 이동 디바이스가 이동하는 작동 영역에서 자율 이동 디바이스에 의해 캡처되는 제1 이미지를 취득함으로써, 제1 이미지로부터 타깃 특징을 추출함으로써, 타깃 특징에 따라 집 윤곽을 결정함으로써, 그리고 작동 영역 내의 자율 이동 디바이스의 집 윤곽 및 제1 위치 정보에 따라 작동 영역의 영역 맵을 발생시킴으로써, 본 출원은 집 윤곽을 획득하기 위해 자율 이동 디바이스를 작동 영역의 에지로 이동시킬 필요가 없으며, 이는 집 윤곽을 획득하는 효율을 개선할 수 있으며, 그것에 의해 맵 발생의 효율을 개선한다.
도 2는 본 출원의 일 실시예에 의해 제공되는 자율 이동 디바이스를 위한 맵을 생성하기 위한 방법의 흐름도이다. 이러한 실시예는 방법이 도 1에 도시된 자율 이동 디바이스에 적용되는 것을 일 예로서 취함으로써 설명되고, 각각의 단계의 실행 대상은 자율 이동 디바이스 내의 제어 구성요소(120)이다. 방법은 적어도 이하의 단계들을 포함한다:
단계 201, 자율 이동 디바이스가 이동하는 작동 영역에서 자율 이동 디바이스에 의해 캡처되는 제1 이미지를 취득한다.
제1 이미지는 작동 영역 위의 이미지이다. 선택적으로, 제어 구성요소(120)는 하나 이상의 제1 이미지를 취득할 수 있다. 가능한 실시예에서, 작동 영역은 룸일 수 있고, 룸은 거실, 침실, 주방, 욕실 등일 수 있다.
단계 202, 제1 이미지에 따라 타깃 특징을 추출하며, 타깃 특징은 자율 이동 디바이스 바로 위에 제1 평면을 표시하도록 구성된다.
선택적으로, 자율 이동 디바이스는 타깃 특징을 추출하기 위해 제1 이미지 상에 이미지 처리를 수행할 수 있다. 가능한 실시예에서, 자율 이동 디바이스는 신경 네트워크 모델을 통해 제1 이미지 상에 이미지 처리를 수행할 수 있다.
일 예에서, 타깃 특징은 직선 특징 및/또는 벽 코너 특징을 포함한다. 자율 이동 디바이스는 제1 이미지가 직선 특징 및/또는 벽 코너 특징을 포함하는지를 결정하기 위해 이미지 인식 알고리즘을 사용하여 제1 이미지를 처리할 수 있다. 작동 영역의 지붕 상의 직선 특징이 통상적으로 제1 평면과 제2 평면 사이의 교차 라인이기 때문에, 지붕 상의 벽 코너 특징은 통상적으로 제1 평면 및 적어도 하나의 제2 평면의 만남 에 의해 형성된 코너이다. 따라서, 제1 이미지에서 직선 특징 및/또는 벽 코너 특징을 추출함으로써, 제1 평면 및 제1 평면에 연결된 제2 평면이 결정될 수 있다.
다른 예에서, 타깃 특징은 직선 특징 및/또는 벽 코너 특징뿐만 아니라, 타킷 객체의 객체 특징을 포함한다. 타킷 객체는 작동 영역 위에 배치된 객체이다. 타킷 객체는 샹들리에, 천장 램프, 벽걸이 캐비넷, 및/또는 천장 팬 등일 수 있다. 이러한 실시예는 타킷 객체의 유형을 제한하지 않는다. 타킷 객체가 통상적으로 작동 영역의 지붕 상에 설치되기 때문에, 작동 영역의 제1 평면은 타킷 객체의 객체 특징에 의해 결정될 수 있고, 제1 평면, 제1 평면에 연결된 제2 평면, 및 제1 평면 및 제2 평면의 교차 라인은 직선 특징 및/또는 벽 코너 특징에 기초하여, 결정될 수 있다. 예를 들어, 작동 영역이 집이면, 집의 지붕의 이미지(즉, 제1 평면)는 타킷 객체의 객체 특징에 의해 결정될 수 있다. 지붕에 인접한 벽의 이미지(즉, 제2 평면), 및 지붕의 이미지와 벽의 이미지 사이의 교차 라인은 직선 특징 및/또는 벽 코너 특징과 조합하여 지붕의 이미지에 의해 결정될 수 있다.
단계 203, 타깃 특징에 기초하여 작동 영역의 영역 윤곽을 결정한다.
타깃 특징은 직선 특징 및/또는 벽 코너 특징을 포함한다. 타깃 특징에 기초하여 작동 영역의 영역 윤곽을 결정하는 단계는 직선 특징 및/또는 벽 코너 특징에 기초하여, 제1 평면, 제1 평면에 연결된 제2 평면 연결, 및 제1 평면 및 제2 평면의 교차 라인을 결정하는 단계; 및 교차 라인에 기초하여 작동 영역의 영역 윤곽을 결정하는 단계를 포함한다.
일 예에서, 타깃 특징은 또한 타킷 객체의 객체 특징을 포함한다. 타킷 객체는 작동 영역 위에 배치된 객체이다. 이때에, 직선 특징 및/또는 벽 코너 특징에 기초하여, 제1 평면, 제1 평면에 연결된 제2 평면, 및 제1 평면 및 제2 평면의 교차 라인을 결정하는 단계는 객체 특징에 기초하여 제1 평면을 결정하는 단계; 및 직선 특징 및/또는 벽 코너 특징과 조합하여 제1 평면에 기초하여, 제1 평면에 연결된 제2 평면, 및 제1 평면 및 제2 평면 사이의 교차 라인을 결정하는 단계를 포함한다.
다른 실시예들에서, 제1 평면은 또한 직선 특징 및/또는 벽 코너 특징에 기초하여 결정될 수 있다. 예를 들어, 제1 평면은 직선 특징에 대응하는 라인들을 연결함으로써 획득되거나; 벽 코너 특징을 구성하는 스플라이싱 라인들은 교차 라인을 얻기 위해 연장되고, 그 다음 평면들의 교차 라인들은 제1 평면 및 제2 평면을 획득하기 위해 연결되거나; 벽 코너 특징의 직선 특징은 제1 평면, 제2 평면, 및 교차 라인을 결정하기 위해 조합된다. 이러한 실시예는 제1 평면을 결정하는 방식을 제한하지 않는다.
제2 평면에 가깝게 배치된 캐비넷, 소파 또는 침대와 같은, 제1 평면에 연결된 제2 평면 상에 제1 장애물이 있을 수 있기 때문에, 이러한 경우에, 제1 평면에 연결된 평면은 제1 장애물의 표면을 포함할 수 있다. 이것에 기초하여, 제2 평면 내에 제1 장애물이 있는 것으로 결정될 때, 제2 평면의 에지 정보가 취득되고; 작동 영역의 영역 윤곽은 제2 평면의 에지 정보에 따라 조정된다. 여기서, 제1 장애물은 제2 평면에 가깝고 작동 영역의 표면에 가까운 객체이다. 본 출원의 실시예에서, 제1 장애물이 제2 평면 상에 존재할 때, 영역 윤곽은 제2 평면의 에지 정보에 따라 조정되어, 영역 맵은 작동 영역의 실제 윤곽을 더 정확히 반영할 수 있고, 영역 맵의 정확도는 개선될 수 있다. 예를 들어, 작동 영역이 집이고, 벽에 가까운 캐비넷, 소파, 또는 침대와 같은 장애물들이 있으면, 벽에서 멀리 떨어진 캐비넷, 소파, 또는 침대를 포함하는 측면의 에지 정보가 획득될 수 있고, 영역 윤곽은 에지 정보에 따라 조정될 수 있다.
선택적으로, 제2 평면의 에지 정보를 취득하는 방식들은 이하를 포함하지만 이들에 제한되지 않는다:
제1 방식: 자율 이동 디바이스가 제2 평면의 에지를 따라 주행할 때, 제2 평면의 에지 정보를 취득하고;
제2 방식: 사용자에 의해 입력되는 제2 평면의 에지 정보를 수신한다.
제2 평면의 에지 정보를 취득하는 방식은 또한 다른 방식들일 수 있으며, 이들은 이러한 실시예에서 하나씩 리스트되지 않는다.
단계 204, 작동 영역 내의 자율 이동 디바이스의 영역 윤곽 및 제1 위치 정보에 기초하여 작동 영역의 영역 맵을 발생시킨다.
작동 영역 내의 자율 이동 디바이스의 영역 윤곽 및 제1 위치 정보에 기초하여 작동 영역의 영역 맵을 발생시키기 전에, 방법은 작동 영역 내의 자율 이동 디바이스의 제1 위치 정보를 취득하는 단계를 더 포함한다.
선택적으로, 타깃 특징이 타킷 객체의 객체 특징을 포함할 때, 작동 영역 내의 자율 이동 디바이스의 제1 위치 정보를 취득하는 단계는 제1 이미지에 기초하여 자율 이동 디바이스와 타킷 객체 사이의 상대적 위치 관계를 결정하는 단계; 및 자율 이동 디바이스와 타킷 객체 사이의 상대적 위치 관계에 기초하여, 작동 영역 내의 자율 이동 디바이스의 제1 위치 정보를 획득하는 단계를 포함한다.
선택적으로, 상대적 위치 관계는 자율 이동 디바이스와 타킷 객체 사이의 거리 및 각도를 포함한다. 가능한 실시예에서, 자율 이동 디바이스는 유사한 삼각형 원리에 기초하여 자율 이동 디바이스와 타킷 객체 사이의 상대적 위치 관계를 결정한다.
선택적으로, 위치결정 구성요소는 자율 이동 디바이스 상에 설치된다. 위치결정 구성요소는 작동 영역 내의 자율 이동 디바이스의 위치를 위치결정하도록 구성된다. 이때에, 자율 이동 디바이스가 제1 이미지를 수집할 때, 위치결정 구성요소에 의해 획득되는 위치결정 정보가 취득되고, 작동 영역 내의 자율 이동 디바이스의 제1 위치 정보가 획득된다.
다른 실시예들에서, 다른 방식들은 또한 자율 이동 디바이스와 벽 코너 특징에 의해 표시된 벽 코너 사이의 거리 정보에 따라 제1 위치 정보를 결정하는 것과 같이, 자율 이동 디바이스의 제1 위치 정보를 취득하도록 구성될 수 있다. 이러한 실시예는 자율 이동 디바이스의 제1 위치 정보를 취득하는 방식을 제한하지 않는다.
가능한 실시예에서, 자율 이동 디바이스의 디바이스 이미지는 영역 맵을 획득하기 위해 영역 윤곽 내의 제1 위치 정보에 의해 표시된 위치에 디스플레이된다.
선택적으로, 영역 맵을 획득한 후에, 타킷 맵은 하나 이상의 작동 영역 각각에 대응하는 영역 맵에 기초하여 발생된다.
예시적으로, 하나의 작동 영역이 제공될 때, 하나의 작동 영역에 대응하는 영역 맵에 기초하여 타킷 맵을 발생시키는 단계는 작동 영역에 대응하는 영역 맵을 타킷 맵으로서 사용하는 단계를 포함한다. 가능한 실시예에서, 작동 영역에 대응하는 영역 맵은 미리 설정된 처리가 수행된 후에 타킷 맵으로서 사용될 수 있다. 미리 설정된 처리은 작동 영역의 유형의 마스킹 등과 같은 처리일 수 있고, 미리 설정된 처리는 이러한 실시예에서 제한되지 않는다.
예시적으로, 다수의 작동 영역이 제공될 때, 각각의 작동 영역에 대응하는 영역 맵에 기초하여 타깃 맵을 발생시키는 단계는 타킷 맵을 획득하기 위해 대응하는 맵 자세에 따라 각각의 영역 맵을 스플라이싱하는 단계를 포함한다. 맵 자세는 영역 맵의 배향 및 위치를 포함한다.
요컨대, 자율 이동 디바이스가 이동하는 작동 영역에서 자율 이동 디바이스에 의해 캡처되는 제1 이미지를 취득함으로써; 제1 이미지에 따라 타깃 특징을 추출하며, 타깃 특징은 자율 이동 디바이스 바로 위에 제1 평면을 표시하도록 구성됨으로써; 타깃 특징에 기초하여 작동 영역의 영역 윤곽을 결정함으로써; 그리고 작동 영역 내의 자율 이동 디바이스의 영역 윤곽 및 제1 위치 정보에 기초하여 작동 영역의 영역 맵을 발생시킴으로써, 본 출원의 이러한 실시예에 의해 제공되는 자율 이동 디바이스를 위한 맵을 생성하기 위한 방법은 자율 이동 디바이스를 위한 영역 맵을 생성할 때 자율 이동 디바이스가 작동 영역의 에지를 따라 이동하도록 제어될 필요가 있어, 낮은 맵 생성 효율을 초래한다는 문제를 해결할 수 있다. 집 윤곽이 제1 이미지에 따라 결정되기 때문에, 작동 영역의 에지로 이동하기 위해 자율 이동 디바이스를 제어할 필요가 없어, 본 출원은 집 윤곽의 취득 효율을 개선할 수 있으며, 그것에 의해 맵 발생 효율을 개선한다.
선택적으로, 상술한 실시예에 기초하여, 단계 204 후에, 방법은 작동 영역 내의 제2 장애물을 식별하는 단계; 작동 영역 내의 제2 장애물의 제2 위치 정보를 취득하는 단계; 및 제2 위치 정보에 따라 영역 맵 내의 제2 장애물을 마킹하는 단계를 더 포함한다.
작동 영역 내의 제2 장애물의 제2 위치 정보를 취득하는 방식들은 이하를 포함하지만 이에 제한되지 않는다:
제1 방식: 근접 센서는 자율 이동 디바이스 상에 설치된다. 근접 센서는 미리 설정된 범위 네에서 자율 이동 디바이스에 접근하는 객체를 감지하도록 구성된다. 자율 이동 디바이스가 근접 센서에 의해 피드백되는 근접 신호를 수신할 때, 자율 이동 디바이스와 제2 장애물 사이의 근접 거리는 근접 신호에 따라 획득된다. 자율 이동 디바이스로부터의 제1 위치 정보 및 근접 거리에 기초하여, 제2 장애물의 제2 위치 정보가 결정된다.
선택적으로, 자율 이동 디바이스와 제2 장애물 사이의 근접 거리는 근접 센서에 의해 송신되는 검출 신호의 신호 강도와 자율 이동 디바이스로부터의 검출 신호의 반사 신호의 신호 강도 사이의 차이에 의해 결정된다.
선택적으로, 제2 이미지 취득 구성요소는 또한 자율 이동 디바이스 상에 설치된다. 근접 센서에 의해 송신되는 근접 신호를 수신하는 경우에, 제2 이미지 취득 구성요소는 장애물 이미지를 취득하고, 장애물 이미지 상에 이미지 처리를 수행하여 장애물 이미지의 처리 결과를 획득하도록 제어된다. 처리 결과는 자율 이동 디바이스와 제2 장애물 사이의 근접 거리를 포함할 수 있다.
처리 결과는 또한 장애물의 크기, 장애물의 유형, 및 장애물의 위치를 포함하지만 이들에 제한되지 않는, 다른 정보를 포함할 수 있다. 이러한 방식으로, 영역 맵 내의 제2 장애물의 위치 및 형상이 결정될 수 있다.
제2 방식: 제2 이미지 취득 구성요소는 자율 이동 디바이스 내에 설치된다. 자율 이동 디바이스는 제2 이미지 취득 구성요소를 통해 환경 이미지를 수집하고, 환경 이미지 상에 이미지 처리를 수행한다. 환경 이미지가 장애물의 이미지를 포함하는 경우에, 장애물 이미지의 처리 결과가 획득된다. 처리 결과는 자율 이동 디바이스와 제2 장애물 사이의 근접 거리를 포함할 수 있다.
여기서, 자율 이동 디바이스는 이미지 처리를 위한 미리 트레이닝된 이미지 인식 모델을 사용할 수 있다. 이미지 인식 모델은 신경 네트워크 모델에 기초하여 트레이닝될 수 있다.
이러한 실시예에서, 작동 영역 내의 장애물을 식별하고 영역 맵 내의 장애물의 제2 위치 정보를 결정함으로써, 자율 이동 디바이스는 후속 작업 프로세스에서 장애물들을 다시 식별할 필요가 없고, 장애물들의 유형들에 따라 대응하는 작업 전략들을 적응적으로 채택할 수 있으며, 그것에 의해 작업 효율을 개선한다.
선택적으로, 상술한 실시예에 기초하여, 단계 204 후에, 방법은 제1 위치 정보에 따라 작동 영역 내의 자율 이동 디바이스의 작업된 영역을 결정하는 단계를 더 포함한다.
이러한 실시예에서, 작동 영역 내의 작업된 영역을 결정함으로써, 자율 이동 디바이스가 작업된 영역 상에 반복된 작업을 수행하지 않는 것이 보장될 수 있으며, 그것에 의해 자율 이동 디바이스의 작업 효율을 개선한다.
선택적으로, 위의 실시예들 각각에서, 자율 이동 디바이스는 사용자 단말에 통신 연결될 수 있다. 자율 이동 디바이스는 사용자 단말에 의한 디스플레이를 위해 영역 맵, 타킷 맵, 장애물의 식별 결과, 작동 영역의 결정 결과 등 중에서 하나 이상의 정보를 사용자 단말에 송신할 수 있다.
도 3은 본 출원의 일 실시예에 의해 제공되는 자율 이동 디바이스를 위한 맵을 생성하기 위한 장치의 블록도이다. 이러한 실시예는 도 1에 도시된 자율 이동 디바이스에 적용되는 디바이스를 일 예로서 취함으로써 설명된다. 장치는 적어도 이하의 모듈들, 즉 취득 모듈(310), 추출 모듈(320), 결정 모듈(330) 및 맵 발생 모듈(340)을 포함한다.
취득 모듈(310)은 자율 이동 디바이스가 이동하는 작동 영역에서 자율 이동 디바이스에 의해 캡처되는 제1 이미지를 취득하도록 구성되며, 제1 이미지는 작동 영역 위의 이미지이다.
추출 모듈(320)은 제1 이미지에 따라 타깃 특징을 추출하도록 구성되며, 타깃 특징은 자율 이동 디바이스 바로 위에 제1 평면을 표시하도록 구성되고;
결정 모듈(330)은 타깃 특징에 기초하여 작동 영역의 영역 윤곽을 결정하도록 구성된다.
맵 발생 모듈(340)은 작동 영역 내의 자율 이동 디바이스의 영역 윤곽 및 제1 위치 정보에 기초하여 작동 영역의 영역 맵을 발생시키도록 구성된다.
가능한 실시예에서, 타깃 특징은 직선 특징 및/또는 벽 코너 특징을 포함하고; 결정 모듈(330)은,
직선 특징 및/또는 벽 코너 특징에 기초하여 제1 평면, 제1 평면에 연결된 제2 평면, 및 제1 평면 및 제2 평면의 교차 라인을 결정하고;
교차 라인에 기초하여 작동 영역의 영역 윤곽을 결정하도록 더 구성된다.
가능한 실시예에서, 맵 발생 모듈(340)은,
제2 평면 내에 제1 장애물이 있는 것으로 결정될 때 제2 평면의 에지 정보를 취득하며, 제1 장애물은 제2 평면에 근접하고 작동 영역의 표면에 근접한 객체이고;
제2 평면의 에지 정보에 따라 작동 영역의 영역 윤곽을 조정하도록 더 구성된다.
가능한 실시예에서, 타깃 특징은 타킷 객체의 객체 특징을 더 포함한다. 타킷 객체는 작동 영역 위에 배치된 객체이다. 결정 모듈(330)은 또한,
객체 특징에 기초하여 제1 평면을 결정하고;
직선 특징 및/또는 벽 코너 특징과 조합하여 제1 평면에 기초하여, 제1 평면에 연결된 제2 평면 및 제1 평면 및 제2 평면의 교차 라인을 결정하도록 구성된다.
가능한 실시예에서, 자율 이동 디바이스를 위한 맵을 생성하기 위한 장치는 위치결정 모듈을 더 포함한다. 위치결정 모듈은,
제1 이미지에 기초하여, 자율 이동 디바이스와 타킷 객체 사이의 상대적 위치 관계를 결정하고;
자율 이동 디바이스와 타킷 객체 사이의 상대적 위치 관계에 기초하여, 작동 영역 내의 자율 이동 디바이스의 제1 위치 정보를 획득하도록 구성된다.
가능한 실시예에서, 맵 발생 모듈(340)은 또한,
하나 이상의 작동 영역 각각에 대응하는 영역 맵에 기초하여 타킷 맵을 발생시키도록 구성된다.
가능한 구현에서, 자율 이동 디바이스를 위한 맵을 생성하기 위한 장치는 마킹 모듈을 더 포함한다. 마킹 모듈은,
작동 영역 내의 제2 장애물을 식별하고;
작동 영역 내의 제2 장애물의 제2 위치 정보를 취득하고;
제2 위치 정보에 따라 영역 맵 내의 제2 장애물을 마킹하도록 구성된다.
관련 상세들에 대해, 위의 방법 실시예들을 참조한다.
위에 언급된 실시예들에서 제공되는 자율 이동 디바이스를 위한 맵을 생성하기 위한 장치는 위에 언급된 기능 모듈들의 분할을 일 예로서 취함으로써만 설명된다는 점이 주목되어야 한다. 실제 적용들에서, 위에 언급된 기능들은 요건들에 따라 상이한 기능 모듈들에 할당될 수 있다. 즉, 자율 이동 디바이스로부터 맵 생성 장치의 내부 구조는 위에 설명된 기능들의 전부 또는 일부를 완료하기 위해 상이한 기능 모듈들로 분할된다. 게다가, 위의 실시예들에 의해 제공되는 자율 이동 디바이스를 위한 맵을 생성하기 위한 장치 및 자율 이동 디바이스를 위한 맵을 생성하기 위한 방법은 동일한 개념에 속하고, 특정 구현 프로세스는 방법 실시예에서 상세화되며, 이는 여기서 반복되지 않을 것이다.
도 4는 본 출원의 일 실시예에 의해 제공되는 자율 이동 디바이스를 위한 맵을 생성하기 위한 장치의 블록도이다. 장치는 도 1에 도시된 자율 이동 디바이스일 수 있다. 장치는 적어도 프로세서(401) 및 메모리(402)를 포함한다.
프로세서(401)는 4-코어 프로세서, 6-코어 프로세서 등과 같은 하나 이상의 처리 코어를 포함할 수 있다. 프로세서(401)는 DSP(Digital Signal Processing), FPGA(Field-Programmable Gate Array), 및 PLA(Programmable Logic Array) 중에서 적어도 하나의 하드웨어 형태로 구현될 수 있다. 프로세서(401)는 또한 메인 프로세서 및 코프로세서를 포함할 수 있다. 메인 프로세서는 웨이크업 상태에서 데이터를 처리하기 위한 프로세서이고, 또한 CPU(Central Processing Unit)로 칭해진다. 코프로세서는 스탠바이 상태에서 데이터를 처리하기 위한 저전력 프로세서이다. 일부 실시예들에서, 프로세서(401)는 AI(Artificial Intelligence) 프로세서를 더 포함할 수 있다. 이러한 AI 프로세서 기계 학습과 관련된 컴퓨팅 동작들을 처리하기 위해 사용된다.
메모리(402)는 하나 이상의 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 컴퓨터 판독가능 저장 매체는 비일시적일 수 있다. 메모리(402)는 또한 고속 랜덤 액세스 메모리뿐만 아니라, 비휘발성 메모리, 예컨대 하나 이상의 디스 저장 디바이스, 플래시 저장 디바이스들을 포함할 수 있다. 일부 실시예들에서, 메모리(402) 내의 비일시적 컴퓨터 판독가능 저장 매체는 적어도 하나의 명령어를 저장하기 위해 사용된다. 적어도 하나의 명령어는 본 출원에서의 방법 실시예들에 의해 제공되는 자율 이동 디바이스를 위한 맵을 생성하기 위한 방법을 구현하기 위해 프로세서(401)에 의해 실행되는데 사용된다.
일부 실시예들에서, 자율 이동 디바이스를 위한 맵을 생성하기 위한 장치는 또한 주변 장치 포트 및 적어도 하나의 주변 장치를 선택적으로 포함할 수 있다. 프로세서(401), 메모리(402) 및 주변 장치 포트는 버스 또는 신호 라인을 통해 연결될 수 있다. 각각의 주변 장치는 버스, 신호 라인 또는 회로 보드를 통해 주변 장치 포트에 연결될 수 있다. 예시적으로, 주변 장치들은 무선 주파수 회로들, 터리 스크린들, 오디오 회로들, 및 전원들 등을 포함하지만, 이들에 제한되지 않는다.
자율 이동 디바이스를 위한 맵을 생성하기 위한 장치는 더 적거나 더 많은 구성요소들을 더 포함할 수 있으며, 이는 이러한 실시예에서 제한되지 않는다.
선택적으로, 본 출원의 실시예는 프로그램이 저장되는 컴퓨터 판독가능 저장 매체를 더 제공한다. 프로그램은 위의 방법 실시예들에 따른 자율 이동 디바이스를 위한 맵을 생성하기 위한 방법을 구현하기 위해 프로세서에 의해 로딩되고 실행된다.
선택적으로, 본 출원의 실시예는 컴퓨터 제품을 더 제공한다. 컴퓨터 제품은 프로그램이 저장되는 컴퓨터 판독가능 저장 매체를 포함한다. 프로그램은 위의 방법 실시예에 따른 자율 이동 디바이스를 위한 맵을 생성하기 위한 방법을 구현하기 위해 에 의해 로딩되고 실행된다.
전술된 실시예들의 기술적 특징들은 임의로 조합될 수 있다. 간결성을 위해, 위의 실시예들에서의 기술적 특징들의 모든 가능한 조합들이 설명되지 않는다. 그러나, 이들 기술적 특징들의 조합에서 어떠한 모순도 없는 한, 그것은 본 명세서에 설명된 범위로 간주되어야 한다.
위에 언급된 실시예들은 본 출원의 수개의 실시예들만을 나타내고, 그의 설명들은 비교적 구체적이고 상세화되지만, 본 특허 출원의 범위에 대한 제한으로서 해석되지 않아야 한다. 통상의 기술자들을 위해, 수개의 수정들 및 개선들이 본 출원의 개념으로부터 벗어나지 않고 이루어질 수 있다는 점이 주목되어야 한다. 이들 전부는 본 출원의 보호 범위에 속한다. 따라서, 본 출원의 특허의 보호 범위는 첨부된 청구항들을 조건으로 할 것이다.

Claims (19)

  1. 자율 이동 디바이스를 위한 맵을 생성하기 위한 방법으로서,
    상기 자율 이동 디바이스가 이동하는 작동 영역에서 상기 자율 이동 디바이스에 의해 캡처되는 제1 이미지를 취득하는 단계로서, 상기 제1 이미지는 상기 작동 영역 위의 이미지인 단계;
    상기 제1 이미지에 따라 타깃 특징을 추출하는 단계로서, 상기 타깃 특징은 상기 자율 이동 디바이스 바로 위에 제1 평면을 표시하도록 구성되는 단계;
    상기 타깃 특징에 기초하여 상기 작동 영역의 영역 윤곽을 결정하는 단계; 및
    상기 작동 영역 내의 자율 이동 디바이스의 영역 윤곽 및 제1 위치 정보에 기초하여 상기 작동 영역의 영역 맵을 발생시키는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 타깃 특징은 직선 특징 및/또는 벽 코너 특징을 포함하며; 상기 타깃 특징에 기초하여 상기 작동 영역의 영역 윤곽을 결정하는 단계는,
    상기 직선 특징 및/또는 상기 벽 코너 특징에 기초하여, 상기 제1 평면, 상기 제1 평면에 연결된 제2 평면, 및 상기 제1 평면 및 상기 제2 평면의 교차 라인을 결정하는 단계; 및
    상기 교차 라인에 기초하여 상기 작동 영역의 영역 윤곽을 결정하는 단계를 포함하는, 방법.
  3. 제2항에 있어서,
    상기 제2 평면 내에 제1 장애물이 있는 것으로 결정될 때 상기 제2 평면의 에지 정보를 취득하는 단계로서, 상기 제1 장애물은 상기 제2 평면에 근접하고 상기 작동 영역의 표면에 근접한 객체인 단계; 및
    상기 제2 평면의 에지 정보에 따라 상기 작동 영역의 영역 윤곽을 조정하는 단계를 더 포함하는, 방법.
  4. 제3항에 있어서, 상기 제2 평면의 에지 정보를 취득하는 단계는,
    상기 자율 이동 디바이스가 상기 제2 평면의 에지를 따라 주행할 때 상기 제2 평면의 에지 정보를 취득하는 단계;
    또는, 사용자에 의해 입력되는 제2 평면의 에지 정보를 수신하는 단계를 포함하는, 방법.
  5. 제2항에 있어서, 상기 타깃 특징은 타킷 객체의 객체 특징을 더 포함하며, 상기 타킷 객체는 상기 작동 영역 위에 배치된 객체이고; 상기 직선 특징 및/또는 상기 벽 코너 특징에 기초하여 상기 제1 평면, 상기 제1 평면에 연결된 제2 평면, 및 상기 제1 평면 및 상기 제2 평면의 교차 라인을 결정하는 단계는,
    상기 객체 특징에 기초하여 상기 제1 평면을 결정하는 단계; 및
    상기 직선 특징 및/또는 상기 벽 코너 특징과 조합하여 상기 제1 평면에 기초하여, 상기 제1 평면에 연결된 제2 평면 및 상기 제1 평면 및 상기 제2 평면의 교차 라인을 결정하는 단계를 포함하는, 방법.
  6. 제5항에 있어서, 상기 작동 영역 내의 자율 이동 디바이스의 영역 윤곽 및 제1 위치 정보에 기초하여 상기 작동 영역의 영역 맵을 발생시키기 전에, 상기 방법은,
    상기 제1 이미지에 기초하여, 상기 자율 이동 디바이스와 상기 타킷 객체 사이의 상대적 위치 관계를 결정하는 단계; 및
    상기 자율 이동 디바이스와 상기 타킷 객체 사이의 상대적 위치 관계에 기초하여, 상기 작동 영역 내의 자율 이동 디바이스의 제1 위치 정보를 힉득하는 단계를 더 포함하는, 방법.
  7. 제6항에 있어서, 상기 상대적 위치 관계는 상기 자율 이동 디바이스와 상기 타킷 객체 사이의 거리 및 각도를 포함하는, 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 하나 이상의 작동 영역 각각에 대응하는 영역 맵에 기초하여 타킷 맵을 발생시키는 단계를 더 포함하는, 방법.
  9. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 작동 영역 내의 제2 장애물을 식별하는 단계;
    상기 작동 영역 내의 제2 장애물의 제2 위치 정보를 취득하는 단계; 및
    상기 제2 위치 정보에 따라 상기 영역 맵 내의 제2 장애물을 마킹하는 단계를 더 포함하는, 방법.
  10. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 제1 위치 정보에 따라 상기 작동 영역 내의 자율 이동 디바이스의 작업된 영역을 결정하는 단계를 더 포함하는, 방법.
  11. 자율 이동 디바이스를 위한 맵을 생성하기 위한 장치로서, 상기 장치는,
    상기 자율 이동 디바이스가 이동하는 작동 영역에서 상기 자율 이동 디바이스에 의해 캡처되는 제1 이미지를 취득하도록 구성된 취득 모듈로서, 상기 제1 이미지는 상기 작동 영역 위의 이미지인 취득 모듈;
    상기 제1 이미지에 따라 타깃 특징을 추출하도록 구성된 추출 모듈로서, 상기 타깃 특징은 상기 자율 이동 디바이스 바로 위에 제1 평면을 표시하도록 구성된 추출 모듈;
    상기 타깃 특징에 기초하여 상기 작동 영역의 영역 윤곽을 결정하도록 구성된 결정 모듈; 및
    상기 작동 영역 내의 자율 이동 디바이스의 영역 윤곽 및 제1 위치 정보에 기초하여 상기 작동 영역의 영역 맵을 발생시키도록 구성된 맵 발생 모듈을 포함하는, 장치.
  12. 제11항에 있어서, 상기 타깃 특징은 직선 특징 및/또는 벽 코너 특징을 포함하며; 상기 결정 모듈은,
    상기 직선 특징 및/또는 상기 벽 코너 특징에 기초하여, 상기 제1 평면, 상기 제1 평면에 연결된 제2 평면, 및 상기 제1 평면 및 상기 제2 평면의 교차 라인을 결정하고;
    상기 교차 라인에 기초하여 상기 작동 영역의 영역 윤곽을 결정하도록 더 구성되는, 장치.
  13. 제12항에 있어서, 상기 맵 발생 모듈은,
    상기 제2 평면 내에 제1 장애물이 있는 것으로 결정될 때 상기 제2 평면의 에지 정보를 취득하며, 상기 제1 장애물은 상기 제2 평면에 근접하고 상기 작동 영역의 표면에 근접한 객체이고;
    상기 제2 평면의 에지 정보에 따라 상기 작동 영역의 영역 윤곽을 조정하도록 더 구성되는, 장치.
  14. 제12항에 있어서, 상기 타깃 특징은 타킷 객체의 객체 특징을 더 포함하고, 상기 타킷 객체는 상기 작동 영역 위에 배치된 객체이고, 상기 결정 모듈은 또한,
    상기 객체 특징에 기초하여 상기 제1 평면을 결정하고;
    상기 직선 특징 및/또는 상기 벽 코너 특징과 조합하여 상기 제1 평면에 기초하여, 상기 제1 평면에 연결된 제2 평면 및 상기 제1 평면 및 상기 제2 평면의 교차 라인을 결정하도록 구성되는, 장치.
  15. 제11항에 있어서, 상기 맵 발생 모듈 전에 위치결정 모듈을 더 포함하며, 상기 위치결정 모듈은,
    상기 제1 이미지에 기초하여, 상기 자율 이동 디바이스와 상기 타킷 객체 사이의 상대적 위치 관계를 결정하고;
    상기 자율 이동 디바이스와 상기 타킷 객체 사이의 상대적 위치 관계에 기초하여, 상기 작동 영역 내의 자율 이동 디바이스의 제1 위치 정보를 획득하도록 구성되는, 장치.
  16. 제11항 내지 제15항 중 어느 한 항에 있어서, 상기 맵 발생 모듈은,
    상기 하나 이상의 작동 영역 각각에 대응하는 영역 맵에 기초하여 타킷 맵을 발생시키도록 더 구성되는, 장치.
  17. 제11항 내지 제15항 중 어느 한 항에 있어서,
    상기 작동 영역 내의 제2 장애물을 식별하고;
    상기 작동 영역 내의 제2 장애물의 제2 위치 정보를 취득하고;
    상기 제2 위치 정보에 따라 상기 영역 맵 내의 제2 장애물을 마킹하도록 구성된 마킹 모듈을 더 포함하는, 장치.
  18. 자율 이동 디바이스로서,
    이미지들을 취득하도록 구성된 이미지 취득 구성요소; 및
    처리 구성요소를 포함하며, 상기 처리 구성요소는,
    작동 영역에서 상기 이미지 취득 구성요소에 의해 캡처되는 제1 이미지를 취득하며, 상기 작동 영역은 상기 자율 이동 디바이스가 이동하는 영역이고, 상기 제1 이미지는 상기 자율 이동 디바이스의 상부 영역의 이미지이고;
    상기 제1 이미지에 따라 타깃 특징을 추출하도록 구성되며, 상기 타깃 특징은 상기 상부 영역의 제1 평면을 표시하도록 구성되고, 상기 제1 평면은 상기 자율 이동 디바이스 위의 평면이고;
    상기 타깃 특징에 기초하여 상기 작동 영역의 영역 윤곽을 결정하고;
    상기 작동 영역 내의 자율 이동 디바이스의 영역 윤곽 및 제1 위치 정보에 기초하여 상기 작동 영역의 영역 맵을 발생시키도록 구성되는, 자율 이동 디바이스.
  19. 컴퓨터 판독가능 저장 매체로서, 프로그램은 상기 저장 매체에 저장되고, 상기 프로그램은 제1항 내지 제7항 중 어느 한 항에 따른 자율 이동 디바이스를 위한 맵을 생성하기 위한 방법을 구현하기 위해 프로세서에 의해 실행되는, 컴퓨터 판독가능 저장 매체.
KR1020237004203A 2020-08-03 2021-06-11 자율 이동 디바이스를 위한 맵을 생성하기 위한 방법, 장치, 및 디바이스 KR20230035363A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010766273.2A CN111898557B (zh) 2020-08-03 2020-08-03 自移动设备的地图创建方法、装置、设备及存储介质
CN202010766273.2 2020-08-03
PCT/CN2021/099723 WO2022028110A1 (zh) 2020-08-03 2021-06-11 自移动设备的地图创建方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
KR20230035363A true KR20230035363A (ko) 2023-03-13

Family

ID=73183201

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237004203A KR20230035363A (ko) 2020-08-03 2021-06-11 자율 이동 디바이스를 위한 맵을 생성하기 위한 방법, 장치, 및 디바이스

Country Status (6)

Country Link
US (1) US20230297120A1 (ko)
EP (1) EP4177790A4 (ko)
JP (1) JP2023535782A (ko)
KR (1) KR20230035363A (ko)
CN (1) CN111898557B (ko)
WO (1) WO2022028110A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898557B (zh) * 2020-08-03 2024-04-09 追觅创新科技(苏州)有限公司 自移动设备的地图创建方法、装置、设备及存储介质
CN116091607B (zh) * 2023-04-07 2023-09-26 科大讯飞股份有限公司 辅助用户寻找物体的方法、装置、设备及可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886107B (zh) * 2014-04-14 2017-10-03 张文强 基于天花板图像信息的机器人定位与地图构建系统
KR20170053351A (ko) * 2015-11-06 2017-05-16 삼성전자주식회사 청소 로봇 및 그 제어 방법
KR102403504B1 (ko) * 2015-11-26 2022-05-31 삼성전자주식회사 이동 로봇 및 그 제어 방법
CN109871013B (zh) * 2019-01-31 2022-12-09 莱克电气股份有限公司 清洁机器人路径规划方法及系统、存储介质、电子设备
CN109813285A (zh) * 2019-01-31 2019-05-28 莱克电气股份有限公司 基于视觉的清洁机器人环境识别方法、存储介质、一种清洁机器人
CN110353583A (zh) * 2019-08-21 2019-10-22 追创科技(苏州)有限公司 扫地机器人及扫地机器人的自动控制方法
CN110956690A (zh) * 2019-11-19 2020-04-03 广东博智林机器人有限公司 一种建筑信息模型生成方法和系统
CN111898557B (zh) * 2020-08-03 2024-04-09 追觅创新科技(苏州)有限公司 自移动设备的地图创建方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111898557B (zh) 2024-04-09
EP4177790A1 (en) 2023-05-10
JP2023535782A (ja) 2023-08-21
US20230297120A1 (en) 2023-09-21
CN111898557A (zh) 2020-11-06
EP4177790A4 (en) 2023-09-06
WO2022028110A1 (zh) 2022-02-10

Similar Documents

Publication Publication Date Title
EP3686703B1 (en) Control method, apparatus and system for robot, and applicable robot
EP3039656B1 (en) Method and apparatus for representing physical scene
CN109074083B (zh) 移动控制方法、移动机器人及计算机存储介质
Liang et al. Image based localization in indoor environments
WO2022078467A1 (zh) 机器人自动回充方法、装置、机器人和存储介质
CN107687855B (zh) 机器人定位方法、装置及机器人
US20230297120A1 (en) Method, apparatus, and device for creating map for self-moving device with improved map generation efficiency
WO2021248856A1 (zh) 一种机器人控制方法、系统、存储介质及智能机器人
KR20160051804A (ko) 물리 평면의 디지털 표현의 확장
CN111476894A (zh) 三维语义地图构建方法、装置、存储介质及电子设备
Liang et al. Reduced-complexity data acquisition system for image-based localization in indoor environments
GB2584839A (en) Mapping of an environment
CN113601510A (zh) 基于双目视觉的机器人移动控制方法、装置、系统及设备
Maurović et al. Autonomous exploration of large unknown indoor environments for dense 3D model building
CN110647148B (zh) 一种墙体位置确定方法、装置、计算机设备和存储介质
Liu Semantic mapping: a semantics-based approach to virtual content placement for immersive environments
Liang et al. Indoor semantic map building for robot navigation
Fischer et al. 3D geometry reconstruction from multiple segmented surface descriptions using neuro-fuzzy similarity measures
CN113935425A (zh) 物体识别方法、装置、终端和存储介质
US11823414B2 (en) Information processing device, information processing method, and information processing non-transitory computer readable medium
Vincze et al. Perception and computer vision
RU2658092C2 (ru) Способ и система навигации подвижного объекта с использованием трехмерных датчиков
KR20210070747A (ko) 가상 공간을 생성하기 위한 모바일 단말 및 방법과 시스템
WO2023109347A1 (zh) 自移动设备的重定位方法、设备及存储介质
CN113643358B (zh) 相机的外参标定方法、装置、存储介质及系统

Legal Events

Date Code Title Description
A201 Request for examination